Text-to-Video
Le text-to-video est l’un des cas d’usage les plus avancés de ComfyUI, combinant plusieurs modèles pour créer une vidéo complète depuis une simple description.
Pipeline complet Text-to-Video
Un pipeline text-to-video typique enchaîne plusieurs étapes :
Texte → Génération image → Image-to-Video → Upscale → Audio/TTS → Vidéo finaleApproche 1 : génération vidéo directe
Certains modèles supportent le text-to-video directement :
- Wan 2.1/2.2 T2V : le plus complet
- CogVideoX : bonne qualité text-to-video
- HunyuanVideo : professionnel
- LTX Video / LTX-2 : le plus rapide, utile pour l’itération et les context windows
Approche 2 : pipeline multi-étapes (recommandé)
Pour un contrôle maximal :
- Text-to-Image : générez l’image de départ avec FLUX ou SDXL
- Image-to-Video : animez avec Wan, LTX ou HunyuanVideo
- Post-traitement : upscale, color correction
- Audio : ajoutez voix et son
Workflow Wan Text-to-Video
Nodes principaux
- Load Checkpoint : modèle Wan T2V
- CLIP Text Encode : description de la scène
- Wan Video Sampling : génération des frames
- VAE Decode : conversion en images
- Video Combine : assemblage en vidéo
Prompts efficaces pour la vidéo
La clé d’un bon résultat est un prompt qui décrit :
- La scène : ce qui est visible
- Le mouvement : ce qui bouge et comment
- L’ambiance : éclairage, couleurs, atmosphère
- Le style : cinématique, anime, documentaire…
Exemple :
A woman walking through a sunlit forest path, golden autumn leavesfalling gently, camera following from behind, cinematic look,warm color palette, natural lighting, 4k qualityCréation de contenu à grande échelle
Batch de scènes
Pour créer plusieurs scènes automatiquement :
- Préparez une liste de prompts dans un fichier texte
- Utilisez le node Load Text File ou Prompt from Line
- Bouclez avec Queue pour générer toutes les scènes
- Assemblez les clips avec un éditeur vidéo ou FFmpeg
Cohérence entre les scènes
- Utilisez le même seed de base pour garder un style cohérent
- Partagez les mêmes LoRA et embeddings entre les scènes
- Gardez des paramètres CFG et sampling identiques
- Utilisez IP-Adapter avec une image de référence de style
- Pour LTX-2, utilisez les fenêtres de contexte quand le workflow doit garder une continuité sur plusieurs segments
Intégration audio
Text-to-Speech
Ajoutez une narration IA à votre vidéo :
- Générez le texte de narration
- Utilisez Fish Speech, XTTS ou Bark pour la synthèse vocale
- Synchronisez avec la vidéo
Musique de fond
- Générez de la musique avec des modèles comme MusicGen
- Ou utilisez de la musique libre de droits
- Mixez avec la narration
Exemples de pipelines complets
Vidéo explicative
Script → TTS narration → image par scène → animation I2V →Assemblage vidéo + audio → Export finalAvatar parlant
Portrait → TTS du texte → Lip Sync (LivePortrait) →Upscale → Export avec audioClip style anime
Prompt scène → FLUX (style anime LoRA) → Wan ou LTX I2V →Interpolation frames → ExportProchaines étapes
- Lip Sync & TTS : synchronisation labiale et voix IA
- Image-to-Video : animation d’images
- Upscale : améliorer la qualité