Aller au contenu

Text-to-Video

Le text-to-video est l’un des cas d’usage les plus avancés de ComfyUI, combinant plusieurs modèles pour créer une vidéo complète depuis une simple description.

Pipeline complet Text-to-Video

Un pipeline text-to-video typique enchaîne plusieurs étapes :

Texte → Génération image → Image-to-Video → Upscale → Audio/TTS → Vidéo finale

Approche 1 : génération vidéo directe

Certains modèles supportent le text-to-video directement :

  • Wan 2.1/2.2 T2V : le plus complet
  • CogVideoX : bonne qualité text-to-video
  • HunyuanVideo : professionnel
  • LTX Video / LTX-2 : le plus rapide, utile pour l’itération et les context windows

Approche 2 : pipeline multi-étapes (recommandé)

Pour un contrôle maximal :

  1. Text-to-Image : générez l’image de départ avec FLUX ou SDXL
  2. Image-to-Video : animez avec Wan, LTX ou HunyuanVideo
  3. Post-traitement : upscale, color correction
  4. Audio : ajoutez voix et son

Workflow Wan Text-to-Video

Nodes principaux

  1. Load Checkpoint : modèle Wan T2V
  2. CLIP Text Encode : description de la scène
  3. Wan Video Sampling : génération des frames
  4. VAE Decode : conversion en images
  5. Video Combine : assemblage en vidéo

Prompts efficaces pour la vidéo

La clé d’un bon résultat est un prompt qui décrit :

  • La scène : ce qui est visible
  • Le mouvement : ce qui bouge et comment
  • L’ambiance : éclairage, couleurs, atmosphère
  • Le style : cinématique, anime, documentaire…

Exemple :

A woman walking through a sunlit forest path, golden autumn leaves
falling gently, camera following from behind, cinematic look,
warm color palette, natural lighting, 4k quality

Création de contenu à grande échelle

Batch de scènes

Pour créer plusieurs scènes automatiquement :

  1. Préparez une liste de prompts dans un fichier texte
  2. Utilisez le node Load Text File ou Prompt from Line
  3. Bouclez avec Queue pour générer toutes les scènes
  4. Assemblez les clips avec un éditeur vidéo ou FFmpeg

Cohérence entre les scènes

  • Utilisez le même seed de base pour garder un style cohérent
  • Partagez les mêmes LoRA et embeddings entre les scènes
  • Gardez des paramètres CFG et sampling identiques
  • Utilisez IP-Adapter avec une image de référence de style
  • Pour LTX-2, utilisez les fenêtres de contexte quand le workflow doit garder une continuité sur plusieurs segments

Intégration audio

Text-to-Speech

Ajoutez une narration IA à votre vidéo :

  1. Générez le texte de narration
  2. Utilisez Fish Speech, XTTS ou Bark pour la synthèse vocale
  3. Synchronisez avec la vidéo

Musique de fond

  • Générez de la musique avec des modèles comme MusicGen
  • Ou utilisez de la musique libre de droits
  • Mixez avec la narration

Exemples de pipelines complets

Vidéo explicative

Script → TTS narration → image par scène → animation I2V →
Assemblage vidéo + audio → Export final

Avatar parlant

Portrait → TTS du texte → Lip Sync (LivePortrait) →
Upscale → Export avec audio

Clip style anime

Prompt scène → FLUX (style anime LoRA) → Wan ou LTX I2V →
Interpolation frames → Export

Prochaines étapes