Aller au contenu
Guide ComfyUI (FR)

Lip Sync & Voix IA (TTS)

La synchronisation labiale (lip sync) et la synthèse vocale (TTS) permettent de créer des vidéos avec des personnages parlants de manière réaliste.

Modèles de Lip Sync

LivePortrait (recommandé)

Le modèle le plus avancé pour l’animation faciale en temps réel.

  • Fonctionnalités : lip sync, expressions faciales, mouvements de tête
  • Qualité : très réaliste, transitions fluides
  • Input : image portrait + audio ou vidéo de référence
  • VRAM : 4 Go suffisent
  • Custom node : ComfyUI-LivePortrait

SadTalker

Un classique de la génération de talking heads.

  • Fonctionnalités : animation faciale à partir d’audio
  • Style : résultats un peu plus “rigides” que LivePortrait
  • Avantage : léger et rapide
  • Custom node : ComfyUI-SadTalker

Wav2Lip

Spécialisé uniquement dans la synchronisation labiale.

  • Points forts : excellente précision du lip sync
  • Limites : ne modifie que la zone de la bouche
  • Idéal pour : post-traitement de vidéos existantes
  • Custom node : ComfyUI-Wav2Lip

Synthèse vocale (TTS)

Fish Speech

Le meilleur TTS open source multi-langue en 2025.

  • Langues : français, anglais, chinois, japonais…
  • Clonage de voix : quelques secondes d’audio suffisent
  • Qualité : quasi-indistinguable d’une voix humaine
  • Custom node : ComfyUI-FishSpeech

XTTS (Coqui)

TTS multi-langue avec clonage de voix.

  • 24 langues supportées dont le français
  • Clonage : 6-10 secondes de référence audio
  • Points forts : émotion et intonation naturelles
  • Custom node : ComfyUI-XTTS

Bark

Modèle TTS par Suno AI avec capacités musicales.

  • Voix : pre-defined speakers + clonage basique
  • Points forts : peut générer rires, hésitations, musique
  • Limites : qualité variable, moins de contrôle
  • Idéal pour : contenus créatifs et expressifs

Pipeline complet : Avatar parlant

Étape 1 : générer le portrait

Utilisez Flux ou SDXL pour créer un portrait de face :

Prompt: portrait of a professional woman, front facing, neutral
expression, studio lighting, white background, photorealistic

Étape 2 : générer la voix

Avec Fish Speech ou XTTS :

  1. Écrivez le texte à prononcer
  2. (Optionnel) Fournissez un échantillon de voix pour le clonage
  3. Générez le fichier audio WAV

Étape 3 : appliquer le Lip Sync

Avec LivePortrait :

  1. Chargez le portrait généré (Load Image)
  2. Chargez l’audio généré (Load Audio)
  3. Appliquez LivePortrait (portrait + audio → vidéo animée)
  4. Exportez la vidéo

Étape 4 : post-traitement

  • Upscale la vidéo si nécessaire
  • Ajoutez un fond ou un décor
  • Mixez avec une musique de fond

Conseils pour de meilleurs résultats

Pour le lip sync

  • Portrait de face : les angles frontaux donnent les meilleurs résultats
  • Expression neutre : laissez le modèle contrôler les expressions
  • Haute résolution : partez d’un portrait en haute qualité
  • Éclairage uniforme : évitez les ombres fortes sur le visage

Pour le TTS

  • Texte clair : ponctuation correcte pour de bonnes pauses
  • Débit : ajustez la vitesse de parole selon le contexte
  • Échantillon de référence : utilisez un échantillon propre et clair
  • Post-traitement audio : normalisez le volume

Cas d’usage

  • Vidéos explicatives : avatar présentateur pour tutoriels
  • Marketing : porte-parole IA pour des campagnes
  • E-learning : professeur virtuel multilingue
  • Podcasts : visualisation vidéo d’un podcast audio
  • Accessibilité : ajout de narration à des contenus visuels

Prochaines étapes