Aller au contenu principal

Vue d'ensemble

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync est un plugin qui permet une synchronisation labiale en temps réel, hors ligne et multiplateforme pour les MetaHuman ainsi que pour les personnages personnalisés. Il vous permet d'animer les lèvres d'un personnage en réponse à une entrée audio provenant de diverses sources, notamment :

Le plugin génère en interne des visèmes (représentations visuelles des phonèmes) à partir de l'entrée audio. Comme il fonctionne directement avec les données audio plutôt qu'avec du texte, le plugin prend en charge les entrées multilingues, y compris, mais sans s'y limiter, l'anglais, l'espagnol, le français, l'allemand, le japonais, le chinois, le coréen, le russe, l'italien, le portugais, l'arabe et l'hindi. Littéralement n'importe quelle langue est prise en charge, car le lip sync est généré à partir des phonèmes audio plutôt que d'un traitement de texte spécifique à une langue.

Le Standard Model produit 14 visèmes et réalise l'animation de lip sync à l'aide d'un pose asset prédéfini. En revanche, les Realistic Models (exclusifs aux personnages MetaHuman et basés sur ARKit) génèrent 81 changements de contrôle facial sans recourir à un pose asset prédéfini, ce qui produit des animations faciales nettement plus réalistes.

Compatibilité des personnages​

Malgré son nom, Runtime MetaHuman Lip Sync fonctionne avec une large gamme de personnages, bien au-delà des seuls MetaHumans :

  • Personnages Daz Genesis 8/9
  • Personnages Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Personnages Mixamo

Prise en charge des standards d'animation​

  • Systèmes de blendshapes basés sur FACS
  • Standard de blendshapes Apple ARKit
  • Ensembles de phonèmes de Preston Blair
  • Systèmes de phonèmes 3ds Max
  • Tout personnage doté de morph targets personnalisés pour les expressions faciales

De nombreux systèmes populaires, notamment Reallusion CC4/CC5 et Daz Genesis 8.1/9, peuvent également être convertis pour utiliser les noms de blendshapes standard ARKit. Cela vous permet d'utiliser le Realistic Model pour ces personnages, avec son animation faciale de meilleure qualité, comme alternative au mappage manuel des visèmes du Standard Model. Consultez Conversion des personnages en blendshapes ARKit pour plus de détails.

Pour les personnages non-MetaHuman utilisant le Modèle standard, consultez le Guide de configuration des personnages personnalisés. Pour les autres personnages utilisant les Modèles réalistes, tels que ARKit, CC5/CC4 et les rigs similaires basés sur des morph targets, consultez Sélection de l'ensemble de morph targets.

Aperçu de l'animation​

Découvrez ces courtes animations pour voir la qualité de l'animation de lip sync produite par le plugin sur différents types de personnages et modèles :

Modèle réaliste avec personnage MetaHuman
Modèle standard avec personnage MetaHuman
Modèle standard avec personnage personnalisé
Modèle standard avec personnage personnalisé

Fonctionnalités clés​

Modèles de synchronisation labiale​

Le plugin propose plusieurs modèles de lip sync adaptés aux différents besoins des projets :

Le modèle standard de lip sync offre des performances efficaces et multiplateformes, avec une large compatibilité de personnages :

  • Fonctionne avec les MetaHumans et tous les types de personnages personnalisés
  • Optimisé pour les performances en temps réel
  • Exigences de ressources réduites
  • Prise en charge des plateformes : Windows, Android, plateformes basées sur Android (y compris Meta Quest)
Extension de plugin requise

Pour utiliser le modèle standard, vous devez installer un plugin d'extension supplémentaire. Consultez la section Prérequis pour les instructions d'installation.

Vous pouvez choisir le modèle approprié en fonction des exigences de votre projet en matière de performances, de compatibilité des personnages, de qualité visuelle, de plateforme cible et de fonctionnalités.

Comment ça fonctionne​

Le plugin traite l'entrée audio de la manière suivante :

  1. Les données audio sont reçues au format PCM en virgule flottante avec les canaux et la fréquence d'échantillonnage spécifiés
  2. Le plugin traite l'audio pour générer des données de contrôle facial ou des visèmes selon le modèle
  3. Pour les modèles compatibles avec les humeurs, un contexte émotionnel est appliqué à l'animation faciale
  4. Les données d'animation pilotent les mouvements faciaux du personnage en temps réel

Architecture des performances​

Runtime MetaHuman Lip Sync utilise une inférence uniquement sur CPU pour fournir des résultats de lip sync cohérents et à faible latence, adaptés aux applications en temps réel. Par défaut, le plugin effectue le traitement du lip sync toutes les 10 millisecondes (ajustable - consultez Configuration du plugin pour tous les paramètres disponibles, notamment la taille du bloc de traitement, le nombre de threads et d'autres paramètres de performance).

Aperçu de l'architecture du modèle​

Les modèles de lip sync utilisent un réseau neuronal compact basé sur un transformer qui traite l'audio via une analyse en mel-spectrogramme. Cette architecture légère est spécifiquement conçue pour des performances en temps réel, avec une inférence CPU efficace et une empreinte mémoire minimale.

Pourquoi l'inférence sur CPU ?​

Pour les opérations d'inférence petites et fréquentes comme le lip sync en temps réel, le traitement CPU offre de meilleures caractéristiques de latence que le GPU. Avec une taille de lot de 1 et des intervalles d'inférence de 10 à 100 ms, la surcharge GPU liée aux transferts PCIe et aux lancements de noyaux dépasse souvent le temps de calcul réel. De plus, dans les moteurs de jeu, le GPU est déjà saturé par le rendu, les shaders et la physique, ce qui crée une contention de ressources introduisant des pics de latence imprévisibles.

Compatibilité matérielle​

Le plugin fonctionne efficacement sur la plupart des CPU de milieu de gamme et supérieurs sans nécessiter de matériel graphique dédié, offrant des performances en temps réel sur les plateformes de bureau, mobiles et VR. Pour le matériel plus faible, vous pouvez ajuster le Model Type sur Semi-Optimized ou Highly Optimized, ou augmenter la Processing Chunk Size pour maintenir des performances en temps réel avec une réactivité légèrement réduite.

Démarrage rapide​

Voici une configuration de base pour activer la synchronisation labiale sur votre personnage :

  1. Pour les personnages MetaHuman, suivez le Guide de configuration
  2. Pour les personnages personnalisés, suivez le Guide de configuration des personnages personnalisés
  3. Choisissez et configurez votre modèle de lip sync préféré
  4. Configurez le traitement de l'entrée audio dans votre Blueprint
  5. Connectez le nœud de lip sync approprié dans l'Animation Blueprint
  6. Lisez l'audio et voyez votre personnage s'animer en synchronisation

Animation oculaire facultative​

Le plugin inclut également des assistants optionnels pour le clignement automatique des yeux et le suivi du regard sur les MetaHumans. Ceux-ci sont indépendants du lip sync et peuvent être utilisés seuls ou superposés à celui-ci. Voir Assistants d'animation des yeux.

Ressources supplémentaires​

📦 Téléchargements et liens​

Projets de démonstration :

Deux projets de démonstration prêts à l'emploi sont disponibles - consultez la page dédiée Projets de démonstration pour tous les détails, les téléchargements et les tutoriels :

Les deux démos sont multiplateformes (Windows, Mac, Linux, iOS, Android, Meta Quest) et sont livrées sous forme de builds packagés et de projets sources complets UE 5.6+.

🎥 Tutoriels vidéo​

Démos en vedette :​

Tutoriels du modèle réaliste (haute qualité) :​

Tutoriels sur les modèles standard :​

Configuration générale :​

💬 Assistance​

  • Développement sur mesure : solutions@georgy.dev (solutions adaptées pour les équipes et les organisations)
Join our Discord
online · support