Aller au contenu principal

Aperçu

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync est un plugin qui permet une synchronisation labiale en temps réel, hors ligne et multiplateforme pour les personnages MetaHuman et les personnages personnalisés. Il vous permet d’animer les lèvres d’un personnage en réponse à une entrée audio provenant de diverses sources, notamment :

Le plugin génère en interne des visèmes (représentations visuelles des phonèmes) à partir de l'entrée audio. Comme il fonctionne directement avec les données audio plutôt qu'avec du texte, le plugin prend en charge une saisie multilingue, y compris, sans s'y limiter, l'anglais, l'espagnol, le français, l'allemand, le japonais, le chinois, le coréen, le russe, l'italien, le portugais, l'arabe et l'hindi. Littéralement, toute langue est prise en charge, car la synchronisation labiale est générée à partir des phonèmes audio plutôt que d'un traitement textuel spécifique à une langue.

Le Standard Model produit 14 visèmes et effectue une animation de synchronisation labiale à l'aide d'un asset de pose prédéfini. En revanche, les Realistic Models (exclusifs aux personnages basés sur MetaHuman et ARKit) génèrent 81 changements de contrôle facial sans dépendre d'un asset de pose prédéfini, ce qui donne des animations faciales nettement plus réalistes.

Compatibilité des personnages​

Malgré son nom, Runtime MetaHuman Lip Sync fonctionne avec une large gamme de personnages au-delà des simples MetaHumans :

  • Personnages Daz Genesis 8/9
  • Personnages Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Personnages Mixamo

Support des normes d’animation​

  • Systèmes de blendshapes basés sur FACS
  • Standard de blendshapes Apple ARKit
  • Ensembles de phonèmes Preston Blair
  • Systèmes de phonèmes 3ds Max
  • Tout personnage avec des morph targets personnalisés pour les expressions faciales

De nombreux systèmes populaires, notamment Reallusion CC4/CC5 et Daz Genesis 8.1/9, peuvent également être convertis pour utiliser des noms de blendshapes standard ARKit. Cela vous permet d'utiliser le Modèle Réaliste pour ces personnages, avec son animation faciale de meilleure qualité, en alternative au mappage manuel des visèmes du Modèle Standard. Voir Conversion de personnages en blendshapes ARKit pour plus de détails.

Pour les personnages non-MetaHuman utilisant le Modèle Standard, consultez le Guide de configuration des personnages personnalisés. Pour les personnages basés sur ARKit utilisant les Modèles Réalistes, consultez Sélection des cibles de morphing.

Aperçu de l'animation​

Consultez ces courtes animations pour voir la qualité de l’animation de synchronisation labiale produite par le plugin sur différents types de personnages et modèles :

Modèle réaliste avec un personnage MetaHuman
Modèle standard avec personnage MetaHuman
Modèle standard avec personnage personnalisé
Modèle standard avec personnage personnalisé

Caractéristiques principales​

Modèles de synchronisation labiale​

Le plugin propose plusieurs modèles de lip sync pour répondre aux besoins de différents projets :

Le modèle de synchronisation labiale standard offre des performances efficaces et multiplateformes avec une large compatibilité de personnages :

  • Fonctionne avec les MetaHumans et tous les types de personnages personnalisés
  • Optimisé pour les performances en temps réel
  • Exigences de ressources réduites
  • Prise en charge des plateformes : Windows, Android, plateformes basées sur Android (y compris Meta Quest)
Extension Plugin requis

Pour utiliser le Modèle Standard, vous devez installer un plugin d’extension supplémentaire. Consultez la section Prérequis pour les instructions d’installation.

Vous pouvez choisir le modèle approprié en fonction des exigences de votre projet en matière de performances, de compatibilité des personnages, de qualité visuelle, de plateforme cible et de besoins en fonctionnalités.

Comment ça fonctionne​

Le plugin traite l'entrée audio de la manière suivante :

  1. Les données audio sont reçues au format PCM en virgule flottante avec des canaux et une fréquence d'échantillonnage spécifiés
  2. Le plugin traite l'audio pour générer des données de contrôle facial ou des visèmes selon le modèle
  3. Pour les modèles compatibles avec les émotions, le contexte émotionnel est appliqué à l'animation faciale
  4. Les données d'animation pilotent les mouvements faciaux du personnage en temps réel

Architecture de performance​

Runtime MetaHuman Lip Sync utilise une inférence uniquement sur CPU pour fournir des résultats de synchronisation labiale cohérents et à faible latence, adaptés aux applications en temps réel. Par défaut, le plugin effectue le traitement de la synchronisation labiale toutes les 10 millisecondes (réglable - voir Configuration du plugin pour tous les paramètres disponibles, y compris Taille du bloc de traitement, nombre de threads et autres paramètres de performance).

Aperçu de l’architecture du modèle​

Les modèles de lip sync utilisent un réseau neuronal compact basé sur un transformateur qui traite l'audio via une analyse de mél-spectrogramme. Cette architecture légère est spécifiquement conçue pour des performances en temps réel avec une inférence CPU efficace et une empreinte mémoire minimale.

Pourquoi l’inférence CPU ?​

Pour les opérations d'inférence petites et fréquentes comme la synchronisation labiale en temps réel, le traitement CPU offre de meilleures caractéristiques de latence que le GPU. Avec une taille de lot de 1 et des intervalles d'inférence de 10 à 100 ms, la surcharge du GPU due aux transferts PCIe et aux lancements de noyaux dépasse souvent le temps de calcul réel. De plus, dans les moteurs de jeu, le GPU est déjà saturé par le rendu, les shaders et la physique, créant une contention de ressources qui introduit des pics de latence imprévisibles.

Compatibilité matérielle​

Le plugin fonctionne efficacement sur la plupart des processeurs de milieu de gamme et supérieurs, sans nécessiter de matériel graphique dédié, offrant des performances en temps réel sur les plateformes de bureau, mobiles et VR. Pour un matériel plus faible, vous pouvez ajuster le Type de modèle à Semi-Optimisé ou Hautement Optimisé, ou augmenter la Taille de segment de traitement pour maintenir des performances en temps réel avec une réactivité légèrement réduite.

Démarrage rapide​

Voici une configuration de base pour activer la synchronisation labiale sur votre personnage :

  1. Pour les personnages MetaHuman, suivez le Guide de configuration
  2. Pour les personnages personnalisés, suivez le Guide de configuration des personnages personnalisés
  3. Choisissez et configurez votre modèle de synchronisation labiale préféré
  4. Configurez le traitement de l'entrée audio dans votre Blueprint
  5. Connectez le nœud de synchronisation labiale approprié dans l'Animation Blueprint
  6. Lancez l'audio et regardez votre personnage s'animer en synchronisation

Animation oculaire facultative​

Le plugin inclut également des assistants optionnels pour le clignement automatique et le suivi du regard sur les MetaHumans. Ceux-ci sont indépendants de la synchronisation labiale et peuvent être utilisés seuls ou superposés à celle-ci. Voir Assistants d’animation des yeux.

Ressources supplémentaires​

📦 Téléchargements et liens​

Projets de démonstration :

Deux projets de démonstration prêts à l’emploi sont disponibles — consultez la page dédiée Projets de démonstration pour tous les détails, téléchargements et tutoriels :

Les deux démos sont multiplateformes (Windows, Mac, Linux, iOS, Android, Meta Quest) et sont fournies sous forme de builds packagés et de projets source complets UE 5.6+.

🎥 Tutoriels vidéo​

Démos en vedette :​

Tutoriels pour le modèle réaliste (haute qualité) :​

Tutoriels du modèle standard :​

Configuration générale :​

💬 Support​

  • Développement personnalisé : solutions@georgy.dev (solutions sur mesure pour les équipes et les organisations)
Join our Discord
online · support