Guide d'installation

Ce guide vous accompagne dans le processus de configuration de base de Runtime MetaHuman Lip Sync avec vos personnages MetaHuman.

Remarque : Runtime MetaHuman Lip Sync fonctionne à la fois avec les MetaHuman et les personnages personnalisés. Pour des instructions détaillées sur la configuration des personnages personnalisés, consultez le Guide de configuration des personnages personnalisés.

Prérequis

Avant de commencer, assurez-vous que :

1. Configuration requise pour le plugin MetaHuman :

   • UE 5.5 et versions antérieures : Activez le plugin MetaHuman dans votre projet
   • UE 5.6 et versions ultérieures : Activez le plugin MetaHuman Core Tech dans votre projet
   Plugins MetaHuman supplémentaires

Selon la façon dont vous créez vos personnages MetaHuman, vous pouvez avoir besoin de plugins supplémentaires. Par exemple, si vous prévoyez de créer un MetaHuman avec le nouveau système MetaHuman Creator introduit dans UE 5.6, vous devrez également activer le plugin MetaHuman Creator. Pour plus d'informations sur ce système, consultez la documentation MetaHuman Creator. :::

2. Vous avez au moins un personnage MetaHuman téléchargé et disponible dans votre projet
3. Le plugin Runtime MetaHuman Lip Sync est installé

Plugin d'extension de modèle standard

Si vous prévoyez d'utiliser le Standard Model, vous devrez installer le plugin d'extension :

1. Téléchargez le plugin d'extension Standard Lip Sync depuis ici
2. Extrayez le dossier de l'archive téléchargée dans le dossier Plugins de votre projet (créez ce dossier s'il n'existe pas)
3. Assurez-vous que votre projet est configuré comme un projet C++ (même si vous n'avez aucun code C++)
4. Recompilez votre projet

remarque

• Cette extension n'est nécessaire que si vous souhaitez utiliser le Standard Model. Si vous n'avez besoin que des Realistic Models, vous pouvez ignorer cette étape.
• Pour plus d'informations sur la façon de compiler les plugins manuellement, consultez le tutoriel sur la compilation des plugins

Plugins supplémentaires

• Si vous prévoyez d'utiliser la capture audio (par exemple, l'entrée microphone), installez le plugin Runtime Audio Importer.
• Si vous prévoyez d'utiliser la fonctionnalité de synthèse vocale :
  • Pour la TTS locale (Piper et Kokoro), installez le plugin Runtime Text To Speech.
  • Pour les fournisseurs TTS externes (ElevenLabs, OpenAI, Google Cloud, Azure), installez le plugin Runtime AI Chatbot Integrator.

Configuration de l'Animation Blueprint

Étape 1 : Localiser et modifier le Blueprint d'animation du visage

UE 5.5 et versions antérieures (ou MetaHumans hérités dans UE 5.6+)

Vous devez modifier un Animation Blueprint qui sera utilisé pour les animations faciales de votre personnage MetaHuman. L'Animation Blueprint par défaut du visage MetaHuman se trouve à l'emplacement suivant :

Content/MetaHumans/Common/Face/Face_AnimBP

Vous disposez de plusieurs options pour implémenter la fonctionnalité de lip sync :

Modifier l'asset par défaut (option la plus simple)

Ouvrez directement le Face_AnimBP par défaut et effectuez vos modifications. Toute modification affectera tous les personnages MetaHuman utilisant cet Animation Blueprint.

Remarque : Cette approche est pratique mais affectera tous les personnages utilisant l'Animation Blueprint par défaut.

Créer un doublon

1. Dupliquez Face_AnimBP et donnez-lui un nom descriptif
2. Localisez la classe Blueprint de votre personnage (par exemple, pour le personnage « Bryan », elle se trouve à l'emplacement Content/MetaHumans/Bryan/BP_Bryan)
3. Ouvrez le Blueprint du personnage et trouvez le composant Face
4. Modifiez la propriété Anim Class pour qu'elle pointe vers votre Animation Blueprint nouvellement dupliqué

Remarque : Cette approche vous permet de personnaliser la synchronisation labiale pour des personnages spécifiques tout en laissant les autres inchangés.

Utiliser une Animation Blueprint personnalisée

Vous pouvez implémenter le mélange de lip sync dans n'importe quel Animation Blueprint ayant accès aux os faciaux requis :

1. Créez ou utilisez une Animation Blueprint personnalisée existante
2. Assurez-vous que votre Animation Blueprint fonctionne avec un squelette contenant les mêmes os faciaux que le Face_Archetype_Skeleton du MetaHuman par défaut

Remarque : Cette approche vous offre une flexibilité maximale pour l'intégration avec des systèmes d'animation personnalisés.

Personnages MetaHuman Creator UE 5.6+

À partir de UE 5.6, le nouveau système MetaHuman Creator a été introduit. Pour ces personnages, le plugin fournit une Animation Blueprint de visage située à l'emplacement suivant :

Content/LipSyncData/LipSync_Face_AnimBP

Important

Cet Animation Blueprint se trouve dans le dossier de contenu du plugin et sera écrasé à chaque mise à jour du plugin. Pour éviter de perdre vos personnalisations :

1. Copiez cet asset dans le dossier Content de votre projet (par exemple, vers YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Utilisez votre version copiée dans la configuration de votre personnage
3. Apportez toutes vos modifications à la version copiée

Utilisation de l'Animation Blueprint du visage du plugin :

1. Localisez la classe Blueprint du personnage MetaHuman Creator
2. Ouvrez le Blueprint du personnage et trouvez le composant Face
3. Modifiez la propriété Anim Class pour la remplacer par LipSync_Face_AnimBP du plugin
4. Poursuivez avec les étapes suivantes pour configurer la fonctionnalité Runtime MetaHuman Lip Sync

Étape 2 : configuration du Event Graph

Ouvrez votre Animation Blueprint de visage et passez à l'Event Graph. Vous devrez créer un générateur qui traitera les données audio et générera l'animation de lip sync.

Modèle standard

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Runtime Viseme Generator et connectez-le à l'événement Begin Play
3. Enregistrez la sortie dans une variable (par exemple « VisemeGenerator ») pour l'utiliser dans d'autres parties du graphe

Pour les options de configuration détaillées, consultez la section Configuration du modèle standard.

Modèle réaliste

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Realistic MetaHuman Lip Sync Generator et connectez-le à l'événement Begin Play
3. Enregistrez la sortie dans une variable (par ex. « RealisticMetaHumanLipSyncGenerator ») pour l'utiliser dans d'autres parties du graphe
4. (Facultatif) Configurez les paramètres du générateur à l'aide du paramètre Configuration

Pour les options de configuration détaillées, notamment les types de modèles, les paramètres de performance et les paramètres de traitement, consultez la section Configuration du modèle réaliste.

Modèle réaliste avec gestion des humeurs

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Realistic MetaHuman Lip Sync With Mood Generator et connectez-le à l'événement Begin Play
3. Enregistrez la sortie dans une variable (par exemple « MoodMetaHumanLipSyncGenerator ») pour l'utiliser dans d'autres parties du graphe
4. (Facultatif) Configurez les paramètres du générateur à l'aide du paramètre Configuration

Pour une configuration détaillée des humeurs, incluant les types d'humeur, les réglages d'intensité, le timing d'anticipation et la sélection du type de sortie, consultez la section Configuration du modèle avec gestion des humeurs.

Étape 3 : configuration de l'Anim Graph

Après avoir configuré l'Event Graph, passez à l'Anim Graph pour connecter le générateur à l'animation du personnage :

Modèle standard

1. Localisez la pose qui contient le visage MetaHuman (généralement à partir de Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Runtime MetaHuman Lip Sync
3. Connectez la pose au Source Pose du nœud Blend Runtime MetaHuman Lip Sync
4. Connectez votre variable VisemeGenerator à la broche Viseme Generator
5. Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync à la broche Result du Output Pose

Modèle réaliste

1. Localisez la pose qui contient le visage MetaHuman (généralement à partir de Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Realistic MetaHuman Lip Sync
3. Connectez la pose au Source Pose du nœud Blend Realistic MetaHuman Lip Sync
4. Connectez votre variable RealisticMetaHumanLipSyncGenerator à la broche Lip Sync Generator
5. Connectez la sortie du nœud Blend Realistic MetaHuman Lip Sync à la broche Result du Output Pose

Modèle réaliste avec gestion des humeurs

1. Localisez la pose qui contient le visage MetaHuman (généralement à partir de Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Realistic MetaHuman Lip Sync (le même nœud que pour le modèle réaliste standard)
3. Connectez la pose au Source Pose du nœud Blend Realistic MetaHuman Lip Sync
4. Connectez votre variable MoodMetaHumanLipSyncGenerator à la broche Lip Sync Generator
5. Connectez la sortie du nœud Blend Realistic MetaHuman Lip Sync à la broche Result du Output Pose

Remarque : Le modèle avec gestion de l'humeur utilise le même nœud Animation Blueprint que le modèle réaliste standard. La fonctionnalité d'humeur est gérée en interne par le générateur.

Étapes suivantes

Maintenant que la configuration de base de l'Animation Blueprint est terminée, vous devrez configurer le traitement de l'entrée audio pour alimenter votre générateur de lip sync en données audio.

Poursuivez avec le Guide de traitement audio pour apprendre à configurer différentes méthodes d'entrée audio, notamment la capture par microphone, la synthèse vocale et le traitement de fichiers audio.

Pour les options de configuration avancées et le réglage fin, consultez le Guide de configuration.