Einrichtungsanleitung

Diese Anleitung führt dich durch den grundlegenden Einrichtungsprozess für Runtime MetaHuman Lip Sync mit deinen MetaHuman-Charakteren.

Hinweis: Runtime MetaHuman Lip Sync funktioniert sowohl mit MetaHuman als auch mit benutzerdefinierten Charakteren. Detaillierte Anweisungen zur Einrichtung benutzerdefinierter Charaktere finden Sie im Leitfaden zur Einrichtung benutzerdefinierter Charaktere.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher:

1. MetaHuman-Plugin-Anforderungen:

   • UE 5.5 und früher: Aktiviere das MetaHuman-Plugin in deinem Projekt
   • UE 5.6 und später: Aktiviere das MetaHuman Core Tech-Plugin in deinem Projekt
   Zusätzliche MetaHuman-Plugins

Je nachdem, wie du deine MetaHuman-Charaktere erstellst, benötigst du möglicherweise zusätzliche Plugins. Wenn du beispielsweise einen MetaHuman mit dem neuen MetaHuman Creator-System erstellen möchtest, das in UE 5.6 eingeführt wurde, musst du auch das MetaHuman Creator-Plugin aktivieren. Weitere Informationen zu diesem System findest du in der MetaHuman Creator-Dokumentation. :::

2. Du hast mindestens einen MetaHuman-Charakter heruntergeladen und in deinem Projekt verfügbar
3. Das Plugin Runtime MetaHuman Lip Sync ist installiert

Standardmodell-Erweiterungs-Plugin

Wenn Sie das Standardmodell verwenden möchten, müssen Sie das Erweiterungs-Plugin installieren:

1. Lade das Standard Lip Sync Extension-Plugin von hier herunter
2. Entpacke den Ordner aus dem heruntergeladenen Archiv in den Ordner Plugins deines Projekts (erstelle diesen Ordner, falls er nicht existiert)
3. Stelle sicher, dass dein Projekt als C++-Projekt eingerichtet ist (auch wenn du keinen C++-Code hast)
4. Baue dein Projekt neu

hinweis

• Diese Erweiterung ist nur erforderlich, wenn Sie das Standardmodell verwenden möchten. Wenn Sie nur die realistischen Modelle benötigen, können Sie diesen Schritt überspringen.
• Weitere Informationen zum manuellen Erstellen von Plugins finden Sie im Tutorial zum Erstellen von Plugins

Zusätzliche Plugins

• Wenn Sie Audioaufnahme (z. B. Mikrofoneingabe) verwenden möchten, installieren Sie das Plugin Runtime Audio Importer.
• Wenn Sie die Text-to-Speech-Funktionalität verwenden möchten:
  • Für lokales TTS (Piper und Kokoro) installiere das Plugin Runtime Text To Speech.
  • Für externe TTS-Anbieter (ElevenLabs, OpenAI, Google Cloud, Azure) installiere das Plugin Runtime AI Chatbot Integrator.

Animation Blueprint einrichten

Schritt 1: Suchen und Ändern des Blueprints für die Gesichtsanimation

UE 5.5 und früher (oder Legacy-MetaHumans in UE 5.6+)

Du musst ein Animation Blueprint ändern, das für die Gesichtsanimationen deines MetaHuman-Charakters verwendet wird. Das standardmäßige MetaHuman-Gesicht Animation Blueprint befindet sich unter:

Content/MetaHumans/Common/Face/Face_AnimBP

Für die Implementierung der Lip-Sync-Funktionalität haben Sie mehrere Möglichkeiten:

Standard-Asset bearbeiten (einfachste Option)

Öffne die Standard-Face_AnimBP direkt und nimm deine Änderungen vor. Alle Änderungen wirken sich auf alle MetaHuman-Charaktere aus, die dieses Animation Blueprint verwenden.

Hinweis: Dieser Ansatz ist praktisch, wirkt sich jedoch auf alle Charaktere aus, die das Standard-Animation Blueprint verwenden.

Duplikat erstellen

1. Dupliziere Face_AnimBP und gib ihm einen beschreibenden Namen
2. Finde die Blueprint-Klasse deines Charakters (z. B. für den Charakter „Bryan“ wäre sie unter Content/MetaHumans/Bryan/BP_Bryan)
3. Öffne das Charakter-Blueprint und finde die Face-Komponente
4. Ändere die Eigenschaft Anim Class auf dein neu dupliziertes Animation Blueprint

Hinweis: Dieser Ansatz ermöglicht es dir, die Lip Sync für bestimmte Charaktere anzupassen, während andere unverändert bleiben.

Benutzerdefinierte Animation Blueprint verwenden

Du kannst das Lip-Sync-Blending in jedem Animation Blueprint implementieren, der Zugriff auf die erforderlichen Gesichtsknochen hat:

1. Erstelle oder verwende einen vorhandenen benutzerdefinierten Animation Blueprint
2. Stelle sicher, dass dein Animation Blueprint mit einem Skelett funktioniert, das dieselben Gesichtsknochen wie das Face_Archetype_Skeleton des Standard-MetaHuman enthält

Hinweis: Dieser Ansatz bietet dir maximale Flexibilität für die Integration mit benutzerdefinierten Animationssystemen.

UE 5.6+ MetaHuman Creator Charaktere

Ab UE 5.6 wurde das neue MetaHuman Creator-System eingeführt. Für diese Charaktere stellt das Plugin ein Gesichts-Animation Blueprint bereit unter:

Content/LipSyncData/LipSync_Face_AnimBP

Wichtig

Dieses Animation Blueprint befindet sich im Inhaltsordner des Plugins und wird bei jedem Plugin-Update überschrieben. Um den Verlust Ihrer Anpassungen zu vermeiden:

1. Kopiere dieses Asset in den Content-Ordner deines Projekts (zum Beispiel nach YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Verwende deine kopierte Version in deinem Charakter-Setup
3. Nimm alle deine Änderungen an der kopierten Version vor

Verwendung des Face Animation Blueprint des Plugins:

1. Lokalisieren Sie die Blueprint-Klasse Ihres MetaHuman Creator-Charakters
2. Öffnen Sie das Charakter-Blueprint und finden Sie die Face-Komponente
3. Ändern Sie die Eigenschaft Anim Class in das LipSync_Face_AnimBP des Plugins
4. Fahren Sie mit den nächsten Schritten fort, um die Funktionalität von Runtime MetaHuman Lip Sync zu konfigurieren

Schritt 2: Einrichtung des Event Graph

Öffne dein Face Animation Blueprint und wechsle zum Event Graph. Du musst einen Generator erstellen, der Audiodaten verarbeitet und Lip-Sync-Animationen generiert.

Standardmodell

1. Füge den Node Event Blueprint Begin Play hinzu, falls er noch nicht existiert
2. Füge den Node Create Runtime Viseme Generator hinzu und verbinde ihn mit dem Begin Play-Event
3. Speichere die Ausgabe als Variable (z. B. „VisemeGenerator“) zur Verwendung in anderen Teilen des Graphen

Für detaillierte Konfigurationsoptionen siehe den Abschnitt Standard Model Configuration.

Realistisches Modell

1. Füge den Node Event Blueprint Begin Play hinzu, falls er noch nicht existiert
2. Füge den Node Create Realistic MetaHuman Lip Sync Generator hinzu und verbinde ihn mit dem Begin Play-Event
3. Speichere die Ausgabe als Variable (z. B. „RealisticMetaHumanLipSyncGenerator") zur Verwendung in anderen Teilen des Graphen
4. (Optional) Konfiguriere die Generator-Einstellungen über den Parameter Configuration

Detaillierte Konfigurationsoptionen, einschließlich Modelltypen, Leistungseinstellungen und Verarbeitungsparametern, finden Sie im Abschnitt Realistic Model Configuration.

Stimmungsfähiges realistisches Modell

1. Füge den Node Event Blueprint Begin Play hinzu, falls er noch nicht existiert
2. Füge den Node Create Realistic MetaHuman Lip Sync With Mood Generator hinzu und verbinde ihn mit dem Begin Play-Event
3. Speichere die Ausgabe als Variable (z. B. „MoodMetaHumanLipSyncGenerator“) zur Verwendung in anderen Teilen des Graphen
4. (Optional) Konfiguriere die Generator-Einstellungen über den Parameter Configuration

Eine detaillierte Beschreibung der Stimmungskonfiguration, einschließlich Stimmungstypen, Intensitätseinstellungen, Lookahead-Timing und Ausgabetypauswahl, finden Sie im Abschnitt Konfiguration des stimmungsfähigen Modells.

Schritt 3: Anim Graph einrichten

Nachdem Sie den Event Graph eingerichtet haben, wechseln Sie zum Anim Graph, um den Generator mit der Animation des Charakters zu verbinden:

Standardmodell

1. Finde die Pose, die das MetaHuman-Gesicht enthält (typischerweise aus Use cached pose 'Body Pose')
2. Füge den Node Blend Runtime MetaHuman Lip Sync hinzu
3. Verbinde die Pose mit dem Source Pose des Nodes Blend Runtime MetaHuman Lip Sync
4. Verbinde deine Variable VisemeGenerator mit dem Pin Viseme Generator
5. Verbinde den Ausgang des Nodes Blend Runtime MetaHuman Lip Sync mit dem Pin Result der Output Pose

Realistisches Modell

1. Finde die Pose, die das MetaHuman-Gesicht enthält (typischerweise aus Use cached pose 'Body Pose')
2. Füge den Node Blend Realistic MetaHuman Lip Sync hinzu
3. Verbinde die Pose mit dem Source Pose des Nodes Blend Realistic MetaHuman Lip Sync
4. Verbinde deine Variable RealisticMetaHumanLipSyncGenerator mit dem Pin Lip Sync Generator
5. Verbinde den Ausgang des Nodes Blend Realistic MetaHuman Lip Sync mit dem Pin Result der Output Pose

Stimmungsfähiges realistisches Modell

1. Lokalisieren Sie die Pose, die das MetaHuman-Gesicht enthält (typischerweise aus Use cached pose 'Body Pose')
2. Fügen Sie den Node Blend Realistic MetaHuman Lip Sync hinzu (derselbe Node wie beim regulären realistischen Modell)
3. Verbinden Sie die Pose mit dem Source Pose des Nodes Blend Realistic MetaHuman Lip Sync
4. Verbinden Sie Ihre Variable MoodMetaHumanLipSyncGenerator mit dem Pin Lip Sync Generator
5. Verbinden Sie den Ausgang des Nodes Blend Realistic MetaHuman Lip Sync mit dem Pin Result der Output Pose

Hinweis: Das stimmungsfähige Modell verwendet denselben Animation Blueprint-Knoten wie das reguläre realistische Modell. Die Stimmungsfunktionalität wird intern vom Generator verarbeitet.

Nächste Schritte

Nachdem du nun das grundlegende Animation Blueprint-Setup abgeschlossen hast, musst du die Audioeingabeverarbeitung konfigurieren, um Audiodaten an deinen Lip-Sync-Generator zu übergeben.

Fahren Sie mit dem Leitfaden zur Audiobearbeitung fort, um zu erfahren, wie Sie verschiedene Audioeingabemethoden einrichten, darunter Mikrofonaufnahme, Text-to-Speech und die Verarbeitung von Audiodateien.

Erweiterte Konfigurationsoptionen und Feinabstimmung findest du im Konfigurationsleitfaden.