Zum Hauptinhalt springen

Übersicht

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync ist ein Plugin, das Echtzeit-, Offline- und plattformübergreifende Lip Sync für sowohl MetaHuman- als auch benutzerdefinierte Charaktere ermöglicht. Es erlaubt Ihnen, die Lippen eines Charakters als Reaktion auf Audioeingaben aus verschiedenen Quellen zu animieren, darunter:

Das Plugin erzeugt intern Viseme (visuelle Darstellungen von Phonemen) auf Basis der Audioeingabe. Da es direkt mit Audiodaten statt mit Text arbeitet, unterstützt das Plugin mehrsprachige Eingaben, einschließlich, aber nicht beschränkt auf Englisch, Spanisch, Französisch, Deutsch, Japanisch, Chinesisch, Koreanisch, Russisch, Italienisch, Portugiesisch, Arabisch und Hindi. Buchstäblich jede Sprache wird unterstützt, da das Lip Sync aus Audio-Phonemen statt aus sprachspezifischer Textverarbeitung generiert wird.

Das Standardmodell erzeugt 14 Viseme und führt die Lip-Sync-Animation mithilfe eines vordefinierten Pose-Assets aus. Im Gegensatz dazu erzeugen die realistischen Modelle (exklusiv für MetaHuman- und ARKit-basierte Charaktere) 81 Änderungen der Gesichtskontrolle, ohne auf ein vordefiniertes Pose-Asset zurückzugreifen, was zu deutlich realistischeren Gesichtsanimationen führt.

Zeichenkompatibilität​

Trotz seines Namens funktioniert Runtime MetaHuman Lip Sync mit einer Vielzahl von Charakteren, die über MetaHumans hinausgehen:

  • Daz Genesis 8/9-Charaktere
  • Reallusion Character Creator 3/4/5-Charaktere (CC3/CC4/CC5)
  • Mixamo-Charaktere

Unterstützung für Animationsstandards​

  • FACS-basierte Blendshape-Systeme
  • Apple ARKit Blendshape-Standard
  • Preston-Blair-Phonemsätze
  • 3ds Max Phonem-Systeme
  • Jede Figur mit benutzerdefinierten Morph Targets für Gesichtsausdrücke

Viele gängige Systeme, darunter Reallusion CC4/CC5 und Daz Genesis 8.1/9, können ebenfalls so konvertiert werden, dass sie die ARKit-Standard-Blendshape-Namen verwenden. Dadurch kannst du das Realistic Model für diese Charaktere mit seiner hochwertigeren Gesichtsanimation als Alternative zur manuellen Viseme-Zuordnung des Standard Model verwenden. Details findest du unter Charaktere in ARKit-Blendshapes konvertieren.

Für Nicht-MetaHuman-Charaktere, die das Standardmodell verwenden, siehe die Anleitung zur Einrichtung benutzerdefinierter Charaktere. Für andere Charaktere, die die realistischen Modelle verwenden, wie ARKit, CC5/CC4 und ähnliche auf Morph Targets basierende Rigs, siehe Auswahl des Morph-Target-Sets.

Animationsvorschau​

Sieh dir diese kurzen Animationen an, um die Qualität der vom Plugin erzeugten Lip-Sync-Animation für verschiedene Charaktertypen und -modelle zu sehen:

Realistisches Modell mit MetaHuman-Charakter
Standardmodell mit MetaHuman-Charakter
Standardmodell mit benutzerdefiniertem Charakter
Standardmodell mit benutzerdefiniertem Charakter

Hauptmerkmale​

Lip-Sync-Modelle​

Das Plugin bietet mehrere Lip-Sync-Modelle, um unterschiedliche Projektanforderungen zu erfüllen:

Das Standard-Lip-Sync-Modell bietet effiziente, plattformübergreifende Leistung mit breiter Charakterkompatibilität:

  • Funktioniert mit MetaHumans und allen benutzerdefinierten Charaktertypen
  • Für Echtzeit-Leistung optimiert
  • Geringerer Ressourcenbedarf
  • Plattformunterstützung: Windows, Android, Android-basierte Plattformen (einschließlich Meta Quest)
Erweiterungs-Plugin erforderlich

Um das Standardmodell zu verwenden, musst du ein zusätzliches Erweiterungs-Plugin installieren. Siehe den Abschnitt Voraussetzungen für Installationsanweisungen.

Wählen Sie das passende Modell basierend auf den Anforderungen Ihres Projekts an Leistung, Charakterkompatibilität, visuelle Qualität, Zielplattform und Funktionsumfang.

So funktioniert es​

Das Plugin verarbeitet Audioeingaben auf folgende Weise:

  1. Audiodaten werden als Float-PCM-Format mit angegebenen Kanälen und Abtastrate empfangen
  2. Das Plugin verarbeitet die Audiodaten, um je nach Modell Gesichtssteuerungsdaten oder Viseme zu erzeugen
  3. Bei stimmungsfähigen Modellen wird der emotionale Kontext auf die Gesichtsanimation angewendet
  4. Die Animationsdaten steuern die Gesichtsbewegungen der Figur in Echtzeit

Leistungsarchitektur​

Runtime MetaHuman Lip Sync verwendet reine CPU-Inferenz, um konsistente Lip-Sync-Ergebnisse mit niedriger Latenz zu liefern, die für Echtzeitanwendungen geeignet sind. Standardmäßig führt das Plugin die Lip-Sync-Verarbeitung alle 10 Millisekunden durch (anpassbar – siehe Plugin-Konfiguration für alle verfügbaren Einstellungen, einschließlich Verarbeitungs-Chunk-Größe, Thread-Anzahl und weiterer Leistungsparameter).

Überblick über die Modellarchitektur​

Die Lip-Sync-Modelle verwenden ein kompaktes transformerbasiertes neuronales Netzwerk, das Audio durch Mel-Spektrogramm-Analyse verarbeitet. Diese leichtgewichtige Architektur ist speziell auf Echtzeitleistung mit effizienter CPU-Inferenz und minimalem Speicherbedarf ausgelegt.

Warum CPU-Inferenz?​

Für kleine, häufige Inferenzoperationen wie Echtzeit-Lip-Sync bietet die CPU-Verarbeitung bessere Latenzeigenschaften als die GPU. Bei Batch-Größe 1 mit Inferenzintervallen von 10-100 ms übersteigt der GPU-Overhead durch PCIe-Transfers und Kernel-Starts oft die tatsächliche Rechenzeit. Zudem ist die GPU in Game Engines bereits durch Rendering, Shader und Physik ausgelastet, was zu Ressourcenkonkurrenz führt und unvorhersehbare Latenzspitzen verursacht.

Hardware-Kompatibilität​

Das Plugin arbeitet effizient auf den meisten Mittelklasse- und höheren CPUs, ohne dedizierte Grafikhardware zu benötigen, und bietet Echtzeitleistung auf Desktop-, Mobil- und VR-Plattformen. Bei schwächerer Hardware kannst du den Model Type auf Semi-Optimized oder Highly Optimized einstellen oder die Processing Chunk Size erhöhen, um die Echtzeitleistung bei etwas geringerer Reaktionsfähigkeit aufrechtzuerhalten.

Schnellstart​

Hier ist eine grundlegende Einrichtung, um Lip Sync für deinen Charakter zu aktivieren:

  1. Befolge für MetaHuman-Charaktere die Einrichtungsanleitung
  2. Befolge für benutzerdefinierte Charaktere die Anleitung zur Einrichtung benutzerdefinierter Charaktere
  3. Wähle dein bevorzugtes Lip-Sync-Modell und konfiguriere es
  4. Richte die Audioeingabeverarbeitung in deinem Blueprint ein
  5. Verbinde den passenden Lip-Sync-Knoten im Animation Blueprint
  6. Spiele Audio ab und sieh, wie dein Charakter synchron animiert wird

Optionale Augenanimation​

Das Plugin enthält außerdem optionale Hilfsfunktionen für automatisches Blinzeln und Blickverfolgung bei MetaHumans. Diese sind unabhängig vom Lip Sync und können eigenständig oder zusätzlich dazu verwendet werden. Siehe Hilfsfunktionen für Augenanimation.

Zusätzliche Ressourcen​

📦 Downloads & Links​

Demo-Projekte:

Zwei sofort einsatzbereite Demo-Projekte stehen zur Verfügung – siehe die spezielle Seite Demo-Projekte für alle Details, Downloads und Schritt-für-Schritt-Anleitungen:

Beide Demos sind plattformübergreifend (Windows, Mac, Linux, iOS, Android, Meta Quest) und werden als gepackte Builds sowie als vollständige UE 5.6+ Quellprojekte bereitgestellt.

🎥 Video-Tutorials​

Vorgestellte Demos:​

Tutorials für das realistische Modell (hohe Qualität):​

Tutorials für Standardmodelle:​

Allgemeine Einrichtung:​

💬 Support​

  • Individuelle Entwicklung: solutions@georgy.dev (maßgeschneiderte Lösungen für Teams & Organisationen)
Join our Discord
online · support