Plugin-Konfiguration

Modellkonfiguration

Erstelle realistische Modellgeneratoren für jede Wiedergabe neu

Für einen zuverlässigen Betrieb mit den Modellen Realistic und Mood-Enabled Realistic sollte der Generator vor jeder neuen Audiowiedergabe neu erstellt werden, anstatt ihn über lange Stillephasen hinweg wiederzuverwenden. Weitere Details finden Sie unter Generator Recreation in der Fehlerbehebung.

Standardmodell-Konfiguration

Der Node Create Runtime Viseme Generator verwendet Standardeinstellungen, die für die meisten Szenarien gut funktionieren. Die Konfiguration erfolgt über die Eigenschaften des Blending-Nodes im Animation Blueprint.

Für die Konfigurationsoptionen des Animation Blueprint siehe den Abschnitt Lip Sync-Konfiguration unten.

Realistische Modellkonfiguration

Der Node Create Realistic MetaHuman Lip Sync Generator akzeptiert einen optionalen Parameter Configuration, mit dem du das Verhalten des Generators anpassen kannst:

Modelltyp

Die Einstellung Modelltyp bestimmt, welche Version des realistischen Modells verwendet wird:

Modelltyp	Leistung	Visuelle Qualität	Rauschbehandlung	Empfohlene Anwendungsfälle
Hochgradig optimiert (Standard)	Höchste Leistung, geringste CPU-Auslastung	Gute Qualität	Kann bei Hintergrundgeräuschen oder Nicht-Sprachgeräuschen deutliche Mundbewegungen zeigen	Saubere Audioumgebungen, leistungskritische Szenarien
Semi-optimiert	Gute Leistung, moderate CPU-Auslastung	Hohe Qualität	Bessere Stabilität bei verrauschtem Audio	Ausgewogene Leistung und Qualität, gemischte Audiobedingungen
Original	Geeignet für den Echtzeiteinsatz auf modernen CPUs	Höchste Qualität	Am stabilsten bei Hintergrundgeräuschen und Nicht-Sprachgeräuschen	Hochwertige Produktionen, verrauschte Audioumgebungen, wenn maximale Genauigkeit erforderlich ist

Leistungseinstellungen

Intra-Op-Threads: Steuert die Anzahl der Threads, die für interne Verarbeitungsvorgänge des Modells verwendet werden.

• 0 (Standard/Automatisch): Verwendet automatische Erkennung (typischerweise 1/4 der verfügbaren CPU-Kerne, maximal 4)
• 1-16: Thread-Anzahl manuell festlegen. Höhere Werte können die Leistung auf Mehrkernsystemen verbessern, verbrauchen aber mehr CPU

Inter-Op-Threads: Steuert die Anzahl der Threads, die für die parallele Ausführung verschiedener Modelloperationen verwendet werden.

• 0 (Standard/Automatisch): Verwendet automatische Erkennung (typischerweise 1/8 der verfügbaren CPU-Kerne, maximal 2)
• 1-8: Thread-Anzahl manuell festlegen. Wird für die Echtzeitverarbeitung normalerweise niedrig gehalten

Verarbeitung der Chunk-Größe

Die Processing Chunk Size bestimmt, wie viele Samples in jedem Inferenzschritt verarbeitet werden. Der Standardwert ist 160 Samples (10 ms Audio bei 16 kHz):

• Kleinere Werte liefern häufigere Aktualisierungen, erhöhen aber die CPU-Auslastung
• Größere Werte reduzieren die CPU-Last, können aber die Reaktionsfähigkeit des Lip Sync verringern
• Es wird empfohlen, Vielfache von 160 für eine optimale Ausrichtung zu verwenden

Konfiguration des stimmungsfähigen Modells

Der Node Create Realistic MetaHuman Lip Sync With Mood Generator bietet zusätzliche Konfigurationsoptionen über das grundlegende realistische Modell hinaus:

Grundkonfiguration

Lookahead Ms: Lookahead-Zeit in Millisekunden für eine verbesserte Lip-Sync-Genauigkeit.

• Standard: 80ms
• Bereich: 20ms bis 200ms (muss durch 20 teilbar sein)
• Höhere Werte sorgen für eine bessere Synchronisierung, erhöhen jedoch die Latenz

Ausgabetyp: Legt fest, welche Gesichtskontrollen generiert werden.

• Volles Gesicht: Alle 81 Gesichtskontrollen (Augenbrauen, Augen, Nase, Mund, Kiefer, Zunge)
• Nur Mund: Nur mund-, kiefer- und zungenbezogene Kontrollen

Leistungseinstellungen: Verwendet dieselben Einstellungen für Intra Op Threads und Inter Op Threads wie das reguläre realistische Modell.

Stimmungseinstellungen

Verfügbare Stimmungen:

• Neutral, Fröhlich, Traurig, Ekel, Wut, Überraschung, Angst
• Selbstbewusst, Aufgeregt, Gelangweilt, Verspielt, Verwirrt

Stimmungsintensität: Steuert, wie stark die Stimmung die Animation beeinflusst (0,0 bis 1,0)

Laufzeit-Stimmungssteuerung

Sie können die Stimmungseinstellungen zur Laufzeit mit den folgenden Funktionen anpassen:

• Stimmung festlegen: Ändert den aktuellen Stimmungstyp
• Stimmungsintensität festlegen: Passt an, wie stark die Stimmung die Animation beeinflusst (0.0 bis 1.0)
• Lookahead-Ms festlegen: Ändert das Lookahead-Timing für die Synchronisierung
• Ausgabetyp festlegen: Wechselt zwischen den Steuerungen „Ganzes Gesicht" und „Nur Mund"

Leitfaden zur Stimmungsauswahl

Wählen Sie passende Stimmungen basierend auf Ihrem Inhalt aus:

Mood	Am besten geeignet für	Typischer Intensitätsbereich
Neutral	Allgemeine Konversation, Erzählung, Standardzustand	0.5 - 1.0
Fröhlich	Positive Inhalte, heitere Dialoge, Feierlichkeiten	0.6 - 1.0
Traurig	Melancholische Inhalte, emotionale Szenen, bedrückende Momente	0.5 - 0.9
Ekel	Negative Reaktionen, abstoßende Inhalte, Ablehnung	0.4 - 0.8
Wut	Aggressive Dialoge, konfrontative Szenen, Frustration	0.6 - 1.0
Überraschung	Unerwartete Ereignisse, Enthüllungen, Schockreaktionen	0.7 - 1.0
Angst	Bedrohliche Situationen, Beklemmung, nervöse Dialoge	0.5 - 0.9
Selbstbewusst	Professionelle Präsentationen, Führungsdialoge, bestimmte Sprechweise	0.7 - 1.0
Begeistert	Energiegeladene Inhalte, Ankündigungen, enthusiastische Dialoge	0.8 - 1.0
Gelangweilt	Monotone Inhalte, desinteressierte Dialoge, müde Sprechweise	0.3 - 0.7
Verspielt	Lässige Konversation, Humor, unbeschwerte Interaktionen	0.6 - 0.9
Verwirrt	Fragenlastige Dialoge, Unsicherheit, Ratlosigkeit	0.4 - 0.8

Animation Blueprint-Konfiguration

Lip-Sync-Konfiguration

Standardmodell

Der Node Blend Runtime MetaHuman Lip Sync verfügt in seinem Eigenschaftenpanel über Konfigurationsoptionen:

Eigenschaft	Standard	Beschreibung
Interpolationsgeschwindigkeit	25	Steuert, wie schnell die Lippenbewegungen zwischen Visemen wechseln. Höhere Werte führen zu schnelleren, abrupteren Übergängen.
Zurücksetzungszeit	0.2	Die Dauer in Sekunden, nach der das Lip Sync zurückgesetzt wird. Dies ist nützlich, um zu verhindern, dass das Lip Sync nach dem Ende der Audioausgabe weiterläuft.

Lachanimation

Du kannst auch Lachanimationen hinzufügen, die dynamisch auf im Audio erkanntes Lachen reagieren:

1. Füge den Node Blend Runtime MetaHuman Laughter hinzu
2. Verbinde deine Variable RuntimeVisemeGenerator mit dem Pin Viseme Generator
3. Wenn du bereits Lip Sync verwendest:
   • Verbinde die Ausgabe des Blend Runtime MetaHuman Lip Sync-Nodes mit der Source Pose des Blend Runtime MetaHuman Laughter-Nodes
   • Verbinde die Ausgabe des Blend Runtime MetaHuman Laughter-Nodes mit dem Result-Pin der Output Pose
4. Wenn nur Lachen ohne Lip Sync verwendet wird:
   • Verbinde deine Quell-Pose direkt mit der Source Pose des Blend Runtime MetaHuman Laughter-Nodes
   • Verbinde die Ausgabe mit dem Result-Pin

Wenn im Audio Lachen erkannt wird, animiert sich dein Charakter dynamisch entsprechend:

Lachen-Konfiguration

Der Node Blend Runtime MetaHuman Laughter verfügt über eigene Konfigurationsoptionen:

Eigenschaft	Standard	Beschreibung
Interpolationsgeschwindigkeit	25	Steuert, wie schnell die Lippenbewegungen zwischen den Lachanimationen übergehen. Höhere Werte führen zu schnelleren, abrupteren Übergängen.
Zurücksetzungszeit	0.2	Die Dauer in Sekunden, nach der das Lachen zurückgesetzt wird. Dies ist nützlich, um zu verhindern, dass das Lachen nach dem Ende der Audioausgabe weiterläuft.
Maximales Lachgewicht	0.7	Skaliert die maximale Intensität der Lachanimation (0.0 - 1.0).

Hinweis: Die Lacherkennung ist derzeit nur mit dem Standard Model verfügbar.

Realistische Modelle

Der Node Blend Realistic MetaHuman Lip Sync verfügt über Konfigurationsoptionen in seinem Eigenschaftenbereich:

Eigenschaft	Standard	Beschreibung
Interpolationsgeschwindigkeit	30	Steuert, wie schnell Gesichtsausdrücke während aktiver Sprache übergehen. Höhere Werte führen zu schnelleren, abrupteren Übergängen.
Leerlauf-Interpolationsgeschwindigkeit	15	Steuert, wie schnell Gesichtsausdrücke in den Leerlauf-/Neutralzustand zurückkehren. Niedrigere Werte erzeugen weichere, allmählichere Rückkehr zur Ruhepose.
Zurücksetzungszeit	0.2	Dauer in Sekunden, nach der Lip Sync in den Leerlaufzustand zurückgesetzt wird. Nützlich, um zu verhindern, dass Ausdrücke nach dem Ende der Audiowiedergabe fortbestehen.
Leerlaufzustand beibehalten	false	Wenn aktiviert, wird der letzte emotionale Zustand während Leerlaufphasen beibehalten, anstatt auf neutral zurückzusetzen.
Augenausdrücke beibehalten	true	Steuert, ob augenbezogene Gesichtssteuerungen während des Leerlaufzustands beibehalten werden. Nur wirksam, wenn Leerlaufzustand beibehalten aktiviert ist.
Brauenausdrücke beibehalten	true	Steuert, ob augenbrauenbezogene Gesichtssteuerungen während des Leerlaufzustands beibehalten werden. Nur wirksam, wenn Leerlaufzustand beibehalten aktiviert ist.
Mundform beibehalten	false	Steuert, ob Mundform-Steuerungen (mit Ausnahme sprachspezifischer Bewegungen wie Zunge und Kiefer) während des Leerlaufzustands beibehalten werden. Nur wirksam, wenn Leerlaufzustand beibehalten aktiviert ist.

Erhaltung des Ruhezustands

Die Funktion Preserve Idle State befasst sich damit, wie das Realistic-Modell Stillephasen handhabt. Anders als das Standard-Modell, das diskrete Viseme verwendet und während Stille konsequent auf Nullwerte zurückkehrt, kann das neuronale Netz des Realistic-Modells eine subtile Gesichtspositionierung beibehalten, die von der Standard-Ruhepose des MetaHuman abweicht.

Wann aktivieren:

• Beibehaltung emotionaler Ausdrücke zwischen Sprachsegmenten
• Bewahrung der Persönlichkeitsmerkmale von Charakteren
• Gewährleistung der visuellen Kontinuität in filmischen Sequenzen

Regionale Steuerungsoptionen:

• Augenausdrücke: Bewahrt Augen-Zusammenkneifen, Weiten und Augenlidpositionierung
• Brauenausdrücke: Behält die Positionierung von Augenbrauen und Stirn bei
• Mundform: Behält die allgemeine Mundwölbung bei und ermöglicht gleichzeitig, dass Sprachbewegungen (Zunge, Kiefer) zurückgesetzt werden

Kombination mit vorhandenen Animationen

Video-Walkthrough

Siehst du lieber zu, statt zu lesen? Schau dir das Video-Tutorial an, das genau diese Einrichtung behandelt.

Um Lip Sync und Lachen zusammen mit vorhandenen Körperanimationen und benutzerdefinierten Gesichtsanimationen anzuwenden, ohne diese zu überschreiben:

Körperanimationen

Diese Einrichtung gilt für das Animation Blueprint des Gesichts, da Lip Sync nicht Teil des Animation Blueprint des Körpers ist. Für benutzerdefinierte Körperanimationen (z. B. Torso, Arme und andere Körperbewegungen) verbinden Sie einfach Ihre Animationssequenz (über einen Sequence Player) direkt mit der Ausgabepose im Animation Blueprint des Körpers. Dort ist keine zusätzliche Einrichtung erforderlich.

1. Füge einen Layered blend per bone-Node zwischen deinen Körperanimationen und der finalen Ausgabe hinzu.
2. Konfiguriere das Layer-Setup:
   • Füge 1 Element zum Array Layer Setup hinzu
   • Füge 3 Elemente zu den Branch Filters für die Ebene hinzu, mit den folgenden Bone Names:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Wichtig für benutzerdefinierte Gesichtsanimationen: Wählen Sie in der Curve Blend Option „Use Max Value" aus. Dadurch können benutzerdefinierte Gesichtsanimationen (Ausdrücke, Emotionen usw.) ordnungsgemäß über dem Lip Sync eingeblendet werden.
4. Stellen Sie die Verbindungen her:
   • Deine benutzerdefinierte Animation (typischerweise ein Sequence Player mit dem gewünschten Animationssequenz-Asset) → Base Pose-Eingang
   • Gesichtsanimation-Ausgabe (von Lip-Sync- und/oder Lach-Knoten) → Blend Poses 0-Eingang
   • Geschichteter Blend-Knoten → finale Result-Pose

Morph-Target-Set-Auswahl

Standardmodell

Das Standardmodell verwendet Pose Assets, die von Natur aus jede Namenskonvention für Morph Targets über das individuelle Pose-Asset-Setup unterstützen. Es ist keine zusätzliche Konfiguration erforderlich.

Realistische Modelle

Der Node Blend Realistic MetaHuman Lip Sync enthält eine Eigenschaft Morph Target Set, die festlegt, welche Namenskonvention für Morph Targets bei der Gesichtsanimation verwendet wird:

Morph Target-Set	Beschreibung	Anwendungsfälle
MetaHuman (Standard)	Standard-MetaHuman-Morph-Target-Namen (z. B. CTRL_expressions_jawOpen)	MetaHuman-Charaktere
ARKit	Apple ARKit-kompatible Namen (z. B. JawOpen, MouthSmileLeft)	ARKit-basierte Charaktere

Umwandlung von Charakteren in ARKit- oder MetaHuman-Blendshapes

Wenn dein Charakter nicht nativ die ARKit-Standard-Blendshape-Namen verwendet, können mehrere beliebte kommerzielle Charaktersysteme konvertiert werden, um diese zu erzeugen (oder, für CC5, direkt in native MetaHuman-Blendshapes konvertiert werden). Dadurch erhältst du Zugriff auf das oben genannte ARKit- oder MetaHuman-Morph-Target-Set, anstelle des manuellen Viseme-Mapping-Prozesses, der für das Standardmodell erforderlich ist.

Konvertierungsanleitungen für Reallusion CC4/CC5 und Daz Genesis 8.1/9 (zum Erweitern klicken)

Reallusion CC4/CC5

CC4- und CC5-Charaktere werden hier unterschiedlich behandelt, da CC5-Charaktere das native Gesichts-Rig von MetaHuman gemeinsam nutzen können, anstatt überhaupt eine ARKit-Konvertierung zu benötigen.

CC5: In MetaHuman-Blendshapes umwandeln (empfohlen)

Wenn dein Charakter in CC5 mit dem HD-Gesichtsprofil erstellt wurde, teilt er bereits die Gesichtssteuerungen und das Skelett von MetaHuman, sodass keine manuelle Erstellung von ARKit-Blendshapes erforderlich ist. Sieh dir das folgende Video an, um den vollständigen Export-/Import-Workflow mit Reallusions kostenlosem Auto Setup (All-in-One)-Plugin zu erfahren:

Nach dem Import wählen Sie die Option MetaHuman Morph Target Set anstelle von ARKit, da die Blendshapes des Charakters bereits die native MetaHuman-Benennung verwenden.

CC4 (oder CC5 ohne das HD-Profil): in ARKit-Blendshapes umwandeln

Wenn du CC4 verwendest oder einen CC5-Charakter, der nicht das HD-Gesichtsprofil nutzt, verwende stattdessen die manuelle ARKit-Konvertierung. Stelle vor dem Start sicher, dass das Facial Profile deines Charakters auf CC4 Extended gesetzt ist (nicht Standard, Extended-Plus oder das neuere HD Facial Profile). Das Blendshape-Mapping des Skripts ist fest auf die Slider-Namen von Extended ausgelegt; andere Profile verwenden abweichende Namenskonventionen, und das Skript überspringt die erwarteten Slider stillschweigend oder findet sie nicht.

1. Lade dieses Skript herunter: rl_export_arkit_objs.py

2. Öffne das Skript in einem Texteditor und weise dort, wo output_dir = "path/to/your/target/folder" steht, den Pfad zu deinem Exportordner zu. Achte darauf, Vorwärtsschrägstriche / zu verwenden.

3. Wähle in Character Creator deinen Charakter aus und wähle dann im oberen Menü unter Script die Option Load Python. Wähle anschließend das Skript aus, das du gerade bearbeitet hast. Das Skript erstellt nun den vollständigen Satz von ARKit-Blendshapes aus den Standard-Reallusion-Slidern und exportiert sie als OBJ-Dateien. Dies kann einige Minuten dauern.

   

4. Du kannst diese Shapes jetzt importieren, indem du zum Fenster Facial Profile Editor gehst. Klicke auf die Schaltfläche Edit Expressions und wähle im Drop-down-Menü Batch Import die Option OBJ aus.

   

5. Hier kannst du den Ordner importieren, auf den du zuvor verwiesen hast. Anschließend werden alle ARKit-Shapes aufgelistet. Schreibe einen Namen in die Target Category, z. B. AR_Kit, und klicke auf OK.

   

6. Dadurch wurde eine neue Kategorie unter Expression erstellt. Sie können alle anderen Kategorien deaktivieren.

   

Sobald die ARKit-Kategorie eingerichtet ist, exportiere deinen Charakter wie gewohnt als FBX. Dadurch erhält der Charakter die standardmäßigen 52 ARKit-Blendshapes, die du dann mit der Option ARKit Morph Target Set oben verwenden kannst.

Hinweis: Die Kieferbewegung wird im Rig von CC4 teilweise durch Knochenrotation statt durch reine Blendshapes angetrieben, daher kann jawOpen nach dem Export schwach wirken oder den Mund nicht überzeugend öffnen. Wenn dies passiert, aktiviere Mouth Open as Morph in den FBX-Exportoptionen; dadurch wird die knochengesteuerte Bewegung des Kiefers in ein dediziertes Blendshape gebacken, das anstelle des Standard-Blendshapes als Quelle für jawOpen zugewiesen werden kann. Alternativ kann das Add-on cc_blender_tools die Figur über Blender leiten, um dies und andere Shape-Probleme zu beheben; siehe den Abschnitt „Blender Round Trip“ in seiner Dokumentation für den Workflow (der Seitentitel erwähnt Unity, aber dieser spezifische Abschnitt ist engine-unabhängig).

Daz Genesis 8/8.1/9

Die FACS-Morphs von Daz, die nativ auf Genesis 8.1 und Genesis 9 verfügbar sind, sind bereits ARKit-kompatibel, ohne dass eine Umbenennung erforderlich ist. Das einfache Genesis 8 (nicht 8.1) enthält diese standardmäßig nicht. Du musst entweder Genesis 8.1 verwenden oder ein separates FACS-Morph-Paket hinzufügen.

Das aktiv gepflegte Diffeomorphic-Add-on (eine Brücke zwischen Daz Studio und Blender, nicht mit Daz 3D verbunden) ist der empfohlene Weg, diese in Unreal zu importieren:

1. Verwende in Blender das Easy Import DAZ-Tool von Diffeomorphic mit dem korrekten Generations-Preset (G8.1 oder G9) und aktivierter FACS-Importoption. Siehe die Easy Import DAZ-Anleitung.
2. Dadurch werden die FACS-Morphs als Blender-Shape-Keys importiert. Exportiere die Figur als FBX aus Blender, und die Shape-Key-Namen werden als Morph-Target-Namen übernommen.

Nach dem Export verwenden Sie oben die Option ARKit Morph Target Set.

Hinweis: Die Formen für die Blickrichtung der Augen auf den Wimpern und Augäpfeln werden möglicherweise nicht vollständig übernommen, da sie anders als das Hauptgesichtsmesh gesteuert werden. Dies beeinträchtigt jedoch nicht das Lip Sync, das nur Mund- und Kieferformen benötigt.

Feinabstimmung des Lip-Sync-Verhaltens

Skalierung spezifischer Lip-Sync-Kurven

Du kannst einzelne Gesichtsbewegungen, die durch Lip Sync erzeugt werden, mit einem Modify Curve-Node dämpfen (oder verstärken). Das ist nützlich, wenn eine bestimmte Kurve für deinen Audioinhalt oder Charakter zu ausgeprägt wirkt.

Einrichtung:

1. Füge nach deinem Lip-Sync-Blend-Node einen Modify Curve-Node hinzu
2. Klicke mit der rechten Maustaste auf den Node und wähle Add Curve Pin, dann gib den Namen der Kurve ein, die du skalieren möchtest
3. Setze die Eigenschaft Apply Mode des Nodes auf Scale
4. Setze den Parameter Value: Werte unter 1,0 dämpfen die Bewegung, Werte über 1,0 verstärken sie (z. B. 0,8 = 20 % Reduktion)

Häufig skalierte Kurven:

Kurvenname	Zweck	Gilt für	Typische Anpassung
CTRL_expressions_tongueOut	Vorwärtsbewegung der Zunge bei bestimmten Phonemen	Standardmodell	0.8, um das Hervortreten zu reduzieren
CTRL_expressions_jawOpen	Öffnungsbereich des Kiefers	Realistische Modelle	0.9, um die Kieferbewegung zu reduzieren

Du kannst mehrere Kurven-Pins zum selben Modify Curve-Node hinzufügen, um mehrere Kurven gleichzeitig zu skalieren.

Stimmungsabhängige Feinabstimmung

Für Modelle mit Stimmungsunterstützung können Sie bestimmte emotionale Ausdrücke feinabstimmen:

Augenbrauen-Steuerung:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - Inneres Anheben der Augenbraue
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Äußeres Anheben der Augenbraue
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Senken der Augenbraue

Augenausdruckssteuerung:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR – Augen zusammenkneifen
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR – Wangenheben

Modellvergleich und -auswahl

Auswahl zwischen Modellen

Bei der Entscheidung, welches Lip-Sync-Modell Sie für Ihr Projekt verwenden sollten, berücksichtigen Sie diese Faktoren:

Zu berücksichtigen	Standardmodell	Realistisches Modell	Realistisches Modell mit Stimmungen
Zeichenkompatibilität	MetaHumans und alle benutzerdefinierten Zeichentypen	MetaHumans (und ARKit)-Zeichen	MetaHumans (und ARKit)-Zeichen
Visuelle Qualität	Gute Lip Sync mit effizienter Leistung	Verbesserter Realismus mit natürlicheren Mundbewegungen	Verbesserter Realismus mit emotionalen Ausdrücken
Leistung	Optimiert für alle Plattformen einschließlich Mobil/VR	Höherer Ressourcenbedarf	Höherer Ressourcenbedarf
Funktionen	14 Viseme, Lacherkennung	81 Gesichtssteuerungen, 3 Optimierungsstufen	81 Gesichtssteuerungen, 12 Stimmungen, konfigurierbare Ausgabe
Plattformunterstützung	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Anwendungsfälle	Allgemeine Anwendungen, Spiele, VR/AR, Mobil	Filmische Erlebnisse, Nahaufnahme-Interaktionen	Emotionales Storytelling, fortgeschrittene Zeicheninteraktion

Kompatibilität der Engine-Version

UE 5.2 Kompatibilitätsproblem

Wenn Sie Unreal Engine 5.2 verwenden, funktionieren die Realistic Models möglicherweise aufgrund eines Fehlers in der Resampling-Bibliothek von UE nicht korrekt. UE 5.2-Nutzer, die eine zuverlässige Lip-Sync-Funktionalität benötigen, sollten stattdessen das Standard Model verwenden.

Dieses Problem ist spezifisch für UE 5.2 und betrifft andere Engine-Versionen nicht.

Leistungsempfehlungen

• Für die meisten Projekte bietet das Standardmodell eine hervorragende Balance zwischen Qualität und Leistung
• Verwende das realistische Modell, wenn du die höchste visuelle Wiedergabetreue für MetaHuman-Charaktere benötigst
• Verwende das stimmungsfähige realistische Modell, wenn die Steuerung des emotionalen Ausdrucks für deine Anwendung wichtig ist
• Berücksichtige die Leistungsfähigkeit deiner Zielplattform, wenn du zwischen den Modellen wählst
• Teste verschiedene Optimierungsstufen, um die beste Balance für deinen spezifischen Anwendungsfall zu finden

Fehlerbehebung

Häufige Probleme

Generator-Neuerstellung für realistische Modelle: Für einen zuverlässigen und konsistenten Betrieb mit den realistischen Modellen wird empfohlen, den Generator jedes Mal neu zu erstellen, wenn Sie nach einer Phase der Inaktivität neue Audiodaten einspeisen möchten. Dies liegt am Verhalten der ONNX-Laufzeit, das dazu führen kann, dass die Lippen synchronisation nicht mehr funktioniert, wenn Generatoren nach Phasen der Stille wiederverwendet werden.

Zum Beispiel könntest du den Lip-Sync-Generator bei jedem Wiedergabestart neu erstellen, etwa immer wenn du Play Sound 2D aufrufst oder eine andere Methode verwendest, um die Wiedergabe der Schallwelle und das Lip-Sync zu starten:

Speicherort des Plugins für die Runtime Text To Speech-Integration: Wenn Sie Runtime MetaHuman Lip Sync zusammen mit Runtime Text To Speech verwenden (beide Plugins nutzen ONNX Runtime), können Probleme auftreten, wenn die Plugins im Marketplace-Ordner der Engine installiert sind. So beheben Sie das:

1. Finde beide Plugins in deinem UE-Installationsordner unter \Engine\Plugins\Marketplace (z. B. C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. Verschiebe sowohl den Ordner RuntimeMetaHumanLipSync als auch den Ordner RuntimeTextToSpeech in den Ordner Plugins deines Projekts
3. Wenn dein Projekt keinen Ordner Plugins hat, erstelle einen im selben Verzeichnis wie deine .uproject-Datei
4. Starte den Unreal Editor neu

Dies behebt Kompatibilitätsprobleme, die auftreten können, wenn mehrere auf ONNX Runtime basierende Plugins aus dem Marketplace-Verzeichnis der Engine geladen werden.

Paketierungskonfiguration (Windows): Wenn Lip Sync in Ihrem paketierten Projekt unter Windows nicht korrekt funktioniert, stellen Sie sicher, dass Sie die Build-Konfiguration Shipping anstelle von Development verwenden. Die Development-Konfiguration kann in paketierten Builds Probleme mit der ONNX-Runtime für realistische Modelle verursachen.

Um das zu beheben:

1. In den Projekteinstellungen → Packaging stellst du die Build-Konfiguration auf Shipping ein
2. Packe dein Projekt neu

Nur-Blueprint-Projekte

In einigen reinen Blueprint-Projekten kann Unreal Engine selbst dann noch in der Development-Konfiguration bauen, wenn Shipping ausgewählt ist. Wenn dies passiert, konvertiere dein Projekt in ein C++-Projekt, indem du mindestens eine C++-Klasse hinzufügst (sie kann leer sein). Gehe dazu im UE-Editor-Menü zu Tools → New C++ Class und erstelle eine leere Klasse. Dadurch wird das Projekt gezwungen, korrekt in der Shipping-Konfiguration zu bauen. Dein Projekt kann funktional weiterhin rein auf Blueprint basieren; die C++-Klasse wird nur für eine ordnungsgemäße Build-Konfiguration benötigt.

Beeinträchtigte Lip-Sync-Reaktionsfähigkeit: Wenn Sie feststellen, dass die Lip-Sync-Reaktionsfähigkeit bei Verwendung von Streaming Sound Wave oder Capturable Sound Wave mit der Zeit nachlässt, kann dies durch Speicheransammlung verursacht werden. Standardmäßig wird der Speicher jedes Mal neu zugewiesen, wenn neues Audio angehängt wird. Um dieses Problem zu vermeiden, rufen Sie die Funktion ReleaseMemory regelmäßig auf, um den angesammelten Speicher freizugeben, etwa alle 30 Sekunden.

Leistungsoptimierung:

• Passe die Verarbeitungs-Chunk-Größe für Realistic-Modelle an deine Leistungsanforderungen an
• Verwende geeignete Thread-Anzahlen für deine Zielhardware
• Erwäge die Verwendung des Ausgabetyps „Nur Mund“ für Modelle mit Stimmungsunterstützung, wenn keine vollständige Gesichtsanimation benötigt wird