Demo-Projekte

Um Ihnen den schnellen Einstieg mit Runtime MetaHuman Lip Sync zu ermöglichen, stehen zwei sofort einsetzbare Demoprojekte zur Verfügung. Beide basieren auf Unreal Engine 5.6+, sind Blueprint-only und laufen plattformübergreifend auf Windows, Mac, Linux, iOS, Android sowie Android-basierten Plattformen (einschließlich Meta Quest).

Verfügbare Demoprojekte

AI Conversational NPC

Ein vollständiger Workflow für KI-NPC-Gespräche, der Spracherkennung, einen KI-Chatbot (LLM), Text-to-Speech und Audio-Wiedergabe mit Echtzeit-Lippensynchronisation kombiniert - alles läuft zusammen in einem einzigen Projekt.

Pipeline-Übersicht

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

Videos

Kurzvorschau (~30 Sek.)

Eine kurze Vorstellung der Demo in Aktion.

Komplette Anleitung

Eine detaillierte Anleitung, die Einrichtung, Konfiguration und die gesamte Konversations-Pipeline abdeckt.

Downloads

• Herunterladen der gepackten Demo (Windows)
• Herunterladen der Quelldateien (UE 5.6+)

Benötigte & Optionale Plugins

Das Demoprojekt ist modular – Sie benötigen nur die Plugins für die Anbieter, die Sie verwenden möchten.

Plugin	Zweck	Erforderlich?
Runtime MetaHuman Lip Sync	Lippensynchronisationsanimation	✅ Immer
Runtime Audio Importer	Audioaufnahme und -verarbeitung	✅ Immer
Runtime Speech Recognizer	Offline-Spracherkennung (whisper.cpp)	✅ Immer
Runtime AI Chatbot Integrator	Externe LLMs (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) und/oder Externe TTS (OpenAI, ElevenLabs)	🔶 Optional
Runtime Local LLM	Lokale LLM-Inferenz über llama.cpp (Llama, Mistral, Gemma, etc., GGUF-Modelle)	🔶 Optional
Runtime Text To Speech	Lokale TTS über Piper und Kokoro	🔶 Optional

Optionale Plugins – Anbieteranforderungen

Obwohl jedes der oben genannten Plugins einzeln optional ist, benötigen Sie mindestens einen LLM-Anbieter und mindestens einen TTS-Anbieter, damit die Demo funktioniert. Mischen Sie frei (z. B. lokaler LLM + ElevenLabs TTS oder OpenAI LLM + lokale TTS).

Modulare Architektur

Im Ordner Content finden Sie einen Ordner Modules, der drei Unterordner enthält:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Wenn Sie eines (oder mehrere) der optionalen Plugins nicht erworben haben, löschen Sie einfach die entsprechenden Ordner. Die Basis-Assets des Demo-Projekts (Spielinstanz, Widgets usw.) verweisen nicht direkt auf diese Module, sodass deren Löschen keine Asset-Referenzfehler verursacht. Die Konfigurations-UI blendet automatisch jeden Anbieter aus, dessen Ordner fehlt.

hinweis

Diese Modularität gilt nur für LLM- und TTS-Anbieter. Spracherkennung (Runtime Speech Recognizer) und Lip-Sync (Runtime MetaHuman Lip Sync) sind Teil des Basis-Demo-Projekts und immer erforderlich.

warnung

Beim ersten Start fragt Unreal möglicherweise, ob fehlende optionale Plugins deaktiviert werden sollen – klicken Sie auf Yes. Stellen Sie sicher, dass Sie auch den entsprechenden Content/Modules/-Ordner gelöscht haben (siehe oben).

Demo-Projekt-Layout

Benutzeroberfläche dient nur zu Demonstrationszwecken

Die unten gezeigte Benutzeroberfläche wurde vollständig mit UMG (Unreal Motion Graphics) erstellt und dient ausschließlich der Demonstration der Pipeline – Spracherkennung → LLM → TTS → Lip-Sync. Sie können sie gerne neu gestalten oder ersetzen, um sie an das visuelle Design, das Steuerungsschema oder die Plattform (VR/AR, Mobilgerät, Konsole usw.) Ihres Spiels anzupassen. Falls bestimmte Widgets in Ihrem Anwendungsfall nicht benötigt werden, können Sie sie auch einfach ausblenden (z. B. deren Sichtbarkeit auf Collapsed oder Hidden setzen).

Bereich	Inhalt
Mitte	Der MetaHuman-Charakter.
Linke Seite	Vier Konfigurationsschaltflächen (Spracherkennung, KI-Chatbot, Text-to-Speech, Animationen), die nachstehend detailliert beschrieben sind.
Untere Mitte	Eine Aufnahme starten-Schaltfläche. Klicken Sie darauf, um eine Sprachkonversation zu beginnen: Ihr Mikrofon wird erfasst, transkribiert, an das LLM gesendet, die Antwort per TTS synthetisiert und mit Lip-Sync abgespielt – vollständig freihändig.
Rechte Mitte	Ein Konversationsverlauf-Widget, das den gesamten Dialog zwischen Ihnen und der KI anzeigt (sowohl Benutzer- als auch Assistenten-Nachrichten). Es enthält auch ein Texteingabefeld, damit Sie Nachrichten direkt eingeben können, ohne Spracherkennung zu verwenden – nützlich zum Testen, für Barrierefreiheit oder wenn kein Mikrofon verfügbar ist.

tipp

Sie können beide Eingabemodi in derselben Sitzung frei mischen – sprechen Sie einige Nachrichten, geben Sie andere ein.

Konfigurationsschaltflächen

Die vier Konfigurationsschaltflächen auf der linken Seite öffnen spezielle Panels für jeden Teil der Pipeline:

1. Spracherkennung konfigurieren

Konfigurieren Sie, wie die Stimme des Benutzers erfasst und transkribiert wird:

• Sprache auswählen
• Spracherkennungsparameter anpassen (Whisper-Modelleinstellungen)
• AEC (Akustische Echounterdrückung) konfigurieren
• VAD (Sprachaktivitätserkennung) konfigurieren

2. KI-Chatbot konfigurieren

Wählen Sie Ihren LLM-Anbieter und konfigurieren Sie ihn:

• Wählen Sie den Anbieter (Runtime AI Chatbot Integrator oder Runtime Local LLM)
• Für externe Anbieter: Auth Token, Modellname usw.
• Für lokales LLM: Wählen Sie ein GGUF-Modell, legen Sie die Kontextgröße und andere Inferenzparameter fest. Sie können auch Ihr eigenes GGUF-Modell zur Laufzeit herunterladen (z. B. per URL) und es sofort ohne Neuerstellung des Projekts verwenden.

tipp

Die Anbieter-Kombobox zeigt nur Anbieter an, deren Plugin-Modulordner in Content/Modules/ vorhanden ist.

3. Text-to-Speech konfigurieren

Wählen Sie Ihren TTS-Anbieter und konfigurieren Sie Stimmen/Modelle:

• Wählen Sie den Anbieter (Runtime AI Chatbot Integrator für OpenAI/ElevenLabs oder Runtime Text To Speech für lokales Piper/Kokoro)
• Wählen Sie Stimme/Modell
• Anbieterspezifische Parameter anpassen

4. Animationen konfigurieren

Steuern Sie die Visuals Ihres KI-NPCs:

• Wählen Sie zwischen 3 vorab heruntergeladenen MetaHuman-Charakteren (Aera, Ada, Orlando)
• Wählen Sie das Lip-Sync-Modell (Standard oder Realistic)
• Wählen Sie den Lip-Sync-Modelltyp – Highly Optimized, Semi-Optimized oder Original (siehe Model Type)
• Passen Sie die Processing Chunk Size an – steuert, wie oft die Lip-Sync-Inferenz ausgeführt wird (siehe Processing Chunk Size)
• Wählen Sie eine Idle-Animation aus, die auf dem MetaHuman während der Unterhaltung abgespielt wird

Vorkonfiguration der Demo im Editor

Bei Verwendung der Quellversion können Sie Standardwerte direkt im Editor vorbelegen, sodass diese nicht bei jedem Start erneut eingegeben werden müssen:

Was	Wo
Allgemeine Einstellungen (Lip-Sync-Modell, Idle-Animation, Charakterklasse, Spracherkennung usw.)	Content/LipSyncSTSGameInstance
Externe LLM / Externe TTS-Einstellungen (Runtime AI Chatbot Integrator)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Lokale LLM-Einstellungen (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
Lokale TTS-Einstellungen (Runtime Text To Speech)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

Plattformübergreifende Hinweise

Alle vom Demo-Projekt verwendeten Plugins unterstützen Windows, Mac, Linux, iOS, Android und Android-basierte Plattformen (einschließlich Meta Quest), sodass das Demo-Projekt auf all diesen ebenfalls funktioniert.

Für schwächere Geräte (Mobilgeräte, Standalone-VR) können Sie Folgendes tun:

• Verwenden Sie das Standard-Lip-Sync-Modell anstelle von Realistic – siehe Modellvergleich
• Wechseln Sie zum Modelltyp Highly Optimized
• Erhöhen Sie die Processing Chunk Size, um die CPU-Last zu reduzieren
• Wählen Sie kleinere LLM-/TTS-Modelle

Weitere Einrichtungsschritte für Android, iOS, Mac und Linux finden Sie unter Plattformspezifische Konfiguration.

Ihren eigenen MetaHuman einbinden

Das Demo-Projekt wird mit drei Beispiel-MetaHuman-Charakteren (Aera, Ada, Orlando) ausgeliefert, aber Sie können Ihren eigenen MetaHuman importieren und in der Demo verwenden.

📺 Video-Tutorial: Hinzufügen eines benutzerdefinierten MetaHuman-Charakters zum Demo-Projekt

hinweis

Das Runtime MetaHuman Lip Sync Plugin selbst unterstützt viele weitere Charaktersysteme über MetaHumans hinaus (ARKit-basierte Charaktere, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe usw. – siehe Anleitung zur Einrichtung benutzerdefinierter Charaktere).

Grundlegende Lip-Sync-Demo

Ein einfacheres Demo-Projekt, das sich ausschließlich auf die Lip-Sync-Funktion selbst konzentriert, ohne den vollständigen KI-Konversationsworkflow. Geeignet, wenn Sie Lip-Sync einfach in Aktion mit verschiedenen Audioquellen sehen möchten.

Vorgestelltes Video

Downloads

• Gepackte Demo herunterladen (Windows)
• Quelldateien herunterladen (UE 5.6+)

Was enthalten ist

Diese Demo zeigt die grundlegenden Lip-Sync-Workflows:

• Mikrofoneingabe – Echtzeit-Lip-Sync von Live-Audio
• Audiodatei-Wiedergabe – Lip-Sync von importierten Audiodateien
• Text-to-Speech – Lip-Sync, gesteuert durch synthetisierte Sprache

Erforderliche & optionale Plugins

Plugin	Zweck	Erforderlich?
Runtime MetaHuman Lip Sync	Lip-Sync-Animation	✅ Erforderlich
Runtime Audio Importer	Audioimport und -aufnahme	✅ Erforderlich
Runtime Text To Speech	Lokales TTS für die TTS-Demo-Szene	🔶 Optional
Runtime AI Chatbot Integrator	Externe TTS-Anbieter (OpenAI, ElevenLabs)	🔶 Optional

Hinweise zum Standard-Lip-Sync-Modell

Wenn Sie das Standard Model (anstelle von Realistic) in einem der Demo-Projekte verwenden möchten, müssen Sie das Standard Lip Sync Extension Plugin installieren. Anweisungen zur Installation finden Sie unter Standard Model Extension.

Brauchen Sie Hilfe?

Wenn Probleme beim Einrichten oder Ausführen der Demo-Projekte auftreten, kontaktieren Sie uns einfach:

Join our Discord

online · support

Für individuelle Entwicklungsanfragen (z. B. Erweitern der Demo um Ihre eigene Logik, Anpassen für eine bestimmte Plattform oder Charakter-Pipeline) kontaktieren Sie solutions@georgy.dev.