Runtime MetaHuman Lip Sync
Dokumentation für das Runtime MetaHuman Lip Sync-Plugin.
Downloads & Links
Demo-Projekte:
Zwei sofort einsatzbereite Demo-Projekte stehen zur Verfügung – siehe die spezielle Seite Demo-Projekte für alle Details, Downloads und Schritt-für-Schritt-Anleitungen:
- Vollständiger KI-Konversations-NPC-Workflow – Spracherkennung + LLM-Chatbot + TTS + Lip Sync
- Einfache Lip-Sync-Demo – Mikrofoneingabe, Audiodateien, TTS
Beide Demos sind plattformübergreifend (Windows, Mac, Linux, iOS, Android, Meta Quest) und werden als gepackte Builds sowie als vollständige UE 5.6+ Quellprojekte ausgeliefert.
Video-Tutorials
Vorgestellte Demos
Realistisches Modell (Hohe Qualität) Tutorials
- Hochwertiges Lip Sync aus Audiodatei/Puffer
- Hochwertiges Lip Sync mit Stimmungssteuerung & lokalem TTS
- Hochwertiges Lip Sync mit ElevenLabs & OpenAI TTS
- Hochwertiges Live-Mikrofon-Lip-Sync
- Hochwertiges Lip Sync für ARKit-Charaktere
- Hochwertiges Lip Sync für Character Creator (CC5)-Charaktere
- Hochwertiges Lip Sync von einem Remote-Server
Standardmodell-Tutorials
- Standard-Live-Mikrofon-Lip-Sync
- Standard-Lip-Sync mit lokaler Text-to-Speech
- Standard-Lip-Sync mit ElevenLabs & OpenAI TTS
Allgemeine Einrichtung
- Hinzufügen eines benutzerdefinierten MetaHuman-Charakters zum Demo-Projekt
- Einrichtungs-Tutorial-Video
- MetaHuman-Augenblinzeln & Kamera-Tracking
- Kombinieren mit Gesichts- und Körperanimationen
Unterstützung
- Plugin-Support & individuelle Entwicklung: solutions@georgy.dev (maßgeschneiderte Lösungen für Teams & Organisationen)
Übersicht
Runtime MetaHuman Lip Sync Documentation
Einrichtungsanleitung
Diese Anleitung führt dich durch den grundlegenden Einrichtungsprozess für Runtime MetaHuman Lip Sync mit deinen MetaHuman-Charakteren.
Audio-Verarbeitungsleitfaden
Erfahren Sie, wie Sie verschiedene Audioeingabemethoden für Lippen-Synchronisation einrichten, einschließlich Mikrofon, TTS und Streaming-Audioquellen.
Plugin-Konfiguration
Erfahren Sie, wie Sie Lip-Sync-Modelle, Animation Blueprints, Stimmungseinstellungen und Leistungsoptionen konfigurieren und häufige Lip-Sync-Probleme beheben.
Augenanimations-Helfer
Optionale Hilfsprogramme zur Steuerung des MetaHuman-Blickziels (Gaze) und automatischer Augenblinzeln zusammen mit der Lippen-Synchronisation.
So verwenden Sie das Plugin mit benutzerdefinierten Charakteren
Dieser Leitfaden führt Sie durch die Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Wenn Sie Unterstützung bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie sich für professionelle Unterstützung an solutions@georgy.dev wenden.
Plattformspezifische Konfiguration
Dieser Leitfaden behandelt plattformspezifische Einrichtungsanforderungen und Konfigurationen für das Runtime MetaHuman Lip Sync Plugin.
Demo-Projekte
Einsatzbereite Demo-Projekte, die Runtime MetaHuman Lip Sync präsentieren, einschließlich eines vollständigen KI-Konversations-Avatar-Workflows mit Spracherkennung, LLM-Integration, TTS und Lippen-Synchronisation.