Runtime MetaHuman Lip Sync
Dokumentation für das Runtime MetaHuman Lip Sync-Plugin.
Downloads & Links
Demoprojekte:
Zwei einsatzbereite Demoprojekte sind verfügbar – siehe die spezielle Seite Demoprojekte für vollständige Details, Downloads und Anleitungen:
- Kompletter KI-gesteuerter Konversations-NPC-Workflow - Spracherkennung + LLM-Chatbot + TTS + Lippen-Synchronisation
- Grundlegendes Lippen-Sync-Demo - Mikrofoneingabe, Audiodateien, TTS
Beide Demos sind plattformübergreifend (Windows, Mac, Linux, iOS, Android, Meta Quest) und werden als gepackte Builds sowie als vollständige UE 5.6+-Quellprojekte ausgeliefert.
Video-Tutorials
Vorgestellte Demos
Tutorials für realistische Modelle (hochwertig)
- Hochwertiger Lippen-Sync aus Audiodatei/Puffer
- Hochwertiger Lippen-Sync mit Stimmungskontrolle & lokaler TTS
- Hochwertiger Lippen-Sync mit ElevenLabs & OpenAI TTS
- Hochwertiger Live-Mikrofon-Lippen-Sync
- Hochwertiger Lippen-Sync für ARKit-Charaktere
Standard-Modell-Tutorials
- Standard Live-Mikrofon-Lippensynchronisation
- Standard-Lippensynchronisation mit lokaler Text-zu-Sprache
- Standard-Lippensynchronisation mit ElevenLabs & OpenAI TTS
Allgemeine Einrichtung
- Hinzufügen eines benutzerdefinierten MetaHuman-Charakters zum Demo-Projekt
- Tutorial-Video zur Einrichtung
- MetaHuman Augenzwinkern & Kameraverfolgung
- Durchgang durch das Demoprojekt (älter)
Support
- Plugin-Support & individuelle Entwicklung: solutions@georgy.dev (maßgeschneiderte Lösungen für Teams & Organisationen)
Übersicht
Runtime MetaHuman Lip Sync Documentation
Einrichtungsanleitung
Diese Anleitung führt Sie durch den grundlegenden Einrichtungsprozess für Runtime MetaHuman Lip Sync mit Ihren MetaHuman-Charakteren.
Audio-Verarbeitungsleitfaden
Erfahren Sie, wie Sie verschiedene Audioeingabemethoden für Lippen-Synchronisation einrichten, einschließlich Mikrofon, TTS und Streaming-Audioquellen.
Plugin-Konfiguration
Erfahren Sie, wie Sie Lippen-Synchronisationsmodelle, Animations-Bluprints, Stimmungseinstellungen, Leistungsoptionen konfigurieren und häufige Probleme mit der Lippen-Synchronisation beheben.
Augen-Animation-Helfer
Optionale Hilfsprogramme zur Steuerung des MetaHuman-Blickziels (Blickrichtung) und automatischer Augenblinzelbewegungen parallel zur Lippensynchronisation.
So verwenden Sie das Plugin mit benutzerdefinierten Charakteren
Diese Anleitung führt Sie durch den Prozess der Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Wenn Sie Unterstützung bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie sich für professionelle Unterstützung unter solutions@georgy.dev melden.
Plattformspezifische Konfiguration
Dieser Leitfaden behandelt plattformspezifische Einrichtungsanforderungen und Konfigurationen für das Runtime MetaHuman Lip Sync Plugin.
Demoprojekte
Einsatzbereite Demoprojekte, die Runtime MetaHuman Lip Sync präsentieren, einschließlich eines vollständigen KI-gestützten Konversations-Avatar-Workflows mit Spracherkennung, LLM-Integration, TTS und Lippen-Synchronisation.