Progetti Demo

Per aiutarti a iniziare rapidamente con Runtime MetaHuman Lip Sync, sono disponibili due progetti demo pronti all'uso. Entrambi sono realizzati con Unreal Engine 5.6+, sono Blueprint-only e funzionano su piattaforme come Windows, Mac, Linux, iOS, Android e piattaforme basate su Android (incluso Meta Quest).

Progetti Demo Disponibili

NPC Conversazionale IA

Un flusso di lavoro completo per NPC conversazionale IA che combina riconoscimento vocale, un chatbot IA (LLM), sintesi vocale e riproduzione audio con sincronizzazione labiale in tempo reale - il tutto in esecuzione in un unico progetto.

Panoramica della pipeline

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

Video

Anteprima rapida (~30 sec)

Una breve dimostrazione della demo in azione.

Walkthrough completo

Un walkthrough dettagliato che copre configurazione, impostazione e l'intera pipeline conversazionale.

Download

• Scarica demo impacchettata (Windows)
• Scarica file sorgente (UE 5.6+)

Plugin richiesti e opzionali

Il progetto demo è modulare – hai bisogno solo dei plugin per i provider che intendi utilizzare.

Plugin	Scopo	Necessario?
Runtime MetaHuman Lip Sync	Animazione labiale	✅ Sempre
Runtime Audio Importer	Acquisizione ed elaborazione audio	✅ Sempre
Runtime Speech Recognizer	Riconoscimento vocale offline (whisper.cpp)	✅ Sempre
Runtime AI Chatbot Integrator	LLM esterni (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) e/o TTS esterni (OpenAI, ElevenLabs)	🔶 Opzionale
Runtime Local LLM	Inferenza LLM locale tramite llama.cpp (modelli Llama, Mistral, Gemma, ecc., GGUF)	🔶 Opzionale
Runtime Text To Speech	TTS locale tramite Piper e Kokoro	🔶 Opzionale

Plugin opzionali - requisiti del provider

Sebbene ogni plugin sopra sia individualmente opzionale, è necessario almeno un provider LLM e almeno un provider TTS per far funzionare la demo. Puoi combinarli liberamente (ad es. LLM locale + TTS ElevenLabs, o LLM OpenAI + TTS locale).

Architettura modulare

Nella cartella Content troverai una cartella Modules che contiene tre sottocartelle:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Se non hai acquistato uno (o più) dei plugin opzionali, elimina semplicemente le cartelle corrispondenti. Gli asset base del progetto demo (game instance, widget, ecc.) non fanno riferimento diretto a questi moduli, quindi eliminarli non causerà errori di riferimento degli asset. L'interfaccia di configurazione nasconderà automaticamente qualsiasi provider la cui cartella è assente.

note

Questa modularità si applica solo ai provider LLM e TTS. Speech Recognition (Runtime Speech Recognizer) e Lip Sync (Runtime MetaHuman Lip Sync) fanno parte del progetto demo base e sono sempre richiesti.

warning

Al primo avvio, Unreal potrebbe chiedere se disabilitare i plugin opzionali mancanti - fai clic su Sì. Assicurati di aver anche eliminato la corrispondente cartella Content/Modules/ (vedi sopra).

Layout del progetto demo

L'interfaccia utente è a scopo dimostrativo

L'interfaccia utente mostrata di seguito è costruita interamente con UMG (Unreal Motion Graphics) ed è destinata esclusivamente a dimostrare la pipeline - speech recognition → LLM → TTS → lip sync. Sei libero di ridisegnarla o sostituirla per adattarla al design visivo del tuo gioco, allo schema di controllo o alla piattaforma (VR/AR, mobile, console, ecc.). Se alcuni widget non sono necessari nel tuo caso d'uso, puoi anche semplicemente nasconderli (ad esempio impostando la loro visibilità su Collapsed o Hidden).

Area	Ciò che contiene
Centro	Il personaggio MetaHuman.
Lato sinistro	Quattro pulsanti di configurazione (Speech Recognition, AI Chatbot, Text To Speech, Animations), descritti in dettaglio di seguito.
Centro in basso	Un pulsante Start Recording. Fai clic per iniziare una conversazione vocale: il microfono viene catturato, trascritto, inviato al LLM, la risposta viene sintetizzata via TTS e riprodotta con lip sync, completamente a mani libere.
Centro destra	Un widget della cronologia della conversazione che mostra l'intero scambio tra te e l'IA (messaggi utente e assistente). Include anche un campo di immissione testo, così puoi digitare messaggi direttamente senza usare il riconoscimento vocale, utile per test, accessibilità o quando non è disponibile un microfono.

suggerimento

Puoi mischiare liberamente entrambe le modalità di input nella stessa sessione - pronuncia alcuni messaggi, digita altri.

Pulsanti di configurazione

I quattro pulsanti di configurazione sulla sinistra aprono pannelli dedicati per ogni parte della pipeline:

1. Configura Speech Recognition

Configura come la voce dell'utente viene catturata e trascritta:

• Seleziona la lingua
• Regola i parametri di riconoscimento vocale (impostazioni del modello Whisper)
• Configura l'AEC (Acoustic Echo Cancellation)
• Configura il VAD (Voice Activity Detection)

2. Configura AI Chatbot

Scegli il tuo provider LLM e configuralo:

• Seleziona il provider (Runtime AI Chatbot Integrator o Runtime Local LLM)
• Per i provider esterni: auth token, nome modello, ecc.
• Per LLM locale: seleziona un modello GGUF, imposta la dimensione del contesto e altri parametri di inferenza. Puoi anche scaricare il tuo modello GGUF a runtime direttamente dalla demo (es. tramite URL), e usarlo immediatamente senza ricostruire il progetto.

suggerimento

Il combobox dei provider mostra solo i provider la cui cartella del modulo plugin è presente in Content/Modules/.

3. Configura Text To Speech

Scegli il tuo provider TTS e configura voci/modelli:

• Seleziona il provider (Runtime AI Chatbot Integrator per OpenAI/ElevenLabs, o Runtime Text To Speech per Piper/Kokoro locale)
• Seleziona voce/modello
• Regola i parametri specifici del provider

4. Configura Animazioni

Controlla gli aspetti visivi del tuo NPC IA:

• Scegli tra 3 personaggi MetaHuman pre-scaricati (Aera, Ada, Orlando)
• Seleziona il modello di lip sync (Standard o Realistic)
• Seleziona il tipo di modello di lip sync - Highly Optimized, Semi-Optimized o Original (vedi Tipo di modello)
• Regola la Processing Chunk Size - controlla la frequenza con cui viene eseguita l'inferenza del lip sync (vedi Processing Chunk Size)
• Seleziona un'animazione idle da riprodurre sul MetaHuman durante la conversazione

Pre-configurazione della demo nell'editor

Quando lavori con la versione sorgente, puoi precompilare i valori predefiniti direttamente nell'editor in modo che non debbano essere reinseriti ad ogni esecuzione:

Cosa	Dove
Impostazioni generali (modello di lip sync, animazione idle, classe del personaggio, speech recognition, ecc.)	Content/LipSyncSTSGameInstance
Impostazioni LLM esterno / TTS esterno (Runtime AI Chatbot Integrator)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Impostazioni LLM locale (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
Impostazioni TTS locale (Runtime Text To Speech)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

Note multipiattaforma

Tutti i plugin utilizzati dalla demo supportano Windows, Mac, Linux, iOS, Android e piattaforme basate su Android (incluso Meta Quest), quindi il progetto demo funziona su tutte queste.

Per dispositivi meno potenti (mobile, VR standalone), potresti voler:

• Utilizzare il modello di lip sync Standard invece di Realistic - vedi il confronto tra modelli
• Passare al tipo di modello Highly Optimized
• Aumentare la Processing Chunk Size per ridurre il carico della CPU
• Scegliere modelli LLM/TTS più piccoli

Consulta Configurazione specifica per piattaforma per ulteriori passaggi di configurazione su Android, iOS, Mac e Linux.

Portare il tuo MetaHuman

Il progetto demo include tre personaggi MetaHuman campione (Aera, Ada, Orlando), ma puoi importare il tuo MetaHuman e usarlo nella demo.

📺 Tutorial video: Aggiungere un personaggio MetaHuman personalizzato al progetto demo

note

Il plugin Runtime MetaHuman Lip Sync stesso supporta molti altri sistemi di personaggi oltre ai MetaHuman (personaggi basati su ARKit, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, ecc. - vedi la Guida alla configurazione di personaggi personalizzati).

Demo Lip Sync Base

Un progetto demo più semplice che si concentra esclusivamente sulla funzionalità di lip sync stessa, senza il flusso di conversazione AI completo. Adatto se vuoi solo vedere il lip sync in azione con varie sorgenti audio.

Video in evidenza

Download

• Scarica la demo impacchettata (Windows)
• Scarica i file sorgente (UE 5.6+)

Cosa include

Questa demo mostra i flussi di lavoro di base del lip sync:

• Input microfono - lip sync in tempo reale dall'audio live
• Riproduzione file audio - lip sync da file audio importati
• Text-to-Speech - lip sync guidato da voce sintetizzata

Plugin richiesti e opzionali

Plugin	Scopo	Richiesto?
Runtime MetaHuman Lip Sync	Animazione lip sync	✅ Richiesto
Runtime Audio Importer	Importazione e cattura audio	✅ Richiesto
Runtime Text To Speech	TTS locale per la scena demo TTS	🔶 Opzionale
Runtime AI Chatbot Integrator	Provider TTS esterni (OpenAI, ElevenLabs)	🔶 Opzionale

Note per il modello di lip sync Standard

Se prevedi di utilizzare il Modello Standard (invece di Realistic) in uno dei progetti demo, dovrai installare il plugin Standard Lip Sync Extension. Vedi Estensione Modello Standard per le istruzioni di installazione.

Hai bisogno di aiuto?

Se incontri problemi durante la configurazione o l'esecuzione dei progetti demo, non esitare a contattarci:

Join our Discord

online · support

Per richieste di sviluppo personalizzato (ad esempio, estendere la demo con la propria logica, adattarla per una piattaforma o pipeline di personaggi specifica), contattare solutions@georgy.dev.