Configurazione del Plugin

Configurazione del Modello

Configurazione Standard del Modello

Il nodo Create Runtime Viseme Generator utilizza impostazioni predefinite che funzionano bene per la maggior parte degli scenari. La configurazione viene gestita attraverso le proprietà del nodo di blending dell'Animation Blueprint.

Per le opzioni di configurazione dell'Animation Blueprint, consultare la sezione Configurazione Lip Sync di seguito.

Configurazione del Modello Realistico

Il nodo Create Realistic MetaHuman Lip Sync Generator accetta un parametro Configuration opzionale che consente di personalizzare il comportamento del generatore:

Tipo di Modello

L'impostazione Model Type determina quale versione del modello realistico utilizzare:

Tipo di Modello	Prestazioni	Qualità Visiva	Gestione del Rumore	Casi d'Uso Consigliati
Altamente Ottimizzato (Predefinito)	Prestazioni più elevate, utilizzo CPU più basso	Buona qualità	Può mostrare movimenti della bocca evidenti con rumore di fondo o suoni non vocali	Ambienti audio puliti, scenari critici per le prestazioni
Semi-Ottimizzato	Buone prestazioni, utilizzo CPU moderato	Alta qualità	Maggiore stabilità con audio rumoroso	Prestazioni e qualità bilanciate, condizioni audio miste
Originale	Adatto per l'uso in tempo reale su CPU moderne	Qualità più alta	Maggiore stabilità con rumore di fondo e suoni non vocali	Produzioni di alta qualità, ambienti audio rumorosi, quando è necessaria la massima precisione

Impostazioni delle Prestazioni

Intra Op Threads: Controlla il numero di thread utilizzati per le operazioni di elaborazione interne del modello.

• 0 (Predefinito/Automatico): Utilizza il rilevamento automatico (tipicamente 1/4 dei core CPU disponibili, massimo 4)
• 1-16: Specifica manualmente il numero di thread. Valori più alti possono migliorare le prestazioni su sistemi multi-core ma utilizzano più CPU

Inter Op Threads: Controlla il numero di thread utilizzati per l'esecuzione parallela di diverse operazioni del modello.

• 0 (Predefinito/Automatico): Utilizza il rilevamento automatico (tipicamente 1/8 dei core CPU disponibili, massimo 2)
• 1-8: Specifica manualmente il numero di thread. Di solito mantenuto basso per l'elaborazione in tempo reale

Dimensione del Chunk di Elaborazione

La Processing Chunk Size determina quanti campioni vengono elaborati in ogni passo di inferenza. Il valore predefinito è 160 campioni (10ms di audio a 16kHz):

• Valori più piccoli forniscono aggiornamenti più frequenti ma aumentano l'utilizzo della CPU
• Valori più grandi riducono il carico della CPU ma possono diminuire la reattività del lip sync
• Si consiglia di utilizzare multipli di 160 per un allineamento ottimale

Configurazione del Modello Abilitato all'Umore

Il nodo Create Realistic MetaHuman Lip Sync With Mood Generator fornisce opzioni di configurazione aggiuntive oltre al modello realistico di base:

Configurazione di Base

Lookahead Ms: Tempo di anticipo in millisecondi per una maggiore precisione nella sincronizzazione labiale.

• Predefinito: 80ms
• Intervallo: da 20ms a 200ms (deve essere divisibile per 20)
• Valori più alti forniscono una migliore sincronizzazione ma aumentano la latenza

Tipo di Output: Controlla quali controlli facciali vengono generati.

• Faccia Completa: Tutti gli 81 controlli facciali (sopracciglia, occhi, naso, bocca, mascella, lingua)
• Solo Bocca: Solo i controlli relativi a bocca, mascella e lingua

Impostazioni Prestazioni: Utilizza le stesse impostazioni Intra Op Threads e Inter Op Threads del modello realistico regolare.

Impostazioni dell'Umore

Umidi Disponibili:

• Neutrale, Felice, Triste, Disgusto, Rabbia, Sorpresa, Paura
• Sicuro, Eccitato, Annoiato, Giocoso, Confuso

Intensità dell'Umore: Controlla quanto fortemente l'umore influisce sull'animazione (da 0.0 a 1.0)

Controllo dell'Umore in Runtime

Puoi regolare le impostazioni dell'umore durante il runtime utilizzando le seguenti funzioni:

• Imposta Umore: Cambia il tipo di umore corrente
• Imposta Intensità Umore: Regola quanto fortemente l'umore influisce sull'animazione (da 0.0 a 1.0)
• Imposta Lookahead Ms: Modifica il tempo di anticipo per la sincronizzazione
• Imposta Tipo di Output: Passa tra i controlli Faccia Completa e Solo Bocca

Guida alla Selezione dell'Umore

Scegli umori appropriati in base al tuo contenuto:

Umore	Ideale Per	Intervallo Tipico di Intensità
Neutrale	Conversazione generale, narrazione, stato predefinito	0.5 - 1.0
Felice	Contenuti positivi, dialoghi allegri, celebrazioni	0.6 - 1.0
Triste	Contenuti malinconici, scene emotive, momenti cupi	0.5 - 0.9
Disgusto	Reazioni negative, contenuti sgradevoli, rifiuto	0.4 - 0.8
Rabbia	Dialoghi aggressivi, scene di confronto, frustrazione	0.6 - 1.0
Sorpresa	Eventi inaspettati, rivelazioni, reazioni di shock	0.7 - 1.0
Paura	Situazioni minacciose, ansia, dialoghi nervosi	0.5 - 0.9
Sicuro	Presentazioni professionali, dialoghi di leadership, discorsi assertivi	0.7 - 1.0
Eccitato	Contenuti energici, annunci, dialoghi entusiastici	0.8 - 1.0
Annoiato	Contenuti monotoni, dialoghi disinteressati, discorsi stanchi	0.3 - 0.7
Giocoso	Conversazioni informali, umorismo, interazioni spensierate	0.6 - 0.9
Confuso	Dialoghi ricchi di domande, incertezza, sconcerto	0.4 - 0.8

Configurazione dell'Animation Blueprint

Configurazione della Sincronizzazione Labiale

Standard Model

Il nodo Blend Runtime MetaHuman Lip Sync ha opzioni di configurazione nel suo pannello delle proprietà:

Proprietà	Predefinito	Descrizione
Velocità di Interpolazione	25	Controlla la rapidità con cui i movimenti delle labbra transitano tra i visemi. Valori più alti risultano in transizioni più veloci e brusche.
Tempo di Reset	0.2	La durata in secondi dopo la quale la sincronizzazione labiale viene resettata. È utile per impedire che la sincronizzazione labiale continui dopo che l'audio si è fermato.

Animazione della Risata

Puoi anche aggiungere animazioni della risata che risponderanno dinamicamente alla risata rilevata nell'audio:

1. Aggiungi il nodo Blend Runtime MetaHuman Laughter
2. Collega la tua variabile RuntimeVisemeGenerator al pin Viseme Generator
3. Se stai già usando la sincronizzazione labiale:
   • Collega l'output dal nodo Blend Runtime MetaHuman Lip Sync al Source Pose del nodo Blend Runtime MetaHuman Laughter
   • Collega l'output del nodo Blend Runtime MetaHuman Laughter al pin Result dell'Output Pose
4. Se usi solo la risata senza sincronizzazione labiale:
   • Collega la tua posa sorgente direttamente al Source Pose del nodo Blend Runtime MetaHuman Laughter
   • Collega l'output al pin Result

Quando viene rilevata della risata nell'audio, il tuo personaggio si animerà dinamicamente di conseguenza:

Configurazione della Risata

Il nodo Blend Runtime MetaHuman Laughter ha le sue opzioni di configurazione:

Proprietà	Predefinito	Descrizione
Velocità di Interpolazione	25	Controlla la rapidità con cui i movimenti delle labbra transitano tra le animazioni della risata. Valori più alti risultano in transizioni più veloci e brusche.
Tempo di Reset	0.2	La durata in secondi dopo la quale la risata viene resettata. È utile per impedire che la risata continui dopo che l'audio si è fermato.
Peso Massimo della Risata	0.7	Scala l'intensità massima dell'animazione della risata (0.0 - 1.0).

Nota: Il rilevamento della risata è attualmente disponibile solo con il Modello Standard.

Realistic Models

Il nodo Blend Realistic MetaHuman Lip Sync ha opzioni di configurazione nel suo pannello delle proprietà:

Proprietà	Predefinito	Descrizione
Velocità di Interpolazione	30	Controlla la rapidità con cui le espressioni facciali transitano durante la parola attiva. Valori più alti risultano in transizioni più veloci e brusche.
Velocità di Interpolazione a Riposo	15	Controlla la rapidità con cui le espressioni facciali ritornano allo stato di riposo/neutro. Valori più bassi creano ritorni più fluidi e graduali alla posa di riposo.
Tempo di Reset	0.2	Durata in secondi dopo la quale la sincronizzazione labiale si resetta allo stato di riposo
. Utile per evitare che le espressioni continuino dopo l'arresto dell'audio.
Preserva Stato di Inattività	false	Se abilitato, preserva l'ultimo stato emotivo durante i periodi di inattività invece di ripristinare a neutro.
Preserva Espressioni Occhi	true	Controlla se i controlli facciali relativi agli occhi vengono preservati durante lo stato di inattività. Efficace solo quando Preserva Stato di Inattività è abilitato.
Preserva Espressioni Sopracciglia	true	Controlla se i controlli facciali relativi alle sopracciglia vengono preservati durante lo stato di inattività. Efficace solo quando Preserva Stato di Inattività è abilitato.
Preserva Forma della Bocca	false	Controlla se i controlli della forma della bocca (esclusi i movimenti specifici del parlato come lingua e mascella) vengono preservati durante lo stato di inattività. Efficace solo quando Preserva Stato di Inattività è abilitato.

Preservazione dello Stato di Inattività

La funzionalità Preserva Stato di Inattività affronta come il modello Realistic gestisce i periodi di silenzio. A differenza del modello Standard che utilizza visemi discreti e ritorna costantemente a valori zero durante il silenzio, la rete neurale del modello Realistic può mantenere un posizionamento facciale sottile che differisce dalla posa di riposo predefinita del MetaHuman.

Quando Abilitare:

• Mantenere espressioni emotive tra segmenti di parlato
• Preservare tratti della personalità del personaggio
• Garantire continuità visiva in sequenze cinematografiche

Opzioni di Controllo Regionale:

• Espressioni Occhi: Preserva strizzamento, allargamento degli occhi e posizionamento delle palpebre
• Espressioni Sopracciglia: Mantiene il posizionamento delle sopracciglia e della fronte
• Forma della Bocca: Mantiene la curvatura generale della bocca permettendo ai movimenti del parlato (lingua, mascella) di resettarsi

Combinazione con Animazioni Esistenti

Per applicare lip sync e risate insieme ad animazioni corporee esistenti e animazioni facciali personalizzate senza sovrascriverle:

1. Aggiungi un nodo Layered blend per bone tra le tue animazioni corporee e l'output finale. Assicurati che Use Attached Parent sia true.
2. Configura la struttura dei layer:
   • Aggiungi 1 elemento all'array Layer Setup
   • Aggiungi 3 elementi a Branch Filters per il layer, con i seguenti Bone Name:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Importante per animazioni facciali personalizzate: In Curve Blend Option, seleziona "Use Max Value". Questo permette alle animazioni facciali personalizzate (espressioni, emozioni, ecc.) di essere stratificate correttamente sopra il lip sync.
4. Effettua le connessioni:
   • Animazioni esistenti (come BodyPose) → ingresso Base Pose
   • Output animazione facciale (dai nodi lip sync e/o risate) → ingresso Blend Poses 0
   • Nodo layered blend → posa Result finale

Ottimizzazione del Comportamento del Lip Sync

Controllo della Protrusione della Lingua

Nel modello standard di lip sync, potresti notare un'eccessiva protrusione della lingua durante certi fonemi. Per controllare la protrusione della lingua:

1. Dopo il tuo nodo di blend per il lip sync, aggiungi un nodo Modify Curve
2. Fai clic con il tasto destro sul nodo Modify Curve e seleziona Add Curve Pin
3. Aggiungi un pin per la curva con il nome CTRL_expressions_tongueOut
4. Imposta la proprietà Apply Mode del nodo su Scale
5. Regola il parametro Value per controllare l'estensione della lingua (es. 0.8 per ridurre la protrusione del 20%)

Controllo dell'Apertura della Mascella

Il lip sync realistico può produrre movimenti della mascella eccessivamente reattivi a seconda del contenuto audio e delle esigenze visive. Per regolare l'intensità dell'apertura della mascella:

1. Dopo il tuo nodo di blend per il lip sync, aggiungi un nodo Modify Curve
2. Fai clic con il tasto destro sul nodo Modify Curve e seleziona Add Curve Pin
3. Aggiungi un pin per la curva con il nome CTRL_expressions_jawOpen
4. Imposta la proprietà Apply Mode del nodo su Scale
5. Regola il parametro Value per controllare l'ampiezza dell'apertura della mascella (es. 0.9 per ridurre il movimento della mascella del 10%)

Ottimizzazione Specifica per l'Umore

Per i modelli abilitati all'umore, puoi ottimizzare specifiche espressioni emotive:

Controllo delle Sopracciglia:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - Sollevamento sopracciglia interno
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Sollevamento sopracciglia esterno
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Abbassamento sopracciglia

Controllo dell'Espressione degli Occhi:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Strizzamento degli occhi
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Sollevamento della guancia

Confronto e Selezione del Modello

Scegliere tra i Modelli

Quando decidi quale modello di lip sync usare per il tuo progetto, considera questi fattori:

Considerazione	Modello Standard	Modello Realistico	Modello Realistico con Umore
Compatibilità Personaggio	MetaHumans e tutti i tipi di personaggi personalizzati	Solo MetaHumans	Solo MetaHumans
Qualità Visiva	Buon lip sync con prestazioni efficienti	Realismo migliorato con movimenti della bocca più naturali	Realismo migliorato con espressioni emotive
Prestazioni	Ottimizzato per tutte le piattaforme, inclusi mobile/VR	Requisiti di risorse più elevati	Requisiti di risorse più elevati
Caratteristiche	14 visemi, rilevamento risate	81 controlli facciali, 3 livelli di ottimizzazione	81 controlli facciali, 12 umori, output configurabile
Supporto Piattaforma	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Casi d'Uso	Applicazioni generali, giochi, VR/AR, mobile	Esperienze cinematografiche, interazioni in primo piano	Narrazione emotiva, interazione avanzata con i personaggi

Compatibilità con la Versione del Motore

Problème de compatibilité UE 5.2

Si vous utilisez Unreal Engine 5.2, les Modèles Réalistes peuvent ne pas fonctionner correctement en raison d'un bug dans la bibliothèque de rééchantillonnage d'UE. Pour les utilisateurs d'UE 5.2 qui ont besoin d'une fonctionnalité de synchronisation labiale fiable, veuillez utiliser le Modèle Standard à la place.

Ce problème est spécifique à UE 5.2 et n'affecte pas les autres versions du moteur.

Recommandations de Performance

• Pour la plupart des projets, le Modèle Standard offre un excellent équilibre entre qualité et performance
• Utilisez le Modèle Réaliste lorsque vous avez besoin de la plus haute fidélité visuelle pour les personnages MetaHuman
• Utilisez le Modèle Réaliste avec Humeur lorsque le contrôle de l'expression émotionnelle est important pour votre application
• Tenez compte des capacités de performance de votre plateforme cible lors du choix entre les modèles
• Testez différents niveaux d'optimisation pour trouver le meilleur équilibre pour votre cas d'utilisation spécifique

Compatibilité TTS

Type de Modèle	Support TTS Local (via Runtime Text To Speech)	Support TTS Externe	Notes
Modèle Standard	✅ Support complet	✅ Support complet	Compatible avec toutes les options TTS
Modèle Réaliste	❌ Support limité	✅ Support complet	Conflits du runtime ONNX avec le TTS local
Modèle Réaliste avec Humeur	✅ Support complet	✅ Support complet	Compatible avec toutes les options TTS

Dépannage

Problèmes Courants

Recréation du Générateur pour les Modèles Réalistes : Pour un fonctionnement fiable et cohérent avec les Modèles Réalistes, il est recommandé de recréer le générateur à chaque fois que vous souhaitez fournir de nouvelles données audio après une période d'inactivité. Cela est dû au comportement du runtime ONNX qui peut entraîner l'arrêt de la synchronisation labiale lors de la réutilisation de générateurs après des périodes de silence.

Compatibilité TTS Local : Le TTS local fourni par le plugin Runtime Text To Speech n'est actuellement pas pris en charge avec le modèle Réaliste standard en raison de conflits avec le runtime ONNX. Cependant, il est entièrement compatible avec le modèle Standard et le modèle Réaliste avec Humeur. Utilisez des services TTS externes si vous avez spécifiquement besoin du modèle Réaliste standard avec une fonctionnalité TTS.

Réactivité Dégradée de la Synchronisation Labiale : Si vous constatez que la synchronisation labiale devient moins réactive au fil du temps lors de l'utilisation de Streaming Sound Wave ou Capturable Sound Wave, cela peut être causé par une accumulation de mémoire. Par défaut, la mémoire est réallouée à chaque fois que de nouveaux audio sont ajoutés. Pour éviter ce problème, appelez la fonction ReleaseMemory périodiquement pour libérer la mémoire accumulée, par exemple toutes les 30 secondes environ.

Optimisation des Performances :

• Ajustez la Taille des Blocs de Traitement pour les modèles Réalistes en fonction de vos exigences de performance
• Utilisez un nombre de threads approprié pour votre matériel cible
• Envisagez d'utiliser le type de sortie Bouche Seulement pour les modèles avec humeur lorsque l'animation faciale complète n'est pas nécessaire