Guía de configuración

Esta guía te explica el proceso de configuración básica de Runtime MetaHuman Lip Sync con tus personajes MetaHuman.

Nota: Runtime MetaHuman Lip Sync funciona tanto con MetaHuman como con personajes personalizados. Para obtener instrucciones detalladas sobre cómo configurar personajes personalizados, consulta la Guía de configuración de personajes personalizados.

Requisitos previos

Antes de empezar, asegúrate de:

1. Requisitos del plugin MetaHuman:

   • UE 5.5 y anteriores: Habilita el plugin MetaHuman en tu proyecto
   • UE 5.6 y posteriores: Habilita el plugin MetaHuman Core Tech en tu proyecto
   Plugins adicionales de MetaHuman

   Según cómo crees tus personajes MetaHuman, es posible que necesites plugins adicionales. Por ejemplo, si tienes la intención de crear un MetaHuman con el nuevo sistema MetaHuman Creator introducido en UE 5.6, también tendrás que habilitar el plugin MetaHuman Creator. Para obtener más información sobre este sistema, consulta la documentación de MetaHuman Creator.

2. Tienes al menos un personaje MetaHuman descargado y disponible en tu proyecto

3. El plugin Runtime MetaHuman Lip Sync está instalado

Plugin de extensión de modelo estándar

Si planeas usar el Modelo Estándar, necesitarás instalar el plugin de extensión:

1. Descarga el plugin Standard Lip Sync Extension desde aquí
2. Extrae la carpeta del archivo descargado en la carpeta Plugins de tu proyecto (crea esta carpeta si no existe)
3. Asegúrate de que tu proyecto esté configurado como un proyecto de C++ (incluso si no tienes ningún código de C++)
4. Recompila tu proyecto

nota

• Esta extensión solo es necesaria si deseas usar el Modelo Estándar. Si solo necesitas los Modelos Realistas, puedes omitir este paso.
• Para obtener más información sobre cómo compilar plugins manualmente, consulta el tutorial de compilación de plugins

Plugins adicionales

• Si planeas usar la captura de audio (por ejemplo, entrada de micrófono), instala el plugin Runtime Audio Importer.
• Si planeas usar la funcionalidad de texto a voz:
  • Para TTS local (Piper y Kokoro), instala el plugin Runtime Text To Speech.
  • Para proveedores de TTS externos (ElevenLabs, OpenAI, Google Cloud, Azure), instala el plugin Runtime AI Chatbot Integrator.

Configuración de Animation Blueprint

Paso 1: Localizar y modificar el Blueprint de animación facial

UE 5.5 y anteriores (o MetaHumans heredados en UE 5.6+)

Debes modificar un Animation Blueprint que se utilizará para las animaciones faciales de tu personaje MetaHuman. El Animation Blueprint facial predeterminado de MetaHuman se encuentra en:

Content/MetaHumans/Common/Face/Face_AnimBP

Tienes varias opciones para implementar la funcionalidad de lip sync:

Editar recurso predeterminado (opción más sencilla)

Abre el Face_AnimBP predeterminado directamente y realiza tus modificaciones. Cualquier cambio afectará a todos los personajes MetaHuman que utilicen este Animation Blueprint.

Nota: Este enfoque es conveniente, pero afectará a todos los personajes que utilicen el Animation Blueprint predeterminado.

Crear duplicado

1. Duplica Face_AnimBP y dale un nombre descriptivo
2. Localiza la clase Blueprint de tu personaje (por ejemplo, para el personaje "Bryan", estaría en Content/MetaHumans/Bryan/BP_Bryan)
3. Abre el Blueprint del personaje y encuentra el componente Face
4. Cambia la propiedad Anim Class a tu Animation Blueprint recién duplicado

Nota: Este enfoque te permite personalizar la sincronización labial para personajes específicos mientras dejas los demás sin cambios.

Usar Animation Blueprint personalizado

Puedes implementar la mezcla de lip sync en cualquier Animation Blueprint que tenga acceso a los huesos faciales requeridos:

1. Crea o utiliza un Animation Blueprint personalizado existente
2. Asegúrate de que tu Animation Blueprint funcione con un esqueleto que contenga los mismos huesos faciales que el Face_Archetype_Skeleton del MetaHuman predeterminado

Nota: Este enfoque te ofrece la máxima flexibilidad para la integración con sistemas de animación personalizados.

Personajes de MetaHuman Creator para UE 5.6+

A partir de UE 5.6, se introdujo el nuevo sistema MetaHuman Creator. Para estos personajes, el plugin proporciona un Animation Blueprint facial ubicado en:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint se encuentra en la carpeta de contenido del plugin y se sobrescribirá con cada actualización del plugin. Para evitar perder tus personalizaciones:

1. Copia este recurso a la carpeta Content de tu proyecto (por ejemplo, a YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Usa tu versión copiada en la configuración de tu personaje
3. Realiza todas tus modificaciones en la versión copiada

Uso del Animation Blueprint facial del plugin:

1. Localiza la clase Blueprint del personaje de MetaHuman Creator
2. Abre el Blueprint del personaje y encuentra el componente Face
3. Cambia la propiedad Anim Class al LipSync_Face_AnimBP del plugin
4. Continúa con los siguientes pasos para configurar la funcionalidad de Runtime MetaHuman Lip Sync

Paso 2: Configuración del Event Graph

Abre tu Face Animation Blueprint y cambia al Event Graph. Necesitarás crear un generador que procese los datos de audio y genere la animación de lip sync.

Modelo estándar

1. Añade el nodo Event Blueprint Begin Play si aún no existe
2. Añade el nodo Create Runtime Viseme Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "VisemeGenerator") para usarla en otras partes del grafo

Para conocer las opciones de configuración detalladas, consulte la sección Configuración del modelo estándar.

Modelo realista

1. Añade el nodo Event Blueprint Begin Play si aún no existe
2. Añade el nodo Create Realistic MetaHuman Lip Sync Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "RealisticMetaHumanLipSyncGenerator") para usarla en otras partes del grafo
4. (Opcional) Configura los ajustes del generador usando el parámetro Configuration

Para conocer las opciones de configuración detalladas, incluidos los tipos de modelo, los ajustes de rendimiento y los parámetros de procesamiento, consulte la sección Configuración del modelo realista.

Modelo realista con control de estados de ánimo

1. Añade el nodo Event Blueprint Begin Play si aún no existe
2. Añade el nodo Create Realistic MetaHuman Lip Sync With Mood Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "MoodMetaHumanLipSyncGenerator") para usarla en otras partes del grafo
4. (Opcional) Configura los ajustes del generador usando el parámetro Configuration

Para obtener información detallada sobre la configuración de estados de ánimo, incluidos los tipos de estado de ánimo, la configuración de intensidad, la temporización de anticipación y la selección del tipo de salida, consulte la sección Configuración del modelo con estados de ánimo habilitados.

Paso 3: Configuración del Anim Graph

Después de configurar el Event Graph, cambia al Anim Graph para conectar el generador con la animación del personaje:

Modelo estándar

1. Localiza la pose que contiene la cara del MetaHuman (normalmente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Runtime MetaHuman Lip Sync
3. Conecta la pose al Source Pose del nodo Blend Runtime MetaHuman Lip Sync
4. Conecta tu variable VisemeGenerator al pin Viseme Generator
5. Conecta la salida del nodo Blend Runtime MetaHuman Lip Sync al pin Result del Output Pose

Modelo realista

1. Localiza la pose que contiene la cara del MetaHuman (normalmente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Realistic MetaHuman Lip Sync
3. Conecta la pose al Source Pose del nodo Blend Realistic MetaHuman Lip Sync
4. Conecta tu variable RealisticMetaHumanLipSyncGenerator al pin Lip Sync Generator
5. Conecta la salida del nodo Blend Realistic MetaHuman Lip Sync al pin Result del Output Pose

Modelo realista con control de estados de ánimo

1. Localiza la pose que contiene la cara del MetaHuman (normalmente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Realistic MetaHuman Lip Sync (el mismo nodo que en el modelo realista normal)
3. Conecta la pose al Source Pose del nodo Blend Realistic MetaHuman Lip Sync
4. Conecta tu variable MoodMetaHumanLipSyncGenerator al pin Lip Sync Generator
5. Conecta la salida del nodo Blend Realistic MetaHuman Lip Sync al pin Result del Output Pose

Nota: El modelo con control de estado de ánimo utiliza el mismo nodo de Animation Blueprint que el modelo realista normal. La funcionalidad de estado de ánimo es gestionada internamente por el generador.

Próximos pasos

Ahora que tienes completa la configuración básica del Animation Blueprint, necesitarás configurar el procesamiento de entrada de audio para alimentar los datos de audio a tu generador de lip sync.

Continúa a la Guía de procesamiento de audio para aprender a configurar diferentes métodos de entrada de audio, incluida la captura de micrófono, la conversión de texto a voz y el procesamiento de archivos de audio.

Para opciones de configuración avanzada y ajuste fino, consulte la Guía de configuración.