Saltar al contenido principal

Descripción general

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync es un plugin que permite la sincronización labial en tiempo real, sin conexión y multiplataforma tanto para MetaHuman como para personajes personalizados. Te permite animar los labios de un personaje en respuesta a la entrada de audio de diversas fuentes, incluidas:

El plugin genera internamente visemas (representaciones visuales de fonemas) a partir de la entrada de audio. Dado que trabaja directamente con datos de audio en lugar de texto, el plugin admite entrada multilingüe, incluyendo pero no limitándose a inglés, español, francés, alemán, japonés, chino, coreano, ruso, italiano, portugués, árabe e hindi. Prácticamente cualquier idioma es compatible, ya que el lip sync se genera a partir de fonemas de audio en lugar de un procesamiento de texto específico de cada idioma.

El Modelo estándar produce 14 visemas y realiza la animación de sincronización labial utilizando un recurso de poses predefinido. En cambio, los Modelos realistas (exclusivos de personajes basados en MetaHuman y ARKit) generan 81 cambios de control facial sin depender de un recurso de poses predefinido, lo que da como resultado animaciones faciales significativamente más realistas.

Compatibilidad de personajes​

A pesar de su nombre, Runtime MetaHuman Lip Sync funciona con una amplia variedad de personajes más allá de los MetaHuman:

  • Personajes de Daz Genesis 8/9
  • Personajes de Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Personajes de Mixamo

Compatibilidad con estándares de animación​

  • Sistemas de blendshape basados en FACS
  • Estándar de blendshape de Apple ARKit
  • Conjuntos de fonemas de Preston Blair
  • Sistemas de fonemas de 3ds Max
  • Cualquier personaje con morph targets personalizados para expresiones faciales

Muchos sistemas populares, incluidos Reallusion CC4/CC5 y Daz Genesis 8.1/9, también se pueden convertir para usar los nombres de blendshape estándar de ARKit. Esto te permite usar el Modelo realista para estos personajes, con su animación facial de mayor calidad, como alternativa al mapeo manual de visemas del Modelo estándar. Consulta Conversión de personajes a blendshapes de ARKit para más detalles.

Para personajes que no son MetaHuman y usan el Modelo estándar, consulta la Guía de configuración de personajes personalizados. Para otros personajes que usan los Modelos realistas, como ARKit, CC5/CC4 y rigs similares basados en morph targets, consulta Selección del conjunto de morph targets.

Vista previa de la animación​

Echa un vistazo a estas animaciones cortas para ver la calidad de la animación de lip sync que produce el plugin en diferentes tipos de personajes y modelos:

Modelo realista con personaje MetaHuman
Modelo estándar con personaje MetaHuman
Modelo estándar con personaje personalizado
Modelo estándar con personaje personalizado

Características principales​

Modelos de Lip Sync​

El plugin ofrece varios modelos de lip sync para adaptarse a las diferentes necesidades de cada proyecto:

El modelo estándar de lip sync ofrece un rendimiento eficiente y multiplataforma con una amplia compatibilidad de personajes:

  • Funciona con MetaHumans y todo tipo de personajes personalizados
  • Optimizado para rendimiento en tiempo real
  • Menores requisitos de recursos
  • Compatibilidad de plataformas: Windows, Android, plataformas basadas en Android (incluido Meta Quest)
Plugin de extensión requerido

Para usar el Modelo Estándar, necesitas instalar un plugin de extensión adicional. Consulta la sección de Requisitos previos para obtener las instrucciones de instalación.

Puedes elegir el modelo adecuado según los requisitos de tu proyecto en cuanto a rendimiento, compatibilidad de personajes, calidad visual, plataforma objetivo y necesidades de funciones.

Cómo funciona​

El plugin procesa la entrada de audio de la siguiente manera:

  1. Los datos de audio se reciben en formato PCM de tipo float con los canales y la frecuencia de muestreo especificados
  2. El plugin procesa el audio para generar datos de control facial o visemas según el modelo
  3. En los modelos con control de estado de ánimo, se aplica el contexto emocional a la animación facial
  4. Los datos de animación impulsan los movimientos faciales del personaje en tiempo real

Arquitectura de rendimiento​

Runtime MetaHuman Lip Sync utiliza inferencia solo con CPU para ofrecer resultados de lip sync consistentes y de baja latencia, adecuados para aplicaciones en tiempo real. De forma predeterminada, el plugin realiza el procesamiento de lip sync cada 10 milisegundos (ajustable; consulta Configuración del plugin para ver todos los ajustes disponibles, incluidos Tamaño del fragmento de procesamiento, número de hilos y otros parámetros de rendimiento).

Descripción general de la arquitectura del modelo​

Los modelos de lip sync utilizan una red neuronal compacta basada en transformer que procesa el audio mediante análisis de mel-espectrograma. Esta arquitectura ligera está diseñada específicamente para el rendimiento en tiempo real, con una inferencia eficiente en CPU y un uso mínimo de memoria.

¿Por qué la inferencia por CPU?​

Para operaciones de inferencia pequeñas y frecuentes como el lip sync en tiempo real, el procesamiento en CPU ofrece mejores características de latencia que la GPU. Con un tamaño de lote de 1 y intervalos de inferencia de 10-100 ms, la sobrecarga de la GPU por las transferencias PCIe y el lanzamiento de kernels a menudo supera el tiempo de cómputo real. Además, en los motores de juego la GPU ya está saturada con el renderizado, los shaders y la física, lo que genera contención de recursos que introduce picos de latencia impredecibles.

Compatibilidad de hardware​

El plugin funciona de manera eficiente en la mayoría de las CPU de gama media y superior sin requerir hardware gráfico dedicado, ofreciendo rendimiento en tiempo real en plataformas de escritorio, móviles y VR. Para hardware más débil, puedes ajustar el Tipo de modelo a Semi-Optimized o Highly Optimized, o aumentar el Tamaño del fragmento de procesamiento para mantener el rendimiento en tiempo real con una capacidad de respuesta ligeramente reducida.

Inicio rápido​

Aquí tienes una configuración básica para habilitar la sincronización labial en tu personaje:

  1. Para personajes MetaHuman, sigue la Guía de configuración
  2. Para personajes personalizados, sigue la Guía de configuración de personajes personalizados
  3. Elige y configura tu modelo de lip sync preferido
  4. Configura el procesamiento de entrada de audio en tu Blueprint
  5. Conecta el nodo de lip sync adecuado en el Animation Blueprint
  6. Reproduce el audio y observa cómo tu personaje se anima en sincronía

Animación ocular opcional​

El plugin también incluye helpers opcionales para parpadeo automático y seguimiento de mirada en MetaHumans. Estos son independientes del lip sync y pueden usarse de forma autónoma o superponerse a él. Consulta Helpers de animación ocular.

Recursos adicionales​

📦 Descargas y enlaces​

Proyectos de demostración:

Hay dos proyectos de demostración listos para usar disponibles; consulte la página dedicada Proyectos de demostración para obtener todos los detalles, descargas y tutoriales:

Ambas demos son multiplataforma (Windows, Mac, Linux, iOS, Android, Meta Quest) y se distribuyen como compilaciones empaquetadas y proyectos fuente completos de UE 5.6+.

🎥 Tutoriales en video​

Demos destacadas:​

Tutoriales del modelo realista (alta calidad):​

Tutoriales del modelo estándar:​

Configuración general:​

💬 Soporte​

  • Desarrollo personalizado: solutions@georgy.dev (soluciones a medida para equipos y organizaciones)
Join our Discord
online · support