Перейти к основному содержимому

Обзор

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync — это плагин, который обеспечивает синхронизацию губ в реальном времени, офлайн и на разных платформах как для MetaHuman, так и для пользовательских персонажей. Он позволяет анимировать губы персонажа в ответ на аудиовход из различных источников, включая:

Плагин внутренне генерирует виземы (визуальные представления фонем) на основе входного аудио. Поскольку он работает напрямую с аудиоданными, а не с текстом, плагин поддерживает многоязычный ввод, включая, помимо прочего, английский, испанский, французский, немецкий, японский, китайский, корейский, русский, итальянский, португальский, арабский и хинди. Поддерживается буквально любой язык, так как лип синк генерируется из аудиофонем, а не из языковой обработки текста.

Стандартная модель создаёт 14 визем и выполняет анимацию синхронизации губ с помощью предопределённого ассета поз. В отличие от неё, Реалистичные модели (эксклюзивные для MetaHuman и персонажей на основе ARKit) генерируют 81 изменение лицевых контроллеров без использования предопределённого ассета поз, что обеспечивает значительно более реалистичную лицевую анимацию.

Совместимость персонажей​

Несмотря на своё название, Runtime MetaHuman Lip Sync работает с широким спектром персонажей, а не только с MetaHuman:

  • Персонажи Daz Genesis 8/9
  • Персонажи Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Персонажи Mixamo

Поддержка стандартов анимации​

  • Системы blendshape на основе FACS
  • Стандарт blendshape Apple ARKit
  • Наборы фонем Престона Блэра
  • Системы фонем 3ds Max
  • Любой персонаж с пользовательскими morph target для мимики

Многие популярные системы, включая Reallusion CC4/CC5 и Daz Genesis 8.1/9, также можно преобразовать для использования стандартных имён blendshape-ов ARKit. Это позволяет применять Realistic Model для таких персонажей с её более качественной лицевой анимацией в качестве альтернативы ручному сопоставлению виземов в Standard Model. Подробности см. в разделе Преобразование персонажей в ARKit Blendshapes.

Для персонажей, не являющихся MetaHuman и использующих Standard Model, см. руководство по настройке пользовательского персонажа. Для других персонажей, использующих Realistic Models, таких как ARKit, CC5/CC4 и аналогичные риги на основе morph target, см. выбор набора morph target.

Предпросмотр анимации​

Ознакомьтесь с этими короткими анимациями, чтобы увидеть качество анимации lip sync, создаваемой плагином для разных типов персонажей и моделей:

Реалистичная модель с персонажем MetaHuman
Стандартная модель с персонажем MetaHuman
Стандартная модель с пользовательским персонажем
Стандартная модель с пользовательским персонажем

Ключевые особенности​

Модели Lip Sync​

Плагин предлагает несколько моделей синхронизации губ, подходящих для разных задач проекта:

Стандартная модель lip sync обеспечивает эффективную кроссплатформенную производительность и широкую совместимость с персонажами:

  • Работает с MetaHuman и всеми пользовательскими типами персонажей
  • Оптимизировано для производительности в реальном времени
  • Более низкие требования к ресурсам
  • Поддержка платформ: Windows, Android, платформы на базе Android (включая Meta Quest)
Требуется плагин-расширение

Чтобы использовать Standard Model, необходимо установить дополнительный плагин-расширение. Инструкции по установке см. в разделе Prerequisites section.

Вы можете выбрать подходящую модель в зависимости от требований вашего проекта к производительности, совместимости с персонажами, визуальному качеству, целевой платформе и необходимым функциям.

Как это работает​

Плагин обрабатывает аудиовход следующим образом:

  1. Аудиоданные принимаются в виде float PCM-формата с указанными каналами и частотой дискретизации
  2. Плагин обрабатывает аудио для генерации данных управления мимикой или визем в зависимости от модели
  3. Для моделей с поддержкой настроения к лицевой анимации применяется эмоциональный контекст
  4. Данные анимации управляют движениями лица персонажа в реальном времени

Архитектура производительности​

Runtime MetaHuman Lip Sync использует вывод только на CPU, обеспечивая стабильные результаты синхронизации губ с низкой задержкой, подходящие для приложений реального времени. По умолчанию плагин выполняет обработку синхронизации губ каждые 10 миллисекунд (настраивается — см. Конфигурация плагина для всех доступных параметров, включая Размер обрабатываемого фрагмента, количество потоков и другие параметры производительности).

Обзор архитектуры модели​

Модели lip sync используют компактную нейронную сеть на основе трансформера, которая обрабатывает аудио посредством анализа мел-спектрограммы. Эта облегчённая архитектура специально разработана для работы в реальном времени с эффективным выводом на CPU и минимальным объёмом занимаемой памяти.

Почему вывод на CPU?​

Для небольших частых операций инференса, таких как lip sync в реальном времени, обработка на CPU обеспечивает лучшие характеристики задержки, чем на GPU. При размере батча 1 с интервалами инференса 10–100 мс накладные расходы GPU на передачу данных по PCIe и запуск ядер часто превышают фактическое время вычислений. Кроме того, в игровых движках GPU уже насыщен рендерингом, шейдерами и физикой, что создаёт конкуренцию за ресурсы и приводит к непредсказуемым всплескам задержки.

Совместимость с оборудованием​

Плагин эффективно работает на большинстве CPU среднего и высшего уровня без необходимости в выделенном графическом оборудовании, обеспечивая производительность в реальном времени на настольных, мобильных и VR-платформах. Для более слабого оборудования вы можете изменить Model Type на Semi-Optimized или Highly Optimized, либо увеличить Processing Chunk Size, чтобы поддерживать производительность в реальном времени с немного сниженной отзывчивостью.

Быстрый старт​

Вот базовая настройка для включения lip sync на вашем персонаже:

  1. Для персонажей MetaHuman следуйте руководству по настройке
  2. Для пользовательских персонажей следуйте руководству по настройке пользовательского персонажа
  3. Выберите и настройте предпочитаемую модель lip sync
  4. Настройте обработку аудиовхода в вашем Blueprint
  5. Подключите соответствующий узел lip sync в Animation Blueprint
  6. Воспроизведите аудио и увидите, как ваш персонаж анимируется синхронно

Необязательная анимация глаз​

Плагин также включает опциональные вспомогательные средства для автоматического моргания и отслеживания взгляда на MetaHuman. Они не зависят от lip sync и могут использоваться отдельно или в дополнение к нему. См. Вспомогательные средства анимации глаз.

Дополнительные ресурсы​

📦 Загрузки и ссылки​

Демонстрационные проекты:

Доступны два готовых к использованию демонстрационных проекта — полные сведения, загрузки и пошаговые руководства см. на отдельной странице Демонстрационные проекты:

Оба демо являются кроссплатформенными (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде упакованных сборок и полных исходных проектов UE 5.6+.

🎥 Видеоуроки​

Избранные демо:​

Учебные материалы по реалистичной модели (высокое качество):​

Стандартные руководства по моделям:​

Общая настройка:​

💬 Поддержка​

  • Индивидуальная разработка: solutions@georgy.dev (решения, адаптированные для команд и организаций)
Join our Discord
online · support