Руководство по настройке

В этом руководстве описан базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.

Примечание: Runtime MetaHuman Lip Sync работает как с MetaHuman, так и с пользовательскими персонажами. Подробные инструкции по настройке пользовательских персонажей см. в руководстве по настройке пользовательского персонажа.

Предварительные требования

Прежде чем начать, убедитесь:

1. Требования к плагину MetaHuman:

   • UE 5.5 и более ранние версии: Включите плагин MetaHuman в вашем проекте
   • UE 5.6 и более поздние версии: Включите плагин MetaHuman Core Tech в вашем проекте
   Дополнительные плагины MetaHuman

В зависимости от того, как вы создаёте своих персонажей MetaHuman, вам могут понадобиться дополнительные плагины. Например, если вы собираетесь создать MetaHuman с помощью новой системы MetaHuman Creator, представленной в UE 5.6, вам также потребуется включить плагин MetaHuman Creator. Для получения дополнительной информации об этой системе см. документацию MetaHuman Creator. :::

2. У вас есть хотя бы один персонаж MetaHuman, скачанный и доступный в вашем проекте
3. Плагин Runtime MetaHuman Lip Sync установлен

Плагин расширения стандартной модели

Если вы планируете использовать Standard Model, вам потребуется установить плагин-расширение:

1. Скачайте плагин Standard Lip Sync Extension здесь
2. Извлеките папку из скачанного архива в папку Plugins вашего проекта (создайте эту папку, если она не существует)
3. Убедитесь, что ваш проект настроен как C++ проект (даже если у вас нет кода на C++)
4. Пересоберите ваш проект

примечание

• Это расширение требуется только в том случае, если вы хотите использовать Standard Model. Если вам нужны только Realistic Models, этот шаг можно пропустить.
• Дополнительную информацию о том, как собирать плагины вручную, см. в руководстве по сборке плагинов

Дополнительные плагины

• Если вы планируете использовать захват аудио (например, ввод с микрофона), установите плагин Runtime Audio Importer.
• Если вы планируете использовать функциональность синтеза речи:
  • Для локального TTS (Piper и Kokoro) установите плагин Runtime Text To Speech.
  • Для внешних провайдеров TTS (ElevenLabs, OpenAI, Google Cloud, Azure) установите плагин Runtime AI Chatbot Integrator.

Настройка Animation Blueprint

Шаг 1: Найдите и измените Animation Blueprint лица

UE 5.5 и более ранние версии (или устаревшие MetaHuman в UE 5.6+)

Вам нужно изменить Animation Blueprint, который будет использоваться для лицевой анимации вашего персонажа MetaHuman. Стандартный Animation Blueprint лица MetaHuman находится по пути:

Content/MetaHumans/Common/Face/Face_AnimBP

У вас есть несколько вариантов реализации функциональности синхронизации губ:

Редактировать ассет по умолчанию (самый простой вариант)

Откройте стандартный Face_AnimBP напрямую и внесите свои изменения. Любые изменения повлияют на всех персонажей MetaHuman, использующих этот Animation Blueprint.

Примечание: Этот подход удобен, но повлияет на всех персонажей, использующих Animation Blueprint по умолчанию.

Создать дубликат

1. Дублируйте Face_AnimBP и дайте ему описательное имя
2. Найдите класс Blueprint вашего персонажа (например, для персонажа "Bryan" он будет находиться по пути Content/MetaHumans/Bryan/BP_Bryan)
3. Откройте Blueprint персонажа и найдите компонент Face
4. Измените свойство Anim Class на только что продублированный Animation Blueprint

Примечание: Этот подход позволяет настроить синхронизацию губ для конкретных персонажей, оставляя других без изменений.

Использовать пользовательский Animation Blueprint

Вы можете реализовать смешивание lip sync в любом Animation Blueprint, который имеет доступ к необходимым лицевым костям:

1. Создайте или используйте существующий пользовательский Animation Blueprint
2. Убедитесь, что ваш Animation Blueprint работает со скелетом, содержащим те же лицевые кости, что и Face_Archetype_Skeleton стандартного MetaHuman

Примечание: Этот подход даёт вам максимальную гибкость для интеграции с пользовательскими системами анимации.

Персонажи MetaHuman Creator для UE 5.6+

Начиная с UE 5.6, была представлена новая система MetaHuman Creator. Для этих персонажей плагин предоставляет Animation Blueprint для лица, расположенный по пути:

Content/LipSyncData/LipSync_Face_AnimBP

Важно

Эта Animation Blueprint находится в папке контента плагина и будет перезаписана при каждом обновлении плагина. Чтобы не потерять ваши настройки:

1. Скопируйте этот ресурс в папку Content вашего проекта (например, в YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Используйте вашу скопированную версию при настройке персонажа
3. Вносите все изменения в скопированную версию

Использование Animation Blueprint лица из плагина:

1. Найдите класс Blueprint вашего персонажа MetaHuman Creator
2. Откройте Blueprint персонажа и найдите компонент Face
3. Измените свойство Anim Class на LipSync_Face_AnimBP из плагина
4. Продолжите со следующих шагов, чтобы настроить функциональность Runtime MetaHuman Lip Sync

Шаг 2: Настройка Event Graph

Откройте свой Animation Blueprint для лица и переключитесь на Event Graph. Вам нужно будет создать генератор, который будет обрабатывать аудиоданные и генерировать анимацию lip sync.

Стандартная модель

1. Добавьте узел Event Blueprint Begin Play, если он ещё не существует
2. Добавьте узел Create Runtime Viseme Generator и подключите его к событию Begin Play
3. Сохраните выходные данные как переменную (например, "VisemeGenerator") для использования в других частях графа

Подробные параметры конфигурации см. в разделе Standard Model Configuration.

Реалистичная модель

1. Добавьте узел Event Blueprint Begin Play, если он ещё не существует
2. Добавьте узел Create Realistic MetaHuman Lip Sync Generator и подключите его к событию Begin Play
3. Сохраните выходные данные как переменную (например, "RealisticMetaHumanLipSyncGenerator") для использования в других частях графа
4. (Необязательно) Настройте параметры генератора с помощью параметра Configuration

Подробные параметры конфигурации, включая типы моделей, настройки производительности и параметры обработки, см. в разделе Конфигурация реалистичной модели.

Реалистичная модель с поддержкой настроения

1. Добавьте узел Event Blueprint Begin Play, если он ещё не существует
2. Добавьте узел Create Realistic MetaHuman Lip Sync With Mood Generator и подключите его к событию Begin Play
3. Сохраните выходные данные в переменную (например, "MoodMetaHumanLipSyncGenerator") для использования в других частях графа
4. (Необязательно) Настройте параметры генератора с помощью параметра Configuration

Подробную информацию о настройке настроений, включая типы настроений, параметры интенсивности, время упреждения и выбор типа вывода, см. в разделе Mood-Enabled Model Configuration.

Шаг 3: Настройка Anim Graph

После настройки графа событий переключитесь на Anim Graph, чтобы подключить генератор к анимации персонажа:

Стандартная модель

1. Найдите позу, которая содержит лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте узел Blend Runtime MetaHuman Lip Sync
3. Подключите позу к входу Source Pose узла Blend Runtime MetaHuman Lip Sync
4. Подключите вашу переменную VisemeGenerator к пину Viseme Generator
5. Подключите выход узла Blend Runtime MetaHuman Lip Sync к пину Result узла Output Pose

Реалистичная модель

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте узел Blend Realistic MetaHuman Lip Sync
3. Подключите позу к входу Source Pose узла Blend Realistic MetaHuman Lip Sync
4. Подключите вашу переменную RealisticMetaHumanLipSyncGenerator к пину Lip Sync Generator
5. Подключите выход узла Blend Realistic MetaHuman Lip Sync к пину Result узла Output Pose

Реалистичная модель с поддержкой настроения

1. Найдите позу, которая содержит лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте узел Blend Realistic MetaHuman Lip Sync (тот же узел, что и для обычной реалистичной модели)
3. Подключите позу к Source Pose узла Blend Realistic MetaHuman Lip Sync
4. Подключите вашу переменную MoodMetaHumanLipSyncGenerator к пину Lip Sync Generator
5. Подключите выход узла Blend Realistic MetaHuman Lip Sync к пину Result узла Output Pose

Примечание: Модель с поддержкой настроения использует тот же узел Animation Blueprint, что и обычная реалистичная модель. Функциональность настроения обрабатывается внутри генератора.

Дальнейшие шаги

Теперь, когда базовая настройка Animation Blueprint завершена, вам нужно настроить обработку аудиовхода, чтобы передавать аудиоданные в ваш генератор lip sync.

Перейдите к руководству по обработке аудио, чтобы узнать, как настроить различные способы ввода аудио, включая захват с микрофона, синтез речи и обработку аудиофайлов.

Для получения информации о расширенных параметрах конфигурации и тонкой настройке см. Руководство по конфигурации.