Конфигурация плагина
Конфигурация модели
Стандартная конфигурация модели
Узел Create Runtime Viseme Generator использует настройки по умолчанию, которые хорошо работают в большинстве сценариев. Конфигурация осуществляется через свойства узла смешивания Animation Blueprint.
Для получения информации о параметрах конфигурации Animation Blueprint см. раздел Конфигурация Lip Sync ниже.
Конфигурация реалистичной модели
Узел Create Realistic MetaHuman Lip Sync Generator принимает необязательный параметр Configuration, который позволяет настраивать поведение генератора:
Тип модели
Настройка Model Type определяет, какую версию реалистичной модели использовать:
| Тип модели | Производительность | Визуальное качество | Обработка шума | Рекомендуемые случаи использования |
|---|---|---|---|---|
| Высокооптимизированная (По умолчанию) | Наивысшая производительность, наименьшее использование CPU | Хорошее качество | Может показывать заметные движения рта при фоновом шуме или неголосовых звуках | Чистые аудиоокружения, сценарии, критичные к производительности |
| Полуоптимизированная | Хорошая производительность, умеренное использование CPU | Высокое качество | Лучшая стабильность с зашумленным аудио | Сбалансированная производительность и качество, смешанные аудиоусловия |
| Оригинальная | Подходит для использования в реальном времени на современных CPU | Наивысшее качество | Наиболее стабильна с фоновым шумом и неголосовыми звуками | Высококачественные постановки, зашумленные аудиоокружения, когда требуется максимальная точность |
Настройки производительности
Intra Op Threads: Управляет количеством потоков, используемых для внутренних операций обработки модели.
- 0 (По умолчанию/Автоматически): Использует автоматическое определение (обычно 1/4 доступных ядер CPU, максимум 4)
- 1-16: Указать количество потоков вручную. Более высокие значения могут улучшить производительность на многопроцессорных системах, но используют больше CPU
Inter Op Threads: Управляет количеством потоков, используемых для параллельного выполнения различных операций модели.
- 0 (По умолчанию/Автоматически): Использует автоматическое определение (обычно 1/8 доступных ядер CPU, максимум 2)
- 1-8: Указать количество потоков вручную. Обычно поддерживается на низком уровне для обработки в реальном времени
Размер чанка обработки
Processing Chunk Size определяет, сколько сэмплов обрабатывается на каждом шаге вывода. Значение по умолчанию — 160 сэмплов (10 мс аудио при 16 кГц):
- Меньшие значения обеспечивают более частые обновления, но увеличивают использование CPU
- Большие значения снижают нагрузку на CPU, но могут уменьшить отзывчивость синхронизации губ
- Рекомендуется использовать кратные 160 для оптимального выравнивания
Конфигурация модели с поддержкой настроения
Узел Create Realistic MetaHuman Lip Sync With Mood Generator предоставляет дополнительные параметры конфигурации помимо базовой реалистичной модели:
Базовая конфигурация
Lookahead Ms: Время упреждения в миллисекундах для повышения точности синхронизации губ.
- По умолчанию: 80 мс
- Диапазон: от 20 мс до 200 мс (должно быть кратно 20)
- Более высокие значения обеспечивают лучшую синхронизацию, но увеличивают задержку
Output Type: Определяет, какие элементы управления мимикой генерируются.
- Full Face: Все 81 элемент управления лицом (брови, глаза, нос, рот, челюсть, язык)
- Mouth Only: Только элементы управления, связанные со ртом, челюстью и языком
Performance Settings: Использует те же настройки Intra Op Threads и Inter Op Threads, что и обычная реалистичная модель.
Настройки настроения (Mood)
Доступные настроения:
- Neutral, Happy, Sad, Disgust, Anger, Surprise, Fear
- Confident, Excited, Bored, Playful, Confused
Mood Intensity: Определяет, насколько сильно настроение влияет на анимацию (от 0.0 до 1.0)
Управление настроением во время выполнения (Runtime)
Вы можете настраивать параметры настроения во время выполнения с помощью следующих функций:
- Set Mood: Изменить текущий тип настроения
- Set Mood Intensity: Настроить силу влияния настроения на анимацию (от 0.0 до 1.0)
- Set Lookahead Ms: Изменить время упреждения для синхронизации
- Set Output Type: Переключиться между режимами Full Face и Mouth Only
Руководство по выбору настроения
Выбирайте подходящие настроения в зависимости от вашего контента:
| Настроение | Лучше всего подходит для | Типичный диапазон интенсивности |
|---|---|---|
| Neutral | Общий разговор, повествование, состояние по умолчанию | 0.5 - 1.0 |
| Happy | Позитивный контент, радостный диалог, празднования | 0.6 - 1.0 |
| Sad | Меланхоличный контент, эмоциональные сцены, мрачные моменты | 0.5 - 0.9 |
| Disgust | Негативные реакции, неприятный контент, отвержение | 0.4 - 0.8 |
| Anger | Агрессивный диалог, конфликтные сцены, разочарование | 0.6 - 1.0 |
| Surprise | Неожиданные события, откровения, реакции шока | 0.7 - 1.0 |
| Fear | Угрожающие ситуации, тревога, нервный диалог | 0.5 - 0.9 |
| Confident | Профессиональные презентации, диалоги лидеров, уверенная речь | 0.7 - 1.0 |
| Excited | Энергичный контент, объявления, восторженный диалог | 0.8 - 1.0 |
| Bored | Монотонный контент, безразличный диалог, уставшая речь | 0.3 - 0.7 |
| Playful | Неформальная беседа, юмор, легкие взаимодействия | 0.6 - 0.9 |
| Confused | Диалоги с множеством вопросов, неуверенность, недоумение | 0.4 - 0.8 |
Конфигурация Animation Blueprint
Конфигурация Lip Sync
- Standard Model
- Realistic Models
Узел Blend Runtime MetaHuman Lip Sync имеет параметры конфигурации на своей панели свойств:
| Свойство | По умолчанию | Описание |
|---|---|---|
| Скорость интерполяции | 25 | Управляет тем, насколько быстро движения губ переходят между виземами. Более высокие значения приводят к более быстрым и резким переходам. |
| Время сброса | 0.2 | Продолжительность в секундах, после которой синхронизация губ сбрасывается. Это полезно для предотвращения продолжения синхронизации губ после остановки аудио. |
Анимация смеха
Вы также можете добавить анимации смеха, которые будут динамически реагировать на смех, обнаруженный в аудио:
- Добавьте узел
Blend Runtime MetaHuman Laughter - Подключите вашу переменную
RuntimeVisemeGeneratorк пинуViseme Generator - Если вы уже используете синхронизацию губ:
- Подключите выход из узла
Blend Runtime MetaHuman Lip SyncкSource PoseузлаBlend Runtime MetaHuman Laughter - Подключите выход узла
Blend Runtime MetaHuman Laughterк пинуResultузлаOutput Pose
- Подключите выход из узла
- Если используется только смех без синхронизации губ:
- Подключите вашу исходную позу напрямую к
Source PoseузлаBlend Runtime MetaHuman Laughter - Подключите выход к пину
Result
- Подключите вашу исходную позу напрямую к
Когда в аудио обнаруживается смех, ваш персонаж будет соответствующим образом динамически анимироваться:
Конфигурация смеха
Узел Blend Runtime MetaHuman Laughter имеет свои собственные параметры конфигурации:
| Свойство | По умолчанию | Описание |
|---|---|---|
| Скорость интерполяции | 25 | Управляет тем, насколько быстро движения губ переходят между анимациями смеха. Более высокие значения приводят к более быстрым и резким переходам. |
| Время сброса | 0.2 | Продолжительность в секундах, после которой смех сбрасывается. Это полезно для предотвращения продолжения смеха после остановки аудио. |
| Максимальный вес смеха | 0.7 | Масштабирует максимальную интенсивность анимации смеха (0.0 - 1.0). |
Примечание: Обнаружение смеха в настоящее время доступно только в Standard Model.
Узел Blend Realistic MetaHuman Lip Sync имеет параметры конфигурации на своей панели свойств:
| Свойство | По умолчанию | Описание |
|---|---|---|
| Скорость интерполяции | 30 | Управляет тем, насколько быстро выражения лица меняются во время активной речи. Более высокие значения приводят к более быстрым и резким переходам. |
| Скорость интерполяции в режиме ожидания | 15 | Управляет тем, насколько быстро выражения лица возвращаются в состояние покоя/нейтральное состояние. Более низкие значения создают более плавный и постепенный возврат к позе покоя. |
| Время сброса | 0.2 | Продолжительность в секундах, после которой синхронизация губ сбрасывается в состояние ожидания |
| . Полезно для предотвращения продолжения выражений после остановки аудио. | ||
| Сохранять состояние покоя | false | При включении сохраняет последнее эмоциональное состояние в периоды бездействия вместо сброса к нейтральному. |
| Сохранять выражения глаз | true | Управляет тем, сохраняются ли элементы управления лицом, связанные с глазами, в состоянии покоя. Эффективно только при включенной опции "Сохранять состояние покоя". |
| Сохранять выражения бровей | true | Управляет тем, сохраняются ли элементы управления лицом, связанные с бровями, в состоянии покоя. Эффективно только при включенной опции "Сохранять состояние покоя". |
| Сохранять форму рта | false | Управляет тем, сохраняются ли элементы управления формой рта (за исключением специфических для речи движений, таких как язык и челюсть) в состоянии покоя. Эффективно только при включенной опции "Сохранять состояние покоя". |
Сохранение состояния покоя
Функция Сохранять состояние покоя решает вопрос о том, как модель Realistic обрабатывает периоды тишины. В отличие от модели Standard, которая использует дискретные виземы и последовательно возвращается к нулевым значениям во время тишины, нейронная сеть модели Realistic может поддерживать тонкое позиционирование лица, отличающееся от позы покоя MetaHuman по умолчанию.
Когда включать:
- Для поддержания эмоциональных выражений между сегментами речи
- Для сохранения черт личности персонажа
- Для обеспечения визуальной непрерывности в кинематографических последовательностях
Опции регионального контроля:
- Выражения глаз: Сохраняет прищур, расширение и позиционирование век
- Выражения бровей: Сохраняет позиционирование бровей и лба
- Форма рта: Сохраняет общую кривизну рта, позволяя сбрасывать движения речи (язык, челюсть)
Комбинирование с существующей анимацией
Чтобы применить синхронизацию губ и смех вместе с существующей анимацией тела и пользовательской анимацией лица, не перезаписывая их:
- Добавьте узел
Layered blend per boneмежду вашей анимацией тела и конечным выводом. Убедитесь, чтоUse Attached Parentустановлено в true. - Настройте структуру слоев:
- Добавьте 1 элемент в массив
Layer Setup - Добавьте 3 элемента в
Branch Filtersдля слоя со следующими именами костей (Bone Name):FACIAL_C_FacialRootFACIAL_C_Neck2RootFACIAL_C_Neck1Root
- Добавьте 1 элемент в массив
- Важно для пользовательской анимации лица: В
Curve Blend Optionвыберите "Use Max Value". Это позволяет правильно накладывать пользовательскую анимацию лица (выражения, эмоции и т.д.) поверх синхронизации губ. - Сделайте соединения:
- Существующая анимация (например,
BodyPose) → входBase Pose - Вывод анимации лица (из узлов синхронизации губ и/или смеха) → вход
Blend Poses 0 - Узел Layered blend → конечная поза
Result
- Существующая анимация (например,
Тонкая настройка поведения синхронизации губ
Управление высовыванием языка
В стандартной модели синхронизации губ вы можете заметить чрезмерное выдвижение языка вперед при произнесении определенных фонем. Для контроля выдвижения языка:
- После вашего узла смешивания синхронизации губ добавьте узел
Modify Curve - Щелкните правой кнопкой мыши на узле
Modify Curveи выберите Add Curve Pin - Добавьте пин кривой с именем
CTRL_expressions_tongueOut - Установите свойство Apply Mode узла в значение Scale
- Отрегулируйте параметр Value для контроля выдвижения языка (например, 0.8 для уменьшения выдвижения на 20%)
Контроль открытия челюсти
Реалистичная синхронизация губ может создавать чрезмерно активные движения челюсти в зависимости от вашего аудиоконтента и визуальных требований. Для настройки интенсивности открытия челюсти:
- После вашего узла смешивания синхронизации губ добавьте узел
Modify Curve - Щелкните правой кнопкой мыши на узле
Modify Curveи выберите Add Curve Pin - Добавьте пин кривой с именем
CTRL_expressions_jawOpen - Установите свойство Apply Mode узла в значение Scale
- Отрегулируйте параметр Value для контроля диапазона открытия челюсти (например, 0.9 для уменьшения движения челюсти на 10%)
Тонкая настройка для конкретного настроения
Для моделей с поддержкой настроения вы можете точно настроить определенные эмоциональные выражения:
Контроль бровей:
CTRL_expressions_browRaiseInL/CTRL_expressions_browRaiseInR- Поднятие внутренней части бровиCTRL_expressions_browRaiseOuterL/CTRL_expressions_browRaiseOuterR- Поднятие внешней части бровиCTRL_expressions_browDownL/CTRL_expressions_browDownR- Опускание брови
Контроль выражения глаз:
CTRL_expressions_eyeSquintInnerL/CTRL_expressions_eyeSquintInnerR- Прищуривание глазCTRL_expressions_eyeCheekRaiseL/CTRL_expressions_eyeCheekRaiseR- Поднятие щеки
Сравнение и выбор модели
Выбор между моделями
При принятии решения о том, какую модель синхронизации губ использовать для вашего проекта, учитывайте следующие факторы:
| Критерий | Стандартная модель | Реалистичная модель | Реалистичная модель с поддержкой настроения |
|---|---|---|---|
| Совместимость с персонажами | MetaHumans и все типы пользовательских персонажей | Только MetaHumans | Только MetaHumans |
| Визуальное качество | Хорошая синхронизация губ с эффективной производительностью | Улучшенный реализм с более естественными движениями рта | Улучшенный реализм с эмоциональными выражениями |
| Производительность | Оптимизирована для всех платформ, включая мобильные/VR | Более высокие требования к ресурсам | Более высокие требования к ресурсам |
| Функции | 14 висем, обнаружение смеха | 81 контроль лица, 3 уровня оптимизации | 81 контроль лица, 12 настроений, настраиваемый вывод |
| Поддержка платформ | Windows, Android, Quest | Windows, Mac, iOS, Linux, Android, Quest | Windows, Mac, iOS, Linux, Android, Quest |
| Случаи использования | Общие приложения, игры, VR/AR, мобильные | Кинематографические впечатления, взаимодействия крупным планом | Эмоциональное повествование, продвинутое взаимодействие с персонажами |
Совместимость с версиями движка
Если вы используете Unreal Engine 5.2, реалистичные модели могут работать некорректно из-за ошибки в библиотеке ресемплинга UE. Пользователям UE 5.2, которым требуется надежная функция синхронизации губ, рекомендуется использовать Стандартную модель.
Эта проблема характерна только для UE 5.2 и не затрагивает другие версии движка.
Рекомендации по производительности
- Для большинства проектов Стандартная модель обеспечивает отличный баланс качества и производительности
- Используйте Реалистичную модель, когда вам нужна максимальная визуальная точность для персонажей MetaHuman
- Используйте Реалистичную модель с поддержкой настроения, когда контроль эмоциональной выразительности важен для вашего приложения
- Учитывайте возможности производительности целевой платформы при выборе между моделями
- Тестируйте разные уровни оптимизации, чтобы найти наилучший баланс для вашего конкретного случая использования
Совместимость с TTS
| Тип модели | Поддержка локального TTS (через Runtime Text To Speech) | Поддержка внешнего TTS | Примечания |
|---|---|---|---|
| Стандартная модель | ✅ Полная поддержка | ✅ Полная поддержка | Совместима со всеми вариантами TTS |
| Реалистичная модель | ❌ Ограниченная поддержка | ✅ Полная поддержка | Конфликты среды выполнения ONNX с локальным TTS |
| Реалистичная модель с поддержкой настроения | ✅ Полная поддержка | ✅ Полная поддержка | Совместима со всеми вариантами TTS |
Устранение неполадок
Распространенные проблемы
Пересоздание генератора для реалистичных моделей: Для надежной и стабильной работы с реалистичными моделями рекомендуется пересоздавать генератор каждый раз, когда вы хотите подать новые аудиоданные после периода бездействия. Это связано с поведением среды выполнения ONNX, которое может привести к прекращению работы синхронизации губ при повторном использовании генераторов после периодов тишины.
Совместимость с локальным TTS: Локальный TTS, предоставляемый плагином Runtime Text To Speech, в настоящее время не поддерживается с обычной реалистичной моделью из-за конфликтов среды выполнения ONNX. Однако он полностью совместим как со стандартной моделью, так и с реалистичной моделью с поддержкой настроения. Используйте внешние TTS-сервисы, если вам конкретно нужна обычная реалистичная модель с функциональностью TTS.
Снижение отзывчивости синхронизации губ: Если вы столкнулись с тем, что синхронизация губ со временем становится менее отзывчивой при использовании Streaming Sound Wave или Capturable Sound Wave, это может быть вызвано накоплением памяти. По умолчанию память перераспределяется каждый раз при добавлении нового аудио. Чтобы предотвратить эту проблему, периодически вызывайте функцию ReleaseMemory для освобождения накопленной памяти, например, каждые 30 секунд или около того.
Оптимизация производительности:
- Настраивайте размер обрабатываемого чанка для реалистичных моделей в зависимости от ваших требований к производительности
- Используйте подходящее количество потоков для вашего целевого оборудования
- Рассмотрите возможность использования типа вывода "Только рот" для моделей с поддержкой настроения, когда полная лицевая анимация не требуется