Runtime MetaHuman Lip Sync
Документация для плагина Runtime MetaHuman Lip Sync.
Скачивания и ссылки
Демонстрационные проекты:
Доступны два готовых к использованию демонстрационных проекта — подробности, загрузки и пошаговые руководства смотрите на специальной странице «Демонстрационные проекты»:
- Полный ИИ-диалоговый рабочий процесс для NPC — распознавание речи + LLM-чатбот + TTS + синхронизация губ
- Базовая демонстрация синхронизации губ — ввод с микрофона, аудиофайлы, TTS
Обе демо-версии кроссплатформенные (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде упакованных сборок и полных исходных проектов UE 5.6+.
Видеоуроки
Показанные демонстрации
Реалистичная модель (высокое качество) — учебные пособия
- Высококачественная синхронизация губ из аудиофайла/буфера
- Высококачественная синхронизация губ с управлением настроением и локальным TTS
- Высококачественная синхронизация губ с ElevenLabs и OpenAI TTS
- Высококачественная синхронизация губ с живого микрофона
- Высококачественная синхронизация губ для персонажей ARKit
Стандартные учебные пособия по моделям
- Стандартный синхронный захват губ с живого микрофона
- Стандартный синхронный захват губ с локальным синтезом речи
- Стандартный синхронный захват губ с ElevenLabs и OpenAI TTS
Общая настройка
- Добавление пользовательского персонажа MetaHuman в демонстрационный проект
- Видеоурок по настройке
- Моргание глаз MetaHuman и отслеживание камеры
- Комбинирование с лицевой и телесной анимацией
Поддержка
- Поддержка плагинов и индивидуальная разработка: solutions@georgy.dev (индивидуальные решения для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые аудиоисточники.
Конфигурация плагина
Узнайте, как настраивать модели липсинка, анимационные блюпринты, параметры настроения, опции производительности и устранять распространенные проблемы с липсинком.
Помощники анимации глаз
Необязательные вспомогательные утилиты для управления направлением взгляда глаз MetaHuman (gaze) и автоматическим морганием глаз вместе с синхронизацией губ.
Как использовать плагин с собственными персонажами
Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь во внедрении этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу solutions@georgy.dev.
Платформенно-специфичная конфигурация
Это руководство охватывает требования к настройке и конфигурации для конкретных платформ плагина Runtime MetaHuman Lip Sync.
Демонстрационные проекты
Готовые к использованию демонстрационные проекты, демонстрирующие Runtime MetaHuman Lip Sync, включая полный рабочий процесс ИИ-аватара для разговора с распознаванием речи, интеграцией LLM, TTS и синхронизацией губ.