概述
Runtime MetaHuman Lip Sync 是一款插件，可为 MetaHuman 和自定义角色实现实时、离线及跨平台的唇形同步。它允许您根据各种来源的音频输入来驱动角色嘴唇动画，包括：
- 通过Runtime Audio Importer's可捕获的声波 的麦克风输入
- 来自Runtime Text To Speech或Runtime AI Chatbot Integrator的合成语音
- 通过Runtime Audio Importer以多种格式流式传输或导入的音频数据
- 任何以浮点PCM格式（一组浮点采样）的音频数据
插件内部根据音频输入生成视位（音素的视觉表示）。由于它直接处理音频数据而非文本，该插件支持多语言输入，包括但不限于英语、西班牙语、法语、德语、日语、中文、韩语、俄语、意大利语、葡萄牙语、阿拉伯语和印地语。字面意义上的任何语言都受支持，因为口型同步是根据音频音素生成的，而不是基于特定语言的文本处理。
标准模型 生成 14个viseme 并使用预定义姿态资产执行口型同步动画。相比之下，真实模型（专用于 MetaHuman 和基于 ARKit 的角色）无需依赖预定义姿态资产即可生成 81项面部控制变化，从而产生更加逼真的面部动画。
角色兼容性
尽管名称如此，Runtime MetaHuman Lip Sync 可以用于各种角色，而不仅仅是 MetaHuman：
流行商业角色系统
- Daz Genesis 8/9 角色
- Reallusion Character Creator 3/4（CC3/CC4）角色
- Mixamo 角色
- ReadyPlayerMe 虚拟化身
动画标准支持
- 基于FACS的混合变形系统
- Apple ARKit 混合变形标准
- Preston Blair 音素集
- 3ds Max 音素系统
- 任何具有自定义面部表情变形目标的角色
对于使用标准模型的非MetaHuman角色，请参阅自定义角色设置指南。对于使用写实模型的基于ARKit的角色，请参阅变形目标集选择。
动画预览
请查看这些简短的动画，了解该插件在不同角色类型和模型上生成的口型同步动画的质量：
主要功能
- 从麦克风输入的实时 lip sync
- 支持离线音频处理
- 跨平台兼容，支持特定模型平台
- 支持多种角色系统和动画标准
- 用于自定义角色的灵活视位映射
- 通用语言支持——通过音频分析，适用于任何口语
- 增强表现力的情绪感知面部动画
- 可配置的输出类型（全脸或仅嘴部控制）
- 可选的眼睛动画辅助，用于眨眼和视线跟踪
唇形同步模型
该插件提供多种口型同步模型以满足不同的项目需求：
- 标准模型
- 逼真模型
- 支持情绪的逼真模型
标准唇形同步模型提供高效、跨平台的性能，并具有广泛的角色兼容性：
- 与MetaHuman及所有自定义角色类型兼容
- 针对实时性能优化
- 更低资源需求
- 平台支持：Windows、Android、基于Android的平台（包括Meta Quest）
要使用标准模型，您需要安装一个额外的扩展插件。有关安装说明，请参阅前提条件部分。
逼真的口型同步模型为MetaHuman角色提供了增强的视觉保真度：
- 与MetaHuman及基于ARKit的角色兼容，拥有高级面部动画（81个面部控制）
- 视觉质量更高，口型动作更自然
- 性能要求略高
- 流式音频处理，适用于实时应用
- 非常适合电影化体验及特写角色交互
- 三种优化级别：原始、半优化和高度优化
- 可配置的变形目标集（请参阅变形目标集选择）
- 平台支持：Windows、Mac、iOS、Linux、Android、基于Android的平台（包括Meta Quest）
写实模型 已包含在主插件中，无需任何额外扩展即可使用。
该情绪驱动的逼真模型为MetaHuman角色提供情感感知的面部动画。
- 兼容MetaHuman和基于ARKit的角色，提供情绪响应式面部动画（81个面部控制项）
- 12种不同的情绪类型（中性、快乐、悲伤、自信等）
- 可配置的情绪强度（0.0到1.0）
- 可调节的前瞻时间以改善同步性（20毫秒到200毫秒）
- 可选择的输出类型：全脸控制或仅嘴部控制
- 用于实时应用的流式音频处理
- 可配置的形变目标集（参见形变目标集选择）
- 平台支持：Windows、Mac、iOS、Linux、Android、基于Android的平台（包括Meta Quest）
情绪逼真模型已内置在主插件中，使用时无需任何额外扩展。
您可以根据项目对性能、角色兼容性、视觉质量、目标平台和功能需求的要求，选择合适的模型。
工作原理
此插件按以下方式处理音频输入：
- 音频数据以浮点 PCM 格式 接收，并指定了声道和采样率
- 插件处理音频以生成面部控制数据或视素，具体取决于模型
- 对于启用了情绪功能的模型，会将情绪语境应用到面部动画中
- 动画数据实时驱动角色的面部运动
性能架构
Runtime MetaHuman Lip Sync 使用仅 CPU 推理，以提供一致、低延迟的唇形同步结果，适合实时应用。默认情况下，插件每 10 毫秒执行一次唇形同步处理（可调整——请参阅插件配置了解所有可用设置，包括处理块大小、线程数及其他性能参数）。
模型架构概述
这些 lip sync 模型使用紧凑的基于 Transformer 的神经网络，通过梅尔频谱分析处理音频。这种轻量级架构专为实时性能而设计，具有高效的 CPU 推理和极小的内存占用。
为什么使用CPU推理？
对于实时口型同步这类小规模、高频的推理操作，CPU处理相比GPU能提供更低的延迟特性。在批量大小为1、推理间隔为10-100毫秒的情况下，GPU因PCIe传输和内核启动产生的开销往往超过实际计算时间。此外，在游戏引擎中，GPU早已忙于渲染、着色器和物理计算，造成资源争用，从而引入不可预测的延迟峰值。
硬件兼容性
该插件在大多数中端及更高性能的CPU上高效运行，无需专用图形硬件，能在桌面、移动和VR平台上提供实时性能。对于性能较弱的硬件，你可以将Model Type调整为Semi-Optimized或Highly Optimized，或增加**Processing Chunk Size**以保持实时性能，但响应速度会略有降低。
快速入门
以下是在您的角色上启用唇形同步的基本设置：
- 对于MetaHuman角色，请遵循设置指南
- 对于自定义角色，请遵循自定义角色设置指南
- 选择并配置您偏好的唇形同步模型
- 在您的蓝图中设置音频输入处理
- 在动画蓝图中连接相应的唇形同步节点
- 播放音频，观察您的角色同步动画
可选的眼部动画
插件还包含了可选的辅助功能，用于 MetaHuman 的自动眨眼和视线追踪。这些功能独立于唇形同步，可以单独使用或叠加使用。详情请见眼部动画辅助功能。
其他资源
📦 下载与链接
演示项目：
两个现成的演示项目可用——有关完整细节、下载和操作指南，请查看专门的演示项目页面：
- 完整的AI对话NPC工作流程 - 语音识别 + LLM聊天机器人 + TTS + 唇形同步
- 基础唇形同步演示 - 麦克风输入、音频文件、TTS
两个演示均跨平台（Windows, Mac, Linux, iOS, Android, Meta Quest），并以打包版本和完整的 UE 5.6+ 源项目形式提供。
🎥 视频教程
精选演示：
写实模型（高质量）教程：
- 基于音频文件/缓冲区的高质量唇形同步
- 具有情绪控制与本地TTS的高质量唇形同步
- 结合 ElevenLabs 和 OpenAI TTS 的高质量唇形同步
- 高质量实时麦克风唇形同步
- 适用于 ARKit 角色的高质量唇形同步
标准模型教程：
通用设置：
💬 支持
- 自定义开发： solutions@georgy.dev（为团队和组织量身定制的解决方案）