演示项目

为了帮助您快速上手 Runtime MetaHuman Lip Sync，我们提供了两个即用型演示项目。两者均基于 Unreal Engine 5.6+ 构建，为 Blueprint-only，并可在 Windows、Mac、Linux、iOS、Android 以及基于 Android 的平台（包括 Meta Quest）上跨平台运行。

可用的演示项目

AI Conversational NPC

一个完整的 AI NPC 对话工作流，结合了语音识别、AI 聊天机器人 (LLM)、文本转语音以及带有实时唇音同步的音频播放 —— 全部在一个项目中协同运行。

流程概览

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

视频

快速预览（~30秒）

一段简短的演示展示。

完整演示流程

详细演示，涵盖设置、配置和完整对话流程。

下载

• 下载打包演示（Windows）
• 下载源文件（UE 5.6+）

必需与可选插件

该演示项目是模块化的 - 您只需要您想使用的提供程序所需的插件。

插件	用途	是否必需？
Runtime MetaHuman Lip Sync	口型同步动画	✅ 始终需要
Runtime Audio Importer	音频采集与处理	✅ 始终需要
Runtime Speech Recognizer	离线语音识别（whisper.cpp）	✅ 始终需要
Runtime AI Chatbot Integrator	外部 LLM（OpenAI、Claude、DeepSeek、Gemini、Grok、Ollama）和/或 外部 TTS（OpenAI、ElevenLabs）	🔶 可选
Runtime Local LLM	通过 llama.cpp 进行本地大语言模型推理（Llama、Mistral、Gemma 等 GGUF 模型）	🔶 可选
Runtime Text To Speech	通过 Piper 和 Kokoro 进行本地文本转语音	🔶 可选

可选插件 - 提供程序要求

虽然上述每个插件单独来看都是可选的，但您需要至少一个 LLM 提供程序和至少一个 TTS 提供程序才能使演示正常运行。您可以自由组合（例如，本地 LLM + ElevenLabs TTS，或 OpenAI LLM + 本地 TTS）。

模块化架构

在 Content 文件夹中，您会找到一个 Modules 文件夹，其中包含三个子文件夹：

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

如果您没有获取一个（或多个）可选插件，只需删除相应的文件夹。演示项目的基础资产（游戏实例、小部件等）不直接引用这些模块，因此删除它们不会导致资产引用错误。配置界面会自动隐藏文件夹缺失的任何提供者。

备注

这种模块化仅适用于LLM和TTS提供者。Speech Recognition (Runtime Speech Recognizer) 和 Lip Sync (Runtime MetaHuman Lip Sync) 是基础演示项目的一部分，始终需要。

注意

首次启动时，Unreal可能会询问是否要禁用任何缺少的可选插件——点击是。请确保您也删除了相应的 Content/Modules/ 文件夹（见上文）。

演示项目布局

UI仅用于演示目的

下面显示的用户界面完全使用UMG (Unreal Motion Graphics) 构建，纯粹用于演示管道——语音识别 → LLM → TTS → 嘴型同步。您可以自由地重新设计或替换它，以匹配您的游戏视觉设计、控制方案或平台（VR/AR、移动设备、主机等）。如果您的用例中不需要某些小部件，您也可以直接隐藏它们（例如，将其可见性设置为折叠或隐藏）。

区域	内容
中央	MetaHuman 角色。
左侧	四个配置按钮（语音识别、AI 聊天机器人、文本转语音、动画），详情如下。
中央底部	一个开始录制按钮。点击它即可开始语音对话：您的麦克风被捕获、转录、发送到LLM，响应通过TTS合成，并通过嘴型同步回放，全程免提。
右侧中央	一个对话历史小部件，显示您与AI之间的完整来回对话（包括用户和助手消息）。它还包含一个文本输入字段，因此您可以直接输入消息而无需使用语音识别，这对测试、无障碍访问或麦克风不可用时很有用。

提示

您可以自由地在同一会话中混合使用两种输入模式——说一些消息，输入另一些。

配置按钮

左侧的四个配置按钮为管道的每个部分打开专用面板：

1. 配置语音识别

配置如何捕获和转录用户的声音：

• 选择语言
• 调整语音识别参数（Whisper 模型设置）
• 配置 AEC（声学回声消除）
• 配置 VAD（语音活动检测）

2. 配置 AI 聊天机器人

选择您的LLM提供者并进行配置：

• 选择提供者（Runtime AI Chatbot Integrator 或 Runtime Local LLM）
• 对于外部提供者：认证令牌、模型名称等。
• 对于本地LLM：选择一个GGUF 模型，设置上下文大小和其他推理参数。您还可以直接从演示中在运行时下载自己的 GGUF 模型（例如通过URL），并立即使用，无需重建项目。

提示

提供者组合框仅显示插件模块文件夹存在于 Content/Modules/ 中的提供者。

3. 配置文本转语音

选择您的TTS提供者并配置语音/模型：

• 选择提供者（用于OpenAI/ElevenLabs的Runtime AI Chatbot Integrator，或用于本地Piper/Kokoro的Runtime Text To Speech）
• 选择语音/模型
• 调整提供者特定的参数

4. 配置动画

控制您的AI NPC的外观：

• 在3个预下载的MetaHuman角色（Aera、Ada、Orlando）之间选择
• 选择嘴型同步模型（标准或真实）
• 选择嘴型同步模型类型 - 高度优化、半优化或原始（参见模型类型）
• 调整处理块大小 - 控制嘴型同步推理运行的频率（参见处理块大小）
• 选择一个待机动画在对话期间在MetaHuman上播放

在编辑器中预先配置演示

在使用源代码版本时，您可以直接在编辑器中预先填写默认值，以便每次运行无需重新输入：

内容	位置
通用设置（嘴型同步模型、待机动画、角色类、语音识别等）	Content/LipSyncSTSGameInstance
外部LLM / 外部TTS 设置 (Runtime AI Chatbot Integrator)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
本地LLM 设置 (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
本地TTS 设置 (Runtime Text To Speech)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

跨平台说明

演示中使用的所有插件都支持Windows、Mac、Linux、iOS、Android以及基于Android的平台（包括Meta Quest），因此演示项目同样适用于所有这些平台。

对于性能较弱的设备（移动设备、独立VR），您可能希望：

• 使用标准嘴型同步模型而非真实模型 - 参见模型比较
• 切换到高度优化模型类型
• 增加处理块大小以减少CPU负载
• 选择较小的LLM / TTS模型

有关Android、iOS、Mac和Linux上的额外设置步骤，请参见平台特定配置。

带入您自己的MetaHuman

演示项目附带了三个示例MetaHuman角色（Aera、Ada、Orlando），但您可以导入自己的MetaHuman并在演示中使用。

📺 视频教程： Adding a Custom MetaHuman Character to the Demo Project

备注

Runtime MetaHuman Lip Sync 插件本身支持 MetaHuman 之外的许多其他角色系统（基于 ARKit 的角色、Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe 等 - 参见自定义角色设置指南）。

Basic Lip Sync Demo

一个更简单的演示项目，纯粹专注于嘴型同步功能本身，不包含完整的AI对话工作流程。如果您只想看到嘴型同步在各种音频源中的实际效果，这个项目很合适。

特色视频

下载

• Download packaged demo (Windows)
• Download source files (UE 5.6+)

包含内容

此演示展示了基本的嘴型同步工作流程：

• 麦克风输入 - 来自实时音频的实时嘴型同步
• 音频文件播放 - 来自导入音频文件的嘴型同步
• 文本转语音 - 由合成语音驱动的嘴型同步

必需插件和可选插件

插件	用途	是否必需？
Runtime MetaHuman Lip Sync	嘴型同步动画	✅ 必需
Runtime Audio Importer	音频导入与捕获	✅ 必需
Runtime Text To Speech	TTS演示场景的本地TTS	🔶 可选
Runtime AI Chatbot Integrator	外部TTS提供者（OpenAI、ElevenLabs）	🔶 可选

标准嘴型同步模型注意事项

如果您计划在任一演示项目中使用标准模型（而非真实模型），则需要安装标准嘴型同步扩展插件。有关安装说明，请参见标准模型扩展。

需要帮助？

如果您在设置或运行演示项目时遇到任何问题，请随时联系：

Join our Discord

online · support

如有自定义开发需求（例如，用您自己的逻辑扩展演示，针对特定平台或角色管线进行适配），请联系 solutions@georgy.dev。