跳到主要内容

如何将插件与自定义角色一起使用

本指南将引导您为“非MetaHuman”角色设置Runtime MetaHuman Lip Sync。此过程需要熟悉动画概念与角色绑定。如果您需要针对特定角色实施此功能，可通过solutions@georgy.dev联系以获得专业支持。

关于口型同步模型的重要说明​

自定义角色兼容性

本指南介绍不使用 MetaHuman 或 ARKit 变形目标命名约定的自定义角色。

Realistic（更高质量）模型适用于变形目标遵循 MetaHuman 或 ARKit 命名标准的角色，可通过 变形目标集选择 进行配置。如果您的角色已经使用（或可以导出/转换为使用）符合 ARKit 标准的混合变形名称，则无需遵循本指南中的手动映射流程，即可使用 Realistic 模型。关于 CC4/CC5、Daz Genesis 等常见角色，请参阅 将角色转换为 ARKit 混合变形。

如果您的角色使用了不同的变形目标集（例如 Daz Genesis、Reallusion CC3/CC4/CC5、Mixamo 或简化的自定义绑定），则 Standard (Faster) 模型 是受支持的选项，请按照以下步骤操作。

需要扩展插件： 要将 Standard Model 与自定义角色一起使用，您必须按照主设置指南的先决条件部分中所述安装 Standard Lip Sync Extension 插件。

对于本指南中描述的所有自定义角色实现，此扩展是必需的。

前提条件​

在开始之前，请确保您的角色满足以下要求：

  • 拥有有效的骨架
  • 包含用于面部表情的变形目标（混合形状）
  • 理想情况下具有 10+ 个用于定义 viseme 的变形目标（viseme 越多，口型同步质量越高）

该插件要求将您的角色的变形目标映射到以下标准视位：

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

注意： 如果你的角色有一套不同的视位（这很可能），你无需为每个视位找到精确匹配。近似通常就足够了——例如，将你角色的 SH 视位映射到插件的 CH 视位就能有效工作，因为它们是密切相关的齿龈后音。

口型映射参考​

以下是常见视位系统与插件所需视位之间的映射：

ARKit 提供了一套全面的面部动画混合变形（blendshapes），其中包括多种嘴部形状。下面介绍如何将它们映射到 RuntimeMetaHumanLipSync 的视位（visemes）：

RuntimeMetaHumanLipSync 视位ARKit 等效笔记
SilmouthClose中性/静止位置
PPmouthPressLeft + mouthPressRight对于双唇音，请同时使用两种按压嘴型。
FFlowerLipBiteLeft + lowerLipBiteRight（或 mouthRollLower）下唇接触上齿，如发“f”和“v”音时。
THtongueOutARKit 具有直接的舌头控制功能。
DDjawOpen (mild) + tongueUp (if you have tongue rig)舌头接触齿龈；下颌轻微下沉。
KKmouthLeft or mouthRight (mild)细微的嘴角拉动可近似软腭音。
CHjawOpen (mild) + mouthFunnel (mild)组合以生成龈后音
SSmouthFrown发咝音时轻轻皱眉。
NNjawOpen (very mild) + mouthClose嘴巴几乎闭合，下颌轻微张开
RRmouthPucker (mild)为r音添加微妙的圆唇效果
AAjawOpen + mouthStretchLeft + mouthStretchRight (或 jawOpen + mouthOpen)张大嘴巴发“啊”音
EjawOpen (mild) + mouthSmile中等张开状态，带轻微微笑
IHmouthSmile (mild)嘴唇轻微展开
OHmouthFunnel圆润的开放形状
OUmouthPucker双唇紧圆

创建自定义姿势资产​

请按照以下步骤为你的角色创建一个自定义姿势资源，该资源将用于 Blend Runtime MetaHuman Lip Sync 节点：

1. 找到你的角色的骨骼网格体​

找到包含要用于口型同步动画的变形目标（混合形状）的骨骼网格体。该网格体可能是全身网格体，也可能只是面部网格，具体取决于角色的设计。

2. 验证变形目标和曲线​

在继续之前，请检查你的骨骼网格体是否具有合适的变形目标以及用于口型同步动画的相应曲线。

检查变形目标： 请验证你的骨骼网格体包含可用作口型同步动画视位的变形目标（混合形状）。大多数支持面部动画的角色都应具备一些音素/视位变形目标。

Example of morph targets in a character

重要：检查曲线选项卡 这一步骤对于从 Blender 或其他外部软件导出的角色尤为关键：

  1. 在骨骼网格体编辑器中打开曲线选项卡。
  2. 检查是否可以看到与变形目标对应的曲线。
  3. 如果“曲线”选项卡为空，但存在变形目标，请使用与变形目标完全相同的名称手动添加新曲线。

**注意：**此问题通常出现在 Blender 导出中，此时形态目标可以成功导入，但不会自动生成动画曲线。如果没有匹配的曲线，则在烘焙到 Control Rig 后动画将无法正常填充。

替代解决方案： 为避免在从 Blender 导出时出现此问题，请尝试在 FBX 导出设置中启用 自定义属性 和 动画，这可能有助于将动画曲线与变形目标一同包含。

3. 创建参考姿势动画​

  1. 转到 创建资产 -> 创建动画 -> 参考姿势
  2. 为动画序列输入一个描述性名称，并将其保存到合适的位置
  3. 创建的动画序列将自动打开，显示一个循环播放的空动画

Creating a reference pose asset Naming the reference pose asset

  1. 点击 Pause 按钮停止动画播放，以便更轻松地编辑。

Pausing animation playback

4. 编辑动画序列​

  1. 点击 Edit in Sequencer -> Edit with FK Control Rig
  2. 在 Bake to Control Rig 对话框中，点击 Bake to Control Rig 按钮，不要更改任何设置。

Editing with FK Control Rig Baking to Control Rig

  1. 编辑器将切换到动画模式，并打开Sequencer选项卡。
  2. 将 View Range End Time 设置为 0016（这也会自动将 Working Range End 设置为 0016）。
  3. 将滑块的右边缘拖到序列器窗口的右端。

5. 准备动画曲线​

  1. 回到 Animation Sequence 资源，并在 Curves 列表中找到变形目标（如果它们不可见，请关闭并重新打开该 Animation Sequence 资源）。
  2. 移除任何与你要用于口型同步的视位或嘴部动作无关的变形目标。

6. 规划你的视位映射​

创建一个映射计划，将角色的视位与插件所需的集合进行匹配。例如：

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

请注意，如果角色的视位集没有与每个所需视位完全匹配，存在重复映射也是可以接受的。

7. 为每个 viseme 制作动画​

  1. 对于每个视位，将相关的变形目标曲线从 0.0 动画至 1.0
  2. 让每个视位的动画从不同的帧开始
  3. 根据需要配置额外的曲线（下颌/嘴部张开、舌头位置等），以创建自然逼真的视位形状

8. 创建姿势资产​

  1. 转到 创建资产 -> 姿势资产 -> 当前动画
  2. 为姿势资产输入一个描述性名称，并将其保存到适当的位置。
  3. 创建的姿势资源将自动打开，并显示诸如 Pose_0、Pose_1 等姿势，每个姿势对应一个视位。
  4. 预览视位权重，以确保它们按预期工作。

Creating a pose asset Naming the pose asset Pose asset with visemes

9. 最终确定姿势资源​

  1. 将每个姿势重命名，使其与 先决条件 部分中的视位名称匹配
  2. 删除任何未使用的姿势

设置音频处理与混合​

一旦你的姿势资源准备就绪，就需要设置音频处理和混合节点：

  1. 为你的角色找到或创建 Animation Blueprint
  2. 按照标准插件设置指南中记录的相同步骤设置音频处理与混合
  3. 在 Blend Runtime MetaHuman Lip Sync 节点中，选择你的自定义姿势资产，而不是默认的 MetaHuman 姿势资产

Selecting the custom pose asset

结合身体动画​

如果你想在播放其他身体动画的同时进行口型同步：

  1. 按照标准插件指南中记录的相同步骤操作
  2. 确保为您的角色颈部骨骼提供正确的骨骼名称，而不是使用 MetaHuman 的骨骼名称。

结果​

以下是使用此设置的自定义角色示例：

Example 1: Lip sync with custom character

Example 2: Lip sync with different viseme system

Example 3: Lip sync with different viseme system

口型同步的质量在很大程度上取决于具体角色及其视位的设置完善程度。上述示例展示了该插件与拥有不同视位系统的各类自定义角色配合工作的效果。