外掛設定

模型設定

為每個播放重建寫實模型生成器

為了確保 Realistic 與 Mood-Enabled Realistic 模型能穩定運作，請在每次播放新音訊前重新建立生成器，而不要在長時間靜音期間重複使用同一個生成器。詳情請參閱疑難排解中的生成器重新建立。

標準模型設定

Create Runtime Viseme Generator 節點使用預設設定，在大多數情境下都能運作良好。設定是透過 Animation Blueprint 混合節點屬性來處理的。

關於 Animation Blueprint 的設定選項，請參閱下方的脣形同步設定章節。

寫實模型設定

Create Realistic MetaHuman Lip Sync Generator 節點接受一個選用的 Configuration 參數，可讓您自訂產生器的行為：

模型類型

模型類型設定決定要使用哪個版本的真實模型：

模型類型	效能	視覺品質	雜訊處理	建議使用情境
高度最佳化（預設）	效能最高，CPU 使用率最低	品質良好	在背景雜訊或非語音聲響下可能出現明顯的嘴部動作	乾淨的音訊環境、效能關鍵的情境
半最佳化	效能良好，CPU 使用率適中	高品質	在吵雜音訊下穩定性較佳	效能與品質兼顧、混合音訊條件
原始	適合在現代 CPU 上即時使用	最高品質	在背景雜訊與非語音聲響下最為穩定	高品質製作、吵雜的音訊環境、需要最高準確度時

效能設定

內部操作執行緒： 控制用於模型內部處理操作的執行緒數量。

• 0（預設/自動）：使用自動偵測（通常為可用 CPU 核心數的 1/4，最多 4 個）
• 1-16：手動指定執行緒數量。較高的數值可能會提升多核心系統上的效能，但會佔用更多 CPU

Inter Op Threads： 控制用於平行執行不同模型操作的執行緒數量。

• 0（預設/自動）：使用自動偵測（通常為可用 CPU 核心數的 1/8，最多 2 個）
• 1-8：手動指定執行緒數量。通常保持較低數值以進行即時處理

處理區塊大小

處理區塊大小決定每個推論步驟中處理的樣本數量。預設值為 160 個樣本（在 16kHz 下為 10ms 的音訊）：

• 較小的值可提供更頻繁的更新，但會增加 CPU 使用率
• 較大的值可降低 CPU 負載，但可能降低唇形同步的靈敏度
• 建議使用 160 的倍數以達到最佳對齊

啟用情緒的模型設定

Create Realistic MetaHuman Lip Sync With Mood Generator 節點在基本寫實模型之外，提供了額外的設定選項：

基本設定

Lookahead Ms： 以毫秒為單位的預讀時間，用於提升脣形同步準確度。

• 預設值：80ms
• 範圍：20ms 至 200ms（必須為 20 的倍數）
• 數值越高可提供更好的同步效果，但會增加延遲

輸出類型： 控制要產生哪些臉部控制項。

• 全臉：全部 81 個臉部控制項（眉毛、眼睛、鼻子、嘴巴、下顎、舌頭）
• 僅嘴部：僅嘴巴、下顎與舌頭相關的控制項

效能設定： 使用與一般寫實模型相同的 Intra Op Threads 和 Inter Op Threads 設定。

情緒設定

可用情緒：

• 中性、快樂、悲傷、厭惡、憤怒、驚訝、恐懼
• 自信、興奮、無聊、俏皮、困惑

情緒強度： 控制情緒影響動畫的強烈程度（0.0 至 1.0）

執行階段情緒控制

您可以在執行階段使用下列函式調整情緒設定：

• 設定情緒：變更目前的情緒類型
• 設定情緒強度：調整情緒影響動畫的強烈程度（0.0 至 1.0）
• 設定前置時間（毫秒）：修改用於同步的前置時間
• 設定輸出類型：在完整臉部與僅嘴部控制之間切換

情緒選擇指南

根據您的內容選擇合適的情緒：

Mood	最適合	典型強度範圍
中性	一般對話、旁白、預設狀態	0.5 - 1.0
開心	正面內容、愉快的對話、慶祝場合	0.6 - 1.0
悲傷	憂鬱內容、情感場景、陰鬱時刻	0.5 - 0.9
厭惡	負面反應、令人反感的內容、拒絕	0.4 - 0.8
憤怒	具攻擊性的對話、對峙場景、挫敗感	0.6 - 1.0
驚訝	突發事件、揭露真相、震驚反應	0.7 - 1.0
恐懼	威脅情境、焦慮、緊張的對話	0.5 - 0.9
自信	專業簡報、領導對話、果斷的言語	0.7 - 1.0
興奮	充滿活力的內容、公告、熱情的對話	0.8 - 1.0
無聊	單調的內容、缺乏興趣的對話、疲倦的言語	0.3 - 0.7
俏皮	輕鬆的對話、幽默、愉快的互動	0.6 - 0.9
困惑	充滿提問的對話、不確定、迷惘	0.4 - 0.8

動畫藍圖設定

唇形同步設定

標準模型

Blend Runtime MetaHuman Lip Sync 節點在其屬性面板中具有配置選項：

屬性	預設值	說明
插值速度	25	控制嘴唇動作在視素之間切換的速度。數值越高，切換越快、越突兀。
重設時間	0.2	重設唇形同步的持續時間（秒）。這有助於防止音訊停止後唇形同步仍持續進行。

笑聲動畫

您也可以加入笑聲動畫，讓動畫能動態回應音訊中偵測到的笑聲：

1. 新增 Blend Runtime MetaHuman Laughter 節點
2. 將你的 RuntimeVisemeGenerator 變數連接到 Viseme Generator 引腳
3. 如果你已經在使用脣形同步：
   • 將 Blend Runtime MetaHuman Lip Sync 節點的輸出連接到 Blend Runtime MetaHuman Laughter 節點的 Source Pose
   • 將 Blend Runtime MetaHuman Laughter 節點的輸出連接到 Output Pose 的 Result 引腳
4. 若僅使用笑聲而不進行脣形同步：
   • 將你的來源姿勢直接連接到 Blend Runtime MetaHuman Laughter 節點的 Source Pose
   • 將輸出連接到 Result 引腳

當音訊中偵測到笑聲時，你的角色會據此動態播放動畫：

笑聲設定

Blend Runtime MetaHuman Laughter 節點有其專屬的設定選項：

屬性	預設值	說明
插值速度	25	控制嘴唇動作在笑聲動畫之間切換的速度。數值越高，切換越快、越突兀。
重設時間	0.2	重設笑聲的持續時間（秒）。這有助於防止音訊停止後笑聲仍持續播放。
最大笑聲權重	0.7	縮放笑聲動畫的最大強度（0.0 - 1.0）。

注意： 笑聲偵測目前僅適用於 Standard Model。

寫實模型

Blend Realistic MetaHuman Lip Sync 節點在其屬性面板中具有配置選項：

屬性	預設值	說明
插值速度	30	控制說話期間臉部表情的過渡速度。數值越高，過渡越快、越突兀。
閒置插值速度	15	控制臉部表情過渡回閒置／中性狀態的速度。數值越低，回到靜止姿勢的過程越平滑、越漸進。
重設時間	0.2	經過此秒數後，唇形同步會重設為閒置狀態。有助於避免音訊停止後表情仍持續變化。
保留閒置狀態	false	啟用後，會在閒置期間保留最後的情緒狀態，而非重設為中性。
保留眼部表情	true	控制閒置狀態期間是否保留與眼部相關的臉部控制項。僅在啟用「保留閒置狀態」時有效。
保留眉毛表情	true	控制閒置狀態期間是否保留與眉毛相關的臉部控制項。僅在啟用「保留閒置狀態」時有效。
保留嘴型	false	控制閒置狀態期間是否保留嘴型控制項（不含舌頭與下顎等說話專屬動作）。僅在啟用「保留閒置狀態」時有效。

閒置狀態保留

保留閒置狀態功能解決了 Realistic 模型如何處理靜音時段的問題。與使用離散 viseme 且在靜音期間始終回到零值的 Standard 模型不同，Realistic 模型的神經網路可能會維持微妙的面部定位，而這與 MetaHuman 的預設靜止姿勢有所不同。

何時啟用：

• 在語音片段之間維持情緒表情
• 保留角色個性特質
• 確保電影式序列中的視覺連續性

區域控制選項：

• 眼部表情：保留瞇眼、睜大眼與眼瞼位置
• 眉毛表情：維持眉毛與額頭位置
• 嘴型：保留整體嘴部曲度，同時允許說話動作（舌頭、下顎）重置

與現有動畫結合

影片逐步導覽

偏好觀看勝過閱讀嗎？請查看涵蓋此確切設定流程的影片教學。

若要在既有的身體動畫與自訂臉部動畫之外套用脣形同步與笑聲，而不覆蓋它們：

身體動畫

此設定適用於臉部 Animation Blueprint，因為唇形同步不屬於身體 Animation Blueprint 的一部分。若需自訂身體動畫（例如軀幹、手臂及其他身體動作），只需將你的動畫序列（透過 Sequence Player）直接連接到身體 Animation Blueprint 中的輸出姿勢即可。該處無需額外設定。

1. 在你的身體動畫與最終輸出之間加入一個 Layered blend per bone 節點。
2. 設定圖層配置：
   • 將 1 個項目 加入 Layer Setup 陣列
   • 將 3 個項目 加入該圖層的 Branch Filters，並使用下列 Bone Name：
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. 自訂臉部動畫的重要事項： 在 Curve Blend Option 中，選擇 「Use Max Value」。這可讓自訂臉部動畫（表情、情緒等）正確地疊加在脣形同步之上。
4. 建立連線：
   • 你的自訂動畫（通常是帶有所需動畫序列資產的 Sequence Player）→ Base Pose 輸入
   • 臉部動畫輸出（來自脣形同步和／或笑聲節點）→ Blend Poses 0 輸入
   • 分層混合節點 → 最終 Result 姿勢

形態目標集選擇

標準模型

標準模型使用姿勢資產，其透過自訂姿勢資產設定原生支援任何形變目標命名慣例。無需額外設定。

寫實模型

Blend Realistic MetaHuman Lip Sync 節點包含一個 Morph Target Set 屬性，用來決定臉部動畫要採用哪種 morph target 命名慣例：

形態目標集	說明	使用案例
MetaHuman（預設）	標準 MetaHuman 形態目標名稱（例如 CTRL_expressions_jawOpen）	MetaHuman 角色
ARKit	相容於 Apple ARKit 的名稱（例如 JawOpen、MouthSmileLeft）	以 ARKit 為基礎的角色

將角色轉換為 ARKit 或 MetaHuman 混合形狀

若你的角色並非原生使用 ARKit 標準的混合形狀名稱，數個熱門的商業角色系統可經轉換以產生這些名稱（或者，就 CC5 而言，可直接轉換為原生 MetaHuman 混合形狀）。如此一來，你便能使用上方的 ARKit 或 MetaHuman 形態目標集，而不必採用標準模型所需的手動 viseme 對應流程。

Reallusion CC4/CC5 與 Daz Genesis 8.1/9 轉換指南（點擊展開）

Reallusion CC4/CC5

CC4 與 CC5 角色的處理方式在此有所不同，因為 CC5 角色可以直接共用 MetaHuman 的原生臉部綁定，完全不需要進行 ARKit 轉換。

CC5：轉換為 MetaHuman 混合形狀（建議）

如果你的角色是在 CC5 中使用 HD 面部設定檔 建立的，它已經共用 MetaHuman 的面部控制項和骨架，因此不需要手動生成 ARKit 混合形狀。觀看下方影片，了解使用 Reallusion 免費的 Auto Setup (All-in-One) 外掛程式的完整匯出/匯入工作流程：

匯入後，請選擇 MetaHuman Morph Target Set 選項，而非 ARKit，因為該角色的混合形狀已使用原生 MetaHuman 命名。

CC4（或未使用 HD 設定檔的 CC5）：轉換為 ARKit 混合形狀

如果你使用的是 CC4，或是不使用 HD 臉部設定檔的 CC5 角色，請改用 ARKit 手動轉換。開始之前，請確認角色的 Facial Profile 已設為 CC4 Extended（而非 Standard、Extended-Plus 或較新的 HD Facial Profile）。此腳本的混合形狀對應是針對 Extended 的滑桿名稱硬編碼的，其他設定檔使用不同的命名慣例，腳本會靜默跳過或找不到預期的滑桿。

1. 下載這個腳本：rl_export_arkit_objs.py

2. 在文字編輯器中開啟腳本，並在 output_dir = "path/to/your/target/folder" 處，將路徑指定為你的匯出資料夾。請務必使用正斜線 /。

3. 在 Character Creator 中，選擇你的角色，然後在頂部選單的 Script 下選擇 Load Python。接著選擇你剛剛編輯過的腳本。腳本現在會從預設的 Reallusion 滑桿建立完整的 ARKit 混合形狀（blendshapes）組，並將其匯出為 OBJ 檔案。這可能需要幾分鐘的時間。

   

4. 您現在可以透過前往 Facial Profile Editor 視窗來匯入這些形狀。點擊 Edit Expressions 按鈕，並在 Batch Import 下拉選單中選擇 OBJ。

   

5. 您可以在此匯入先前參照的資料夾。接著會列出所有 ARKit 形狀。在 Target Category 中輸入名稱，例如 AR_Kit，然後按一下 OK。

   

6. 這會在 Expression 底下建立一個新類別。你可以停用所有其他類別。

   

設定好 ARKit 類別後，照常將你的角色匯出為 FBX。這會讓角色具備標準的 52 個 ARKit 混合形狀，之後你就能搭配上方 ARKit Morph Target Set 選項使用。

注意： 在 CC4 的骨架中，下顎運動部分是由骨骼旋轉而非純粹的混合形狀驅動，因此匯出後 jawOpen 可能看起來很弱，或無法令人信服地張開嘴巴。若發生此情況，請在 FBX 匯出選項中啟用 Mouth Open as Morph，這會將下顎由骨骼驅動的動作烘焙成一個專用的混合形狀，可將其指定為 jawOpen 的來源，而非預設的來源。或者，cc_blender_tools 附加元件可讓角色透過 Blender 處理，以修正此問題及其他形狀問題；請參閱其文件的「Blender Round Trip」章節以了解工作流程（該頁面標題提到 Unity，但這個特定章節與引擎無關）。

Daz Genesis 8/8.1/9

Daz 的 FACS 形變，原生支援於 Genesis 8.1 與 Genesis 9，已與 ARKit 相容，無需重新命名。純 Genesis 8（非 8.1）預設不包含這些形變。您需要改用 Genesis 8.1，或另外加入獨立的 FACS 形變包。

持續維護中的 Diffeomorphic 附加元件（Daz Studio 與 Blender 之間的橋接工具，與 Daz 3D 無關）是將這些匯入 Unreal 的建議方式：

1. 在 Blender 中，使用 Diffeomorphic 的 Easy Import DAZ 工具，並搭配正確的世代預設（G8.1 或 G9）以及啟用 FACS 匯入選項。請參閱 Easy Import DAZ 指南。
2. 這會將 FACS 形變匯入為 Blender 的形狀鍵。從 Blender 將角色匯出為 FBX，形狀鍵名稱便會沿用為形變目標名稱。

匯出後，請使用上方的 ARKit 形變目標集 選項。

注意： 睫毛與眼球上的視線方向形狀可能無法完全轉移，因為它們的驅動方式與主臉部網格不同，但這不影響脣形同步，因為脣形同步只需要嘴部與下顎形狀。

微調脣形同步行為

縮放特定脣形同步曲線

你可以使用 Modify Curve 節點來衰減（或放大）由脣形同步產生的個別臉部動作。當某個特定曲線對你的音訊內容或角色而言顯得太過明顯時，這會很有用。

設定：

1. 在你的脣形同步混合節點之後，新增一個 Modify Curve 節點
2. 在節點上按右鍵並選擇 Add Curve Pin，然後輸入你想要縮放的曲線名稱
3. 將節點的 Apply Mode 屬性設為 Scale
4. 設定 Value 參數：小於 1.0 的值會抑制動作，大於 1.0 的值會放大動作（例如 0.8 = 減少 20%）

常用縮放曲線：

曲線名稱	用途	適用於	典型調整
CTRL_expressions_tongueOut	特定音素期間的舌頭向前伸出	標準模型	0.8 以減少伸出
CTRL_expressions_jawOpen	下顎張開範圍	寫實模型	0.9 以減少下顎動作

您可以將多個曲線接腳新增至同一個 Modify Curve 節點，以同時縮放多條曲線。

情緒專屬微調

對於支援情緒的模型，你可以微調特定的情緒表達：

眉毛控制：

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - 內側眉毛上揚
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - 外側眉毛上揚
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - 眉毛下壓

眼部表情控制：

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - 瞇眼
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - 臉頰上提

模型比較與選擇

選擇模型

在決定專案要使用哪個脣形同步模型時，請考慮以下因素：

考量	標準模型	寫實模型	支援情緒的寫實模型
角色相容性	MetaHuman 及所有自訂角色類型	MetaHuman（及 ARKit）角色	MetaHuman（及 ARKit）角色
視覺品質	良好的唇形同步，效能高效	更自然的嘴部動作，提升寫實感	具情緒表情，提升寫實感
效能	針對所有平台最佳化，包括行動裝置/VR	資源需求較高	資源需求較高
功能	14 個 viseme、笑聲偵測	81 個臉部控制項、3 個最佳化等級	81 個臉部控制項、12 種情緒、可設定的輸出
平台支援	Windows、Android、Quest	Windows、Mac、iOS、Linux、Android、Quest	Windows、Mac、iOS、Linux、Android、Quest
使用案例	一般應用程式、遊戲、VR/AR、行動裝置	電影級體驗、特寫互動	情緒敘事、進階角色互動

引擎版本相容性

UE 5.2 相容性問題

如果您使用的是 Unreal Engine 5.2，由於 UE 重取樣函式庫中的錯誤，寫實模型可能無法正常運作。對於需要可靠脣形同步功能的 UE 5.2 使用者，請改用 標準模型。

此問題僅限於 UE 5.2，不會影響其他引擎版本。

效能建議

• 對大多數專案而言，Standard Model 在品質與效能之間提供了極佳的平衡
• 當你需要 MetaHuman 角色達到最高視覺保真度時，請使用 Realistic Model
• 當情緒表達控制對你的應用程式很重要時，請使用 Mood-Enabled Realistic Model
• 在選擇模型時，請考量目標平台的效能能力
• 測試不同的最佳化等級，以找出最適合你特定使用情境的平衡點

疑難排解

常見問題

為寫實模型重建生成器： 為了與寫實模型進行可靠且一致的操作，建議在閒置一段時間後，每次想輸入新的音訊資料時都重建生成器。這是因為 ONNX 執行階段的行為，在經過一段靜音期間後重複使用生成器時，可能會導致脣形同步停止運作。

例如，你可以在每次播放開始時重新建立脣形同步產生器，例如每當你呼叫 Play Sound 2D 或使用任何其他方法來開始音波播放與脣形同步時：

Runtime Text To Speech 整合的外掛位置： 當同時使用 Runtime MetaHuman Lip Sync 與 Runtime Text To Speech（兩者皆使用 ONNX Runtime）時，若外掛安裝於引擎的 Marketplace 資料夾中，可能會遇到問題。若要修正此問題：

1. 在你的 UE 安裝資料夾中，於 \Engine\Plugins\Marketplace 底下找到這兩個外掛（例如 C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace）
2. 將 RuntimeMetaHumanLipSync 和 RuntimeTextToSpeech 這兩個資料夾都移到你專案的 Plugins 資料夾中
3. 如果你的專案沒有 Plugins 資料夾，請在與 .uproject 檔案相同的目錄中建立一個
4. 重新啟動 Unreal Editor

這解決了當從引擎的 Marketplace 目錄載入多個基於 ONNX Runtime 的外掛時可能發生的相容性問題。

封裝設定（Windows）： 若你的 Windows 封裝專案中脣形同步無法正常運作，請確認你使用的是 Shipping 建置組態，而非 Development。Development 組態可能會導致封裝版本中逼真模型的 ONNX 執行階段出現問題。

要修正這個問題：

1. 在您的 Project Settings → Packaging 中，將 Build Configuration 設為 Shipping
2. 重新封裝您的專案

僅使用 Blueprint 的專案

在某些僅使用 Blueprint 的專案中，即使選擇了 Shipping，Unreal Engine 仍可能以 Development 組態進行建置。若發生此情況，請透過新增至少一個 C++ 類別（可以是空類別）將專案轉換為 C++ 專案。若要這麼做，請在 UE 編輯器選單中前往 Tools → New C++ Class 並建立一個空類別。這將強制專案以 Shipping 組態正確建置。你的專案在功能上仍可維持僅使用 Blueprint，C++ 類別只是為了正確的建置組態所需。

唇形同步反應變差： 如果你在使用 Streaming Sound Wave 或 Capturable Sound Wave 時，發現唇形同步隨著時間推移變得越來越不靈敏，這可能是記憶體累積造成的。預設情況下，每次附加新音訊時都會重新配置記憶體。為避免此問題，請定期呼叫 ReleaseMemory 函式來釋放累積的記憶體，例如每 30 秒左右一次。

效能最佳化：

• 根據你的效能需求，為 Realistic 模型調整處理區塊大小
• 針對你的目標硬體使用適當的執行緒數量
• 當不需要完整臉部動畫時，對於支援情緒的模型，考慮使用 Mouth Only 輸出類型