跳至主要内容

概觀

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync 是一個外掛，可為 MetaHuman 與自訂角色提供即時、離線且跨平台的嘴型同步。它讓你能依據來自各種來源的音訊輸入，為角色的嘴唇製作動畫，包括：

該外掛會根據音訊輸入在內部生成 viseme（音素的視覺表示）。由於它直接處理音訊資料而非文字，此外掛支援多語言輸入，包括但不限於英文、西班牙文、法文、德文、日文、中文、韓文、俄文、義大利文、葡萄牙文、阿拉伯文和印地文。實際上任何語言都受支援，因為脣形同步是根據音訊音素生成，而非依賴特定語言的文字處理。

標準模型會產生 14 個視素，並使用預先定義的姿勢資產來執行唇形同步動畫。相對地，寫實模型（專屬於 MetaHuman 及以 ARKit 為基礎的角色）會產生 81 項臉部控制變化，且不依賴預先定義的姿勢資產，因此能呈現顯著更逼真的臉部動畫。

角色相容性​

儘管名稱如此，Runtime MetaHuman Lip Sync 仍可搭配 MetaHuman 以外的各種角色使用：

  • Daz Genesis 8/9 角色
  • Reallusion Character Creator 3/4/5（CC3/CC4/CC5）角色
  • Mixamo 角色

動畫標準支援​

  • 基於 FACS 的混合形狀系統
  • Apple ARKit 混合形狀標準
  • Preston Blair 音素集
  • 3ds Max 音素系統
  • 任何具有用於面部表情的自訂變形目標的角色

許多熱門系統，包括 Reallusion CC4/CC5 和 Daz Genesis 8.1/9，也可以轉換為使用 ARKit 標準的混合形狀名稱。這讓你能為這些角色使用 Realistic Model，其具備更高品質的臉部動畫，作為 Standard Model 手動 viseme 對應的替代方案。詳情請參閱將角色轉換為 ARKit 混合形狀。

對於使用 Standard Model 的非 MetaHuman 角色，請參閱自訂角色設定指南。對於使用 Realistic Models 的其他角色，例如 ARKit、CC5/CC4 及類似的 morph target 骨架，請參閱morph target 集選擇。

動畫預覽​

查看這些短動畫，了解該外掛在不同角色類型與模型上所產生的脣形同步動畫品質：

使用 MetaHuman 角色的寫實模型
使用 MetaHuman 角色的標準模型
使用自訂角色的標準模型
使用自訂角色的標準模型

主要功能​

唇形同步模型​

此外掛提供多種脣形同步模型，以滿足不同的專案需求：

標準脣形同步模型提供高效、跨平臺的效能，並具備廣泛的角色相容性：

  • 適用於 MetaHuman 及所有自訂角色類型
  • 針對即時效能進行最佳化
  • 更低的資源需求
  • 平台支援：Windows、Android、基於 Android 的平台（包括 Meta Quest）
需要擴充功能外掛

要使用 Standard Model，你需要安裝額外的擴充外掛。請參閱先決條件章節以取得安裝說明。

您可以根據專案在效能、角色相容性、視覺品質、目標平台及功能需求等方面的要求，選擇合適的模型。

運作方式​

該外掛程式會以下列方式處理音訊輸入：

  1. 音訊資料以 float PCM 格式接收，並附帶指定的聲道數與取樣率
  2. 此外掛會處理音訊，依所使用的模型產生臉部控制資料或視素（viseme）
  3. 對於支援情緒的模型，會將情緒脈絡套用至臉部動畫
  4. 動畫資料會即時驅動角色的臉部動作

效能架構​

Runtime MetaHuman Lip Sync 使用純 CPU 推論，以提供穩定、低延遲的對嘴結果，適合即時應用程式。依預設，此外掛程式每 10 毫秒執行一次對嘴處理（可調整——請參閱外掛程式設定以了解所有可用設定，包括處理區塊大小、執行緒數量及其他效能參數）。

模型架構概覽​

脣形同步模型採用緊湊的基於 transformer 的神經網路，透過梅爾頻譜圖分析來處理音訊。這種輕量級架構專為即時效能而設計，具備高效的 CPU 推論能力與極小的記憶體佔用。

為什麼要使用 CPU 推論？​

對於即時唇形同步這類小型且頻繁的推論操作，CPU 處理能提供比 GPU 更好的延遲特性。在批次大小為 1、推論間隔為 10-100ms 的情況下，GPU 因 PCIe 傳輸和核心啟動所產生的額外開銷，往往超過實際的運算時間。此外，在遊戲引擎中，GPU 早已被渲染、著色器和物理運算佔滿，造成資源競爭，進而引發難以預測的延遲尖峰。

硬體相容性​

該外掛在大多數中階及更高階的 CPU 上皆能高效運作，無需專用繪圖硬體，即可在桌面、行動裝置與 VR 平台上提供即時效能。對於較弱的硬體，您可以將模型類型調整為 Semi-Optimized 或 Highly Optimized，或增加**處理區塊大小**，以在反應速度略為降低的情況下維持即時效能。

快速入門​

以下是為你的角色啟用唇形同步的基本設定：

  1. 針對 MetaHuman 角色，請依照設定指南操作
  2. 針對自訂角色，請依照自訂角色設定指南操作
  3. 選擇並設定您偏好的脣形同步模型
  4. 在您的 Blueprint 中設定音訊輸入處理
  5. 在 Animation Blueprint 中連接適當的脣形同步節點
  6. 播放音訊，觀看您的角色同步進行動畫

選用眼部動畫​

此外掛程式還包含用於 MetaHuman 上自動眨眼與視線追蹤的選用輔助工具。這些功能獨立於脣形同步之外，可單獨使用，或疊加於其上。請參閱眼部動畫輔助工具。

其他資源​

📦 下載與連結​

示範專案：

有兩個可直接使用的示範專案可供使用——完整詳情、下載與操作說明請參閱專門的示範專案頁面：

兩個示範皆為跨平台（Windows、Mac、Linux、iOS、Android、Meta Quest），並以封裝建置版本及完整的 UE 5.6+ 原始碼專案形式提供。

🎥 影片教學​

精選示範：​

寫實模型（高品質）教學：​

標準模型教學：​

一般設定：​

💬 支援​

Join our Discord
online · support