メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Syncは、MetaHumanとカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームのリップシンクを可能にするプラグインです。様々なソースからの音声入力に応じてキャラクターの口唇をアニメーションさせることができます。そのソースには次のようなものがあります：

プラグインは音声入力に基づいて内部的に視素（音素の視覚的な表現）を生成します。テキストではなく音声データそのものを扱うため、英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語を含む多言語入力をサポートしています。文字通りあらゆる言語がサポートされています。なぜなら、リップシンクは言語固有のテキスト処理ではなく、音声の音素から生成されるからです。

標準モデルは14の視素を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。これに対し、リアリスティックモデル（MetaHumanおよびARKitベースのキャラクター専用）は、事前定義されたポーズアセットを使わずに81の表情制御の変化を生成し、はるかにリアルな表情アニメーションを実現します。

キャラクターの互換性​

その名前にもかかわらず、Runtime MetaHuman Lip SyncはMetaHumanだけでなく、幅広いキャラクターで動作します：

一般的な商用キャラクターシステム​

  • Daz Genesis 8/9キャラクター
  • Reallusion Character Creator 3/4（CC3/CC4）キャラクター
  • Mixamoキャラクター
  • ReadyPlayerMeアバター

アニメーション標準のサポート​

  • FACSベースのブレンドシェイプシステム
  • Apple ARKitブレンドシェイプ標準
  • Preston Blair音素セット
  • 3ds Max音素システム
  • 表情用のカスタムモーフターゲットを持つあらゆるキャラクター

非MetaHumanキャラクターでのプラグインの使用方法の詳細については、カスタムキャラクター設定ガイドをご覧ください。

アニメーションプレビュー​

これらの短いアニメーションを見て、異なるキャラクタータイプとモデルにわたるプラグインのリップシンクアニメーションの品質をご確認ください：

リアルなモデルとMetaHumanキャラクター
標準モデルとMetaHumanキャラクター
カスタムキャラクター付き標準モデル
Standard Model（カスタムキャラクター）

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフライン音声処理のサポート
  • モデル固有のプラットフォームサポートによるクロスプラットフォーム対応
  • 複数のキャラクターシステムとアニメーション規格への対応
  • カスタムキャラクター向けの柔軟なビジームマッピング
  • ユニバーサル言語対応 - 音声分析により、あらゆる音声言語で動作
  • 表現力を高めるムード認識フェイシャルアニメーション
  • 設定可能な出力タイプ（フルフェイスまたは口のみの制御）

リップシンクモデル​

The plugin offers multiple lip sync models to suit different project needs:

標準リップシンクモデルは、幅広いキャラクター互換性と効率的なクロスプラットフォーム性能を提供します：

  • MetaHuman とすべてのカスタムキャラクタータイプに対応
  • リアルタイム性能に最適化
  • 低いリソース要件
  • プラットフォームサポート: Windows、Android、Androidベースのプラットフォーム（Meta Questを含む）
拡張プラグインが必要

Standard Model を使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については、前提条件セクション を参照してください。

パフォーマンス、キャラクター互換性、ビジュアル品質、ターゲットプラットフォーム、機能要件に基づいて適切なモデルを選択できます。

動作の仕組み​

  1. オーディオデータは、指定されたチャンネル数とサンプルレートでfloat型のPCM形式として受信されます
  2. プラグインはオーディオを処理し、モデルに応じて顔制御データまたはビジームを生成します
  3. ムード対応モデルの場合、感情的なコンテキストがフェイシャルアニメーションに適用されます
  4. アニメーションデータがキャラクターのフェイシャルモーションをリアルタイムに駆動します

パフォーマンスアーキテクチャ​

Runtime MetaHuman Lip Sync は、リアルタイムアプリケーションに適した、一貫性のある低遅延のリップシンク結果を提供するために、CPUのみの推論を使用します。デフォルトでは、プラグインは10ミリ秒ごとにリップシンク処理を実行します（調整可能 - 利用可能なすべての設定については、プラグイン設定で処理チャンクサイズ、スレッド数、およびその他のパフォーマンスパラメータを参照してください）。

モデルアーキテクチャの概要​

リップシンクモデルは、メルスペクトログラム解析を介して音声を処理するコンパクトなトランスフォーマーベースのニューラルネットワークを使用します。この軽量アーキテクチャは、効率的なCPU推論と最小限のメモリ使用量で、リアルタイム性能に特化して設計されています。

CPU推論の理由​

リアルタイムリップシンクのような小規模で頻繁な推論操作では、CPU処理の方がGPUよりもレイテンシ特性に優れています。バッチサイズ1で10〜100ミリ秒の推論間隔では、PCIe転送やカーネル起動によるGPUのオーバーヘッドが実際の計算時間を上回ることがよくあります。さらに、ゲームエンジンでは、GPUはレンダリング、シェーダー、物理演算ですでに飽和しており、予測不能なレイテンシスパイクを引き起こすリソース競合が発生します。

ハードウェア互換性​

このプラグインは、専用のグラフィックスハードウェアを必要とせず、ほとんどのミッドティア以上のCPUで効率的に動作し、デスクトップ、モバイル、VRプラットフォームでリアルタイムパフォーマンスを提供します。性能の低いハードウェアでは、モデルタイプをSemi-OptimizedまたはHighly Optimizedに調整するか、反応性は若干低下しますが、**処理チャンクサイズ**を大きくしてリアルタイムパフォーマンスを維持できます。

クイックスタート​

  1. MetaHumanキャラクターの場合は、セットアップガイドに従ってください
  2. カスタムキャラクターの場合は、カスタムキャラクターセットアップガイドに従ってください
  3. 好みのリップシンクモデルを選択して設定します
  4. Blueprintでオーディオ入力処理を設定します
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. オーディオを再生して、キャラクターが感情豊かに話すのを見ましょう！

その他のリソース​

📦 ダウンロードとリンク​

デモプロジェクト:

すぐに使える2つのデモプロジェクトが利用可能です。詳細、ダウンロード、ウォークスルーについては、専用のデモプロジェクトページをご覧ください：

どちらのデモもクロスプラットフォーム（Windows、Mac、Linux、iOS、Android、Meta Quest）で、パッケージビルドと完全なUE 5.6+ソースプロジェクトとして提供されます。

🎥 ビデオチュートリアル​

注目のデモ：​

Realistic Model（高品質）チュートリアル:​

Standard Model チュートリアル:​

一般的なセットアップ:​

💬 サポート​

  • カスタム開発: solutions@georgy.dev（チームや組織向けのカスタマイズソリューション）
Join our Discord
online · support