メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Syncは、MetaHumanおよびカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームのリップシンクを可能にするプラグインです。これにより、以下のようなさまざまなソースからのオーディオ入力に応じてキャラクターの唇をアニメーション化できます：

このプラグインは、音声入力に基づいてバイザム（音素の視覚的表現）を内部的に生成します。テキストではなく音声データに直接作用するため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語を含む多言語入力をサポートしていますが、これらに限定されません。文字通りあらゆる言語がサポートされています。リップシンクは言語固有のテキスト処理ではなく、音声の音素から生成されるためです。

Standard Modelは14のビゼームを生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。対照的に、Realistic Models（MetaHumanおよびARKitベースのキャラクター専用）は、事前定義されたポーズアセットに依存せずに81のフェイシャルコントロール変更を生成し、その結果、はるかにリアルなフェイシャルアニメーションを実現します。

キャラクター互換性​

その名前にもかかわらず、Runtime MetaHuman Lip Sync は、MetaHuman だけでなく、幅広いキャラクターで動作します。

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4/5（CC3/CC4/CC5）キャラクター
  • Mixamo キャラクター

アニメーション標準サポート​

  • FACSベースのブレンドシェイプシステム
  • Apple ARKitブレンドシェイプ標準
  • Preston Blair音素セット
  • 3ds Max音素システム
  • 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

多くの一般的なシステム（Reallusion CC4/CC5やDaz Genesis 8.1/9を含む）も、ARKit標準のブレンドシェイプ名を使用するように変換できます。これにより、これらのキャラクターに対して、手動のビゼームマッピングを必要とするStandard Modelの代わりに、より高品質なフェイシャルアニメーションを備えたRealistic Modelを使用できます。詳細については、キャラクターをARKitブレンドシェイプに変換するを参照してください。

非MetaHumanキャラクターでスタンダードモデルを使用する場合は、カスタムキャラクターセットアップガイドを参照してください。ARKitベースのキャラクターでリアリスティックモデルを使用する場合は、モーフターゲットセットの選択を参照してください。

アニメーションプレビュー​

これらの短いアニメーションをチェックして、プラグインがさまざまなキャラクタータイプやモデルで生成するリップシンクアニメーションの品質を確認してください。

MetaHumanキャラクターを使ったリアルなモデル
MetaHumanキャラクターを使用した標準モデル
カスタムキャラクターを使用した標準モデル
カスタムキャラクターを使用した標準モデル

主要機能​

リップシンクモデル​

このプラグインは、さまざまなプロジェクトのニーズに合わせて複数のリップシンクモデルを提供しています：

標準的なリップシンクモデルは、効率的でクロスプラットフォームなパフォーマンスと幅広いキャラクター互換性を提供します。

  • MetaHumanおよびすべてのカスタムキャラクタータイプで動作します
  • リアルタイムパフォーマンス向けに最適化
  • より低いリソース要件
  • 対応プラットフォーム: Windows、Android、Androidベースのプラットフォーム（Meta Questを含む）
拡張プラグインが必要です

標準モデルを使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については、前提条件セクションを参照してください。

プロジェクトの要件に基づいて、パフォーマンス、キャラクター互換性、視覚品質、ターゲットプラットフォーム、機能ニーズに応じて適切なモデルを選択できます。

仕組み​

このプラグインは、オーディオ入力を次の方法で処理します：

  1. オーディオデータは、指定されたチャンネルとサンプルレートを持つfloat PCM形式として受信されます
  2. プラグインはオーディオを処理して、モデルに応じてフェイシャルコントロールデータまたはバイジームを生成します
  3. ムード対応モデルの場合、感情コンテキストがフェイシャルアニメーションに適用されます
  4. アニメーションデータは、キャラクターのフェイシャルモーションをリアルタイムで駆動します

パフォーマンスアーキテクチャ​

Runtime MetaHuman Lip SyncはCPUのみの推論を使用して、リアルタイムアプリケーションに適した一貫性のある低遅延のリップシンク結果を提供します。デフォルトでは、プラグインは10ミリ秒ごとにリップシンク処理を実行します（調整可能 - 利用可能なすべての設定についてはプラグイン設定を参照してください。これには処理チャンクサイズ、スレッド数、その他のパフォーマンスパラメータが含まれます）。

モデルアーキテクチャ概要​

リップシンクモデルは、メルスペクトログラム解析を通じてオーディオを処理する、コンパクトなトランスフォーマーベースのニューラルネットワークを使用しています。この軽量なアーキテクチャは、効率的なCPU推論と最小限のメモリ使用量でリアルタイムパフォーマンスを実現するために特別に設計されています。

なぜCPU推論なのか？​

リアルタイムのリップシンクのような小規模で頻繁な推論処理では、CPU処理の方がGPUよりも優れたレイテンシ特性を提供します。バッチサイズ1で10〜100ミリ秒の推論間隔の場合、PCIe転送やカーネル起動によるGPUのオーバーヘッドが、実際の計算時間を上回ることがよくあります。さらに、ゲームエンジンではGPUはすでにレンダリング、シェーダー、物理演算で飽和状態にあり、リソースの競合が発生して、予測不能なレイテンシのスパイクを引き起こします。

ハードウェア互換性​

このプラグインは、専用のグラフィックスハードウェアを必要とせず、ほとんどのミッドレンジ以上のCPUで効率的に動作し、デスクトップ、モバイル、VRプラットフォーム全体でリアルタイムパフォーマンスを提供します。性能の低いハードウェアでは、モデルタイプをセミオプティマイズまたはハイリーオプティマイズに調整するか、**処理チャンクサイズ**を増やすことで、応答性がわずかに低下してもリアルタイムパフォーマンスを維持できます。

クイックスタート​

キャラクターのリップシンクを有効にするための基本的なセットアップは次のとおりです。

  1. MetaHumanキャラクターの場合、セットアップガイドに従ってください
  2. カスタムキャラクターの場合、カスタムキャラクターセットアップガイドに従ってください
  3. お好みのリップシンクモデルを選択して設定します
  4. Blueprintでオーディオ入力処理を設定します
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. オーディオを再生して、キャラクターが同期してアニメーションするのを確認します

任意の目のアニメーション​

このプラグインには、MetaHuman向けの自動まばたきと視線追跡のためのオプションのヘルパーも含まれています。これらはリップシンクとは独立しており、単独で使用することも、リップシンクの上に重ねて使用することもできます。目のアニメーションヘルパーを参照してください。

追加リソース​

📦 ダウンロードとリンク​

デモプロジェクト：

すぐに使えるデモプロジェクトが2つ用意されています。詳細、ダウンロード、チュートリアルについては、専用のデモプロジェクトページをご覧ください。

両方のデモはクロスプラットフォーム（Windows、Mac、Linux、iOS、Android、Meta Quest）に対応しており、パッケージ化されたビルドと完全なUE 5.6+ソースプロジェクトとして提供されます。

🎥 ビデオチュートリアル​

注目のデモ:​

リアリスティックモデル（高品質）チュートリアル：​

標準モデルチュートリアル：​

一般的なセットアップ：​

💬 サポート​

  • カスタム開発: solutions@georgy.dev（チームおよび組織向けのカスタマイズされたソリューション）
Join our Discord
online · support