メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Syncは、MetaHumanとカスタムキャラクターの両方に対応した、リアルタイム・オフライン・クロスプラットフォームのリップシンクを実現するプラグインです。さまざまなソースからの音声入力に応じてキャラクターの唇をアニメーションさせることができ、対応するソースには以下が含まれます:

このプラグインは、音声入力に基づいて内部的にviseme（音素の視覚的表現）を生成します。テキストではなく音声データを直接処理するため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語を含むがこれらに限定されない多言語入力に対応しています。リップシンクは言語固有のテキスト処理ではなく音声の音素から生成されるため、実質的にあらゆる言語がサポートされています。

Standard Modelは14個のvisemeを生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。対照的に、Realistic Models（MetaHumanおよびARKitベースのキャラクター専用）は、事前定義されたポーズアセットに依存せずに81個の顔面コントロール変更を生成し、その結果、はるかにリアルな顔面アニメーションを実現します。

キャラクター互換性​

その名前にもかかわらず、Runtime MetaHuman Lip Sync は MetaHuman だけでなく幅広いキャラクターで動作します：

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4/5（CC3/CC4/CC5）キャラクター
  • Mixamo キャラクター

アニメーション標準のサポート​

  • FACSベースのブレンドシェイプシステム
  • Apple ARKitブレンドシェイプ標準
  • Preston Blair音素セット
  • 3ds Max音素システム
  • 表情用のカスタムモーフターゲットを持つ任意のキャラクター

Reallusion CC4/CC5 や Daz Genesis 8.1/9 を含む多くの人気システムも、ARKit 標準のブレンドシェイプ名を使用するように変換できます。これにより、これらのキャラクターに対して Realistic Model を使用でき、Standard Model の手動による viseme マッピングの代替として、より高品質な顔アニメーションを実現できます。詳細については、キャラクターを ARKit ブレンドシェイプに変換する を参照してください。

Standard Modelを使用するMetaHuman以外のキャラクターについては、カスタムキャラクター設定ガイドを参照してください。ARKit、CC5/CC4、および同様のモーフターゲットベースのリグなど、Realistic Modelsを使用するその他のキャラクターについては、モーフターゲットセットの選択を参照してください。

アニメーションプレビュー​

さまざまなキャラクタータイプやモデルにわたって、このプラグインが生成するリップシンクアニメーションの品質を確認できる短いアニメーションをチェックしてください:

MetaHumanキャラクターを使用したリアルなモデル
MetaHumanキャラクターを使用した標準モデル
カスタムキャラクターを使用した標準モデル
カスタムキャラクターを使用した標準モデル

主な機能​

リップシンクモデル​

プラグインは、さまざまなプロジェクトのニーズに合わせて複数のリップシンクモデルを提供しています:

標準のリップシンクモデルは、幅広いキャラクター互換性を備えた効率的なクロスプラットフォームパフォーマンスを提供します:

  • MetaHumanおよびすべてのカスタムキャラクタータイプに対応
  • リアルタイムパフォーマンスに最適化
  • リソース要件を低減
  • プラットフォーム対応: Windows、Android、Androidベースのプラットフォーム（Meta Questを含む）
拡張プラグインが必要です

Standard Modelを使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については、前提条件セクションを参照してください。

パフォーマンス、キャラクターの互換性、ビジュアル品質、ターゲットプラットフォーム、機能要件など、プロジェクトの要件に応じて適切なモデルを選択できます。

仕組み​

プラグインは、次の方法で音声入力を処理します:

  1. オーディオデータは、指定されたチャンネル数とサンプルレートを持つfloat形式のPCMフォーマットとして受信されます
  2. プラグインはオーディオを処理し、モデルに応じて顔の制御データまたはvisemeを生成します
  3. ムード対応モデルの場合、感情的なコンテキストが顔のアニメーションに適用されます
  4. アニメーションデータはキャラクターの顔の動きをリアルタイムで駆動します

パフォーマンスアーキテクチャ​

Runtime MetaHuman Lip SyncはCPUのみの推論を使用し、リアルタイムアプリケーションに適した一貫性のある低遅延のリップシンク結果を提供します。デフォルトでは、プラグインは10ミリ秒ごとにリップシンク処理を実行します（調整可能 - Processing Chunk Size、スレッド数、その他のパフォーマンスパラメータを含む利用可能なすべての設定についてはプラグイン設定を参照してください）。

モデルアーキテクチャの概要​

リップシンクモデルは、メルスペクトログラム分析を通じて音声を処理するコンパクトなトランスフォーマーベースのニューラルネットワークを使用しています。この軽量アーキテクチャは、効率的なCPU推論と最小限のメモリフットプリントによるリアルタイムパフォーマンスのために特別に設計されています。

なぜCPU推論なのか？​

リアルタイムリップシンクのような小規模で頻繁な推論処理では、CPU処理の方がGPUよりも優れたレイテンシ特性を示します。バッチサイズ1、推論間隔10～100msの場合、PCIe転送やカーネル起動によるGPUのオーバーヘッドが実際の計算時間を上回ることがよくあります。さらに、ゲームエンジンではGPUがレンダリング、シェーダー、物理演算で既に飽和状態にあるため、リソース競合が発生し、予測不能なレイテンシのスパイクを引き起こします。

ハードウェア互換性​

このプラグインは、専用のグラフィックスハードウェアを必要とせず、ほとんどの中堅以上のCPUで効率的に動作し、デスクトップ、モバイル、VRプラットフォーム全体でリアルタイムのパフォーマンスを提供します。より弱いハードウェアでは、Model TypeをSemi-OptimizedまたはHighly Optimizedに調整するか、**Processing Chunk Size**を増やすことで、応答性がわずかに低下する代わりにリアルタイムのパフォーマンスを維持できます。

クイックスタート​

キャラクターでリップシンクを有効にするための基本的な設定は次のとおりです:

  1. MetaHumanキャラクターの場合は、セットアップガイドに従ってください
  2. カスタムキャラクターの場合は、カスタムキャラクターセットアップガイドに従ってください
  3. お好みのリップシンクモデルを選択して設定します
  4. Blueprintでオーディオ入力の処理を設定します
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. オーディオを再生して、キャラクターが同期してアニメーションするのを確認します

オプションの目のアニメーション​

このプラグインには、MetaHumanの自動まばたきと視線追跡のためのオプションのヘルパーも含まれています。これらはリップシンクとは独立しており、単独で使用することも、リップシンクの上に重ねて使用することもできます。目のアニメーションヘルパーを参照してください。

追加リソース​

📦 ダウンロードとリンク​

デモプロジェクト：

すぐに使える2つのデモプロジェクトが用意されています。詳細、ダウンロード、ウォークスルーについては、専用のデモプロジェクトページをご覧ください:

両方のデモはクロスプラットフォーム（Windows、Mac、Linux、iOS、Android、Meta Quest）に対応しており、パッケージビルドと完全なUE 5.6+ソースプロジェクトとして提供されます。

🎥 動画チュートリアル​

注目のデモ:​

リアルなモデル（高品質）チュートリアル:​

標準モデルチュートリアル:​

一般設定:​

💬 サポート​

  • カスタム開発: solutions@georgy.dev (チームや組織向けのオーダーメイドソリューション)
Join our Discord
online · support