メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync ドキュメント

Runtime MetaHuman Lip Sync は、MetaHuman とカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームでのリップシンクを可能にするプラグインです。以下のような様々なソースからのオーディオ入力に応じて、キャラクターの唇をアニメーションさせることができます：

このプラグインは内部で、オーディオ入力に基づいてビジーム（音素の視覚的表現）を生成します。テキストではなくオーディオデータを直接扱うため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語など、多言語入力をサポートしています。文字通りあらゆる言語がサポートされます。これは、リップシンクが言語固有のテキスト処理ではなく、オーディオの音素から生成されるためです。

標準モデル は 14のビジーム を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。一方、リアリスティックモデル（MetaHuman キャラクター専用）は、事前定義されたポーズアセットに依存せずに 81の顔面制御変化 を生成し、はるかにリアルな顔面アニメーションを実現します。

キャラクター互換性​

その名前に反して、Runtime MetaHuman Lip Sync は MetaHuman 以外の幅広いキャラクターでも動作します：

人気のある商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

アニメーション標準サポート​

  • FACS ベースのブレンドシェイプシステム
  • Apple ARKit ブレンドシェイプ標準
  • Preston Blair 音素セット
  • 3ds Max 音素システム
  • 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

MetaHuman 以外のキャラクターでプラグインを使用する詳細な手順については、カスタムキャラクターセットアップガイド を参照してください。

アニメーションプレビュー​

以下の短いアニメーションで、プラグインが生成するリップシンクアニメーションの品質を、異なるキャラクタータイプとモデルでご覧ください：

Realistic Lip Sync Example
MetaHumanキャラクターを使用したリアルなモデル
Standard Lip Sync Example
MetaHumanキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフライン音声処理のサポート
  • モデル固有のプラットフォームサポートを備えたクロスプラットフォーム互換性
  • 複数のキャラクターシステムとアニメーション標準のサポート
  • カスタムキャラクターのための柔軟なビセームマッピング
  • 音声分析によるあらゆる話し言葉のサポート - 普遍的な言語サポート
  • 表現力を高める感情認識型フェイシャルアニメーション
  • 設定可能な出力タイプ（顔全体または口のみのコントロール）

リップシンクモデル​

このプラグインは、さまざまなプロジェクトのニーズに合わせて複数のリップシンクモデルを提供します：

標準リップシンクモデルは、効率的でクロスプラットフォームなパフォーマンスと幅広いキャラクター互換性を提供します：

  • MetaHumansおよびすべてのカスタムキャラクタータイプで動作
  • リアルタイムパフォーマンスに最適化
  • リソース要件が低い
  • ローカルTTS（Runtime Text To Speechプラグイン）との完全な互換性
  • プラットフォームサポート：Windows、Android、Androidベースのプラットフォーム（Meta Questを含む）
拡張プラグインが必要

標準モデルを使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については、前提条件セクションを参照してください。

パフォーマンス、キャラクター互換性、視覚的品質、ターゲットプラットフォーム、機能要件に基づいて、プロジェクトに適したモデルを選択できます。

TTS互換性に関する注意

すべてのモデルが様々なオーディオ入力方法をサポートしていますが、通常のRealisticモデルはONNXランタイムの競合により、ローカルTTSとの互換性が限られています。一方、Mood-Enabled RealisticモデルはローカルTTSと完全に互換性があります。テキスト読み上げ機能については：

  • Standard Model: すべてのTTSオプション（ローカルおよび外部）と互換性あり
  • Realistic Model: 外部TTSサービスの利用を推奨（OpenAI、ElevenLabs）
  • Mood-Enabled Realistic Model: すべてのTTSオプション（ローカルおよび外部）と互換性あり

仕組み​

このプラグインは、以下の方法でオーディオ入力を処理します：

  1. オーディオデータは、指定されたチャンネル数とサンプルレートでPCMフォーマットのfloatとして受信されます
  2. プラグインはオーディオを処理して、モデルに応じて顔面制御データまたはバイセムを生成します
  3. ムード対応モデルの場合、感情コンテキストが顔面アニメーションに適用されます
  4. アニメーションデータがキャラクターの顔の動きをリアルタイムで駆動します

クイックスタート​

キャラクターにリップシンクを有効にする基本的なセットアップは以下の通りです：

  1. MetaHumanキャラクターの場合は、セットアップガイドに従ってください
  2. カスタムキャラクターの場合は、カスタムキャラクターセットアップガイドに従ってください
  3. 希望するリップシンクモデルを選択して設定します
  4. Blueprintでオーディオ入力処理をセットアップします
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. オーディオを再生して、キャラクターが感情を込めて話す様子を確認してください！

追加リソース​

📦 ダウンロードとリンク​

🎥 ビデオチュートリアル​

注目のデモ：​

リアリスティックモデル（高品質）チュートリアル:​

スタンダードモデルチュートリアル:​

一般セットアップ:​

💬 サポート​