セットアップガイド

このガイドでは、MetaHumanキャラクターでRuntime MetaHuman Lip Syncをセットアップする基本的な手順を説明します。

注意: Runtime MetaHuman Lip Sync は MetaHuman とカスタムキャラクターの両方で動作します。カスタムキャラクターの設定に関する詳細な手順については、カスタムキャラクター設定ガイドをご覧ください。

前提条件

始める前に、以下を確認してください：

1. MetaHumanプラグインの要件：

   • UE 5.5 以前: プロジェクトで MetaHuman プラグインを有効にします
   • UE 5.6 以降: プロジェクトで MetaHuman Core Tech プラグインを有効にします
   追加のMetaHumanプラグイン

MetaHumanキャラクターの作成方法によっては、追加のプラグインが必要になる場合があります。たとえば、UE 5.6で導入された新しいMetaHuman Creatorシステムを使用してMetaHumanを作成する予定の場合は、MetaHuman Creatorプラグインも有効にする必要があります。このシステムの詳細については、MetaHuman Creatorのドキュメントを参照してください。 :::

2. MetaHumanキャラクターが少なくとも1体ダウンロードされ、プロジェクトで利用可能であること
3. Runtime MetaHuman Lip Syncプラグインがインストールされていること

標準モデル拡張プラグイン

Standard Modelを使用する予定がある場合は、拡張プラグインをインストールする必要があります:

1. Standard Lip Sync Extension pluginをこちらからダウンロードします
2. ダウンロードしたアーカイブからフォルダを展開し、プロジェクトのPluginsフォルダに配置します（このフォルダが存在しない場合は作成してください）
3. プロジェクトがC++プロジェクトとして設定されていることを確認します（C++コードがなくても問題ありません）
4. プロジェクトを再ビルドします

注記

• この拡張機能は、Standard Model を使用する場合にのみ必要です。Realistic Models のみが必要な場合は、この手順をスキップできます。
• プラグインを手動でビルドする方法の詳細については、プラグインビルドチュートリアルを参照してください。

追加プラグイン

• 音声キャプチャ（例：マイク入力）を使用する予定の場合は、Runtime Audio Importer プラグインをインストールしてください。
• テキスト読み上げ機能を使用する予定の場合は：
  • ローカルTTS（PiperおよびKokoro）の場合、Runtime Text To Speechプラグインをインストールしてください。
  • 外部TTSプロバイダー（ElevenLabs、OpenAI、Google Cloud、Azure）の場合、Runtime AI Chatbot Integratorプラグインをインストールしてください。

Animation Blueprintの設定

ステップ1: 顔アニメーションのBlueprintを特定して変更する

UE 5.5以前（またはUE 5.6以降のレガシーMetaHuman）

MetaHumanキャラクターの顔アニメーションに使用するAnimation Blueprintを変更する必要があります。デフォルトのMetaHuman顔Animation Blueprintは次の場所にあります:

Content/MetaHumans/Common/Face/Face_AnimBP

リップシンク機能を実装するには、いくつかのオプションがあります:

デフォルトアセットを編集（最も簡単なオプション）

デフォルトのFace_AnimBPを直接開いて変更を加えてください。変更は、このAnimation Blueprintを使用するすべてのMetaHumanキャラクターに影響します。

注意: このアプローチは便利ですが、デフォルトのAnimation Blueprintを使用するすべてのキャラクターに影響します。

複製を作成

1. Face_AnimBP を複製し、わかりやすい名前を付けます
2. キャラクターの Blueprint クラスを特定します（例：キャラクター「Bryan」の場合は Content/MetaHumans/Bryan/BP_Bryan にあります）
3. キャラクターの Blueprint を開き、Face コンポーネントを見つけます
4. Anim Class プロパティを、新しく複製した Animation Blueprint に変更します

注意: このアプローチにより、他のキャラクターは変更せずに、特定のキャラクターのリップシンクをカスタマイズできます。

カスタムAnimation Blueprintを使用する

必要な顔のボーンにアクセスできる Animation Blueprint であれば、どの Animation Blueprint でもリップシンクのブレンドを実装できます:

1. カスタムのAnimation Blueprintを作成するか、既存のものを使用してください
2. Animation Blueprintが、デフォルトのMetaHumanのFace_Archetype_Skeletonと同じ顔のボーンを含むスケルトンで動作することを確認してください

注意: このアプローチにより、カスタムアニメーションシステムとの統合に最大限の柔軟性が得られます。

UE 5.6+ MetaHuman Creator キャラクター

UE 5.6 以降、新しい MetaHuman Creator システムが導入されました。これらのキャラクター向けに、プラグインは次の場所にある顔の Animation Blueprint を提供します:

Content/LipSyncData/LipSync_Face_AnimBP

重要

このAnimation Blueprintはプラグインのコンテンツフォルダにあり、プラグインを更新するたびに上書きされます。カスタマイズを失わないようにするには:

1. このアセットをプロジェクトのContentフォルダにコピーします（例：YourProject/Content/MetaHumans/LipSync_Face_AnimBP）
2. キャラクター設定ではコピーしたバージョンを使用します
3. すべての変更はコピーしたバージョンに対して行います

プラグインの顔アニメーションBlueprintを使用する:

1. MetaHuman CreatorキャラクターのBlueprintクラスを特定する
2. キャラクターのBlueprintを開き、Faceコンポーネントを見つける
3. Anim ClassプロパティをプラグインのLipSync_Face_AnimBPに変更する
4. 続けて次の手順に進み、Runtime MetaHuman Lip Sync機能を設定する

ステップ2: イベントグラフの設定

Face Animation Blueprintを開き、Event Graphに切り替えてください。音声データを処理してリップシンクアニメーションを生成するジェネレーターを作成する必要があります。

標準モデル

1. Event Blueprint Begin Play ノードがまだ存在しない場合は追加します
2. Create Runtime Viseme Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例: 「VisemeGenerator」）として保存し、グラフの他の部分で使用できるようにします

詳細な設定オプションについては、Standard Model Configurationセクションを参照してください。

リアルなモデル

1. Event Blueprint Begin Play ノードがまだ存在しない場合は追加します
2. Create Realistic MetaHuman Lip Sync Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例: "RealisticMetaHumanLipSyncGenerator"）として保存し、グラフの他の部分で使用できるようにします
4. （オプション）Configuration パラメータを使用してジェネレーターの設定を構成します

モデルタイプ、パフォーマンス設定、処理パラメータなどの詳細な設定オプションについては、リアリスティックモデルの設定セクションを参照してください。

感情対応のリアルなモデル

1. Event Blueprint Begin Play ノードがまだ存在しない場合は追加します
2. Create Realistic MetaHuman Lip Sync With Mood Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例: "MoodMetaHumanLipSyncGenerator"）として保存し、グラフの他の部分で使用できるようにします
4. （オプション）Configuration パラメータを使用してジェネレーター設定を構成します

ムードタイプ、強度設定、先読みタイミング、出力タイプの選択など、ムードの詳細な設定については、ムード対応モデル設定セクションを参照してください。

ステップ3: Anim Graphの設定

Event Graphを設定した後、Anim Graphに切り替えて、ジェネレーターをキャラクターのアニメーションに接続します:

標準モデル

1. MetaHumanの顔を含むポーズを特定します（通常はUse cached pose 'Body Pose'から）
2. Blend Runtime MetaHuman Lip Syncノードを追加します
3. ポーズをBlend Runtime MetaHuman Lip SyncノードのSource Poseに接続します
4. VisemeGenerator変数をViseme Generatorピンに接続します
5. Blend Runtime MetaHuman Lip Syncノードの出力をOutput PoseのResultピンに接続します

リアルなモデル

1. MetaHumanの顔を含むポーズを特定します（通常はUse cached pose 'Body Pose'から）
2. Blend Realistic MetaHuman Lip Syncノードを追加します
3. ポーズをBlend Realistic MetaHuman Lip SyncノードのSource Poseに接続します
4. RealisticMetaHumanLipSyncGenerator変数をLip Sync Generatorピンに接続します
5. Blend Realistic MetaHuman Lip Syncノードの出力をOutput PoseのResultピンに接続します

感情対応のリアルなモデル

1. MetaHumanの顔を含むポーズを特定します（通常はUse cached pose 'Body Pose'から）
2. Blend Realistic MetaHuman Lip Syncノードを追加します（通常のリアルisticモデルと同じノード）
3. ポーズをBlend Realistic MetaHuman Lip SyncノードのSource Poseに接続します
4. MoodMetaHumanLipSyncGenerator変数をLip Sync Generatorピンに接続します
5. Blend Realistic MetaHuman Lip Syncノードの出力をOutput PoseのResultピンに接続します

注意： ムード対応モデルは、通常のリアルなモデルと同じ Animation Blueprint ノードを使用します。ムード機能はジェネレーターによって内部的に処理されます。

次のステップ

基本的なAnimation Blueprintのセットアップが完了したので、次はリップシンクジェネレーターに音声データを渡すための音声入力処理を設定する必要があります。

異なる音声入力方法（マイクキャプチャ、テキスト読み上げ、音声ファイル処理など）の設定方法を学ぶには、音声処理ガイドに進んでください。

高度な設定オプションと微調整については、設定ガイドをご覧ください。