Guia de Configuração

Este guia orienta você pelo processo básico de configuração do Runtime MetaHuman Lip Sync com seus personagens MetaHuman.

Observação: O Runtime MetaHuman Lip Sync funciona tanto com MetaHuman quanto com personagens personalizados. Para instruções detalhadas sobre como configurar personagens personalizados, consulte o Guia de Configuração de Personagens Personalizados.

Pré-requisitos

Antes de começar, certifique-se de que:

1. Requisitos do Plugin MetaHuman:

   • UE 5.5 e anteriores: Ative o plugin MetaHuman no seu projeto
   • UE 5.6 e posteriores: Ative o plugin MetaHuman Core Tech no seu projeto
   Plugins MetaHuman Adicionais

Dependendo de como você cria seus personagens MetaHuman, pode ser necessário ativar plugins adicionais. Por exemplo, se você pretende criar um MetaHuman com o novo sistema MetaHuman Creator introduzido na UE 5.6, também precisará ativar o plugin MetaHuman Creator. Para mais informações sobre esse sistema, consulte a documentação do MetaHuman Creator. :::

2. Você tem pelo menos um personagem MetaHuman baixado e disponível no seu projeto
3. O plugin Runtime MetaHuman Lip Sync está instalado

Plugin de extensão de modelo padrão

Se você planeja usar o Standard Model, precisará instalar o plugin de extensão:

1. Baixe o plugin Standard Lip Sync Extension aqui
2. Extraia a pasta do arquivo baixado para a pasta Plugins do seu projeto (crie essa pasta se ela não existir)
3. Certifique-se de que seu projeto esteja configurado como um projeto C++ (mesmo que você não tenha nenhum código C++)
4. Recompile seu projeto

nota

• Esta extensão é necessária apenas se você quiser usar o Standard Model. Se você só precisa dos Realistic Models, pode pular esta etapa.
• Para mais informações sobre como compilar plugins manualmente, consulte o Tutorial de compilação de plugins

Plugins Adicionais

• Se você planeja usar captura de áudio (por exemplo, entrada de microfone), instale o plugin Runtime Audio Importer.
• Se você planeja usar a funcionalidade de text-to-speech:
  • Para TTS local (Piper e Kokoro), instale o plugin Runtime Text To Speech.
  • Para provedores de TTS externos (ElevenLabs, OpenAI, Google Cloud, Azure), instale o plugin Runtime AI Chatbot Integrator.

Configuração do Animation Blueprint

Etapa 1: Localize e modifique o Blueprint de animação facial

UE 5.5 e anteriores (ou MetaHumans legados no UE 5.6+)

Você precisa modificar um Animation Blueprint que será usado para as animações faciais do seu personagem MetaHuman. O Animation Blueprint facial padrão do MetaHuman está localizado em:

Content/MetaHumans/Common/Face/Face_AnimBP

Você tem várias opções para implementar a funcionalidade de lip sync:

Editar Asset Padrão (Opção Mais Simples)

Abra o Face_AnimBP padrão diretamente e faça suas modificações. Quaisquer alterações afetarão todos os personagens MetaHuman que usam este Animation Blueprint.

Observação: Essa abordagem é conveniente, mas afetará todos os personagens que usam o Animation Blueprint padrão.

Criar duplicata

1. Duplique o Face_AnimBP e dê a ele um nome descritivo
2. Localize a classe Blueprint do seu personagem (por exemplo, para o personagem "Bryan", seria em Content/MetaHumans/Bryan/BP_Bryan)
3. Abra o Blueprint do personagem e encontre o componente Face
4. Altere a propriedade Anim Class para o seu Animation Blueprint recém-duplicado

Nota: Essa abordagem permite personalizar o lip sync para personagens específicos, deixando os outros inalterados.

Usar Animation Blueprint personalizado

Você pode implementar a mistura de lip sync em qualquer Animation Blueprint que tenha acesso aos ossos faciais necessários:

1. Crie ou use um Animation Blueprint personalizado existente
2. Certifique-se de que seu Animation Blueprint funcione com um esqueleto que contenha os mesmos ossos faciais do Face_Archetype_Skeleton do MetaHuman padrão

Nota: Essa abordagem oferece máxima flexibilidade para integração com sistemas de animação personalizados.

Personagens do MetaHuman Creator no UE 5.6+

A partir do UE 5.6, foi introduzido o novo sistema MetaHuman Creator. Para esses personagens, o plugin fornece uma Animation Blueprint facial localizada em:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint está localizado na pasta de conteúdo do plugin e será sobrescrito a cada atualização do plugin. Para evitar perder suas personalizações:

1. Copie este asset para a pasta Content do seu projeto (por exemplo, para YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Use sua versão copiada na configuração do seu personagem
3. Faça todas as suas modificações na versão copiada

Usando o Animation Blueprint de Rosto do Plugin:

1. Localize a classe Blueprint do seu personagem do MetaHuman Creator
2. Abra o Blueprint do personagem e encontre o componente Face
3. Altere a propriedade Anim Class para o LipSync_Face_AnimBP do plugin
4. Continue com os próximos passos para configurar a funcionalidade do Runtime MetaHuman Lip Sync

Etapa 2: configuração do Event Graph

Abra seu Animation Blueprint de Rosto e mude para o Event Graph. Você precisará criar um gerador que processará os dados de áudio e gerará a animação de lip sync.

Modelo padrão

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Runtime Viseme Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (por exemplo, "VisemeGenerator") para uso em outras partes do grafo

Para opções de configuração detalhadas, consulte a seção Configuração do Modelo Padrão.

Modelo realista

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Realistic MetaHuman Lip Sync Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (por exemplo, "RealisticMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para opções detalhadas de configuração, incluindo tipos de modelo, configurações de desempenho e parâmetros de processamento, consulte a seção Configuração do Modelo Realista.

Modelo realista com suporte a humor

1. Adicione o nó Event Blueprint Begin Play caso ele ainda não exista
2. Adicione o nó Create Realistic MetaHuman Lip Sync With Mood Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (por exemplo, "MoodMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para configuração detalhada de humor, incluindo tipos de humor, ajustes de intensidade, tempo de antecipação e seleção do tipo de saída, consulte a seção Configuração do Modelo com Suporte a Humor.

Etapa 3: configuração do Anim Graph

Depois de configurar o Event Graph, mude para o Anim Graph para conectar o gerador à animação do personagem:

Modelo padrão

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Runtime MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Runtime MetaHuman Lip Sync
4. Conecte sua variável VisemeGenerator ao pino Viseme Generator
5. Conecte a saída do nó Blend Runtime MetaHuman Lip Sync ao pino Result do Output Pose

Modelo realista

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável RealisticMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Modelo realista com controle de humor

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync (o mesmo nó do modelo realista regular)
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável MoodMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Nota: O modelo com suporte a humor usa o mesmo nó de Animation Blueprint que o modelo realista comum. A funcionalidade de humor é tratada internamente pelo gerador.

Próximos passos

Agora que você concluiu a configuração básica do Animation Blueprint, será necessário configurar o processamento de entrada de áudio para fornecer os dados de áudio ao seu gerador de lip sync.

Continue para o Guia de Processamento de Áudio para aprender como configurar diferentes métodos de entrada de áudio, incluindo captura por microfone, conversão de texto em fala e processamento de arquivos de áudio.

Para opções de configuração avançadas e ajustes finos, consulte o Guia de Configuração.