Runtime MetaHuman Lip Sync
Documentação do plugin Runtime MetaHuman Lip Sync.
Downloads e Links
Projetos de Demonstração:
Dois projetos de demonstração prontos para uso estão disponíveis - consulte a página dedicada Projetos de Demonstração para detalhes completos, downloads e tutoriais:
- Fluxo de trabalho completo de NPC conversacional com IA - reconhecimento de fala + chatbot LLM + TTS + lip sync
- Demonstração básica de Lip Sync - entrada de microfone, arquivos de áudio, TTS
Ambas as demos são multiplataforma (Windows, Mac, Linux, iOS, Android, Meta Quest) e são distribuídas como builds empacotados e projetos-fonte completos para UE 5.6+.
Tutoriais em vídeo
Demos em destaque
Tutoriais do Modelo Realista (Alta Qualidade)
- Sincronização labial de alta qualidade a partir de arquivo/buffer de áudio
- Sincronização labial de alta qualidade com controle de humor e TTS local
- Sincronização labial de alta qualidade com ElevenLabs e OpenAI TTS
- Sincronização labial de alta qualidade em tempo real com microfone
- Sincronização labial de alta qualidade para personagens ARKit
- Sincronização labial de alta qualidade para personagens do Character Creator (CC5)
- Sincronização labial de alta qualidade a partir de um servidor remoto
Tutoriais do modelo padrão
- Sincronização Labial Padrão com Microfone ao Vivo
- Sincronização Labial Padrão com Conversão de Texto em Fala Local
- Sincronização Labial Padrão com ElevenLabs e OpenAI TTS
Configuração geral
- Adicionando um personagem MetaHuman personalizado ao projeto de demonstração
- Vídeo tutorial de configuração
- Piscar de olhos do MetaHuman e rastreamento de câmera
- Combinando com animações faciais e corporais
Suporte
- Suporte a Plugins e Desenvolvimento Personalizado: solutions@georgy.dev (soluções sob medida para equipes e organizações)
Visão geral
Runtime MetaHuman Lip Sync Documentation
Guia de Configuração
Este guia orienta você pelo processo básico de configuração do Runtime MetaHuman Lip Sync com seus personagens MetaHuman.
Guia de Processamento de Áudio
Aprenda a configurar diferentes métodos de entrada de áudio para sincronização labial, incluindo microfone, TTS e fontes de áudio em streaming.
Configuração do Plugin
Aprenda a configurar modelos de lip sync, animation blueprints, configurações de humor, opções de desempenho e a solucionar problemas comuns de lip sync.
Ajudantes de Animação Ocular
Utilitários auxiliares opcionais para controlar o direcionamento do olhar (gaze) dos MetaHuman e piscadas automáticas dos olhos em conjunto com a sincronização labial.
Como usar o plugin com personagens personalizados
Este guia orienta você pelo processo de configuração do Runtime MetaHuman Lip Sync para personagens não-MetaHuman. Este processo exige familiaridade com conceitos de animação e rigging. Se precisar de assistência para implementar isso no seu personagem específico, você pode entrar em contato para suporte profissional em solutions@georgy.dev.
Configuração específica da plataforma
Este guia aborda os requisitos de configuração e as definições específicas de cada plataforma para o plugin Runtime MetaHuman Lip Sync.
Projetos de Demonstração
Projetos de demonstração prontos para uso que mostram o Runtime MetaHuman Lip Sync, incluindo um fluxo de trabalho completo de avatar conversacional com IA, com reconhecimento de fala, integração com LLM, TTS e sincronização labial.