Demo Projeleri

Runtime MetaHuman Lip Sync ile hızlıca başlamanıza yardımcı olmak için iki adet kullanıma hazır demo projesi mevcuttur. Her ikisi de Unreal Engine 5.6+ ile oluşturulmuştur, Blueprint-only ve Windows, Mac, Linux, iOS, Android ile Meta Quest dahil Android tabanlı platformlarda çapraz platform olarak çalışır.

Mevcut Demo Projeleri

Yapay Zeka Sohbet NPC'si

Konuşma tanıma, bir yapay zeka sohbet robotu (LLM), metin-sese dönüştürme ve gerçek zamanlı dudak senkronizasyonu ile ses oynatmayı birleştiren tam yapay zeka NPC konuşma iş akışı – hepsi tek bir projede birlikte çalışır.

İş Akışı Genel Bakış

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

Videolar

Hızlı Önizleme (~30 sn)

Demonun kısa bir gösterimi.

Tam Rehber

Kurulum, yapılandırma ve tüm sohbet hattını kapsayan ayrıntılı bir anlatım.

İndirmeler

• Paketlenmiş demoyu indir (Windows)
• Kaynak dosyaları indir (UE 5.6+)

Gerekli ve İsteğe Bağlı Eklentiler

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Her zaman
Runtime Audio Importer	Ses yakalama ve işleme	✅ Her zaman
Runtime Speech Recognizer	Çevrimdışı konuşma tanıma (whisper.cpp)	✅ Her zaman
Runtime AI Chatbot Integrator	Harici LLM'ler (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) ve/veya Harici TTS (OpenAI, ElevenLabs)	🔶 İsteğe bağlı
Runtime Local LLM	Yerel LLM çıkarımı, llama.cpp aracılığıyla (Llama, Mistral, Gemma, vb., GGUF modelleri)	🔶 İsteğe bağlı
Runtime Text To Speech	Yerel TTS, Piper ve Kokoro aracılığıyla	🔶 İsteğe bağlı

İsteğe bağlı eklentiler - sağlayıcı gereksinimleri

Yukarıdaki her plugin ayrı ayrı isteğe bağlı olsa da, demonun çalışması için en az bir LLM sağlayıcısına ve en az bir TTS sağlayıcısına ihtiyacınız var. Serbestçe karıştırıp eşleştirebilirsiniz (ör. yerel LLM + ElevenLabs TTS veya OpenAI LLM + yerel TTS).

Modüler Mimari

Content klasöründe, üç alt klasör içeren Modules adında bir klasör bulacaksınız:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Eğer isteğe bağlı eklentilerden birini (veya daha fazlasını) edinmediyseniz, ilgili klasör(ler)i silmeniz yeterlidir. Demo projesinin temel varlıkları (oyun örneği, widget'lar vb.) bu modüllere doğrudan referans vermediğinden, bunları silmek varlık referans hatalarına neden olmaz. Yapılandırma kullanıcı arayüzü, klasörü eksik olan herhangi bir sağlayıcıyı otomatik olarak gizleyecektir.

not

Bu modülerlik yalnızca LLM ve TTS sağlayıcıları için geçerlidir. Konuşma Tanıma (Runtime Speech Recognizer) ve Dudak Senkronizasyonu (Runtime MetaHuman Lip Sync) temel demo projesinin bir parçasıdır ve her zaman gereklidir.

uyarı

İlk başlatmada, Unreal eksik isteğe bağlı eklentileri devre dışı bırakıp bırakmayacağını sorabilir - Evet'e tıklayın. Aynı zamanda ilgili Content/Modules/ klasörünü de sildiğinizden emin olun (yukarıya bakın).

Demo Proje Düzeni

Kullanıcı arayüzü gösterim amaçlıdır

Aşağıda gösterilen kullanıcı arayüzü tamamen UMG (Unreal Motion Graphics) ile oluşturulmuştur ve yalnızca işlem hattını göstermek amacıyla tasarlanmıştır - konuşma tanıma → LLM → TTS → dudak senkronizasyonu. Oyununuzun görsel tasarımına, kontrol şemasına veya platformuna (VR/AR, mobil, konsol vb.) uyacak şekilde yeniden şekillendirme veya değiştirme özgürlüğüne sahipsiniz. Kullanım durumunuzda belirli widget'lara ihtiyacınız yoksa, bunları basitçe gizleyebilirsiniz (örneğin görünürlüklerini Kapalı veya Gizli olarak ayarlayın).

Alan	Orada ne var
Merkez	MetaHuman karakteri.
Sol taraf	Aşağıda ayrıntılı olarak açıklanan dört yapılandırma düğmesi (Konuşma Tanıma, AI Sohbet Robotu, Metinden Konuşmaya, Animasyonlar).
Alt orta	Bir Kaydı Başlat düğmesi. Sesli konuşma başlatmak için tıklayın: mikrofonunuz yakalanır, yazıya dökülür, LLM'ye gönderilir, yanıt TTS aracılığıyla sentezlenir ve tamamen eller serbest şekilde dudak senkronizasyonu ile oynatılır.
Sağ orta	Sizinle AI arasındaki tüm diyaloğu (hem kullanıcı hem de asistan mesajları) gösteren bir konuşma geçmişi widget'ı. Ayrıca bir metin giriş alanı içerir, böylece konuşma tanımayı kullanmadan doğrudan mesaj yazabilirsiniz; test etmek, erişilebilirlik veya mikrofon olmadığında kullanışlıdır.

ipucu

Aynı oturumda her iki giriş modunu serbestçe karıştırabilirsiniz - bazı mesajları konuşarak, diğerlerini yazarak.

Yapılandırma Düğmeleri

Soldaki dört yapılandırma düğmesi, işlem hattının her bir parçası için özel paneller açar:

1. Konuşma Tanımayı Yapılandır

Kullanıcının sesinin nasıl yakalanıp yazıya döküleceğini yapılandırın:

• Dil seçin
• Konuşma tanıma parametrelerini ayarlayın (Whisper model ayarları)
• AEC (Akustik Yankı Engelleme) yapılandırması
• VAD (Ses Aktivite Algılama) yapılandırması

2. AI Sohbet Robotunu Yapılandır

LLM sağlayıcınızı seçin ve yapılandırın:

• Sağlayıcı seçin (Runtime AI Chatbot Integrator veya Runtime Local LLM)
• Harici sağlayıcılar için: kimlik doğrulama anahtarı, model adı vb.
• Yerel LLM için: bir GGUF modeli seçin, bağlam boyutu ve diğer çıkarım parametrelerini ayarlayın. Ayrıca, doğrudan demo içinden çalışma zamanında kendi GGUF modelinizi indirebilir (ör. URL ile) ve projeyi yeniden derlemeden hemen kullanabilirsiniz.

ipucu

Sağlayıcı açılan listesi yalnızca eklenti modül klasörü Content/Modules/ içinde bulunan sağlayıcıları gösterir.

3. Metinden Konuşmayı Yapılandır

TTS sağlayıcınızı seçin ve sesleri/modelleri yapılandırın:

• Sağlayıcı seçin (OpenAI/ElevenLabs için Runtime AI Chatbot Integrator veya yerel Piper/Kokoro için Runtime Text To Speech)
• Ses/model seçin
• Sağlayıcıya özel parametreleri ayarlayın

4. Animasyonları Yapılandır

AI NPC'nizin görsellerini kontrol edin:

• 3 önceden indirilmiş MetaHuman karakteri arasından seçim yapın (Aera, Ada, Orlando)
• Dudak senkronizasyon modeli seçin (Standart veya Gerçekçi)
• Dudak senkronizasyon model tipi seçin - Yüksek Optimize, Yarı Optimize veya Orijinal (bkz. Model Tipi)
• İşlem Parçacık Boyutu'nu ayarlayın - dudak senkronizasyonu çıkarımının ne sıklıkta çalıştığını kontrol eder (bkz. İşlem Parçacık Boyutu)
• MetaHuman'da konuşma sırasında oynatılacak bir boş animasyon seçin

Demoyu Editörde Ön Yapılandırma

Kaynak sürüm ile çalışırken, her çalıştırmada değerleri yeniden girmenize gerek kalmaması için varsayılanları doğrudan editörde önceden doldurabilirsiniz:

Ne	Nerede
Genel ayarlar (dudak senkronizasyonu modeli, boş animasyon, karakter sınıfı, konuşma tanıma vb.)	Content/LipSyncSTSGameInstance
Harici LLM / Harici TTS ayarları (Runtime AI Chatbot Integrator)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Yerel LLM ayarları (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
Yerel TTS ayarları (Runtime Text To Speech)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

Platformlar Arası Notlar

Demo tarafından kullanılan tüm eklentiler Windows, Mac, Linux, iOS, Android ve Android tabanlı platformları (Meta Quest dahil) destekler, bu nedenle demo projesi de tüm bu platformlarda çalışır.

Daha zayıf cihazlar için (mobil, bağımsız VR) şunları yapmak isteyebilirsiniz:

• Gerçekçi model yerine Standart dudak senkronizasyonu modelini kullanın - bkz. Model karşılaştırması
• Yüksek Optimize model tipine geçin
• CPU yükünü azaltmak için İşlem Parçacık Boyutu'nu artırın
• Daha küçük LLM / TTS modelleri seçin

Android, iOS, Mac ve Linux'ta ek kurulum adımları için Platforma Özel Yapılandırma bölümüne bakın.

Kendi MetaHuman'ınızı Getirme

Demo projesi üç örnek MetaHuman karakteriyle (Aera, Ada, Orlando) birlikte gelir, ancak kendi MetaHuman'ınızı içe aktarıp demolarda kullanabilirsiniz.

📺 Video eğitimi: Demo Projesine Özel MetaHuman Karakteri Ekleme

not

Runtime MetaHuman Lip Sync eklentisi, MetaHuman'ların ötesinde birçok diğer karakter sistemini destekler (ARKit tabanlı karakterler, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe vb. - Özel Karakter Kurulum Kılavuzu'na bakın).

Temel Dudak Senkronizasyonu Demosu

Tamamen dudak senkronizasyonu özelliğine odaklanan daha basit bir demo projesi, AI konuşma iş akışı olmadan. Çeşitli ses kaynaklarıyla dudak senkronizasyonunu görmek için uygundur.

Öne Çıkan Video

İndirmeler

• Paketlenmiş demoyu indir (Windows)
• Kaynak dosyaları indir (UE 5.6+)

Neler Dahil?

Bu demo, temel dudak senkronizasyonu iş akışlarını sergiler:

• Mikrofon girişi - canlı sesten gerçek zamanlı dudak senkronizasyonu
• Ses dosyası oynatma - içe aktarılan ses dosyalarından dudak senkronizasyonu
• Metinden Konuşmaya - sentezlenmiş konuşma tarafından yönlendirilen dudak senkronizasyonu

Gerekli ve İsteğe Bağlı Eklentiler

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Gerekli
Runtime Audio Importer	Ses içe aktarma ve yakalama	✅ Gerekli
Runtime Text To Speech	TTS demo sahnesi için yerel TTS	🔶 İsteğe bağlı
Runtime AI Chatbot Integrator	Harici TTS sağlayıcıları (OpenAI, ElevenLabs)	🔶 İsteğe bağlı

Standart Dudak Senkronizasyonu Modeli için Notlar

Herhangi bir demo projesinde Gerçekçi Model yerine Standart Model'i kullanmayı planlıyorsanız, Standart Dudak Senkronizasyonu Eklentisi Uzantısı'nı yüklemeniz gerekecektir. Kurulum talimatları için Standart Model Uzantısı bölümüne bakın.

Yardıma mı İhtiyacınız Var?

Demo projelerini kurarken veya çalıştırırken herhangi bir sorunla karşılaşırsanız, bize ulaşmaktan çekinmeyin:

Join our Discord

online · support

Özel geliştirme talepleri için (örneğin demoyu kendi mantığınızla genişletme, belirli bir platforma veya karakter pipeline'ına uyarlama), solutions@georgy.dev adresinden iletişime geçin.