Demo Projeleri

Runtime MetaHuman Lip Sync ile hızlıca başlamanıza yardımcı olmak için iki adet kullanıma hazır demo projesi mevcuttur. Her ikisi de Unreal Engine 5.6+ ile oluşturulmuştur, yalnızca Blueprint tabanlıdır ve Windows, Mac, Linux, iOS, Android ile Android tabanlı platformlarda (Meta Quest dahil) çapraz platform olarak çalışır.

Mevcut Demo Projeleri

Yapay Zeka Konuşmalı NPC / Etkileşimli Avatar
Temel Lip Sync Demo

Tam yapay zekâ konuşmalı avatar iş akışı; konuşma tanıma, bir yapay zekâ sohbet botu (LLM), metinden konuşmaya sentez ve gerçek zamanlı dudak senkronizasyonuyla ses çalma özelliklerini birleştirir - tümü tek bir projede birlikte çalışır. Oyunlar, etkileşimli kiosklar, sanal prodüksiyon, müze enstalasyonları, dijital asistanlar ve eğitim simülasyonları dahil olmak üzere geniş bir kullanım alanı yelpazesine uygundur.

İşlem Hattına Genel Bakış

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

LLM Akış moduna ayarlandığında, çıktısı cümle cümle bölünür ve her cümle tamamlandığında TTS'ye gönderilir; gecikmeyi en aza indirmek için tam yanıt beklenmez.

TTS ve dudak senkronizasyonu aynı prensibi izler: Streaming modu etkinleştirildiğinde, ses, tam klibin beklenmesi yerine geldikçe parçalar halinde işlenir ve canlandırılır.

Videolar

Hızlı Önizleme (~30 sn)

Demo'nun çalışır haldeki kısa bir tanıtımı.

Tam Kılavuz

Kurulum, yapılandırma ve eksiksiz konuşma hattını kapsayan ayrıntılı bir kılavuz.

İndirilenler

Gerekli ve İsteğe Bağlı Eklentiler

Demo projesi modülerdir - yalnızca kullanmak istediğiniz sağlayıcıların eklentilerine ihtiyacınız vardır.

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Her zaman
Runtime Audio Importer	Ses yakalama ve işleme	✅ Her zaman
Runtime Speech Recognizer	Çevrimdışı konuşma tanıma (whisper.cpp)	✅ Her zaman
Runtime AI Chatbot Integrator	Harici LLM'ler (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) ve/veya Harici TTS (OpenAI, ElevenLabs)	🔶 İsteğe bağlı
Runtime Local LLM	llama.cpp aracılığıyla yerel LLM çıkarımı (Llama, Mistral, Gemma, vb. GGUF modelleri)	🔶 İsteğe bağlı
Runtime Text To Speech	Piper ve Kokoro ile yerel TTS	🔶 İsteğe bağlı

İsteğe bağlı eklentiler - sağlayıcı gereksinimleri

Yukarıdaki eklentilerin her biri ayrı ayrı isteğe bağlı olsa da, demoyu çalıştırmak için en az bir LLM sağlayıcısına ve en az bir TTS sağlayıcısına ihtiyacınız var. Serbestçe karıştırıp eşleştirebilirsiniz (ör. yerel LLM + ElevenLabs TTS veya OpenAI LLM + yerel TTS).

Modüler Mimari

Content klasöründe, üç alt klasör içeren bir Modules klasörü bulacaksınız:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Eklenti paketlerinden birini (veya birkaçını) edinmediyseniz, ilgili klasör(leri) kolayca silin. Demo projesinin temel varlıkları (oyun örneği, widget'lar vb.) bu modüllere doğrudan referans vermez, bu nedenle silmek varlık referans hatalarına neden olmaz. Yapılandırma arayüzü, klasörü eksik olan herhangi bir sağlayıcıyı otomatik olarak gizleyecektir.

not

Bu modülerlik yalnızca LLM ve TTS sağlayıcıları için geçerlidir. Konuşma Tanıma (Runtime Speech Recognizer) ve Lip Sync (Runtime MetaHuman Lip Sync), temel demo projesinin bir parçasıdır ve her zaman gereklidir.

Modules folder structure

uyarı

İlk başlatmada, Unreal eksik isteğe bağlı eklentileri devre dışı bırakmak isteyip istemediğinizi sorabilir - Evet'e tıklayın. Ayrıca ilgili Content/Modules/ klasörünü de sildiğinizden emin olun (yukarıya bakın).

Paketli Eklenti Eklentileri

Silero VAD, WebRTC AEC3 ve Standart Lip Sync uzantıları (genişletmek için tıklayın)

Demo'nun kaynak sürümü, Plugins/ klasöründe önceden paketlenmiş üç ücretsiz eklenti eklentisiyle birlikte gelir: RuntimeAudioImporterSileroVAD (sinirsel VAD), RuntimeAudioImporterWebRTCAEC3 (yankı giderme) ve RuntimeMetaHumanLipSync_Standard (Standart dudak senkronizasyonu modeli).

Paketlenmiş ikili dosyalar UE 5.6 için önceden derlenmiştir. UE 5.7 / 5.8 için ya bunları kaynak koddan derleyin (her eklentinin belgelerine bakın) ya da önceden derlenmiş ikili dosyaları kullanın: UE 5.7 · UE 5.8. Kurulum için: Plugins/ klasöründeki mevcut üç klasörü silin, ardından arşivin içeriğini onların yerine Plugins/ klasörüne çıkarın.

Üçü de isteğe bağlıdır - bunlara ihtiyacınız yoksa, başlatmadan önce Plugins/ klasöründeki klasörlerini silmeniz yeterlidir.

Demo Projesi Düzeni

Arayüz yalnızca gösterim amaçlıdır.

Aşağıda gösterilen kullanıcı arayüzü tamamen UMG (Unreal Motion Graphics) ile oluşturulmuştur ve yalnızca pipeline'ı göstermek amacıyla tasarlanmıştır - konuşma tanıma → LLM → TTS → dudak senkronizasyonu. Projenizin görsel tasarımına, kontrol şemasına veya platformuna (VR/AR, mobil, konsol, kiosk vb.) uyacak şekilde yeniden stillendirmek veya değiştirmekte özgürsünüz. Kullanım durumunuzda belirli widget'lara ihtiyaç duyulmuyorsa, bunları basitçe gizleyebilirsiniz (ör. görünürlüklerini Collapsed veya Hidden olarak ayarlayın).

Annotated overview of the demo project main screen

Area	Orada ne var
Merkez	MetaHuman karakteri.
Sol taraf	Aşağıda ayrıntılı olarak açıklanan dört yapılandırma düğmesi (Konuşma Tanıma, AI Sohbet Robotu, Metinden Sese, Animasyonlar).
Merkez alt	Bir Kaydı Başlat düğmesi. Sesli bir konuşma başlatmak için tıklayın: mikrofonunuz yakalanır, metne dönüştürülür, LLM'ye gönderilir, yanıt TTS aracılığıyla sentezlenir ve tamamen eller serbest olarak dudak senkronizasyonuyla oynatılır.
Sağ merkez	Siz ile AI arasındaki tüm karşılıklı konuşmayı (hem kullanıcı hem de asistan mesajları) gösteren bir konuşma geçmişi widget'ı. Ayrıca, konuşma tanımayı kullanmadan doğrudan mesaj yazabilmeniz için bir metin giriş alanı içerir; bu, test etmek, erişilebilirlik için veya mikrofon bulunmadığında kullanışlıdır.

ipucu

Aynı oturumda her iki giriş modunu da serbestçe karıştırabilirsiniz - bazı mesajları konuşun, diğerlerini yazın.

ipucu

Eğer lip sync testi ne kadar uzun süre yaparsanız sesin o kadar gerisinde kalıyorsa (sabit bir gecikme değilse), aşağıdaki Animasyonları Yapılandır bölümündeki İşleme Parça Boyutu'na bakın.

Yapılandırma Düğmeleri

Soldaki dört yapılandırma düğmesi, hattın her bir bölümü için özel paneller açar:

1. Konuşma Tanımayı Yapılandırın

Kullanıcının sesinin nasıl yakalanıp metne dönüştürüleceğini yapılandırın:

Dil seçin
Konuşma tanıma parametrelerini ayarlayın (Whisper modeli ayarları)
AEC'yi (Akustik Yankı Giderme) yapılandırın
VAD'yi (Ses Etkinliği Algılama) yapılandırın

Speech recognition configuration screen

2. Yapay Zeka Sohbet Robotunu Yapılandır

LLM sağlayıcınızı seçin ve yapılandırın:

Sağlayıcıyı seçin (Runtime AI Chatbot Integrator veya Runtime Local LLM)
Modu seçin: Normal veya Akış (sağlayıcıya bağlıdır, Akış cümle bazında TTS aktarımını etkinleştirir, bkz. İşlem Hattı Genel Bakışı)
Harici sağlayıcılar için: kimlik doğrulama belirteci, model adı, vb.
Yerel LLM için: bir GGUF modeli seçin, bağlam boyutunu ve diğer çıkarım parametrelerini ayarlayın. Ayrıca demo içinden doğrudan çalışma zamanında kendi GGUF modelinizi indirebilirsiniz (ör. URL ile) ve projeyi yeniden derlemeden hemen kullanabilirsiniz.

ipucu

Sağlayıcı açılır kutusu yalnızca eklenti modül klasörü Content/Modules/ içinde bulunan sağlayıcıları gösterir.

AI chatbot configuration - Runtime AI Chatbot Integrator (external LLM)

AI chatbot configuration - Runtime Local LLM (local GGUF)

3. Metin Konuşmaya Dönüştürmeyi Yapılandırın

TTS sağlayıcınızı seçin ve sesleri/modelleri yapılandırın:

Sağlayıcıyı seçin (OpenAI/ElevenLabs için Runtime AI Chatbot Integrator veya yerel Piper/Kokoro için Runtime Text To Speech)
Modu seçin: Normal veya Akış (sesin tamamının mı yoksa sentezlendikçe mi döndürüleceğini kontrol eder)
Ses/model seçin
Sağlayıcıya özel parametreleri ayarlayın

TTS configuration - Runtime AI Chatbot Integrator (external TTS)

TTS configuration - Runtime Local Text To Speech (local Piper/Kokoro)

4. Animasyonları Yapılandırın

AI avatarınızın görsellerini kontrol edin:

Önceden indirilmiş 3 MetaHuman karakteri arasından seçim yapın (Aera, Ada, Orlando)
Dudak senkronizasyon modelini seçin (Standart veya Gerçekçi)
Dudak senkronizasyon modeli türünü seçin - Yüksek Optimize, Yarı Optimize veya Orijinal (bkz. Model Türü)
İşleme Parça Boyutunu ayarlayın - dudak senkronizasyon çıkarımının ne sıklıkta çalıştığını kontrol eder (bkz. İşleme Parça Boyutu)
- Lip sync sesin gerisinde kalıyorsa ve CPU yükü altında zamanla daha da geriye düşüyorsa, bunu 480 veya 640'a yükseltin.
MetaHuman konuşma sırasında oynatılacak bir boşta durma animasyonu seçin

Animations configuration screen

Editörde Demo'yu Ön Yapılandırma

Kaynak sürümle çalışırken, varsayılan değerleri doğrudan editörde önceden doldurabilirsiniz; böylece her çalıştırmada değerlerin yeniden girilmesi gerekmez:

What	Nerede
Genel ayarlar (lip sync modeli, boşta bekleme animasyonu, karakter sınıfı, konuşma tanıma vb.)	`Content/LipSyncSTSGameInstance`
Harici LLM / Harici TTS ayarları (Runtime AI Chatbot Integrator)	`Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider`
Yerel LLM ayarları (Runtime Local LLM)	`Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider`
Yerel TTS ayarları (Runtime Text To Speech)	`Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider`

Çapraz Platform Notları

Demo'nun kullandığı tüm eklentiler Windows, Mac, Linux, iOS, Android ve Android tabanlı platformları (Meta Quest dahil) destekler; bu nedenle demo projesi de bunların hepsinde çalışır. Bu, onu oyunlardan masaüstü kiosklarına, mobil uygulamalara, bağımsız VR başlıklarına ve set üstü sanal prodüksiyon kurulumlarına kadar çok çeşitli ortamlarda dağıtım için uygun hale getirir.

Daha zayıf cihazlar için (mobil, bağımsız VR), şunları yapmak isteyebilirsiniz:

Standart dudak senkronizasyon modelini Gerçekçi yerine kullanın - Model karşılaştırmasına bakın
Yüksek Düzeyde Optimize Edilmiş model türüne geçin
CPU yükünü azaltmak için İşleme Parça Boyutunu artırın
Daha küçük LLM / TTS modelleri seçin

Android, iOS, Mac ve Linux için ek kurulum adımlarını görmek üzere Platforma Özel Yapılandırma bölümüne bakın.

Pixel Streaming Desteği

Demo'yu Pixel Streaming üzerinde dağıtma (genişletmek için tıklayın)

AI Konuşmalı demo projesi ayrıca bir Pixel Streaming ortamında da çalışır; MetaHuman avatarını uzak bir istemciye (ör. bir web tarayıcısına) akışmanıza olanak tanırken, kullanıcının mikrofon sesini istemci tarafından yakalar. Demo için yalnızca tek bir değişiklik gerekir.

1. Runtime Audio Importer için Pixel Streaming eklentisini kurun.

Runtime Audio Importer eklentisi, bir Pixel Streaming istemcisinden ses yakalamayı sağlayan ücretsiz bir genişletme eklentisi sunar. Hangi Pixel Streaming altyapı sürümünü kullandığınıza bağlı olarak şunlardan birini kurun:

Pixel Streaming uzantısı (orijinal Pixel Streaming eklentisi için), veya
Pixel Streaming 2 uzantısı (daha yeni Pixel Streaming 2 eklentisi için)

İndirme bağlantıları ve kurulum adımları burada mevcuttur: Pixel Streaming Audio Capture - Eklenti Kurulumu.

2. `LipSyncSTSGameInstance` içindeki yakalanabilir ses dalgası düğümünü değiştirin.

Eklenti eklentisi kurulduktan sonra:

İçerik Tarayıcısı'nda /All/Game konumuna gidin ve LipSyncSTSGameInstance varlığını açın.
Event Graph'e geçin.
Event Init'i bulun ve Create Capturable Sound Wave → Set Capturable Sound Wave node çiftini bulana kadar yürütme akışını takip edin.
Create Capturable Sound Wave çağrısını, hedeflediğiniz Pixel Streaming altyapı sürümüne bağlı olarak Create Pixel Streaming Capturable Sound Wave veya Create Pixel Streaming 2 Capturable Sound Wave ile değiştirin.
Çıktısını aynı Set Capturable Sound Wave node'una bağlayın.

Bundan sonra proje, Pixel Streaming üzerinde dağıtıma hazırdır - konuşma tanıma, LLM, TTS ve dudak senkronizasyonu eskisi gibi çalışacaktır, ancak ses, yerel bir mikrofon yerine uzak istemciden yakalanacaktır.

Kendi Karakterini Getirme

Demo projesi, üç örnek MetaHuman karakteriyle (Aera, Ada, Orlando) birlikte gelir, ancak kendi MetaHuman'ınızı içe aktarıp demoda kullanabilirsiniz.

📺 Video eğitimi: Demo Projesine Özel MetaHuman Karakteri Ekleme

not

Runtime MetaHuman Lip Sync eklentisinin kendisi, MetaHuman'ların ötesinde birçok başka karakter sistemini destekler (ARKit tabanlı karakterler, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, vb. - bkz. Özel Karakter Kurulum Kılavuzu). İster bir oyun NPC'si, ister sanal bir sunucu, ister bir kiosk görevlisi, isterse sanal prodüksiyon için dijital bir insan oluşturuyor olun, eklenti karakter hattınıza uyum sağlar.

Odaklanmış bir demo projesi; lip sync özelliğini çeşitli ses kaynakları üzerinde sergiler. Lip sync'in kendisi, herhangi bir akış ses girişiyle, herhangi bir dilde çalışır ve sesi gerçek zamanlı olarak parça parça işler.