Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu sağlayan bir eklentidir. Çeşitli kaynaklardan gelen ses girişine yanıt olarak bir karakterin dudaklarını canlandırmanıza olanak tanır, bunlar arasında:

Eklenti, ses girişine dayalı olarak dahili olarak viseme (sesbirimlerin görsel temsilcileri) üretir. Metin yerine doğrudan ses verisiyle çalıştığından, eklenti çok dilli girişi destekler; bunlara İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahildir ancak bunlarla sınırlı değildir. Dudak senkronizasyonu, dile özgü metin işleme yerine ses fonemlerinden oluşturulduğu için tam anlamıyla her dil desteklenir.

Standart Model 14 viseme üretir ve önceden tanımlanmış bir poz varlığı kullanarak dudak senkronizasyon animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman ve ARKit tabanlı karakterlere özel) önceden tanımlanmış bir poz varlığına dayanmadan 81 yüz kontrol değişikliği üreterek çok daha gerçekçi yüz animasyonları sağlar.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync sadece MetaHuman'ların ötesinde çok çeşitli karakterlerle çalışır:

Popüler Ticari Karakter Sistemleri​

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4 (CC3/CC4) karakterleri
  • Mixamo karakterleri
  • ReadyPlayerMe avatarları

Animasyon Standartları Desteği​

  • FACS tabanlı blendshape sistemleri
  • Apple ARKit blendshape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morph target'lara sahip herhangi bir karakter

MetaHuman olmayan karakterlerle eklentiyi kullanma hakkında ayrıntılı talimatlar için Özel Karakter Kurulum Kılavuzu sayfasına bakın.

Animasyon Önizlemesi​

Farklı karakter türleri ve modellerde eklenti tarafından üretilen dudak senkronizasyon animasyonlarının kalitesini görmek için bu kısa animasyonlara göz atın:

MetaHuman karakteriyle gerçekçi model
MetaHuman karakterli standart model
Özel karakterli standart model
Özel karakterli standart model

Önemli Özellikler​

  • Mikrofon girişinden gerçek zamanlı dudak senkronizasyonu
  • Çevrimdışı ses işleme desteği
  • Model bazında platform desteğiyle çapraz platform uyumluluğu
  • Birden fazla karakter sistemi ve animasyon standardı desteği
  • Özel karakterler için esnek visem eşleme
  • Evrensel dil desteği - ses analizi yoluyla herhangi bir dille çalışır
  • Daha fazla ifade zenginliği için ruh hali algılamalı yüz animasyonu
  • Yapılandırılabilir çıktı tipleri (tam yüz veya sadece ağız kontrolleri)

Dudak Senkronizasyon Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun birden fazla dudak senkronizasyon modeli sunar:

Standart dudak senkronizasyon modeli, geniş karakter uyumluluğuyla verimli, çapraz platform performansı sağlar:

  • MetaHuman'lar ve tüm özel karakter türleriyle çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Ek Eklenti Gereklidir

Standard Model'i kullanmak için ek bir eklenti yüklemeniz gerekir. Kurulum talimatları için Ön Koşullar bölümü'ne bakın.

Projenizin performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçlarına göre uygun modeli seçebilirsiniz.

Nasıl Çalışır​

Eklenti ses girişini aşağıdaki şekilde işler:

  1. Ses verileri belirtilen kanal ve örnekleme hızı ile float PCM formatında alınır
  2. Eklenti, modele bağlı olarak yüz kontrol verisi veya visem üretmek için sesi işler
  3. Ruh hali özellikli modeller için, duygusal bağlam yüz animasyonuna uygulanır
  4. Animasyon verisi karakterin yüz hareketlerini gerçek zamanlı olarak sürer

Performans Mimarisi​

Runtime MetaHuman Lip Sync, gerçek zamanlı uygulamalar için uygun, tutarlı ve düşük gecikmeli dudak senkronizasyonu sonuçları sağlamak için yalnızca CPU çıkarımı kullanır. Varsayılan olarak, eklenti dudak senkronizasyonu işlemini her 10 milisaniyede bir gerçekleştirir (ayarlanabilir - Plugin Configuration sayfasındaki Processing Chunk Size, thread count ve diğer performans parametrelerine bakın).

Model Mimarisi Genel Bakış​

Dudak senkronizasyon modelleri, sesi mel-spektrogram analizi yoluyla işleyen kompakt, dönüştürücü tabanlı bir sinir ağı kullanır. Bu hafif mimari, verimli CPU çıkarımı ve minimum bellek ayak izi ile gerçek zamanlı performans için özel olarak tasarlanmıştır.

Neden CPU Çıkarımı?​

Gerçek zamanlı dudak senkronizasyonu gibi küçük ve sık çıkarım işlemleri için, CPU işleme GPU'ya göre daha iyi gecikme özellikleri sunar. 10-100 ms çıkarım aralıklarında 1'lik parti boyutunda, PCIe aktarımları ve çekirdek başlatmalarından kaynaklanan GPU yükü genellikle gerçek hesaplama süresini aşar. Ayrıca oyun motorlarında GPU, işleme, gölgelendirici ve fizik işlemleriyle zaten doymuş durumdadır ve bu da öngörülemeyen gecikme artışlarına neden olan kaynak çatışması yaratır.

Donanım Uyumluluğu​

Eklenti, özel grafik donanımı gerektirmeden çoğu orta seviye ve daha yüksek CPU'larda verimli bir şekilde çalışır ve masaüstü, mobil ve VR platformlarında gerçek zamanlı performans sağlar. Daha zayıf donanımlar için, Model Type ayarını Semi-Optimized veya Highly Optimized olarak değiştirebilir veya Processing Chunk Size'ı artırarak biraz daha düşük tepki süresiyle gerçek zamanlı performansı koruyabilirsiniz.

Hızlı Başlangıç​

Karakterinizde dudak senkronizasyonunu etkinleştirmek için temel kurulum:

  1. MetaHuman karakterler için Setup Guide'ı izleyin
  2. Özel karakterler için Custom Character Setup Guide'ı izleyin
  3. Tercih ettiğiniz dudak senkronizasyon modelini seçip yapılandırın
  4. Blueprint'inizde ses giriş işlemesini ayarlayın
  5. Animation Blueprint'te uygun dudak senkronizasyon düğümünü bağlayın
  6. Sesi çalın ve karakterinizin duyguyla konuştuğunu görün!

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

Demo Projeleri:

Kullanıma hazır iki demo projesi mevcuttur - tüm ayrıntılar, indirmeler ve izlenecek yollar için özel Demo Projects sayfasına bakın:

Her iki demo da çapraz platformdur (Windows, Mac, Linux, iOS, Android, Meta Quest) ve paketlenmiş yapılar ve tam UE 5.6+ kaynak projeleri olarak sunulur.

🎥 Video Eğitimler​

Öne Çıkan Demolar:​

Realistic Model (Yüksek Kalite) Eğitimleri:​

Standard Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​

Join our Discord
online · support