Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu sağlayan bir eklentidir. Karakterin dudaklarını, aşağıdakiler de dahil olmak üzere çeşitli kaynaklardan gelen ses girdisine yanıt olarak canlandırmanıza olanak tanır:

Eklenti, ses girişine dayalı olarak dahili şekilde visemler (fonemlerin görsel temsilleri) üretir. Metin yerine doğrudan ses verisiyle çalıştığı için, eklenti çok dilli girişi destekler; İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil ancak bunlarla sınırlı değildir. Kelimenin tam anlamıyla her dil desteklenir çünkü dudak senkronizasyonu, dile özgü metin işlemeden ziyade ses fonemlerinden üretilir.

Standart Model, önceden tanımlanmış bir poz varlığı kullanarak 14 viseme üretir ve dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman ve ARKit tabanlı karakterlere özel), önceden tanımlanmış bir poz varlığına dayanmadan 81 yüz kontrol değişikliği üretir ve bu da önemli ölçüde daha gerçekçi yüz animasyonları sağlar.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'larla değil, çok çeşitli karakterlerle de çalışır:

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4/5 (CC3/CC4/CC5) karakterleri
  • Mixamo karakterleri

Animasyon Standartları Desteği​

  • FACS tabanlı blend shape sistemleri
  • Apple ARKit blend shape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morph target'lara sahip herhangi bir karakter

Birçok popüler sistem, Reallusion CC4/CC5 ve Daz Genesis 8.1/9 dahil olmak üzere, ARKit standartındaki blend shape adlarını kullanacak şekilde dönüştürülebilir. Bu, bu karakterler için daha yüksek kaliteli yüz animasyonu sunan Gerçekçi Model'i, Standart Model'in manuel viseme eşlemesine bir alternatif olarak kullanmanıza olanak tanır. Ayrıntılar için Karakterleri ARKit Blend Shapelerine Dönüştürme bölümüne bakın.

MetaHuman olmayan karakterler için Standart Model kullanıyorsanız, Özel Karakter Kurulum Rehberi bölümüne bakın. Gerçekçi Modeller kullanan ARKit tabanlı karakterler için Morfoloji Hedefi Seti Seçimi bölümüne bakın.

Animasyon Önizleme​

Bu kısa animasyonlara göz atarak eklentinin farklı karakter türleri ve modellerde ürettiği lip sync animasyon kalitesini görebilirsiniz:

MetaHuman karakteriyle gerçekçi model
MetaHuman karakteriyle standart model
Standart model, özel karakterle
Standart model, özel karakterle

Temel Özellikler​

  • Mikrofon girişinden gerçek zamanlı dudak senkronizasyonu
  • Çevrimdışı ses işleme desteği
  • Modele özel platform desteğiyle çapraz platform uyumluluğu
  • Birden fazla karakter sistemi ve animasyon standardı için destek
  • Özel karakterler için esnek viseme eşleme
  • Evrensel dil desteği - ses analizi yoluyla herhangi bir konuşulan dille çalışır
  • Gelişmiş ifade gücü için ruh hali algılayan yüz animasyonu
  • Yapılandırılabilir çıktı türleri (tam yüz veya yalnızca ağız kontrolleri)
  • Göz kırpma ve bakış takibi için isteğe bağlı göz animasyonu yardımcıları

Dudak Senkronizasyon Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun birden fazla lip sync modeli sunar:

Standart lip sync modeli, geniş karakter uyumluluğuyla verimli ve platformlar arası performans sunar:

  • MetaHuman’lar ve tüm özel karakter türleriyle çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Gerekli Eklenti Eklentisi

Standart Modeli kullanmak için ek bir eklenti kurmanız gerekir. Kurulum talimatları için Ön Koşullar bölümüne bakın.

Projenizin gereksinimlerine göre performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçlarına uygun modeli seçebilirsiniz.

Nasıl Çalışır​

Eklenti, ses girişini şu şekilde işler:

  1. Ses verisi, belirtilen kanallar ve örnekleme hızı ile float PCM formatında alınır
  2. Eklenti, modele bağlı olarak yüz kontrol verisi veya visemler oluşturmak için sesi işler
  3. Duygu destekli modellerde, duygusal bağlam yüz animasyonuna uygulanır
  4. Animasyon verisi, karakterin yüz hareketlerini gerçek zamanlı olarak yönlendirir

Mimari Performans​

Runtime MetaHuman Lip Sync, yalnızca CPU çıkarımı kullanarak gerçek zamanlı uygulamalar için uygun, tutarlı ve düşük gecikmeli dudak senkronizasyonu sonuçları sunar. Varsayılan olarak, eklenti dudak senkronizasyonu işlemini her 10 milisaniyede bir gerçekleştirir (ayarlanabilir - tüm mevcut ayarlar için Eklenti Yapılandırması bölümüne bakın; İşleme Parça Boyutu, iş parçacığı sayısı ve diğer performans parametreleri dahil).

Model Mimarisi Genel Bakış​

Lip sync modelleri, sesi mel-spektrogram analiziyle işleyen kompakt, transformatör tabanlı bir sinir ağı kullanır. Bu hafif mimari, verimli CPU çıkarımı ve minimum bellek ayak iziyle gerçek zamanlı performans için özel olarak tasarlanmıştır.

Neden CPU Çıkarımı?​

Küçük ve sık çıkarım işlemleri için, gerçek zamanlı dudak senkronizasyonu gibi, CPU işleme GPU'dan daha iyi gecikme özellikleri sunar. 1 toplu iş boyutunda ve 10-100ms çıkarım aralıklarında, PCIe aktarımları ve çekirdek başlatmalarından kaynaklanan GPU yükü genellikle gerçek hesaplama süresini aşar. Ayrıca, oyun motorlarında GPU zaten render, shader ve fizik ile doymuş durumdadır; bu da kaynak çekişmesi yaratır ve öngörülemeyen gecikme artışlarına yol açar.

Donanım Uyumluluğu​

Eklenti, özel grafik donanımı gerektirmeden çoğu orta ve üst seviye CPU'da verimli bir şekilde çalışır; masaüstü, mobil ve VR platformlarında gerçek zamanlı performans sağlar. Daha zayıf donanımlar için, Model Türü ayarını Yarı Optimize veya Yüksek Düzeyde Optimize olarak değiştirebilir veya İşleme Parça Boyutu değerini artırarak hafif azaltılmış yanıt süresiyle gerçek zamanlı performansı koruyabilirsiniz.

Hızlı Başlangıç​

İşte karakterinizde dudak senkronizasyonunu etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için Kurulum Rehberi'ni izleyin
  2. Özel karakterler için Özel Karakter Kurulum Rehberi'ni izleyin
  3. Tercih ettiğiniz dudak senkronizasyonu modelini seçin ve yapılandırın
  4. Blueprint'inizde ses girişi işlemeyi ayarlayın
  5. Animation Blueprint'te uygun dudak senkronizasyonu düğümünü bağlayın
  6. Sesi çalın ve karakterinizin senkronize şekilde animasyon yaptığını görün

İsteğe Bağlı Göz Animasyonu​

Eklenti ayrıca MetaHuman'lar üzerinde otomatik göz kırpma ve bakış takibi için isteğe bağlı yardımcılar da içerir. Bunlar dudak senkronizasyonundan bağımsızdır ve tek başına veya üzerine katmanlanarak kullanılabilir. Bkz. Göz Animasyonu Yardımcıları.

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

Demo Projeleri:

İki adet kullanıma hazır demo projesi mevcuttur - ayrıntılı bilgi, indirme ve anlatımlar için özel Demo Projeleri sayfasına bakın:

Her iki demo da çapraz platformdur (Windows, Mac, Linux, iOS, Android, Meta Quest) ve paketlenmiş derlemeler ile tam UE 5.6+ kaynak projeleri olarak sunulur.

🎥 Video Eğitimleri​

Öne Çıkan Demolar:​

Gerçekçi Model (Yüksek Kalite) Eğitimleri:​

Standart Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​

Join our Discord
online · support