Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu sağlayan bir eklentidir. Aşağıdakiler dahil olmak üzere çeşitli kaynaklardan gelen ses girişine yanıt olarak bir karakterin dudaklarını canlandırmanıza olanak tanır:

Eklenti, ses girişine dayalı olarak dahili olarak viseme'ler (fonemlerin görsel temsilleri) üretir. Metin yerine doğrudan ses verisiyle çalıştığı için, eklenti İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil ancak bunlarla sınırlı olmamak üzere çok dilli girişi destekler. Kelimenin tam anlamıyla her dil desteklenir, çünkü dudak senkronizasyonu dile özgü metin işleme yerine ses fonemlerinden üretilir.

Standart Model, 14 viseme üretir ve önceden tanımlanmış bir poz varlığı kullanarak dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman ve ARKit tabanlı karakterlere özel) önceden tanımlanmış bir poz varlığına dayanmadan 81 yüz kontrol değişikliği oluşturur ve bu da önemli ölçüde daha gerçekçi yüz animasyonlarıyla sonuçlanır.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'larla değil, çok çeşitli karakterlerle çalışır:

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4/5 (CC3/CC4/CC5) karakterleri
  • Mixamo karakterleri

Animasyon Standartları Desteği​

  • FACS tabanlı blendshape sistemleri
  • Apple ARKit blendshape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morph target'lara sahip herhangi bir karakter

Reallusion CC4/CC5 ve Daz Genesis 8.1/9 dahil olmak üzere birçok popüler sistem, ARKit standardındaki blendshape adlarını kullanacak şekilde de dönüştürülebilir. Bu sayede, bu karakterler için Realistic Model'i, daha yüksek kaliteli yüz animasyonuyla birlikte, Standard Model'in manuel viseme eşlemesine bir alternatif olarak kullanabilirsiniz. Ayrıntılar için Karakterleri ARKit Blendshape'lerine Dönüştürme bölümüne bakın.

Standart Model kullanan MetaHuman olmayan karakterler için Özel Karakter Kurulum Kılavuzu sayfasına bakın. ARKit, CC5/CC4 ve benzeri morph target tabanlı rigler gibi Gerçekçi Modeller kullanan diğer karakterler için Morph Target Seti Seçimi sayfasına bakın.

Animasyon Önizlemesi​

Farklı karakter türleri ve modelleri arasında eklentinin ürettiği lip sync animasyonunun kalitesini görmek için bu kısa animasyonlara göz atın:

MetaHuman karakterli gerçekçi model
MetaHuman karakterli standart model
Özel karakterli standart model
Özel karakterle standart model

Temel Özellikler​

Lip Sync Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun olarak birden fazla lip sync modeli sunar:

Standart lip sync modeli, geniş karakter uyumluluğuyla verimli, platformlar arası performans sunar:

  • MetaHuman'lar ve tüm özel karakter türleriyle çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Gerekli Uzantı Eklentisi

Standart Model'i kullanmak için ek bir uzantı eklentisi yüklemeniz gerekir. Kurulum talimatları için Ön Koşullar bölümüne bakın.

Projenizin gereksinimlerine göre performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçları doğrultusunda uygun modeli seçebilirsiniz.

Nasıl Çalışır​

Eklenti, ses girişini aşağıdaki şekilde işler:

  1. Ses verisi, belirtilen kanallar ve örnekleme hızı ile float PCM formatında alınır
  2. Eklenti, modele bağlı olarak yüz kontrol verisi veya viseme üretmek için sesi işler
  3. Ruh hali destekli modeller için yüz animasyonuna duygusal bağlam uygulanır
  4. Animasyon verisi, karakterin yüz hareketlerini gerçek zamanlı olarak yönlendirir

Performans Mimarisi​

Runtime MetaHuman Lip Sync, yalnızca CPU üzerinde çıkarım kullanır ve gerçek zamanlı uygulamalar için uygun, tutarlı ve düşük gecikmeli dudak senkronizasyonu sonuçları sunar. Varsayılan olarak eklenti, dudak senkronizasyonu işlemini her 10 milisaniyede bir gerçekleştirir (ayarlanabilir - Processing Chunk Size, iş parçacığı sayısı ve diğer performans parametreleri dahil tüm mevcut ayarlar için Eklenti Yapılandırması bölümüne bakın).

Model Mimarisi Genel Bakış​

Lip sync modelleri, sesi mel-spektrogram analizi yoluyla işleyen kompakt, transformer tabanlı bir sinir ağı kullanır. Bu hafif mimari, verimli CPU çıkarımı ve minimum bellek kullanımıyla gerçek zamanlı performans için özel olarak tasarlanmıştır.

Neden CPU Çıkarımı?​

Gerçek zamanlı lip sync gibi küçük ve sık yapılan çıkarım işlemleri için CPU işleme, GPU'ya kıyasla daha iyi gecikme özellikleri sunar. Toplu iş boyutu 1 ve 10-100ms çıkarım aralıklarında, PCIe aktarımları ve çekirdek başlatmalarından kaynaklanan GPU yükü genellikle gerçek hesaplama süresini aşar. Ayrıca oyun motorlarında GPU, işleme, gölgelendiriciler ve fizik ile zaten doygun durumdadır; bu da öngörülemeyen gecikme sıçramalarına yol açan kaynak çekişmesi yaratır.

Donanım Uyumluluğu​

Eklenti, çoğu orta ve üst seviye CPU'da özel grafik donanımı gerektirmeden verimli çalışır ve masaüstü, mobil ve VR platformlarında gerçek zamanlı performans sunar. Daha zayıf donanımlar için Model Type ayarını Semi-Optimized veya Highly Optimized olarak değiştirebilir ya da biraz azalmış yanıt hızıyla gerçek zamanlı performansı korumak için Processing Chunk Size değerini artırabilirsiniz.

Hızlı Başlangıç​

İşte karakterinizde lip sync'i etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için Kurulum Kılavuzu adımlarını izleyin
  2. Özel karakterler için Özel Karakter Kurulum Kılavuzu adımlarını izleyin
  3. Tercih ettiğiniz lip sync modelini seçin ve yapılandırın
  4. Blueprint'inizde ses girişi işlemeyi ayarlayın
  5. Animation Blueprint içinde uygun lip sync düğümünü bağlayın
  6. Sesi oynatın ve karakterinizin senkronize şekilde animasyon yaptığını görün

İsteğe Bağlı Göz Animasyonu​

Eklenti ayrıca MetaHuman'larda otomatik göz kırpma ve bakış takibi için isteğe bağlı yardımcılar içerir. Bunlar dudak senkronizasyonundan bağımsızdır ve tek başına veya onun üzerine katmanlanarak kullanılabilir. Bkz. Göz Animasyonu Yardımcıları.

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

Demo Projeleri:

İki kullanıma hazır demo projesi mevcut - tam ayrıntılar, indirmeler ve adım adım kılavuzlar için özel Demo Projeleri sayfasına bakın:

Her iki demo da platformlar arasıdır (Windows, Mac, Linux, iOS, Android, Meta Quest) ve paketlenmiş derlemeler ile tam UE 5.6+ kaynak projeleri olarak sunulur.

🎥 Video Eğitimleri​

Öne Çıkan Demolar:​

Gerçekçi Model (Yüksek Kaliteli) Eğitimleri:​

Standart Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​

Join our Discord
online · support