Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Dokümantasyonu

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve çapraz platform dudak senkronizasyonu sağlayan bir eklentidir. Bir karakterin dudaklarını, aşağıdakiler de dahil olmak üzere çeşitli kaynaklardan gelen ses girişine yanıt olarak canlandırmanıza olanak tanır:

Eklenti, ses girişine dayalı olarak dahili olarak visemler (fonemlerin görsel temsilleri) oluşturur. Metin yerine doğrudan ses verisiyle çalıştığı için, eklenti İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil olmak üzere çok dilli girişi destekler. Kelimenin tam anlamıyla her dil desteklenir çünkü dudak senkronizasyonu, dile özgü metin işleme yerine ses fonemlerinden üretilir.

Standart Model, 14 visem üretir ve önceden tanımlanmış bir poz varlığı kullanarak dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman karakterleri için) önceden tanımlanmış bir poz varlığına güvenmeden 81 yüz kontrol değişikliği oluşturarak önemli ölçüde daha gerçekçi yüz animasyonları sağlar.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'ların ötesinde geniş bir karakter yelpazesiyle çalışır:

Popüler Ticari Karakter Sistemleri​

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4 (CC3/CC4) karakterleri
  • Mixamo karakterleri
  • ReadyPlayerMe avatar'ları

Animasyon Standartları Desteği​

  • FACS tabanlı blendshape sistemleri
  • Apple ARKit blendshape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morf hedefleri olan herhangi bir karakter

MetaHuman olmayan karakterlerle eklentiyi kullanma hakkında ayrıntılı talimatlar için Özel Karakter Kurulum Kılavuzu'na bakın.

Animasyon Önizleme​

Eklenti tarafından üretilen dudak senkronizasyonu animasyonunun kalitesini farklı karakter türleri ve modeller arasında görmek için bu kısa animasyonları kontrol edin:

Realistic Lip Sync Example
Gerçekçi model ile MetaHuman karakteri
Standard Lip Sync Example
MetaHuman karakter ile standart model
Custom Character Lip Sync Example
Özel karakterli standart model
Custom Character Lip Sync Example
Özel karakterli standart model

Temel Özellikler​

  • Mikrofon girişinden gerçek zamanlı dudak senkronizasyonu
  • Çevrimdışı ses işleme desteği
  • Model özel platform desteği ile çapraz platform uyumluluğu
  • Birden fazla karakter sistemi ve animasyon standardı desteği
  • Özel karakterler için esnek viseme haritalama
  • Evrensel dil desteği - ses analizi yoluyla herhangi bir konuşma diliyle çalışır
  • Gelişmiş ifade gücü için ruh haline duyarlı yüz animasyonu
  • Yapılandırılabilir çıktı türleri (tüm yüz veya sadece ağız kontrolleri)

Dudak Senkronizasyon Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun birden fazla dudak senkronizasyon modeli sunar:

Standart dudak senkronizasyon modeli, geniş karakter uyumluluğu ile verimli, çapraz platform performansı sağlar:

  • MetaHumans ve tüm özel karakter türleriyle çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Yerel TTS (Runtime Text To Speech eklentisi) ile tam uyumluluk
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Uzantı Eklentisi Gerekli

Standart Model'i kullanmak için ek bir uzantı eklentisi yüklemeniz gerekir. Kurulum talimatları için Önkoşullar bölümüne bakın.

Performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçlarınıza göre proje gereksinimleriniz için uygun modeli seçebilirsiniz.

TTS Uyumluluk Notu

Tüm modeller çeşitli ses giriş yöntemlerini desteklese de, normal Gerçekçi model, ONNX çalışma zamanı çakışmaları nedeniyle yerel TTS ile sınırlı uyumluluğa sahiptir. Ancak, Duygu Etkin Gerçekçi model, yerel TTS ile tamamen uyumludur. Metinden sese işlevselliği için:

  • Standart Model: Tüm TTS seçenekleriyle uyumlu (yerel ve harici)
  • Gerçekçi Model: Harici TTS servisleri önerilir (OpenAI, ElevenLabs)
  • Duygu Etkin Gerçekçi Model: Tüm TTS seçenekleriyle uyumlu (yerel ve harici)

Nasıl Çalışır​

Eklenti, ses girişini aşağıdaki şekilde işler:

  1. Ses verisi, belirtilen kanallar ve örnekleme hızı ile PCM formatında float olarak alınır
  2. Eklenti, modele bağlı olarak yüz kontrol verisi veya visemler oluşturmak için sesi işler
  3. Duygu etkin modeller için, yüz animasyonuna duygusal bağlam uygulanır
  4. Animasyon verisi, karakterin yüz hareketlerini gerçek zamanlı olarak yönlendirir

Hızlı Başlangıç​

Karakterinizde dudak senkronizasyonunu etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için, Kurulum Kılavuzu'nu takip edin
  2. Özel karakterler için, Özel Karakter Kurulum Kılavuzu'nu takip edin
  3. Tercih ettiğiniz dudak senkronizasyon modelini seçin ve yapılandırın
  4. Blueprint'inizde ses giriş işlemesini kurun
  5. Animation Blueprint'te uygun dudak senkronizasyon düğümünü bağlayın
  6. Sesi çalın ve karakterinizin duyguyla konuştuğunu görün!

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

🎥 Video Eğitimleri​

Öne Çıkan Demo:​

Gerçekçi Model (Yüksek Kalite) Eğitimleri:​

Standart Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​