मुख्य कंटेंट तक स्किप करें

प्लगइन कॉन्फ़िगरेशन

मॉडल कॉन्फ़िगरेशन​

मानक मॉडल कॉन्फ़िगरेशन​

Create Runtime Viseme Generator नोड डिफ़ॉल्ट सेटिंग्स का उपयोग करता है जो अधिकांश परिदृश्यों के लिए अच्छी तरह काम करती हैं। कॉन्फ़िगरेशन एनीमेशन ब्लूप्रिंट ब्लेंडिंग नोड गुणों के माध्यम से संभाला जाता है।

एनीमेशन ब्लूप्रिंट कॉन्फ़िगरेशन विकल्पों के लिए, नीचे लिप सिंक कॉन्फ़िगरेशन अनुभाग देखें।

यथार्थवादी मॉडल कॉन्फ़िगरेशन​

Create Realistic MetaHuman Lip Sync Generator नोड एक वैकल्पिक Configuration पैरामीटर स्वीकार करता है जो आपको जनरेटर के व्यवहार को अनुकूलित करने की अनुमति देता है:

मॉडल प्रकार​

Model Type सेटिंग यह निर्धारित करती है कि यथार्थवादी मॉडल के किस संस्करण का उपयोग करना है:

मॉडल प्रकारप्रदर्शनदृश्य गुणवत्ताशोर संचालनअनुशंसित उपयोग के मामले
अत्यधिक अनुकूलित (डिफ़ॉल्ट)उच्चतम प्रदर्शन, सबसे कम CPU उपयोगअच्छी गुणवत्तापृष्ठभूमि शोर या गैर-आवाज़ ध्वनियों के साथ ध्यान देने योग्य मुंह की हरकतें दिखा सकता हैस्वच्छ ऑडियो वातावरण, प्रदर्शन-महत्वपूर्ण परिदृश्य
अर्ध-अनुकूलितअच्छा प्रदर्शन, मध्यम CPU उपयोगउच्च गुणवत्ताशोरयुक्त ऑडियो के साथ बेहतर स्थिरतासंतुलित प्रदर्शन और गुणवत्ता, मिश्रित ऑडियो स्थितियाँ
मूलआधुनिक CPUs पर रियल-टाइम उपयोग के लिए उपयुक्तउच्चतम गुणवत्तापृष्ठभूमि शोर और गैर-आवाज़ ध्वनियों के साथ सबसे अधिक स्थिरउच्च-गुणवत्ता उत्पादन, शोरयुक्त ऑडियो वातावरण, जब अधिकतम सटीकता की आवश्यकता हो

प्रदर्शन सेटिंग्स​

Intra Op Threads: आंतरिक मॉडल प्रसंस्करण संचालन के लिए उपयोग किए जाने वाले थ्रेड्स की संख्या को नियंत्रित करता है।

  • 0 (डिफ़ॉल्ट/स्वचालित): स्वचालित पहचान का उपयोग करता है (आमतौर पर उपलब्ध CPU कोर का 1/4, अधिकतम 4)
  • 1-16: मैन्युअल रूप से थ्रेड काउंट निर्दिष्ट करें। उच्च मान मल्टी-कोर सिस्टम पर प्रदर्शन में सुधार कर सकते हैं लेकिन अधिक CPU का उपयोग करते हैं

Inter Op Threads: विभिन्न मॉडल संचालन के समानांतर निष्पादन के लिए उपयोग किए जाने वाले थ्रेड्स की संख्या को नियंत्रित करता है।

  • 0 (डिफ़ॉल्ट/स्वचालित): स्वचालित पहचान का उपयोग करता है (आमतौर पर उपलब्ध CPU कोर का 1/8, अधिकतम 2)
  • 1-8: मैन्युअल रूप से थ्रेड काउंट निर्दिष्ट करें। आमतौर पर रियल-टाइम प्रसंस्करण के लिए कम रखा जाता है

प्रसंस्करण चंक आकार​

Processing Chunk Size यह निर्धारित करता है कि प्रत्येक अनुमान चरण में कितने सैंपल प्रसंस्करित किए जाते हैं। डिफ़ॉल्ट मान 160 सैंपल है (16kHz पर ऑडियो का 10ms):

  • छोटे मान अधिक बार अपडेट प्रदान करते हैं लेकिन CPU उपयोग बढ़ाते हैं
  • बड़े मान CPU लोड कम करते हैं लेकिन लिप सिंक की प्रतिक्रियाशीलता कम कर सकते हैं
  • इष्टतम संरेखण के लिए 160 के गुणकों का उपयोग करने की अनुशंसा की जाती है

प्रसंस्करण चंक आकार सेट करना

मूड-सक्षम मॉडल कॉन्फ़िगरेशन​

Create Realistic MetaHuman Lip Sync With Mood Generator नोड बुनियादी यथार्थवादी मॉडल से परे अतिरिक्त कॉन्फ़िगरेशन विकल्प प्रदान करता है:

बुनियादी कॉन्फ़िगरेशन​

लुकअहेड एमएस: बेहतर लिप सिंक सटीकता के लिए मिलीसेकंड में लुकअहेड टाइमिंग।

  • डिफ़ॉल्ट: 80ms
  • रेंज: 20ms से 200ms (20 से विभाज्य होना चाहिए)
  • उच्च मान बेहतर सिंक्रनाइज़ेशन प्रदान करते हैं लेकिन विलंबता बढ़ाते हैं

आउटपुट प्रकार: नियंत्रित करता है कि कौन से चेहरे के नियंत्रण उत्पन्न होते हैं।

  • फुल फेस: सभी 81 चेहरे के नियंत्रण (भौंहें, आंखें, नाक, मुंह, जबड़ा, जीभ)
  • माउथ ओनली: केवल मुंह, जबड़ा और जीभ से संबंधित नियंत्रण

प्रदर्शन सेटिंग्स: नियमित यथार्थवादी मॉडल के समान इंट्रा ऑप थ्रेड्स और इंटर ऑप थ्रेड्स सेटिंग्स का उपयोग करता है।

मूड सेटिंग्स​

उपलब्ध मूड:

  • तटस्थ, खुश, उदास, घृणा, क्रोध, आश्चर्य, भय
  • आत्मविश्वासी, उत्साहित, ऊब, चंचल, भ्रमित

मूड तीव्रता: नियंत्रित करती है कि मूड एनीमेशन को कितनी दृढ़ता से प्रभावित करता है (0.0 से 1.0)

रनटाइम मूड नियंत्रण​

आप रनटाइम के दौरान निम्नलिखित कार्यों का उपयोग करके मूड सेटिंग्स समायोजित कर सकते हैं:

  • मूड सेट करें: वर्तमान मूड प्रकार बदलें
  • मूड तीव्रता सेट करें: समायोजित करें कि मूड एनीमेशन को कितनी दृढ़ता से प्रभावित करता है (0.0 से 1.0)
  • लुकअहेड एमएस सेट करें: सिंक्रनाइज़ेशन के लिए लुकअहेड टाइमिंग संशोधित करें
  • आउटपुट प्रकार सेट करें: फुल फेस और माउथ ओनली नियंत्रणों के बीच स्विच करें

मूड कॉन्फ़िगरेशन

मूड चयन गाइड​

अपनी सामग्री के आधार पर उपयुक्त मूड चुनें:

मूडसर्वोत्तम उपयोगविशिष्ट तीव्रता सीमा
तटस्थसामान्य बातचीत, कथन, डिफ़ॉल्ट स्थिति0.5 - 1.0
खुशसकारात्मक सामग्री, हंसमुख संवाद, उत्सव0.6 - 1.0
उदासउदासी भरी सामग्री, भावनात्मक दृश्य, गंभीर क्षण0.5 - 0.9
घृणानकारात्मक प्रतिक्रियाएं, अरुचिकर सामग्री, अस्वीकृति0.4 - 0.8
क्रोधआक्रामक संवाद, टकराव वाले दृश्य, निराशा0.6 - 1.0
आश्चर्यअप्रत्याशित घटनाएं, रहस्योद्घाटन, सदमे की प्रतिक्रियाएं0.7 - 1.0
भयधमकी भरी स्थितियां, चिंता, घबराहट भरा संवाद0.5 - 0.9
आत्मविश्वासीपेशेवर प्रस्तुतियां, नेतृत्व संवाद, दृढ़ भाषण0.7 - 1.0
उत्साहितऊर्जावान सामग्री, घोषणाएं, उत्साही संवाद0.8 - 1.0
ऊबएकरस सामग्री, अरुचि भरा संवाद, थका हुआ भाषण0.3 - 0.7
चंचलआकस्मिक बातचीत, हास्य, हल्के-फुल्के संवाद0.6 - 0.9
भ्रमितप्रश्न-प्रधान संवाद, अनिश्चितता, हैरानी0.4 - 0.8

एनीमेशन ब्लूप्रिंट कॉन्फ़िगरेशन​

लिप सिंक कॉन्फ़िगरेशन​

Blend Runtime MetaHuman Lip Sync नोड में इसके गुण पैनल में कॉन्फ़िगरेशन विकल्प हैं:

गुणडिफ़ॉल्टविवरण
इंटरपोलेशन गति25नियंत्रित करता है कि विसेम्स के बीच होंठों की गतिविधियाँ कितनी तेज़ी से संक्रमण करती हैं। उच्च मान तेज़ और अधिक अचानक संक्रमण का परिणाम देते हैं।
रीसेट समय0.2सेकंड में वह अवधि जिसके बाद लिप सिंक रीसेट हो जाता है। यह ऑडियो बंद होने के बाद लिप सिंक को जारी रहने से रोकने के लिए उपयोगी है।

हँसी एनीमेशन​

आप हँसी एनीमेशन भी जोड़ सकते हैं जो ऑडियो में पाई गई हँसी पर गतिशील रूप से प्रतिक्रिया देगा:

  1. Blend Runtime MetaHuman Laughter नोड जोड़ें
  2. अपने RuntimeVisemeGenerator वेरिएबल को Viseme Generator पिन से कनेक्ट करें
  3. यदि आप पहले से ही लिप सिंक का उपयोग कर रहे हैं:
    • Blend Runtime MetaHuman Lip Sync नोड के आउटपुट को Blend Runtime MetaHuman Laughter नोड के Source Pose से कनेक्ट करें
    • Blend Runtime MetaHuman Laughter नोड के आउटपुट को Output Pose के Result पिन से कनेक्ट करें
  4. यदि लिप सिंक के बिना केवल हँसी का उपयोग कर रहे हैं:
    • अपने स्रोत पोज़ को सीधे Blend Runtime MetaHuman Laughter नोड के Source Pose से कनेक्ट करें
    • आउटपुट को Result पिन से कनेक्ट करें

Blend Runtime MetaHuman Laughter

जब ऑडियो में हँसी का पता चलता है, तो आपका कैरेक्टर तदनुसार गतिशील रूप से एनिमेट होगा:

हँसी

हँसी कॉन्फ़िगरेशन​

Blend Runtime MetaHuman Laughter नोड के अपने कॉन्फ़िगरेशन विकल्प हैं:

गुणडिफ़ॉल्टविवरण
इंटरपोलेशन गति25नियंत्रित करता है कि हँसी एनीमेशन के बीच होंठों की गतिविधियाँ कितनी तेज़ी से संक्रमण करती हैं। उच्च मान तेज़ और अधिक अचानक संक्रमण का परिणाम देते हैं।
रीसेट समय0.2सेकंड में वह अवधि जिसके बाद हँसी रीसेट हो जाती है। यह ऑडियो बंद होने के बाद हँसी को जारी रहने से रोकने के लिए उपयोगी है।
अधिकतम हँसी वज़न0.7हँसी एनीमेशन की अधिकतम तीव्रता को स्केल करता है (0.0 - 1.0)।

नोट: हँसी का पता लगाना वर्तमान में केवल Standard Model के साथ उपलब्ध है।

मौजूदा एनिमेशन के साथ संयोजन​

लिप सिंक और हँसी को मौजूदा बॉडी एनिमेशन और कस्टम फेशियल एनिमेशन के साथ लागू करने के लिए, उन्हें ओवरराइड किए बिना:

  1. अपने बॉडी एनिमेशन और अंतिम आउटपुट के बीच एक Layered blend per bone नोड जोड़ें। सुनिश्चित करें कि Use Attached Parent सही (true) है।
  2. लेयर सेटअप कॉन्फ़िगर करें:
    • Layer Setup सरणी में 1 आइटम जोड़ें
    • लेयर के लिए Branch Filters में 3 आइटम जोड़ें, निम्नलिखित Bone Name के साथ:
      • FACIAL_C_FacialRoot
      • FACIAL_C_Neck2Root
      • FACIAL_C_Neck1Root
  3. कस्टम फेशियल एनिमेशन के लिए महत्वपूर्ण: Curve Blend Option में, "Use Max Value" चुनें। यह कस्टम फेशियल एनिमेशन (अभिव्यक्तियाँ, भावनाएँ, आदि) को लिप सिंक के ऊपर ठीक से लेयर करने की अनुमति देता है।
  4. कनेक्शन बनाएँ:
    • मौजूदा एनिमेशन (जैसे BodyPose) → Base Pose इनपुट
    • फेशियल एनिमेशन आउटपुट (लिप सिंक और/या हँसी नोड्स से) → Blend Poses 0 इनपुट
    • लेयर्ड ब्लेंड नोड → अंतिम Result पोज़

Layered Blend Per Bone

लिप सिंक व्यवहार को ठीक-ट्यून करना​

जीभ प्रोट्रूज़न नियंत्रण​

मानक लिप सिंक मॉडल में, आप कुछ फोनेम के दौरान अत्यधिक आगे की जीभ की गति देख सकते हैं। जीभ के बाहर निकलने को नियंत्रित करने के लिए:

  1. अपने लिप सिंक ब्लेंड नोड के बाद, एक Modify Curve नोड जोड़ें
  2. Modify Curve नोड पर राइट-क्लिक करें और Add Curve Pin चुनें
  3. CTRL_expressions_tongueOut नाम के साथ एक कर्व पिन जोड़ें
  4. नोड की Apply Mode प्रॉपर्टी को Scale पर सेट करें
  5. जीभ के विस्तार को नियंत्रित करने के लिए Value पैरामीटर समायोजित करें (उदाहरण के लिए, 20% कम करने के लिए 0.8)

जबड़ा खोलने का नियंत्रण​

यथार्थवादी लिप सिंक आपकी ऑडियो सामग्री और दृश्य आवश्यकताओं के आधार पर अत्यधिक प्रतिक्रियाशील जबड़े की गतिविधियाँ उत्पन्न कर सकता है। जबड़ा खोलने की तीव्रता समायोजित करने के लिए:

  1. अपने लिप सिंक ब्लेंड नोड के बाद, एक Modify Curve नोड जोड़ें
  2. Modify Curve नोड पर राइट-क्लिक करें और Add Curve Pin चुनें
  3. CTRL_expressions_jawOpen नाम के साथ एक कर्व पिन जोड़ें
  4. नोड की Apply Mode प्रॉपर्टी को Scale पर सेट करें
  5. जबड़े की गति की सीमा को नियंत्रित करने के लिए Value पैरामीटर समायोजित करें (उदाहरण के लिए, 10% कम करने के लिए 0.9)

मूड-विशिष्ट फाइन-ट्यूनिंग​

मूड-सक्षम मॉडल के लिए, आप विशिष्ट भावनात्मक अभिव्यक्तियों को फाइन-ट्यून कर सकते हैं:

भौंह नियंत्रण:

  • CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - भीतरी भौंह उठाना
  • CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - बाहरी भौंह उठाना
  • CTRL_expressions_browDownL / CTRL_expressions_browDownR - भौंह नीचे करना

आँख अभिव्यक्ति नियंत्रण:

  • CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - आँखें सिकोड़ना
  • CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - गाल उठाना

मॉडल तुलना और चयन​

मॉडल के बीच चयन​

अपने प्रोजेक्ट के लिए किस लिप सिंक मॉडल का उपयोग करना है, यह तय करते समय इन कारकों पर विचार करें:

विचारमानक मॉडलयथार्थवादी मॉडलमूड-सक्षम यथार्थवादी मॉडल
कैरेक्टर संगतताMetaHumans और सभी कस्टम कैरेक्टर प्रकारकेवल MetaHumansकेवल MetaHumans
दृश्य गुणवत्ताकुशल प्रदर्शन के साथ अच्छा लिप सिंकअधिक प्राकृतिक मुँह की गतिविधियों के साथ बढ़ी हुई यथार्थवादिताभावनात्मक अभिव्यक्तियों के साथ बढ़ी हुई यथार्थवादिता
प्रदर्शनमोबाइल/VR सहित सभी प्लेटफ़ॉर्म के लिए अनुकूलितउच्च संसाधन आवश्यकताएँउच्च संसाधन आवश्यकताएँ
सुविधाएँ14 विसेम, हँसी का पता लगाना81 फेशियल कंट्रोल, 3 अनुकूलन स्तर81 फेशियल कंट्रोल, 12 मूड, कॉन्फ़िगर करने योग्य आउटपुट
प्लेटफ़ॉर्म समर्थनWindows, Android, QuestWindows, Mac, iOS, Linux, Android, QuestWindows, Mac, iOS, Linux, Android, Quest
उपयोग के मामलेसामान्य अनुप्रयोग, गेम्स, VR/AR, मोबाइलसिनेमाई अनुभव, क्लोज-अप इंटरैक्शनभावनात्मक कहानी कहना, उन्नत कैरेक्टर इंटरैक्शन

इंजन संस्करण संगतता​

UE 5.2 संगतता समस्या

यदि आप Unreal Engine 5.2 का उपयोग कर रहे हैं, तो यथार्थवादी मॉडल UE के रीसैंपलिंग लाइब्रेरी में एक बग के कारण सही ढंग से काम नहीं कर सकते हैं। UE 5.2 उपयोगकर्ताओं के लिए जिन्हें विश्वसनीय लिप सिंक कार्यक्षमता की आवश्यकता है, कृपया मानक मॉडल का उपयोग करें।

यह समस्या विशेष रूप से UE 5.2 के लिए है और अन्य इंजन संस्करणों को प्रभावित नहीं करती है।

प्रदर्शन सिफारिशें​

  • अधिकांश परियोजनाओं के लिए, मानक मॉडल गुणवत्ता और प्रदर्शन का एक उत्कृष्ट संतुलन प्रदान करता है
  • यथार्थवादी मॉडल का उपयोग तब करें जब आपको MetaHuman पात्रों के लिए उच्चतम दृश्य निष्ठा की आवश्यकता हो
  • मूड-सक्षम यथार्थवादी मॉडल का उपयोग तब करें जब आपके एप्लिकेशन के लिए भावनात्मक अभिव्यक्ति नियंत्रण महत्वपूर्ण हो
  • मॉडल के बीच चयन करते समय अपने लक्षित प्लेटफ़ॉर्म की प्रदर्शन क्षमताओं पर विचार करें
  • अपने विशिष्ट उपयोग के मामले के लिए सर्वोत्तम संतुलन खोजने के लिए विभिन्न अनुकूलन स्तरों का परीक्षण करें

TTS संगतता​

मॉडल प्रकारस्थानीय TTS समर्थन (Runtime Text To Speech के माध्यम से)बाहरी TTS समर्थननोट्स
मानक मॉडल✅ पूर्ण समर्थन✅ पूर्ण समर्थनसभी TTS विकल्पों के साथ संगत
यथार्थवादी मॉडल❌ सीमित समर्थन✅ पूर्ण समर्थनONNX रनटाइम स्थानीय TTS के साथ संघर्ष करता है
मूड-सक्षम यथार्थवादी मॉडल✅ पूर्ण समर्थन✅ पूर्ण समर्थनसभी TTS विकल्पों के साथ संगत

समस्या निवारण​

सामान्य समस्याएं​

यथार्थवादी मॉडल के लिए जनरेटर पुनर्निर्माण: यथार्थवादी मॉडल के साथ विश्वसनीय और सुसंगत संचालन के लिए, निष्क्रियता की अवधि के बाद नया ऑडियो डेटा फीड करना चाहते हैं तो हर बार जनरेटर को फिर से बनाने की सिफारिश की जाती है। यह ONNX रनटाइम व्यवहार के कारण है जो चुप्पी की अवधि के बाद जनरेटर का पुन: उपयोग करने पर लिप सिंक काम करना बंद कर सकता है।

स्थानीय TTS संगतता: Runtime Text To Speech प्लगइन द्वारा प्रदान किया गया स्थानीय TTS वर्तमान में ONNX रनटाइम संघर्षों के कारण नियमित यथार्थवादी मॉडल के साथ समर्थित नहीं है। हालाँकि, यह मानक मॉडल और मूड-सक्षम यथार्थवादी मॉडल दोनों के साथ पूरी तरह से संगत है। यदि आपको विशेष रूप से TTS कार्यक्षमता के साथ नियमित यथार्थवादी मॉडल की आवश्यकता है तो बाहरी TTS सेवाओं का उपयोग करें।

लिप सिंक प्रतिक्रियाशीलता में गिरावट: यदि आप अनुभव करते हैं कि Streaming Sound Wave या Capturable Sound Wave का उपयोग करते समय लिप सिंक समय के साथ कम प्रतिक्रियाशील हो जाता है, तो यह मेमोरी संचय के कारण हो सकता है। डिफ़ॉल्ट रूप से, नया ऑडियो जोड़े जाने पर हर बार मेमोरी को पुनः आवंटित किया जाता है। इस समस्या को रोकने के लिए, संचित मेमोरी को मुक्त करने के लिए ReleaseMemory फ़ंक्शन को समय-समय पर कॉल करें, जैसे हर 30 सेकंड या उसके आसपास।

प्रदर्शन अनुकूलन:

  • अपनी प्रदर्शन आवश्यकताओं के आधार पर यथार्थवादी मॉडल के लिए प्रसंस्करण चंक आकार समायोजित करें
  • अपने लक्षित हार्डवेयर के लिए उपयुक्त थ्रेड काउंट का उपयोग करें
  • मूड-सक्षम मॉडल के लिए Mouth Only आउटपुट प्रकार का उपयोग करने पर विचार करें जब पूर्ण चेहरे एनीमेशन की आवश्यकता न हो