كيفية استخدام الإضافة مع الشخصيات المخصصة

يأخذك هذا الدليل خلال عملية إعداد مزامنة الشفاه في الوقت الفعلي لشخصيات MetaHuman للشخصيات غير التابعة لـ MetaHuman. تتطلب هذه العملية الإلمام بمفاهيم التحريك والريغينغ. إذا كنت بحاجة إلى مساعدة في تنفيذ هذا لشخصيتك المحددة، يمكنك التواصل للحصول على دعم احترافي على solutions@georgy.dev.

ملاحظة مهمة حول نماذج مزامنة الشفاه

توافق الشخصيات المخصصة

يتم دعم الشخصيات المخصصة فقط مع النموذج القياسي (الأسرع).

تم تصميم النموذج الواقعي (ذو الجودة الأعلى) لشخصيات MetaHuman و ARKit ولا يمكن استخدامه مع الشخصيات المخصصة الأخرى. طوال هذا الدليل، يجب عليك اتباع تعليمات النموذج القياسي من دليل الإعداد الرئيسي عند الإشارة إليها.

إضافة إضافية مطلوبة: لاستخدام النموذج القياسي مع الشخصيات المخصصة، يجب عليك تثبيت إضافة امتداد مزامنة الشفاه القياسية كما هو موضح في قسم المتطلبات الأساسية من دليل الإعداد الرئيسي.

هذا الامتداد مطلوب لجميع تنفيذات الشخصيات المخصصة الموضحة في هذا الدليل.

المتطلبات الأساسية

قبل البدء، تأكد من أن شخصيتك تستوفي هذه المتطلبات:

• لديها هيكل عظمي صالح
• تحتوي على أهداف مورف (أشكال مدمجة) للتعبيرات الوجهية
• من الناحية المثالية، لديها 10+ أهداف مورف تحدد الفونيمات المرئية (المزيد من الفونيمات المرئية = جودة أفضل لمزامنة الشفاه)

تتطلب الإضافة تعيين أهداف المورف لشخصيتك إلى الفونيمات المرئية القياسية التالية:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

ملاحظة: إذا كان لشخصيتك مجموعة مختلفة من الفيزيمات (وهو أمر محتمل)، فلن تحتاج إلى تطابق دقيق لكل فيزيم. غالبًا ما تكون التقريبات كافية - على سبيل المثال، تعيين فيزيم SH لشخصيتك إلى فيزيم CH الخاص بالبرنامج المساعد سيعمل بشكل فعال نظرًا لأنهما صوتان ما بعد سنخيان متقاربان.

مرجع تعيين الفيزيمات

فيما يلي تعيينات بين أنظمة الفيزيمات الشائعة والفيزيمات المطلوبة للبرنامج المساعد:

Apple ARKit

يوفر ARKit مجموعة شاملة من أشكال الوجه المدمجة للرسوم المتحركة للوجه، بما في ذلك عدة أشكال للفم. إليك كيفية تعيينها إلى فيزيمات RuntimeMetaHumanLipSync:

فيزيم RuntimeMetaHumanLipSync	المكافئ في ARKit	ملاحظات
Sil	mouthClose	الوضع المحايد/الراحة
PP	mouthPressLeft + mouthPressRight	للأصوات الشفوية الثنائية، استخدم كلا شكلَي الضغط معًا
FF	lowerLipBiteLeft + lowerLipBiteRight (أو mouthRollLower)	الشفة السفلية تلامس الأسنان العلوية، كما في أصوات "f" و "v"
TH	tongueOut	لدى ARKit تحكم مباشر في اللسان
DD	jawOpen (خفيف) + tongueUp (إذا كان لديك هيكل للسان)	اللسان يلامس الحافة السنخية؛ انخفاض طفيف في الفك
KK	mouthLeft أو mouthRight (خفيف)	سحب خفيف لزاوية الفم يقارب الأصوات اللهوية
CH	jawOpen (خفيف) + mouthFunnel (خفيف)	اجمع للأصوات ما بعد السنخية
SS	mouthFrown	استخدم عبوسًا خفيفًا للأصوات الصفيرية
NN	jawOpen (خفيف جدًا) + mouthClose	فم شبه مغلق مع فتح خفيف للفك
RR	mouthPucker (خفيف)	تدوير خفيف لأصوات الراء
AA	jawOpen + mouthStretchLeft + mouthStretchRight (أو jawOpen + mouthOpen)	فم مفتوح على مصراعيه لصوت "آه"
E	jawOpen (خفيف) + mouthSmile	وضع متوسط الانفتاح مع ابتسامة خفيفة
IH	mouthSmile (خفيف)	انتشار خفيف للشفتين
OH	mouthFunnel	شكل دائري مفتوح
OU	mouthPucker	شفاه مدورة بإحكام

FACS-Based Systems

يستخدم نظام FACS (نظام ترميز حركة الوجه) وحدات الحركة (AUs) لوصف حركات الوجه. تستخدم العديد من أنظمة الرسوم المتحركة الاحترافية نهجًا قائمًا على FACS:

فيزيم RuntimeMetaHumanLipSync	وحدات الحركة في FACS	ملاحظات
Sil	محايد	لا توجد وحدات حركة نشطة
PP	AU23 + AU24	ضاغط الشفاه + مشدّد الشفاه
FF	AU22 + AU28	قمع الشفاه + مص الشفاه
TH	AU25 (خفيف) + AU27	شفاه متباعدة + تمدد الفم
DD	AU25 + AU16	شفاه متباعدة + خافض الشفة السفلية
KK	AU26 + AU14	هبوط الفك + مكون الغمازة
CH	AU18 + AU25	تجعيد الشفاه + شفاه متباعدة
SS	AU20	ممدد الشفاه
NN	AU25 (خفيف جدًا)	شفاه متباعدة قليلاً
RR	AU18 (خفيف)	تجعيد خفيف للشفاه
AA	AU27 + AU26	تمدد الفم + هبوط الفك
E	AU25 + AU12	شفاه متباعدة + ساحب زاوية الشفة
IH	AU12 + AU25 (خفيف)	ساحب زاوية الشفة + شفاه متباعدة خفيفة
OH	AU27 (خفيف) + AU18	تمدد خفيف للفم + تجعيد الشفاه
OU	AU18 + AU26 (خفيف)	تجعيد الشفاه + هبوط خفيف للفك

Preston Blair System

نظام بريستون بلير هو معيار كلاسيكي للرسوم المتحركة يستخدم أسماء وصفية لأشكال الفم:

فيزيم RuntimeMetaHumanLipSync	بريستون بلير	ملاحظات
Sil	راحة	وضع الفم المغلق المحايد
PP	MBP	شكل الفم الكلاسيكي "MBP"
FF	FV	وضعية "FV" مع الأسنان على الشفة السفلية
TH	TH	اللسان يلامس الأسنان الأمامية
DD	D/T/N	وضعية مشابهة لهذه الحروف الساكنة
KK	CKG	وضعية الحرف الساكن القاسي
CH	CH/J/SH	انكماش خفيف لهذه الأصوات
SS	S/Z	وضعية الأسنان المفتوحة قليلاً
NN	N/NG/L	مشابه لـ D/T ولكن بوضعية لسان مختلفة
RR	R	شفاه مدورة لصوت الراء
AA	AI	فم مفتوح على مصراعيه
E	EH	فم مفتوح متوسط
IH	EE	شفاه ممتدة
OH	OH	انفتاح متوسط دائري
OU	OO	شفاه مدورة بإحكام

3ds Max Phoneme System

يستخدم 3ds Max نظامًا قائمًا على الفونيمات لاستوديو الشخصيات الخاص به:

فيزيم RuntimeMetaHumanLipSync	فونيم 3ds Max	ملاحظات
Sil	rest	وضع الفم الافتراضي
PP	p_b_m	مكافئ مباشر
FF	f_v	مكافئ مباشر
TH	th	مكافئ مباشر
DD	t_d	مكافئ مباشر
KK	k_g	مكافئ مباشر
CH	sh_zh_ch	شكل مجمع
SS	s_z	مكافئ مباشر
NN	n_l	مجمع لهذه الأصوات
RR	r	مكافئ مباشر
AA	ah	صوت علة مفتوح
E	eh	علة متوسطة
IH	ee	علة أمامية مغلقة
OH	oh	علة خلفية مدورة
OU	oo	علة خلفية مغلقة

Custom Characters (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)

يمكن عادةً تعيين الشخصيات المخصصة ذات أشكال الوجه المدمجة/أهداف التشوه للفم (مثل Daz Genesis 8/9، Reallusion CC3/CC4، Mixamo، ReadyPlayerMe، إلخ) إلى نظام الفيزيمات الخاص بالبرنامج المساعد بتقريبات معقولة.

إنشاء أصل وضعية مخصص

اتبع هذه الخطوات لإنشاء أصل وضعية مخصص لشخصيتك والذي سيتم استخدامه مع عقدة Blend Runtime MetaHuman Lip Sync:

1. تحديد الهيكل العظمي لشخصيتك

ابحث عن الهيكل العظمي الذي يحتوي على أهداف التشوه (أشكال الوجه المدمجة) التي تريد استخدامها للرسوم المتحركة لمزامنة الشفاه. قد يكون هذا هيكلًا عظميًا كامل الجسم أو مجرد هيكل للوجه، اعتمادًا على تصميم شخصيتك.

2. التحقق من أهداف التشوه والمنحنيات

قبل المتابعة، تحقق من أن هيكلك العظمي يحتوي على أهداف تشوه ومنحنيات مقابلة مناسبة للرسوم المتحركة لمزامنة الشفاه.

تحقق من أهداف التشوه: تحقق من أن هيكلك العظمي يحتوي على أهداف تشوه (أشكال وجه مدمجة) يمكن استخدامها كفيزيمات للرسوم المتحركة لمزامنة الشفاه. يجب أن تحتوي معظم الشخصيات التي تدعم الرسوم المتحركة للوجه على بعض أهداف التشوه الخاصة بالفونيمات/الفيزيمات.

مهم: تحقق من علامة تبويب المنحنيات هذه الخطوة مهمة بشكل خاص للشخصيات المصدرة من Blender أو برامج خارجية أخرى:

1. افتح علامة التبويب Curves في محرر الهيكل العظمي
2. تحقق مما إذا كان يمكنك رؤية منحنيات مقابلة لأهداف التشوه الخاصة بك
3. إذا كانت علامة تبويب Curves فارغة ولكن أهداف التشوه موجودة، أضف منحنيات جديدة يدويًا باستخدام نفس الأسماء تمامًا لأهداف التشوه الخاصة بك

ملاحظة: تحدث هذه المشكلة بشكل شائع مع عمليات التصدير من Blender حيث تستورد أهداف التشوه بنجاح ولكن لا يتم إنشاء منحنيات الرسوم المتحركة تلقائيًا. بدون منحنيات مطابقة، لن تظهر الرسوم المتحركة بشكل صحيح بعد الخَبز إلى Control Rig.

حل بديل: لمنع هذه المشكلة أثناء التصدير من Blender، حاول تمكين Custom Properties و Animation في إعدادات تصدير FBX الخاصة بك، مما قد يساعد في تضمين منحنيات الرسوم المتحركة جنبًا إلى جنب مع أهداف التشوه.

3. إنشاء رسوم متحركة لوضعية مرجعية

1. انتقل إلى Create Asset -> Create Animation -> Reference Pose
2. أدخل اسمًا وصفيًا لتسلسل الرسوم المتحركة واحفظه في موقع مناسب
3. سيفتح تسلسل الرسوم المتحركة الذي تم إنشاؤه تلقائيًا، مع عرض رسوم متحركة فارغة تعمل في حلقة

4. انقر على زر Pause لإيقاف تشغيل الرسوم المتحركة لتسهيل التحرير

4. تحرير تسلسل الرسوم المتحركة

1. انقر على Edit in Sequencer -> Edit with FK Control Rig
2. في مربع حوار Bake to Control Rig، انقر على زر Bake to Control Rig دون تغيير أي إعدادات

3. سيتحول المحرر إلى Animation Mode مع فتح علامة التبويب Sequencer
4. عيّن View Range End Time إلى 0016 (مما سيضبط Working Range End تلقائيًا إلى 0016 أيضًا)
5. اسحب الحافة اليمنى للشريط المنزلق إلى الطرف الأيمن من نافذة التسلسل

5. Prepare the Animation Curves

1. ارجع إلى أصل تسلسل الرسوم المتحركة وحدد أهداف التشكل في قائمة Curves (إذا لم تكن مرئية، أغلق وأعد فتح أصل تسلسل الرسوم المتحركة)
2. احذف أي أهداف تشكل غير مرتبطة بالوحدات الصوتية المرئية أو حركات الفم التي تريد استخدامها لمزامنة الشفاه

6. Plan your viseme mapping

أنشئ خطة تعيين لمطابقة فيسيمات شخصيتك مع المجموعة المطلوبة من قبل الإضافة. على سبيل المثال:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

ملاحظة أنه من المقبول أن يكون هناك تعيينات متكررة عندما لا تحتوي مجموعة الفيزيمات لشخصيتك على تطابقات دقيقة لكل فيزيم مطلوب.

7. Animate each viseme

1. لكل فيزيم، قم بتحريك منحنيات الهدف المورفولوجي ذات الصلة من 0.0 إلى 1.0
2. ابدأ تحريك كل فيزيم على إطار مختلف
3. قم بتكوين منحنيات إضافية حسب الحاجة (فتح الفك/الفم، وضعية اللسان، إلخ.) لإنشاء أشكال فيزيم تبدو طبيعية

8. Create a Pose Asset

1. انتقل إلى Create Asset -> Pose Asset -> Current Animation
2. أدخل اسمًا وصفيًا لـ Pose Asset واحفظه في موقع مناسب
3. سيتم فتح Pose Asset الذي تم إنشاؤه تلقائيًا، مع عرض أوضاع مثل Pose_0، Pose_1، إلخ، كل منها يتوافق مع فيسيم
4. قم بمعاينة أوزان الفيسيم للتأكد من أنها تعمل كما هو متوقع

9. Finalize the Pose Asset

1. أعد تسمية كل وضعية لتطابق أسماء الفيسيم من قسم المتطلبات الأساسية
2. احذف أي أوضاع غير مستخدمة

Setting up audio handling and blending

بمجرد أن يصبح أصل الوضعية جاهزًا، تحتاج إلى إعداد عقد معالجة ومزج الصوت:

1. حدد موقع أو أنشئ مخطط الرسوم المتحركة لشخصيتك
2. قم بإعداد معالجة ومزج الصوت باتباع نفس الخطوات الموثقة في دليل إعداد البرنامج المساعد القياسي
3. في عقدة Blend Runtime MetaHuman Lip Sync، حدد أصل الوضعية المخصص الخاص بك بدلاً من أصل وضعية MetaHuman الافتراضي

Combining with body animations

إذا كنت تريد تنفيذ مزامنة الشفاه جنبًا إلى جنب مع رسوم متحركة أخرى للجسم:

1. اتبع نفس الخطوات الموثقة في دليل البرنامج المساعد القياسي
2. تأكد من تقديم أسماء العظام الصحيحة لهيكل عنق شخصيتك بدلاً من استخدام أسماء عظام MetaHuman

النتائج

فيما يلي أمثلة على الشخصيات المخصصة التي تستخدم هذا الإعداد:

تعتمد جودة مزامنة الشفاه إلى حد كبير على الشخصية المحددة ومدى جودة إعداد فيسيماتها. توضح الأمثلة أعلاه عمل البرنامج المساعد مع أنواع مختلفة من الشخصيات المخصصة التي لديها أنظمة فيسيم مميزة.