Hướng dẫn thiết lập

Hướng dẫn này sẽ đưa bạn qua quy trình thiết lập cơ bản cho Runtime MetaHuman Lip Sync với các nhân vật MetaHuman của bạn.

Lưu ý: Runtime MetaHuman Lip Sync hoạt động với cả MetaHuman và nhân vật tùy chỉnh. Để biết hướng dẫn chi tiết về cách thiết lập nhân vật tùy chỉnh, hãy xem Hướng dẫn thiết lập nhân vật tùy chỉnh.

Điều kiện tiên quyết

Trước khi bắt đầu, hãy đảm bảo:

1. Yêu cầu plugin MetaHuman:

   • UE 5.5 và trước đó: Bật plugin MetaHuman trong dự án của bạn
   • UE 5.6 và sau đó: Bật plugin MetaHuman Core Tech trong dự án của bạn
   Các Plugin MetaHuman bổ sung

Tùy thuộc vào cách bạn tạo nhân vật MetaHuman của mình, bạn có thể cần thêm plugin. Ví dụ: nếu bạn định tạo MetaHuman bằng hệ thống MetaHuman Creator mới được giới thiệu trong UE 5.6, bạn cũng sẽ cần bật plugin MetaHuman Creator. Để biết thêm thông tin về hệ thống này, hãy xem tài liệu MetaHuman Creator. :::

2. Bạn đã tải xuống ít nhất một nhân vật MetaHuman và nhân vật đó có sẵn trong dự án của bạn
3. Plugin Runtime MetaHuman Lip Sync đã được cài đặt

Plugin mở rộng mô hình tiêu chuẩn

Nếu bạn dự định sử dụng Standard Model, bạn sẽ cần cài đặt plugin mở rộng:

1. Tải xuống plugin Standard Lip Sync Extension từ đây
2. Giải nén thư mục từ tệp lưu trữ đã tải xuống vào thư mục Plugins của dự án (tạo thư mục này nếu chưa tồn tại)
3. Đảm bảo dự án của bạn được thiết lập là dự án C++ (ngay cả khi bạn không có mã C++ nào)
4. Xây dựng lại dự án của bạn

ghi chú

• Tiện ích mở rộng này chỉ bắt buộc nếu bạn muốn sử dụng Standard Model. Nếu bạn chỉ cần Realistic Models, bạn có thể bỏ qua bước này.
• Để biết thêm thông tin về cách xây dựng plugin thủ công, hãy xem Hướng dẫn xây dựng plugin

Plugin bổ sung

• Nếu bạn dự định sử dụng ghi âm, (ví dụ: đầu vào micrô), hãy cài đặt plugin Runtime Audio Importer.
• Nếu bạn dự định sử dụng chức năng chuyển văn bản thành giọng nói:
  • Đối với TTS cục bộ (Piper và Kokoro), hãy cài đặt plugin Runtime Text To Speech.
  • Đối với các nhà cung cấp TTS bên ngoài (ElevenLabs, OpenAI, Google Cloud, Azure), hãy cài đặt plugin Runtime AI Chatbot Integrator.

Thiết lập Animation Blueprint

Bước 1: Định vị và sửa đổi Blueprint hoạt ảnh khuôn mặt

UE 5.5 và các phiên bản trước đó (hoặc MetaHuman cũ trong UE 5.6+)

Bạn cần chỉnh sửa một Animation Blueprint sẽ được sử dụng cho hoạt ảnh khuôn mặt của nhân vật MetaHuman. Animation Blueprint khuôn mặt MetaHuman mặc định nằm tại:

Content/MetaHumans/Common/Face/Face_AnimBP

Bạn có một số tùy chọn để triển khai chức năng lip sync:

Chỉnh sửa Default Asset (Tùy chọn đơn giản nhất)

Mở trực tiếp Face_AnimBP mặc định và thực hiện các sửa đổi của bạn. Mọi thay đổi sẽ ảnh hưởng đến tất cả nhân vật MetaHuman sử dụng Animation Blueprint này.

Lưu ý: Cách tiếp cận này tiện lợi nhưng sẽ ảnh hưởng đến tất cả các nhân vật sử dụng Animation Blueprint mặc định.

Tạo bản sao

1. Sao chép Face_AnimBP và đặt cho nó một tên mô tả
2. Xác định lớp Blueprint của nhân vật (ví dụ: với nhân vật "Bryan", nó sẽ nằm tại Content/MetaHumans/Bryan/BP_Bryan)
3. Mở Blueprint của nhân vật và tìm thành phần Face
4. Thay đổi thuộc tính Anim Class thành Animation Blueprint vừa được sao chép của bạn

Lưu ý: Cách tiếp cận này cho phép bạn tùy chỉnh lip sync cho các nhân vật cụ thể trong khi giữ nguyên những nhân vật khác.

Sử dụng Animation Blueprint tùy chỉnh

Bạn có thể triển khai việc pha trộn lip sync trong bất kỳ Animation Blueprint nào có quyền truy cập vào các xương mặt cần thiết:

1. Tạo hoặc sử dụng một Animation Blueprint tùy chỉnh hiện có
2. Đảm bảo Animation Blueprint của bạn hoạt động với một skeleton chứa các xương khuôn mặt giống như Face_Archetype_Skeleton của MetaHuman mặc định

Lưu ý: Cách tiếp cận này mang lại cho bạn sự linh hoạt tối đa để tích hợp với các hệ thống hoạt ảnh tùy chỉnh.

Nhân vật MetaHuman Creator cho UE 5.6+

Bắt đầu từ UE 5.6, hệ thống MetaHuman Creator mới đã được giới thiệu. Đối với các nhân vật này, plugin cung cấp một Animation Blueprint cho khuôn mặt nằm tại:

Content/LipSyncData/LipSync_Face_AnimBP

Quan trọng

Animation Blueprint này nằm trong thư mục nội dung của plugin và sẽ bị ghi đè mỗi khi cập nhật plugin. Để tránh mất các tùy chỉnh của bạn:

1. Sao chép asset này vào thư mục Content của dự án (ví dụ: vào YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Sử dụng phiên bản đã sao chép của bạn trong thiết lập nhân vật
3. Thực hiện mọi sửa đổi của bạn trên phiên bản đã sao chép

Sử dụng Animation Blueprint khuôn mặt của Plugin:

1. Định vị lớp Blueprint của nhân vật MetaHuman Creator của bạn
2. Mở Blueprint nhân vật và tìm thành phần Face
3. Thay đổi thuộc tính Anim Class thành LipSync_Face_AnimBP của plugin
4. Tiếp tục với các bước tiếp theo để cấu hình chức năng Runtime MetaHuman Lip Sync

Bước 2: Thiết lập Event Graph

Mở Face Animation Blueprint của bạn và chuyển sang Event Graph. Bạn sẽ cần tạo một generator để xử lý dữ liệu âm thanh và tạo hoạt ảnh lip sync.

Mô hình tiêu chuẩn

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Runtime Viseme Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "VisemeGenerator") để sử dụng ở các phần khác của graph

Để biết các tùy chọn cấu hình chi tiết, hãy xem phần Cấu hình mô hình tiêu chuẩn.

Mô hình chân thực

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Realistic MetaHuman Lip Sync Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "RealisticMetaHumanLipSyncGenerator") để sử dụng ở các phần khác của graph
4. (Tùy chọn) Cấu hình các thiết lập của generator bằng tham số Configuration

Để biết các tùy chọn cấu hình chi tiết bao gồm loại mô hình, cài đặt hiệu suất và tham số xử lý, hãy xem phần Cấu hình mô hình thực tế.

Mô hình chân thực hỗ trợ cảm xúc

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Realistic MetaHuman Lip Sync With Mood Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "MoodMetaHumanLipSyncGenerator") để sử dụng ở các phần khác của graph
4. (Tùy chọn) Cấu hình các thiết lập của generator bằng tham số Configuration

Để biết cấu hình chi tiết về cảm xúc bao gồm các loại cảm xúc, thiết lập cường độ, thời gian lookahead và lựa chọn loại đầu ra, hãy xem phần Cấu hình Model hỗ trợ cảm xúc.

Bước 3: Thiết lập Anim Graph

Sau khi thiết lập Event Graph, hãy chuyển sang Anim Graph để kết nối trình tạo với hoạt ảnh của nhân vật:

Mô hình tiêu chuẩn

1. Định vị pose chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Runtime MetaHuman Lip Sync
3. Kết nối pose với Source Pose của node Blend Runtime MetaHuman Lip Sync
4. Kết nối biến VisemeGenerator của bạn với pin Viseme Generator
5. Kết nối đầu ra của node Blend Runtime MetaHuman Lip Sync với pin Result của Output Pose

Mô hình chân thực

1. Định vị pose chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Realistic MetaHuman Lip Sync
3. Kết nối pose với Source Pose của node Blend Realistic MetaHuman Lip Sync
4. Kết nối biến RealisticMetaHumanLipSyncGenerator của bạn với pin Lip Sync Generator
5. Kết nối đầu ra của node Blend Realistic MetaHuman Lip Sync với pin Result của Output Pose

Mô hình chân thực hỗ trợ cảm xúc

1. Định vị pose chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Realistic MetaHuman Lip Sync (cùng node như mô hình thực tế thông thường)
3. Kết nối pose với Source Pose của node Blend Realistic MetaHuman Lip Sync
4. Kết nối biến MoodMetaHumanLipSyncGenerator của bạn với pin Lip Sync Generator
5. Kết nối đầu ra của node Blend Realistic MetaHuman Lip Sync với pin Result của Output Pose

Lưu ý: Mô hình hỗ trợ cảm xúc sử dụng cùng một nút Animation Blueprint như mô hình thực tế thông thường. Chức năng cảm xúc được xử lý nội bộ bởi trình tạo.

Các bước tiếp theo

Bây giờ bạn đã hoàn tất thiết lập Animation Blueprint cơ bản, bạn sẽ cần cấu hình xử lý đầu vào âm thanh để cấp dữ liệu âm thanh cho trình tạo lip sync của mình.

Tiếp tục đến Hướng dẫn xử lý âm thanh để tìm hiểu cách thiết lập các phương thức nhập âm thanh khác nhau, bao gồm thu âm từ micro, chuyển văn bản thành giọng nói và xử lý tệp âm thanh.

Để biết các tùy chọn cấu hình nâng cao và tinh chỉnh, hãy xem Hướng dẫn cấu hình.