Chuyển tới nội dung chính

Tổng quan

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync là một plugin cho phép đồng bộ khẩu hình theo thời gian thực, ngoại tuyến và đa nền tảng cho cả MetaHuman và các nhân vật tùy chỉnh. Nó cho phép bạn tạo hoạt ảnh môi của nhân vật theo phản ứng với đầu vào âm thanh từ nhiều nguồn khác nhau, bao gồm:

Plugin tự động tạo viseme (biểu diễn hình ảnh của âm vị) dựa trên dữ liệu âm thanh đầu vào. Vì nó hoạt động trực tiếp với dữ liệu âm thanh thay vì văn bản, plugin hỗ trợ đầu vào đa ngôn ngữ bao gồm nhưng không giới hạn ở tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Nhật, tiếng Trung, tiếng Hàn, tiếng Nga, tiếng Ý, tiếng Bồ Đào Nha, tiếng Ả Rập và tiếng Hindi. Thực tế, mọi ngôn ngữ đều được hỗ trợ vì lip sync được tạo từ các âm vị trong âm thanh thay vì xử lý văn bản theo từng ngôn ngữ cụ thể.

Mô hình Standard tạo ra 14 viseme và thực hiện hoạt ảnh lip sync bằng cách sử dụng một pose asset được xác định trước. Ngược lại, các Mô hình Realistic (chỉ dành riêng cho các nhân vật dựa trên MetaHuman và ARKit) tạo ra 81 thay đổi điều khiển khuôn mặt mà không dựa vào pose asset được xác định trước, dẫn đến hoạt ảnh khuôn mặt chân thực hơn đáng kể.

Tương thích nhân vật​

Mặc dù có tên như vậy, Runtime MetaHuman Lip Sync vẫn hoạt động với nhiều loại nhân vật khác nhau, không chỉ riêng MetaHuman:

  • Các nhân vật Daz Genesis 8/9
  • Các nhân vật Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Các nhân vật Mixamo

Hỗ trợ tiêu chuẩn hoạt ảnh​

  • Hệ thống blendshape dựa trên FACS
  • Tiêu chuẩn blendshape Apple ARKit
  • Bộ phoneme Preston Blair
  • Hệ thống phoneme 3ds Max
  • Bất kỳ nhân vật nào có morph target tùy chỉnh cho biểu cảm khuôn mặt

Nhiều hệ thống phổ biến, bao gồm Reallusion CC4/CC5 và Daz Genesis 8.1/9, cũng có thể được chuyển đổi để sử dụng tên blendshape chuẩn ARKit. Điều này cho phép bạn sử dụng Realistic Model cho các nhân vật này, với hoạt ảnh khuôn mặt chất lượng cao hơn, như một giải pháp thay thế cho việc ánh xạ viseme thủ công của Standard Model. Xem Chuyển đổi nhân vật sang ARKit Blendshapes để biết chi tiết.

Đối với các nhân vật không phải MetaHuman sử dụng Mô hình Tiêu chuẩn, hãy xem Hướng dẫn Thiết lập Nhân vật Tùy chỉnh. Đối với các nhân vật khác sử dụng Mô hình Thực tế, chẳng hạn như ARKit, CC5/CC4 và các rig dựa trên morph target tương tự, hãy xem Lựa chọn Bộ Morph Target.

Xem trước hoạt ảnh​

Hãy xem các đoạn hoạt ảnh ngắn này để thấy chất lượng hoạt ảnh lip sync do plugin tạo ra trên nhiều loại nhân vật và mô hình khác nhau:

Mô hình thực tế với nhân vật MetaHuman
Mô hình tiêu chuẩn với nhân vật MetaHuman
Mô hình tiêu chuẩn với nhân vật tùy chỉnh
Mô hình tiêu chuẩn với nhân vật tùy chỉnh

Các tính năng chính​

Các mô hình Lip Sync​

Plugin cung cấp nhiều mô hình lip sync để phù hợp với các nhu cầu khác nhau của dự án:

Mô hình lip sync tiêu chuẩn mang lại hiệu năng hiệu quả, đa nền tảng với khả năng tương thích rộng rãi với nhiều nhân vật:

  • Hoạt động với MetaHuman và tất cả các loại nhân vật tùy chỉnh
  • Được tối ưu hóa cho hiệu năng thời gian thực
  • Yêu cầu tài nguyên thấp hơn
  • Hỗ trợ nền tảng: Windows, Android, các nền tảng dựa trên Android (bao gồm Meta Quest)
Cần Plugin Tiện Ích Mở Rộng

Để sử dụng Mô hình Tiêu chuẩn, bạn cần cài đặt thêm một plugin mở rộng. Xem phần Điều kiện tiên quyết để biết hướng dẫn cài đặt.

Bạn có thể chọn mô hình phù hợp dựa trên yêu cầu của dự án về hiệu năng, khả năng tương thích nhân vật, chất lượng hình ảnh, nền tảng mục tiêu và nhu cầu tính năng.

Cách hoạt động​

Plugin xử lý đầu vào âm thanh theo cách sau:

  1. Dữ liệu âm thanh được nhận dưới dạng định dạng PCM số thực với số kênh và tần số lấy mẫu được chỉ định
  2. Plugin xử lý âm thanh để tạo dữ liệu điều khiển khuôn mặt hoặc viseme tùy thuộc vào model
  3. Đối với các model hỗ trợ cảm xúc, ngữ cảnh cảm xúc được áp dụng vào hoạt ảnh khuôn mặt
  4. Dữ liệu hoạt ảnh điều khiển chuyển động khuôn mặt của nhân vật trong thời gian thực

Kiến trúc hiệu năng​

Runtime MetaHuman Lip Sync sử dụng suy luận chỉ trên CPU để mang lại kết quả lip sync nhất quán, độ trễ thấp, phù hợp cho các ứng dụng thời gian thực. Theo mặc định, plugin thực hiện xử lý lip sync mỗi 10 mili giây (có thể điều chỉnh - xem Cấu hình Plugin để biết tất cả các cài đặt khả dụng bao gồm Kích thước khối xử lý, số lượng luồng, và các tham số hiệu năng khác).

Tổng quan kiến trúc mô hình​

Các mô hình lip sync sử dụng một mạng nơ-ron dựa trên transformer nhỏ gọn, xử lý âm thanh thông qua phân tích phổ mel. Kiến trúc nhẹ này được thiết kế đặc biệt cho hiệu năng thời gian thực với suy luận CPU hiệu quả và dung lượng bộ nhớ tối thiểu.

Tại sao lại dùng suy luận trên CPU?​

Đối với các thao tác suy luận nhỏ, tần suất cao như lip sync thời gian thực, xử lý bằng CPU mang lại đặc tính độ trễ tốt hơn so với GPU. Với batch size 1 và khoảng thời gian suy luận 10-100ms, chi phí phụ trội của GPU từ việc truyền dữ liệu qua PCIe và khởi chạy kernel thường vượt quá thời gian tính toán thực tế. Ngoài ra, trong các game engine, GPU vốn đã bị chiếm dụng tối đa bởi rendering, shader và physics, tạo ra sự tranh chấp tài nguyên dẫn đến những đợt tăng độ trễ không thể dự đoán trước.

Tương thích phần cứng​

Plugin hoạt động hiệu quả trên hầu hết các CPU tầm trung và cao cấp mà không yêu cầu phần cứng đồ họa chuyên dụng, mang lại hiệu năng thời gian thực trên các nền tảng desktop, mobile và VR. Đối với phần cứng yếu hơn, bạn có thể điều chỉnh Model Type thành Semi-Optimized hoặc Highly Optimized, hoặc tăng Processing Chunk Size để duy trì hiệu năng thời gian thực với độ phản hồi giảm nhẹ.

Bắt đầu nhanh​

Dưới đây là thiết lập cơ bản để bật lip sync cho nhân vật của bạn:

  1. Đối với nhân vật MetaHuman, hãy làm theo Hướng dẫn thiết lập
  2. Đối với nhân vật tùy chỉnh, hãy làm theo Hướng dẫn thiết lập nhân vật tùy chỉnh
  3. Chọn và cấu hình mô hình lip sync ưa thích của bạn
  4. Thiết lập xử lý đầu vào âm thanh trong Blueprint của bạn
  5. Kết nối nút lip sync phù hợp trong Animation Blueprint
  6. Phát âm thanh và xem nhân vật của bạn chuyển động đồng bộ

Hoạt ảnh mắt tùy chọn​

Plugin cũng bao gồm các tiện ích tùy chọn cho nháy mắt tự động và theo dõi ánh nhìn trên MetaHuman. Các tính năng này độc lập với lip sync và có thể được sử dụng riêng lẻ hoặc kết hợp chồng lên trên. Xem Tiện ích hỗ trợ hoạt ảnh mắt.

Tài nguyên bổ sung​

📦 Tải xuống & Liên kết​

Dự án Demo:

Có sẵn hai dự án demo sẵn sàng sử dụng - xem trang Dự án Demo chuyên biệt để biết đầy đủ chi tiết, tải xuống và hướng dẫn:

Cả hai bản demo đều đa nền tảng (Windows, Mac, Linux, iOS, Android, Meta Quest) và được phát hành dưới dạng bản dựng đóng gói cùng các dự án mã nguồn đầy đủ cho UE 5.6+.

🎥 Hướng dẫn bằng video​

Demo nổi bật:​

Hướng dẫn về Model chân thực (Chất lượng cao):​

Hướng dẫn sử dụng Model tiêu chuẩn:​

Thiết lập chung:​

💬 Hỗ trợ​

  • Phát triển tùy chỉnh: solutions@georgy.dev (giải pháp phù hợp cho các nhóm & tổ chức)
Join our Discord
online · support