Runtime MetaHuman Lip Sync
Tài liệu cho plugin Runtime MetaHuman Lip Sync.
Tải xuống & Liên kết
Dự án Demo:
Có hai dự án demo sẵn sàng sử dụng - xem trang Dự án Demo chuyên biệt để biết đầy đủ chi tiết, tải xuống và hướng dẫn từng bước:
- Quy trình làm việc NPC hội thoại AI đầy đủ - nhận dạng giọng nói + chatbot LLM + TTS + lip sync
- Bản demo Lip Sync cơ bản - đầu vào micro, tệp âm thanh, TTS
Cả hai bản demo đều đa nền tảng (Windows, Mac, Linux, iOS, Android, Meta Quest) và được phát hành dưới dạng bản dựng đóng gói cùng các dự án mã nguồn đầy đủ cho UE 5.6+.
Video hướng dẫn
Demo nổi bật
Hướng dẫn về Model chân thực (Chất lượng cao)
- Lip Sync chất lượng cao từ tệp/đệm âm thanh
- Lip Sync chất lượng cao với điều khiển cảm xúc & TTS cục bộ
- Lip Sync chất lượng cao với ElevenLabs & OpenAI TTS
- Lip Sync chất lượng cao trực tiếp từ micro
- Lip Sync chất lượng cao cho nhân vật ARKit
- Lip Sync chất lượng cao cho nhân vật Character Creator (CC5)
- Lip Sync chất lượng cao từ máy chủ từ xa
Hướng dẫn sử dụng Model tiêu chuẩn
- Lip Sync qua micro trực tiếp tiêu chuẩn
- Lip Sync tiêu chuẩn với Text-to-Speech cục bộ
- Lip Sync tiêu chuẩn với ElevenLabs & OpenAI TTS
Thiết lập chung
- Thêm một nhân vật MetaHuman tùy chỉnh vào Dự án Demo
- Video hướng dẫn thiết lập
- Chớp mắt của MetaHuman & Theo dõi Camera
- Kết hợp với Hoạt ảnh Khuôn mặt và Cơ thể
Hỗ trợ
- Hỗ trợ Plugin & Phát triển Tùy chỉnh: solutions@georgy.dev (giải pháp phù hợp cho các đội nhóm & tổ chức)
Tổng quan
Runtime MetaHuman Lip Sync Documentation
Hướng dẫn thiết lập
Hướng dẫn này sẽ đưa bạn qua quy trình thiết lập cơ bản cho Runtime MetaHuman Lip Sync với các nhân vật MetaHuman của bạn.
Hướng dẫn Xử lý Âm thanh
Tìm hiểu cách thiết lập các phương pháp nhập âm thanh khác nhau cho đồng bộ môi, bao gồm micrô, TTS và các nguồn âm thanh phát trực tuyến.
Cấu hình Plugin
Tìm hiểu cách cấu hình các mô hình lip sync, animation blueprint, cài đặt cảm xúc, tùy chọn hiệu suất và khắc phục các sự cố lip sync thường gặp.
Trợ giúp Hoạt ảnh Mắt
Các tiện ích hỗ trợ tùy chọn để điều khiển hướng nhìn mắt MetaHuman (ánh mắt) và chớp mắt tự động song song với đồng bộ môi.
Cách sử dụng plugin với nhân vật tùy chỉnh
Tài liệu hướng dẫn này sẽ đưa bạn qua quy trình thiết lập Runtime MetaHuman Lip Sync cho các nhân vật không phải MetaHuman. Quy trình này đòi hỏi sự quen thuộc với các khái niệm hoạt hình và rigging. Nếu bạn cần hỗ trợ triển khai cho nhân vật cụ thể của mình, bạn có thể liên hệ để được hỗ trợ chuyên nghiệp tại solutions@georgy.dev.
Cấu hình theo nền tảng
Hướng dẫn này bao gồm các yêu cầu thiết lập và cấu hình dành riêng cho từng nền tảng đối với plugin Runtime MetaHuman Lip Sync.
Dự án Demo
Các dự án demo sẵn sàng sử dụng giới thiệu Runtime MetaHuman Lip Sync, bao gồm quy trình làm việc đầy đủ cho hình đại diện hội thoại AI với nhận dạng giọng nói, tích hợp LLM, TTS và đồng bộ khẩu hình.