Runtime Local LLM
Runtime Local LLM eklentisinin belgeleri.
- Fab'dan edinin
- Ürün web sitesi
- Demo'yu indir (Windows)
- Video eğitimi
- Eklenti Desteği ve Özel Geliştirme: solutions@georgy.dev (ekipler ve kuruluşlar için özel çözümler)
Genel Bakış
llama.cpp kullanarak Unreal Engine'de büyük dil modellerini tamamen cihaz üzerinde çalıştırın. Windows, Mac, Linux, Android, iOS ve Meta Quest'te GGUF modelleriyle çevrimdışı çıkarım, token akışı ve tam Blueprint ile C++ API desteği.
Editörde modelleri yönetme
Runtime Local LLM eklentisi ayarlar panelini kullanarak Unreal Engine düzenleyicisinde doğrudan LLM modellerine göz atın, indirin, içe aktarın, silin ve test edin.
Eklentinin nasıl kullanılacağı
Runtime Local LLM eklentisi için, LLM örneği oluşturma, model yükleme, mesaj gönderme, indirme, durum yönetimi, model kütüphanesi işlevleri ve yardımcı araçları kapsayan eksiksiz runtime API referansı.
Örnekler
Runtime Local LLM eklentisi için basit sohbet, indir ve sohbet et, model önceden indirme ve NPC diyalog sistemleri dahil olmak üzere kullanıma hazır Blueprint ve C++ örnekleri.
Çıkarım parametreleri
Tüm LLM çıkarım parametreleri için ayrıntılı referans, sıcaklık (temperature), top-p, top-k, tekrar cezası (repeat penalty), GPU katman boşaltma (GPU layer offloading), bağlam boyutu (context size), tohum (seed) ve iş parçacığı sayısı (thread count) ile mobil, VR ve masaüstü için platforma özel öneriler.
Sorun Giderme
Runtime Local LLM eklentisiyle ilgili yaygın sorunları giderme.
Demo projesi
Runtime Local LLM eklentisi için, akış yanıtlı sohbet arayüzü, URL üzerinden model indirme ve yapılandırılabilir çıkarım parametreleri sunan, kullanıma hazır bir demo projesi.