Runtime Local LLM
Documentation pour le plugin Runtime Local LLM.
- Obtenez-le sur Fab
- Site web du produit
- Télécharger la démo (Windows)
- Tutoriel vidéo
- Support de plugin et développement personnalisé : solutions@georgy.dev (solutions sur mesure pour les équipes et les organisations)
Aperçu
Exécutez des modèles de langage à grande échelle entièrement sur l'appareil dans Unreal Engine en utilisant llama.cpp. Inférence hors ligne avec des modèles GGUF, streaming de tokens et prise en charge complète de l'API Blueprint et C++ sur Windows, Mac, Linux, Android, iOS et Meta Quest.
Gestion des modèles dans l'éditeur
Parcourez, téléchargez, importez, supprimez et testez des modèles LLM directement dans l'éditeur Unreal Engine à l'aide du panneau de paramètres du plugin Runtime Local LLM.
Comment utiliser le plugin
Référence complète de l'API runtime pour le plugin Runtime Local LLM couvrant la création d'instances LLM, le chargement de modèles, l'envoi de messages, le téléchargement, la gestion d'état, les fonctions de bibliothèque de modèles et les utilitaires.
Exemples
Exemples prêts à l'emploi en Blueprint et C++ pour le plugin Runtime Local LLM, incluant un chat simple, le téléchargement et chat, le pré-téléchargement de modèles, et les systèmes de dialogue pour PNJ.
Paramètres d'inférence
Référence détaillée pour tous les paramètres d'inférence LLM, y compris la température, top-p, top-k, pénalité de répétition, déchargement des couches GPU, taille du contexte, seed et nombre de threads, avec des recommandations spécifiques à la plateforme pour mobile, VR et bureau.
Dépannage
Dépannage des problèmes courants avec le plugin Runtime Local LLM.
Projet de démonstration
Un projet de démonstration prêt à l'emploi pour le plugin Runtime Local LLM, doté d'une interface de chat avec réponses en streaming, de téléchargement de modèle via URL et de paramètres d'inférence configurables.