Runtime Local LLM
Documentação para o plugin Runtime Local LLM.
- Obtenha na Fab
- Site do produto
- Baixar demonstração (Windows)
- Tutorial em vídeo
- Suporte ao Plugin e Desenvolvimento Personalizado: solutions@georgy.dev (soluções sob medida para equipes e organizações)
Visão geral
Execute grandes modelos de linguagem inteiramente no dispositivo no Unreal Engine usando llama.cpp. Inferência offline com modelos GGUF, streaming de tokens e suporte completo à API em Blueprint e C++ para Windows, Mac, Linux, Android, iOS e Meta Quest.
Gerenciando modelos no editor
Navegue, baixe, importe, exclua e teste modelos de LLM diretamente no editor do Unreal Engine usando o painel de configurações do plugin Runtime Local LLM.
Como usar o plugin
Referência completa da API de tempo de execução para o plugin Runtime Local LLM, abrangendo criação de instância LLM, carregamento de modelo, envio de mensagens, download, gerenciamento de estado, funções da biblioteca de modelos e utilitários.
Exemplos
Exemplos prontos para uso em Blueprint e C++ para o plugin Runtime Local LLM, incluindo chat simples, download e chat, pré-download de modelos e sistemas de diálogo para NPCs.
Parâmetros de inferência
Referência detalhada para todos os parâmetros de inferência de LLM, incluindo temperatura, top-p, top-k, penalidade de repetição, descarregamento de camadas da GPU, tamanho do contexto, semente e contagem de threads, com recomendações específicas para plataformas móveis, VR e desktop.
Solução de Problemas
Solução de problemas comuns com o plugin Runtime Local LLM.
Projeto de demonstração
Um projeto de demonstração pronto para uso do plugin Runtime Local LLM, apresentando uma interface de chat com respostas em streaming, download de modelo via URL e parâmetros de inferência configuráveis.