Runtime Local LLM
Runtime Local LLM プラグインのドキュメント。
- Fabで入手
- 製品ウェブサイト
- デモをダウンロード (Windows)
- 動画チュートリアル
- プラグインサポート＆カスタム開発: solutions@georgy.dev（チームや組織向けのカスタマイズソリューション）
概要
llama.cpp を使用して、Unreal Engine 上で大規模言語モデルを完全にオンデバイスで実行します。GGUF モデルによるオフライン推論、トークンストリーミング、Windows、Mac、Linux、Android、iOS、Meta Quest 全体での完全な Blueprint および C++ API サポート。
エディターでのモデル管理
Runtime Local LLMプラグインの設定パネルを使用して、Unreal Engineエディター内で直接LLMモデルの参照、ダウンロード、インポート、削除、テストを行うことができます。
プラグインの使用方法
Runtime Local LLMプラグインの完全なランタイムAPIリファレンス。LLMインスタンスの作成、モデルのロード、メッセージ送信、ダウンロード、状態管理、モデルライブラリ関数、およびユーティリティを網羅しています。
例
Runtime Local LLMプラグイン用の、すぐに使えるBlueprintおよびC++のサンプルです。シンプルなチャット、ダウンロード＆チャット、モデルの事前ダウンロード、NPC対話システムなどを含みます。
推論パラメータ
すべてのLLM推論パラメータ（温度、top-p、top-k、繰り返しペナルティ、GPUレイヤーオフロード、コンテキストサイズ、シード、スレッド数）に関する詳細なリファレンスと、モバイル、VR、デスクトップ向けのプラットフォーム別推奨設定。
トラブルシューティング
Runtime Local LLMプラグインの一般的な問題のトラブルシューティング
デモプロジェクト
Runtime Local LLMプラグイン用のすぐに使えるデモプロジェクトです。ストリーミング応答を備えたチャットインターフェース、URL経由のモデルダウンロード、設定可能な推論パラメータを特徴としています。