比較2026-01-31 / 更新 2026-06-08 / 9 min担当: 編集部 村内
ローカルLLMツール比較20選。手元PC、RAG、開発環境で選ぶ
ローカルLLMツールは、モデルを動かせるかだけでは選びにくい。UI、RAG、端末性能、管理しやすさを見るべきである。
ローカルLLMAI開発RAG
ローカルLLMツールは先に用途を分ける
ローカルLLMツールは、名前の近さだけで選ぶと迷いやすい。手元PC、チャットUI、RAG、開発検証のどこを助けるかで、向いている候補が変わる。
20個を横に並べるが、すべてを同時に試す必要はない。まずはモデル実行、チャットUIとRAG、ローカルAI拡張のように分けると、候補をかなり絞りやすい。
ローカルLLMツール20選の早見表
ここでは、作業の入口ごとに候補を並べる。人気順ではなく、どの作業で使うかを先に見るための表である。
料金、商用利用、入力データの扱いは変わることがある。導入前には公式の最新条件を確認したい。
| ツール | 主な使いどころ | 向いている作業 | 気をつけたい点 |
|---|---|---|---|
| Ollama | ローカルモデル実行、API、開発検証 | Ollamaは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| LM Studio | ローカルモデル実行、API、開発検証 | LM Studioは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| llama.cpp | ローカルモデル実行、API、開発検証 | llama.cppは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| vLLM | ローカルモデル実行、API、開発検証 | vLLMは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| Llamafile | ローカルモデル実行、API、開発検証 | Llamafileは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| LocalAI | ローカルモデル実行、API、開発検証 | LocalAIは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| LMDeploy | ローカルモデル実行、API、開発検証 | LMDeployは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| TabbyAPI | ローカルモデル実行、API、開発検証 | TabbyAPIは、手元環境でLLMを動かす候補になる | VRAM、モデルサイズ、速度を見る |
| Jan | チャットUI、文書検索、ローカルRAG | Janは、ローカルAIを使いやすくする場面に向く | 保存先と文書取り込み範囲を見る |
| Open WebUI | チャットUI、文書検索、ローカルRAG | Open WebUIは、ローカルAIを使いやすくする場面に向く | 保存先と文書取り込み範囲を見る |
| AnythingLLM | チャットUI、文書検索、ローカルRAG | AnythingLLMは、ローカルAIを使いやすくする場面に向く | 保存先と文書取り込み範囲を見る |
| GPT4All | チャットUI、文書検索、ローカルRAG | GPT4Allは、ローカルAIを使いやすくする場面に向く | 保存先と文書取り込み範囲を見る |
| Msty | チャットUI、文書検索、ローカルRAG | Mstyは、ローカルAIを使いやすくする場面に向く | 保存先と文書取り込み範囲を見る |
| text-generation-webui | チャットUI、文書検索、ローカルRAG | text-generation-webuiは、ローカルAIを使いやすくする場面に向く | 保存先と文書取り込み範囲を見る |
| KoboldCpp | チャットUI、文書検索、ローカルRAG | KoboldCppは、ローカルAIを使いやすくする場面に向く | 保存先と文書取り込み範囲を見る |
| Open Interpreter | ローカル実行、画像生成、操作自動化 | Open Interpreterは、ローカルAI環境を広げる候補である | セットアップ負荷と保守性を見る |
| Pinokio | ローカル実行、画像生成、操作自動化 | Pinokioは、ローカルAI環境を広げる候補である | セットアップ負荷と保守性を見る |
| ComfyUI | ローカル実行、画像生成、操作自動化 | ComfyUIは、ローカルAI環境を広げる候補である | セットアップ負荷と保守性を見る |
| Stable Diffusion WebUI | ローカル実行、画像生成、操作自動化 | Stable Diffusion WebUIは、ローカルAI環境を広げる候補である | セットアップ負荷と保守性を見る |
| Fooocus | ローカル実行、画像生成、操作自動化 | Fooocusは、ローカルAI環境を広げる候補である | セットアップ負荷と保守性を見る |
最初に試すならこの順番
最初から20個を全部触るより、作業の中心に近いグループから試す方が早い。候補を広げるのは、その後で十分である。
- モデル実行: Ollama、LM Studio、llama.cpp、vLLM、Llamafile
- チャットUIとRAG: Jan、Open WebUI、AnythingLLM、GPT4All、Msty
- ローカルAI拡張: Open Interpreter、Pinokio、ComfyUI、Stable Diffusion WebUI、Fooocus
比較で見るべき点
比較では、出力の派手さだけではなく、毎回の作業で迷わず使えるかを見るべきである。
- 用途: どの作業を軽くするツールかを先に見る
- 連携: 既存の業務ツールやデータとつながるかを見る
- 確認性: 出力、履歴、根拠、権限を人が追えるかを見る
- 継続性: 毎週の作業として無理なく使えるかを見る
よくある失敗
よくあるのは、ローカルLLMツールをひとつのランキングだけで選ぶことだ。モデル実行、チャットUIとRAG、ローカルAI拡張では、使う場面も失敗しやすい点も違う。
もうひとつは、初回出力の見栄えだけで判断することだ。実務では、修正しやすさ、権限、既存データとの相性まで見た方がいい。
次に見るなら条件で絞る
ローカルLLMツールを選ぶときは、まずモデル実行から試し、次にチャットUIとRAG、ローカルAI拡張を必要に応じて足すと進めやすい。
無料枠、権限管理、商用利用、日本語の自然さ、既存ツールとの連携は、候補を最後に絞るときに効いてくる。ここを後回しにしすぎない方がいい。