ローカルLLM
1 項目
ローカルLLMとは｜このカテゴリで分かること
ローカルLLMは、クラウドのAIサービスではなく、自分のPCや社内のサーバーで動かす大規模言語モデルです。このカテゴリでは、「ローカルLLMで何ができて、何が難しいのか」「Ollamaでローカルで動かす方法」「自分のPCで動くのか」という疑問に、順を追って答えます。
対象は、データを外部に出さずにAIを使いたい人、手元で自由にモデルを試したい開発者、そして社内文書の検索に使えないかを検討している担当者です。導入ツールの使い方だけでなく、必要なメモリの考え方、モデルファイルの形式、入手時の安全面とライセンスの確認までを扱います。
はじめにおすすめの3本
迷ったら、まずこの3本から読んでください。残りの記事は、このページ下の項目一覧から、気になるテーマで選べます。
- ローカルLLMとは｜自分のPCでAIを動かす利点・限界・始め方の考え方
まず、クラウドとの違いと、利点・限界の全体像をつかみます。 - ローカルLLMの動かし方｜Ollamaで試す基本手順
PCの目安からモデルの実行まで、基本の手順を一度通します。 - Ollamaとは｜ローカルLLMを手軽に動かせるツールの基本と使い方
定番ツールの特徴と、APIとしての使い方を深掘りします。
押さえておきたいポイント
Ollama・Hugging Face・ggml-orgの公式ドキュメントで確認できた事実です（2026年10月時点。対応OSや既定値、推奨モデルは更新されるため、最新は公式で確認してください）。
| 項目 | 公式ドキュメントで確認できた内容 |
|---|---|
| 対応OS | OllamaはmacOS・Windows・Linuxに対応し、公式サイトからダウンロードできる |
| 基本の動かし方 | ollama run <モデル名> で、モデルの取得と対話の開始ができる。クイックスタートでは、例示のモデルについて必要な空き容量とVRAMの目安も示されている |
| API | ローカルのサーバーは http://localhost:11434 で動き、OpenAI互換のChat Completions形式にも対応している |
| 公開範囲 | 既定では 127.0.0.1 の11434番ポートで待ち受ける。外部に公開するには OLLAMA_HOST で変更する |
| データの扱い | 公式FAQでは、ローカルで実行する場合、プロンプトやデータをOllama側は見ないと説明されている。クラウドのモデルを使う場合は扱いが異なる |
| モデルの保存先 | Windowsでは C:\Users\%username%\.ollama\models などOSごとに決まっており、OLLAMA_MODELS で変更できる |
| ファイル形式 | GGUFは、メタデータと重みを1つのファイルにまとめた、推論用のモデル形式 |
| 入手時の安全 | Hugging Faceは、pickle形式のファイルは読み込み時に任意のコードが実行されうるとして、信頼できる提供元から入手するよう注意を促している |
よくある疑問
Q. ローカルLLMとクラウドのAIは、何が違いますか？
A. データを外に出さずに使え、利用量による課金もありませんが、性能・速度・手間の面ではクラウドの最新モデルに及ばないことが多いです。比較は ローカルLLMとは｜自分のPCでAIを動かす利点・限界・始め方の考え方 で整理しています。
Q. Ollamaでローカルで動かすには、どんな手順になりますか？
A. インストール、モデルの取得と実行、動作確認の3段階です。手順と確認事項は ローカルLLMの動かし方｜Ollamaで試す基本手順 を参照してください。
Q. 自分のPCで動きますか？
A. 目安はモデルの大きさと量子化の程度で決まり、特にGPUのメモリ（VRAM）やMacの統合メモリの容量が効きます。見積もり方は GPUとVRAMの選び方｜ローカルLLM・画像生成に必要なメモリの考え方 と 量子化とは｜モデルを軽くして少ないメモリで動かす仕組みと品質への影響 へ。
Q. 外部に公開しても安全ですか？
A. 既定ではPCの内側からのみ接続できる設定です。外部に公開する場合は、認証やネットワークの制限を別途考える必要があります。注意点は Ollamaとは｜ローカルLLMを手軽に動かせるツールの基本と使い方 で解説しています。
編集部の見解
ローカルLLMは、最初から高性能なPCを買うより、手持ちのPCで小さなモデルを動かし、「自分の用途で足りるか」を確かめてから投資を判断するのが失敗しにくいと考えます。つまずきやすいのは、モデルの大きさだけを見て、量子化の程度や文脈の長さで必要なメモリが変わることを見落とす点です。また、ローカルで動かせば安全と考えがちですが、入手元の信頼性、ライセンス、ネットワークへの公開設定は、クラウド以上に自分で責任を持つ必要があると考えます。編集部としては、機密情報を扱う前に、これらの点を一度チェックリストにして確認することをおすすめします。