AI入門

大規模言語モデル(LLM)とは仕組み・できること・限界を初心者向けに解説

大規模言語モデル(LLM)は、大量の文章で学習し、言葉の並びのパターンから文章を生成・理解するAIです。仕組みの概要(トークン・次の単語予測)、できること、限界(ハルシネーション・知識の古さ)、代表的な使い方を整理します。

公的機関・公式資料などの一次情報と照合して作成しています。このサイトについて

大規模言語モデルとは

大規模言語モデル(LLM:Large Language Model)は、大量の文章データで学習し、言葉のパターンを統計的に学んだ、非常に大きなニューラルネットワークです。対話型AIや文章作成支援、プログラミング支援の中核として使われています。「大規模」とは、学習データの量と、モデルのパラメータ数(内部の調整値の数)が非常に大きいことを指します(パラメータ数とモデルサイズ)。

仕組みの概要

LLMの基本的な動きは、「これまでの文脈を見て、次に来る言葉(トークン)を予測する」ことの繰り返しです。

段階 内容
① 入力をトークンに分割 文章を、モデルが扱う単位(トークン)に区切る(トークンとは)
② 文脈を数値で表現 各トークンを数値のベクトルに変換し、文脈を考慮して関係を計算する(埋め込み(Embedding)、アテンション機構)
③ 次のトークンを予測 次に来るトークンの確率分布を計算する
④ トークンを選ぶ 確率に従って1つ選ぶ(temperature(温度)とサンプリング)
⑤ 繰り返す 選んだトークンを文脈に加え、①〜④を繰り返して文章を作る

この仕組みの中核にあるのが「Transformer」というモデル構造です(Transformerとは)。

学習の流れ(概要)

段階 内容
事前学習 大量の文章から、次の単語を予測する形で一般的な言語能力を獲得する(事前学習)
追加の調整 指示に従う、人間にとって有用で安全な回答をするように調整する(ファインチューニングの考え方、RLHF(人間のフィードバックによる強化学習))

LLMにできること

分類 例
生成 文章の下書き、メール、アイデア、物語
変換 要約、翻訳、書き換え、文体の変更、形式の変換
理解・抽出 文章からの情報抽出、分類、質問への回答
推論の補助 手順の整理、比較、簡単な計算や論理の補助(推論モデル(思考するAI))
プログラミング コードの生成、解説、バグの原因調査の補助

LLMの限界

限界 内容
ハルシネーション もっともらしい誤りを出すことがある(ハルシネーション)
知識のカットオフ 学習時点以降の情報を知らない場合がある(知識のカットオフ)
入力の長さの制限 一度に扱える量に上限がある(コンテキストウィンドウ)
出力のばらつき 同じ質問でも毎回違う回答が出ることがある
説明のしにくさ 内部で何が起きているか、人間には解釈しにくい
計算・数え上げの弱さ 長い計算や文字数の厳密な管理は不得意なことがある

外部の道具と組み合わせる

LLM単体の限界を補うために、検索、計算ツール、社内文書の検索(RAG)、プログラムの実行などの外部機能と組み合わせることが一般的です(ツール利用(Function Calling)、RAG(検索拡張生成))。LLMは「指示を理解し、道具を使い分けて結果をまとめる司令塔」として使われます(AIエージェントとは)。

代表的なモデルとサービス

LLMにはさまざまな提供元のものがあり、クラウド経由で使うものと、自分のコンピュータで動かせるもの(ローカルLLMとは)があります。モデルの名称・性能・料金は頻繁に更新されるため、最新の情報は各提供元の公式サイトで確認してください(AIサービスの選び方)。

大規模言語モデルのFAQ(よくある質問)

Q. LLMは人間のように理解していますか?
A. 大量の文章から学んだ統計的なパターンに基づいて動いており、人間の理解と同じとは言えません。ただし、実用上は驚くほど文脈に沿った回答を返します。

Q. LLMと生成AIは同じですか?
A. LLMは文章を扱う生成AIの一種です。生成AIには画像や音声を作るものも含まれます(生成AIとは)。

Q. LLMは検索エンジンの代わりになりますか?
A. 用途によります。最新情報や根拠の確認が必要な場合は、検索や一次情報の確認を併用するのが安全です。

簡単な例で見る「次の言葉の予測」

「吾輩は猫である。名前はまだ」の続きを考えると、「ない」が最も自然に思い浮かびます。LLMは、このような「文脈に対する、次の言葉の確からしさ」を、膨大な文章から学習しています。

実際には、文章を「トークン」という単位に区切り、各トークンの確率を計算し、そこから選ぶことを繰り返します。選び方(temperature(温度)とサンプリングなど)を変えると、より堅実な文章にも、より多様な文章にもなります。この性質が、「同じ質問でも毎回少し答えが違う」ことの理由です。

筆者の見解(大規模言語モデル)

LLMは「言葉のパターンを極めた機械」であり、だからこそ言葉に関する作業が得意で、事実の保証が苦手です。この性質を理解していれば、使いどころと確認すべき点が自然に見えてきます。「下書きと整理はLLM、事実と判断は人間」という分担が、現時点で最も扱いやすい形だと思います。

大規模言語モデルの関連項目

出典(一次情報)

本記事は一般的な情報の提供を目的としています。AIのサービス・機能・料金・仕様は頻繁に更新されるため、最新の内容は各社の公式ドキュメントでご確認ください。「筆者の見解」は一つの考え方です。