ハルシネーションとはAIがもっともらしい嘘を出す理由と見抜き方・減らし方
ハルシネーションは、生成AIが事実と異なる内容を、もっともらしく出力する現象です。起こる理由、起きやすい場面、見抜き方、プロンプト・RAG・検証による減らし方、完全にはなくならない理由を具体例とともに整理します。
公的機関・公式資料などの一次情報と照合して作成しています。このサイトについて
ハルシネーションとは
ハルシネーション(hallucination、幻覚)は、生成AIが事実と異なる内容を、あたかも正しいかのように、もっともらしく出力する現象です。存在しない論文や判例、実在しない関数名、誤った日付・数値などを、自信ありげに示すことがあります。生成AIを使ううえで、最も重要な注意点の一つです(大規模言語モデル(LLM)とは)。
なぜ起こるのか
LLMは、「次に来る言葉として、もっともらしいもの」を選んで文章を作る仕組みです。事実のデータベースを引いているのではなく、学習したパターンから文章を生成しています(トークンとは)。
| 原因 | 内容 |
|---|---|
| 確率的な生成 | 「それらしい」文章を作るため、事実と一致する保証がない |
| 学習データの限界 | 情報が少ない・誤りを含む・古い(知識のカットオフ) |
| 知らないことを認めにくい傾向 | 分からない場合も、何らかの回答を作ってしまうことがある |
| 質問のあいまいさ | 前提が不明確だと、推測で補う |
| 長い文脈 | 資料が長すぎる・矛盾していると誤る(コンテキストウィンドウ) |
| 誘導 | 質問が誤った前提を含むと、それに沿って答えてしまう |
起きやすい場面
| 場面 | 例 |
|---|---|
| 固有名詞・数値・日付 | 人物の経歴、統計の数値、法律の条文番号 |
| 出典・引用 | 存在しない論文、URL、書籍 |
| 最新の情報 | 学習時点以降の出来事、最新のバージョンや価格 |
| マイナーな話題 | 情報の少ない分野や、ローカルな情報 |
| 専門領域 | 医療・法律・税務などの詳細 |
| コード | 実在しないライブラリや関数、古いAPIの使い方 |
ハルシネーションの具体例
「〇〇という法律の第△条には何と書かれていますか」と質問すると、条文の内容を、もっともらしく作ってしまうことがあります。正式な条文は、e-Gov法令検索などの一次情報で確認する必要があります。コードについても、AIが示した関数が存在するかどうか、実際に動かして確かめます。
見抜き方
| 方法 | 内容 |
|---|---|
| 一次情報で確認 | 公的機関・公式ドキュメントなど(AI出力のチェック方法) |
| 出典・URLの確認 | 実在するか、内容が一致するかを開いて確かめる |
| 同じ質問を複数回 | 答えが毎回変わる部分は、不確かな可能性が高い(自己整合性・複数回生成) |
| 別のAIで検証 | ただし、別のAIも誤る可能性があるため、補助的な手段 |
| 根拠を尋ねる | 「根拠を示してください」「確信度は?」と聞く(それでも確実ではない) |
| 違和感に注目 | 細かい数値や固有名詞が、不自然に具体的でないか |
減らし方
| 方法 | 内容 |
|---|---|
| 資料を与えて答えさせる | 「以下の資料に書かれている内容だけで答えて」(RAG(検索拡張生成)) |
| 「分からない」を許可する | 「根拠がなければ『分からない』と答えて」と明記する(プロンプトの基本) |
| 引用を求める | 回答の根拠となる部分を、資料から引用させる |
| 質問を具体的にする | 前提・範囲・形式を明確にする |
| 最新情報は検索機能で | 検索機能のあるサービスや、資料の提供で補う |
| 重要な出力は人間が確認 | 最終確認を人間が行う仕組みを作る(人間の確認を入れる設計) |
| 温度設定を下げる | ランダムさを減らす(設定できるモデルの場合。完全には防げない)(temperature(温度)とサンプリング) |
完全にはなくならない理由
仕組み上、LLMは事実を保証する設計ではないため、ハルシネーションは現状、完全にはなくせないとされています。モデルの改良や、検索・検証の仕組みの併用で頻度は下がってきているとされますが、ゼロではありません。提供元は、ハルシネーションを減らす方法を公式ドキュメントで案内しています。最新の情報はそちらも参照してください。
ハルシネーションのFAQ(よくある質問)
Q. ハルシネーションは「嘘」ですか?
A. 意図的な嘘ではなく、仕組み上の誤りです。ただし、利用者にとっては、誤情報として影響を与えます。
Q. 新しいモデルほど、ハルシネーションは少ないですか?
A. 一般に改善する傾向はありますが、なくなるわけではありません。確認の習慣は引き続き必要です。
Q. 検索機能付きなら、安心ですか?
A. 参照元の誤りや、要約の誤りがあり得ます。重要な内容は、引用元を直接確認してください。
筆者の見解(ハルシネーション)
ハルシネーションは、「AIの欠陥」というより「AIの性質」として付き合うのが現実的だと考えます。人間の新人アシスタントも、確信がないことをそれらしく答えてしまうことがあります。大切なのは、間違える前提で、確認しやすい仕事を任せること、そして重要な事実は必ず一次情報で裏を取る習慣を持つことです。
ハルシネーションの関連項目
- AI出力のチェック方法
- RAG(検索拡張生成)
- 知識のカットオフ
- 第5回 間違いを見抜く
出典(一次情報)
本記事は一般的な情報の提供を目的としています。AIのサービス・機能・料金・仕様は頻繁に更新されるため、最新の内容は各社の公式ドキュメントでご確認ください。「筆者の見解」は一つの考え方です。