生成AIの仕組み

ハルシネーションとはAIがもっともらしい嘘を出す理由と見抜き方・減らし方

ハルシネーションは、生成AIが事実と異なる内容を、もっともらしく出力する現象です。起こる理由、起きやすい場面、見抜き方、プロンプト・RAG・検証による減らし方、完全にはなくならない理由を具体例とともに整理します。

公的機関・公式資料などの一次情報と照合して作成しています。このサイトについて

ハルシネーションとは

ハルシネーション(hallucination、幻覚)は、生成AIが事実と異なる内容を、あたかも正しいかのように、もっともらしく出力する現象です。存在しない論文や判例、実在しない関数名、誤った日付・数値などを、自信ありげに示すことがあります。生成AIを使ううえで、最も重要な注意点の一つです(大規模言語モデル(LLM)とは)。

なぜ起こるのか

LLMは、「次に来る言葉として、もっともらしいもの」を選んで文章を作る仕組みです。事実のデータベースを引いているのではなく、学習したパターンから文章を生成しています(トークンとは)。

原因 内容
確率的な生成 「それらしい」文章を作るため、事実と一致する保証がない
学習データの限界 情報が少ない・誤りを含む・古い(知識のカットオフ)
知らないことを認めにくい傾向 分からない場合も、何らかの回答を作ってしまうことがある
質問のあいまいさ 前提が不明確だと、推測で補う
長い文脈 資料が長すぎる・矛盾していると誤る(コンテキストウィンドウ)
誘導 質問が誤った前提を含むと、それに沿って答えてしまう

起きやすい場面

場面 例
固有名詞・数値・日付 人物の経歴、統計の数値、法律の条文番号
出典・引用 存在しない論文、URL、書籍
最新の情報 学習時点以降の出来事、最新のバージョンや価格
マイナーな話題 情報の少ない分野や、ローカルな情報
専門領域 医療・法律・税務などの詳細
コード 実在しないライブラリや関数、古いAPIの使い方

ハルシネーションの具体例

「〇〇という法律の第△条には何と書かれていますか」と質問すると、条文の内容を、もっともらしく作ってしまうことがあります。正式な条文は、e-Gov法令検索などの一次情報で確認する必要があります。コードについても、AIが示した関数が存在するかどうか、実際に動かして確かめます。

見抜き方

方法 内容
一次情報で確認 公的機関・公式ドキュメントなど(AI出力のチェック方法)
出典・URLの確認 実在するか、内容が一致するかを開いて確かめる
同じ質問を複数回 答えが毎回変わる部分は、不確かな可能性が高い(自己整合性・複数回生成)
別のAIで検証 ただし、別のAIも誤る可能性があるため、補助的な手段
根拠を尋ねる 「根拠を示してください」「確信度は?」と聞く(それでも確実ではない)
違和感に注目 細かい数値や固有名詞が、不自然に具体的でないか

減らし方

方法 内容
資料を与えて答えさせる 「以下の資料に書かれている内容だけで答えて」(RAG(検索拡張生成))
「分からない」を許可する 「根拠がなければ『分からない』と答えて」と明記する(プロンプトの基本)
引用を求める 回答の根拠となる部分を、資料から引用させる
質問を具体的にする 前提・範囲・形式を明確にする
最新情報は検索機能で 検索機能のあるサービスや、資料の提供で補う
重要な出力は人間が確認 最終確認を人間が行う仕組みを作る(人間の確認を入れる設計)
温度設定を下げる ランダムさを減らす(設定できるモデルの場合。完全には防げない)(temperature(温度)とサンプリング)

完全にはなくならない理由

仕組み上、LLMは事実を保証する設計ではないため、ハルシネーションは現状、完全にはなくせないとされています。モデルの改良や、検索・検証の仕組みの併用で頻度は下がってきているとされますが、ゼロではありません。提供元は、ハルシネーションを減らす方法を公式ドキュメントで案内しています。最新の情報はそちらも参照してください。

ハルシネーションのFAQ(よくある質問)

Q. ハルシネーションは「嘘」ですか?
A. 意図的な嘘ではなく、仕組み上の誤りです。ただし、利用者にとっては、誤情報として影響を与えます。

Q. 新しいモデルほど、ハルシネーションは少ないですか?
A. 一般に改善する傾向はありますが、なくなるわけではありません。確認の習慣は引き続き必要です。

Q. 検索機能付きなら、安心ですか?
A. 参照元の誤りや、要約の誤りがあり得ます。重要な内容は、引用元を直接確認してください。

筆者の見解(ハルシネーション)

ハルシネーションは、「AIの欠陥」というより「AIの性質」として付き合うのが現実的だと考えます。人間の新人アシスタントも、確信がないことをそれらしく答えてしまうことがあります。大切なのは、間違える前提で、確認しやすい仕事を任せること、そして重要な事実は必ず一次情報で裏を取る習慣を持つことです。

ハルシネーションの関連項目

出典(一次情報)

本記事は一般的な情報の提供を目的としています。AIのサービス・機能・料金・仕様は頻繁に更新されるため、最新の内容は各社の公式ドキュメントでご確認ください。「筆者の見解」は一つの考え方です。