AIが自信を持って間違えるとき — ハルシネーションとの付き合い方

AIは存在しない統計を作り、実在しない論文を引用しながら、正しい答えとまったく同じ自信で語ります。ハルシネーションはバグではなく、AIが答えを組み立てる仕組みそのものから生まれます。なぜ起きるのか、そして出典の要求、人によるチェックライン、低リスク業務への配置まで、実務で見抜いて安全に使うための基準を整理します。

AXAI変革ハルシネーションAIの信頼性リスク管理

AIは「わからない」と言うのが苦手です。 わからないときでさえ、もっともらしく作り出します。

自信を持って、間違える

AIに尋ねると、よどみなく答えが返ってきます。文章は滑らかで、口調は確信に満ちています。ところが時々、その答えがまったくの作り話であることがあります。

ありもしない統計を作り、存在しない論文を引用し、起きてもいない事実をすらすらと語ります。問題は、間違っている気配がないことです。正しい答えと同じ自信で語るからです。

これをハルシネーション(幻覚)と呼びます。

故障ではなく、原理だ

ハルシネーションをバグと誤解すると、対応を誤ります。これはAIが答えを作る仕組みそのものから生じます。

AIは事実を「照会」しません。次に来るもっともらしい言葉をつなぎ合わせるだけです。多くの場合そのもっともらしさは事実と一致しますが、ずれた瞬間に滑らかに間違った答えが出ます。

だからAIは「わかりません」と言うのが下手です。空白を残すより、埋めるように作られているからです。

OpenAIとジョージア工科大学の研究者らが2025年9月に公開した論文「Why Language Models Hallucinate」も同じ診断を下しています。現在の学習・評価の仕組みは不確実さを認めるより推測することに高い点を与えるため、言語モデルは試験の得意な学生のように、わからないときでも当て推量するよう最適化されるという説明です。

どこで危険か

ハルシネーションはどれも同じ重さではありません。危険な場所は決まっています。

  • 数字と統計 — もっともらしい数値を作りやすい。
  • 出典と引用 — 存在しない論文・判例・記事を作り出す。
  • 法律・医療・会計 — 間違えると代償が大きい領域。
  • 最新情報 — 学習時点以降の出来事は特に弱い。

出典のハルシネーションが実際のコストにつながった例もあります。2025年10月のガーディアンの報道によると、デロイトはオーストラリア雇用・職場関係省(DEWR)に提出した44万豪ドル規模の報告書で存在しない参考文献や引用が見つかった後、生成AI(Azure OpenAI GPT-4o)の利用を付録に追記し、契約代金の一部を返金することになりました。

逆に下書き、アイデア出し、要約のように人がすぐ確認する業務では、リスクははるかに小さくなります。

なくすのではなく、管理する

ハルシネーションを100%なくすことはできません。AIができないことがあるように、これも期待を正確に定めることから始まります。肝心なのは、間違えても事故に発展しない構造を作ることです。

1. 検証できる業務に使う — 答えが正しいか人がすぐ確認できる業務にまず使います。確認する術のない仕事を任せません。

2. 出典を求める — 「根拠と出典も一緒に付けて」と指示しましょう。作り話の答えは、出典を確認した瞬間に崩れます。実データにつないで答えさせれば(システム連携)、根拠が生まれます。答える前に実際の文書を引き込んで根拠にするこの方式は、検索拡張生成(RAG)の研究としてよく知られています。

3. 人によるチェックの線を置く — 外に出る文書、顧客に届く返信、取り返しのつかない決定は、人が通したあとに送り出します。

4. ルールで定める — 「AIの答えは必ず確認してから使う」をAI利用ポリシーに明記しましょう。個人の注意深さに委ねると、いつか漏れます。

韓国の裁判所もこの方向に動いています。法律新聞の報道(韓国語)によると、韓国の法院行政処は2026年3月に「AI活用虚偽主張・証拠提出対応タスクフォース」の結果を発表し、AIで虚偽の法令・判例を引用して訴訟を遅らせた場合は訴訟費用を負担させることができ、弁護士が検証せずに引用した場合は大韓弁護士協会に懲戒を依頼できるとしました。AI利用の告知と引用法令の正確性確認を求める民事訴訟規則の改正も併せて提案しています。

疑え、だが捨てるな

ハルシネーションが怖いからといって、AIを手放す必要はありません。電卓も押し間違えれば誤った答えを出しますが、私たちは電卓を捨てません。使い方を知っているだけです。

AIも同じです。滑らかな答えを前に、もう一度問う習慣 — 「これ、確認しましたか?」 — その一文が、ハルシネーションを事故から切り離します。