AIが自信を持って間違えるとき — ハルシネーションとの付き合い方

AIは「わからない」と言うのが苦手です。 わからないときでさえ、もっともらしく作り出します。

自信を持って、間違える

AIに尋ねると、よどみなく答えが返ってきます。文章は滑らかで、口調は確信に満ちています。ところが時々、その答えがまったくの作り話であることがあります。

ありもしない統計を作り、存在しない論文を引用し、起きてもいない事実をすらすらと語ります。問題は、間違っている気配がないことです。正しい答えと同じ自信で語るからです。

これを**ハルシネーション（幻覚）**と呼びます。

故障ではなく、原理だ

ハルシネーションをバグと誤解すると、対応を誤ります。これはAIが答えを作る仕組みそのものから生じます。

AIは事実を「照会」しません。次に来るもっともらしい言葉をつなぎ合わせるだけです。多くの場合そのもっともらしさは事実と一致しますが、ずれた瞬間に滑らかに間違った答えが出ます。

だからAIは「わかりません」と言うのが下手です。空白を残すより、埋めるように作られているからです。

どこで危険か

ハルシネーションはどれも同じ重さではありません。危険な場所は決まっています。

• 数字と統計 — もっともらしい数値を作りやすい。
• 出典と引用 — 存在しない論文・判例・記事を作り出す。
• 法律・医療・会計 — 間違えると代償が大きい領域。
• 最新情報 — 学習時点以降の出来事は特に弱い。

逆に下書き、アイデア出し、要約のように人がすぐ確認する業務では、リスクははるかに小さくなります。

なくすのではなく、管理する

ハルシネーションを100%なくすことはできません。AIができないことがあるように、これも期待を正確に定めることから始まります。肝心なのは、間違えても事故に発展しない構造を作ることです。

1. 検証できる業務に使う — 答えが正しいか人がすぐ確認できる業務にまず使います。確認する術のない仕事を任せません。

2. 出典を求める — 「根拠と出典も一緒に付けて」と指示しましょう。作り話の答えは、出典を確認した瞬間に崩れます。実データにつないで答えさせれば（システム連携）、根拠が生まれます。

3. 人によるチェックの線を置く — 外に出る文書、顧客に届く返信、取り返しのつかない決定は、人が通したあとに送り出します。

4. ルールで定める — 「AIの答えは必ず確認してから使う」をAI利用ポリシーに明記しましょう。個人の注意深さに委ねると、いつか漏れます。

疑え、だが捨てるな

ハルシネーションが怖いからといって、AIを手放す必要はありません。電卓も押し間違えれば誤った答えを出しますが、私たちは電卓を捨てません。使い方を知っているだけです。

AIも同じです。滑らかな答えを前に、もう一度問う習慣 — 「これ、確認しましたか？」 — その一文が、ハルシネーションを事故から切り離します。