当 AI 自信满满地出错 — 如何应对幻觉

AI 不擅长说「我不知道」。 即使不知道，它也会一本正经地编出来。

自信满满，却是错的

问 AI 一个问题，答案会顺畅地流出 — 句子通顺，语气笃定。然而时不时地，那个答案是彻头彻尾编造的。

它编造统计数据，引用不存在的论文，绘声绘色地讲述从未发生的事。问题在于，看不出它错了。它陈述错误时的自信，和陈述事实时一模一样。

这就叫幻觉（hallucination）。

不是故障，而是原理

把幻觉误当成 bug，就会用错应对方法。它源自AI 生成答案的方式本身。

AI 并不「查询」事实，它只是把接下来最像样的词串接起来。多数时候这种像样与事实吻合，可一旦偏离，就会得到一个流畅的错误答案。

所以 AI 不擅长说「我不知道」。因为它被造出来是为了填满空白，而不是留白。

哪里最危险

幻觉的分量并不相同，危险的位置是固定的。

• 数字与统计 — 容易编出像样的数值。
• 出处与引用 — 会造出不存在的论文、判例、报道。
• 法律、医疗、会计 — 出错代价高昂的领域。
• 最新信息 — 训练时点之后的事尤其薄弱。

反过来，在起草、出点子、做摘要这类由人立即复核的业务里，风险要小得多。

不是消除，而是管理

幻觉无法 100% 消除。正如有些AI 做不到的事，这也要从准确设定预期开始。关键是搭建一个即使出错也不会酿成事故的结构。

1. 用在可验证的工作上 — 先用于人能立刻核对答案对错的业务，不把无从验证的活儿交给它。

2. 要求出处 — 让它「把依据和出处一并附上」。编造的答案，在核对出处的那一刻就会崩塌。把它接到真实数据上作答（系统对接），答案便有了根据。

3. 设一道人工复核线 — 对外发出的文档、送到客户手上的回复、难以撤销的决定，都要经人放行后再送出。

4. 用规则固定下来 — 把「AI 的答案必须核实后再使用」写进AI 使用政策。若只靠个人的谨慎，迟早会漏。

怀疑它，但别丢弃它

因为怕幻觉就把 AI 放下，大可不必。计算器按错键也会给出错误答案，可我们不会扔掉计算器 — 只是懂得怎么用而已。

AI 也一样。面对一个流畅的答案，多问一句的习惯 — 「这个，你核实过吗？」 — 这一句话，就把幻觉和事故分隔开来。