做AI产品,先读失败案例 — 用改进清单和事前验尸来设计(2)
从失败案例中提炼出的原因句,只有落实到设计表和会议中才有用。本文介绍如何把韩国聊天机器人Lee Luda一度停服、改进后重新上线的2.0版本变更清单变成检查表,加里·克莱因在《哈佛商业评论》中介绍的事前验尸(pre-mortem)怎么开,以及半天内完成失败剖析的六步执行顺序。
从别人的失败中提炼出原因后,接下来就该把它们搬进我们自己的设计了。 最有价值的素材,是摔倒过、改进后重新站起来的公司的变更清单。
原因句之后要做的事
上一篇介绍了如何收集已停止的AI服务,并把每个案例“为什么停掉”概括成一句话。比如:训练素材不是一线真实数据;预测误差由公司资产承担的结构;在使用者试用之前就先决定了全面推行。
这些句子如果读完就算了,就只是教训。只有变成设计表里的一行、会议上的一个问题,才能真正改变我们的产品。本篇讨论的就是这个转化过程。
原则3. 从重新站起来的案例中拿来“改进清单”
在失败案例中,最有价值的是停掉之后经过改进又重新推出的案例,因为改了什么,本身就是一份检查清单。

韩国AI聊天机器人Lee Luda就是典型例子。2020年12月推出的Lee Luda 1.0,在用户对其进行性骚扰发言、聊天机器人自身发表仇恨言论的争议中,3周后停止服务。开发公司经过约9个月的Beta测试,于2022年10月正式上线Lee Luda 2.0。据Etoday报道(韩语),这次改动的内容如下:
- 从训练数据中删除或随机替换姓名、电子邮件等信息,进行假名化处理
- 不再调取现成句子,而是让生成模型重新生成句子
- 加入滥用检测模型,把安全发言比例的目标定为99%,实际达到99.56%
- 引入对试图进行异常对话的用户施加处罚的机制
凡是在规划对话式AI服务的公司,都可以把这份清单原样用作上线前的检查表。这相当于免费拿到别人付出高昂代价换来的清单。如果我们所在的领域没有重新站起来的案例,可以去找发生过类似事故后公司发布的改进公告,或监管机构提出的整改要求。只要是写着改了哪些项目的文件,都有同样的用处。
原则4. 提前写下我们自己的失败
读完别人的失败,最后一步是提前写下我们自己的失败。认知心理学家加里·克莱因2007年在《哈佛商业评论》中介绍的事前验尸,正是适合这件事的工具。
方法很简单。在项目启动会上提问:“假设一年后这个项目彻底失败了。为什么会失败?”请每位参会者花几分钟写下原因,然后一个人一个人轮流发言。关键不是问“可能会出什么问题”,而是问“出了什么问题”。一旦假定失败已经发生,平时怕破坏气氛而说不出口的担忧就容易说出来得多。
如果再把上一篇收集的原因句清单放在旁边,回答就会变得具体。不再是“客户不用”这种笼统的回答,而是“训练数据不是我们现场的照片”“预测出错时损失由我们自己承担”这样的句子。管理层应该参加这个会议,理由也在这里:其中有几句不是技术问题,而是业务结构问题,而这只有管理层才能解决。
进行时只要遵守几条规则。在开口之前,先让每个人把原因写在纸上。如果职位高的人先发表意见,其他人的回答就会向那边靠拢。发言时每人一条、轮流进行,提出的原因不作评判,全部记录下来。会后把这份清单与设计表的左栏对照,把新出现的原因逐行补上。

执行顺序:半天就够了
失败剖析不需要很大的预算。借助AI搜索工具,收集和整理案例半天就能完成。不过,判断必须由人来做。
- 收集10到20个案例。用与我们想法类似的产品名称,加上“停止服务”“退出”“shut down”“discontinued”等词搜索。汇集AI相关事故和失败的AI Incident Database也是不错的起点。
- 每个案例填四栏。何时开始、何时停止、公司公开的原因、外部分析的原因。优先使用一手来源,找不到出处的原因不要写。
- 把原因归纳成四五句话。把相似的原因归在一起,通常会缩减到四五条。
- 制作设计表。左栏写“崩溃点”,右栏写“我们这样规避”。右栏填不出来的行不要删掉,而是移到剩余风险里。
- 召开事前验尸会议。把设计表放在旁边,问“如果一年后失败了,原因是什么”。
- 把剩余风险写进给管理层的报告。知道无法避免的风险再开始,与不知道就开始是不同的。
第4步的设计表是这样的:把上一篇提炼的原因句移到左栏,右栏结合我们的情况填写。下面右栏是展示填写方式的示例。
| 崩溃点(原因句) | 我们这样规避(示例) |
|---|---|
| 训练素材不是一线真实数据 | 用我们现场收集的数据来训练和测试 |
| 预测误差直接由公司资产承担的结构 | 先确定预测出错时可承受的损失上限 |
| 在使用者充分试用之前,就先决定了全面推行 | 先在一个团队试用,再逐步扩大 |
| 右栏填不出来的行 | 不删除,移到剩余风险并写进给管理层的报告 |
这张表在和外部供应商合作时也很有用。不要只听供应商展示的成功案例,而是把我们设计表的左栏拿给他们看,问一句:“这个地方你们怎么规避?”如何辨别供应商的说法,我们在AI供应商营销解读法中有更详细的介绍。做出来之后如何验证结果,可以一并参考您如何验证AI做出来的东西?
总结
收集了失败案例、把原因概括成一句话之后,就从重新站起来的案例中拿来改进清单,搬进设计表,再提前写下我们自己的失败。
经过这个过程后仍然想做的点子,到那时再开始动手也不晚。反过来,如果在这个过程中放弃了某个点子,那就是用半天时间省下了几个月和一笔预算。
我们亲自实验这个主题的记录,写在用照片读皮肤,只留下有依据的成分(韩语)一文中。
连载“做AI产品,先读失败案例”
- 从已停止的公司中提炼原因句
- 用改进清单和事前验尸来设计(本文)