当AI说“照原样做不到”时 — 拆解做不到的原因,找到可替代测量的东西(1)

当AI或数据负责人回答“照原样做不到”时,项目往往就此停下。但这个回答可以不是终点,而是重新定义问题的起点。本文结合OpenAI停用AI文本分类器、首尔市深夜公交、用电力数据确认独居者平安、用卫星图像绘制贫困地图等案例,介绍如何把做不到的原因拆成数据、规定、准确率三类,以及如何用同步变化的值来测量无法直接测量的对象,也就是代理指标的用法。

AXAI转型问题定义代理指标

“照原样做不到”往往不是拒绝,而是问题摆错了位置的信号。 听到这个回答之后问什么,决定了项目的命运。

会议室安静下来的那一刻

在AI导入会议上,有一个让项目最常停下来的场景:负责人说“用现在的数据做不到”“达不到那个准确率”。如今AI自己也会这么回答,甚至在动手之前就先说:“用这种方式得不到你想要的结果。”

这时会议室会分成两派。一派以“那就算了”收场,另一派则硬推“那就想办法做出来”。两种选择都可惜。前者放弃了本可以解决的问题,后者则做出假装能用的结果。

我们建议走第三条路:听到“做不到”时,拆开看到底是什么做不到,再在那个位置重新放上一个可以解决的问题。本篇讨论前两步:如何拆解原因,以及如何找到可替代测量的值。

原则1. 把“做不到”拆成三类

“做不到”听起来是一整块,但原因通常是以下三类之一。

  • 数据达不到那个精度。分辨率、频率或数据量不够。比如要求用每个像素代表10米的免费卫星图像去找人那么大的物体。
  • 问题在于该不该做。出于法律、伦理或安全原因,虽然能做出来,但不能推出。
  • 能做到,但达不到业务标准。准确率不足以让人放心使用。

第三类的典型例子是OpenAI的AI撰写文本分类器。OpenAI在2023年1月发布这款区分人类撰写和AI撰写文本的分类器时,自己公开说明:它只能把26%的AI撰写文本正确判定为“很可能由AI撰写”,同时会把9%的人类撰写文本误判为AI撰写。同年7月20日,OpenAI以准确率低为由停止了这项服务,并表示将研究更有效的文本来源确认方法。问题从“看写好的文本来判别”,转向了“从生成时就留下来源”。

OpenAI的AI撰写文本分类器性能条形图。把AI撰写文本正确判定为很可能由AI撰写的比例是26%,把人类撰写文本误判为AI撰写的比例是9%。
OpenAI在发布时公开的分类器性能。来源:OpenAI, 2023
把照原样做不到这一回答拆成数据、规定、准确率三类原因的示意图。数据不够就寻找可替代测量的值,规定有问题就缩小范围,准确率达不到业务标准就加入人工审核环节或改变问题。
做不到的三类原因及各自的应对

把原因拆开之后,应对方式也就分开了。第一类去找可替代测量的东西,第二类缩小范围,第三类加入人工审核环节或改变问题。也有些事到最后都做不到,判断标准我们另外整理在AI做不到的事一文中。

原则2. 无法直接测量,就测量与它同步变化的东西

“没有数据”的回答,很多时候其实是“没有直接记录那个值的数据”。这时只要找到与那个值同步变化、并且已经在某处积累的值就可以了。这就叫代理指标。

首尔市深夜公交。2013年首尔市规划深夜公交线路时,手上没有任何数据直接记录“午夜之后谁想从哪里去哪里”。于是首尔市分析了韩国电信运营商KT提供的午夜至凌晨5点的30亿次手机通话(韩语),找出深夜人群聚集的地方,据此确定线路。它没有直接测量出行需求,而是测量了那个时段人们停留的痕迹。

用电力数据确认平安。要了解独居老人是否平安,通常需要给他们戴手环或安装传感器。SK电讯与韩国电力公社共同开发的独居家庭平安关怀服务,用AI分析家庭用电模式,并结合通话、短信、数据流量的使用情况(韩语),一旦发现与平时不同的异常迹象,就通知福利工作人员。由于不需要另外安装设备,运营成本低,使用者也不必改变生活方式。它不是测量生活本身,而是观察生活留下的用电痕迹。

用卫星图像绘制的贫困地图。国外也有同样的做法。2016年斯坦福大学研究团队在《科学》上发表的研究,出发点是非洲连贫困调查本身都很少。论文指出,2000至2010年间,非洲59个国家中有39个国家连两次全国性贫困调查都没能开展。研究团队先训练神经网络根据白天的卫星图像预测夜间灯光亮度,让它学会道路、屋顶、农田等特征,再用这些特征估算村一级的消费水平和资产。仅凭公开数据,就解释了尼日利亚、坦桑尼亚等五个国家地区经济指标变动的最多75%。

三个案例都提出了同一个问题:“当我们想知道的那件事发生时,有哪些别的值已经被记录在某处?”

案例想知道的事替代测量的值
首尔市深夜公交(2013)午夜之后谁想从哪里去哪里午夜至凌晨5点的30亿次手机通话
独居家庭平安关怀独居老人的生活是否出现异常家庭用电模式,以及通话、短信、数据流量的使用情况
卫星贫困地图(2016)村一级的消费水平和资产为预测夜间灯光亮度而学习到的白天卫星图像特征

在我们公司寻找代理指标

公司内部也可以同样提问。无法直接测量客户满意度,就看复购间隔和咨询内容;无法直接看到设备状态,就看用电量和噪音。门禁记录、物流查询记录、询价邮件这类原本为其他目的积累的值,常常意外地成为答案。

判断是不是好的代理指标,标准只有一条:必须能用一句话说清它与原本想知道的东西通过什么路径相连。像“深夜通话多的地方,那个时段就有人”这样路径清楚的,就可以用;如果只能说“好像有点一起变化”,那就很危险。这类值存在公司的哪里,可以用我们公司的数据能用于AI吗中的检查表来查找。

总结

“照原样做不到”通常是诚实的回答。把这份诚实当作项目的终止,还是当作重新摆放问题的起点,由听的一方决定。

首先,把做不到的原因拆成数据、规定、准确率,无法直接测量的东西就用同步变化的值来测量。仅靠这两步,很多停下的项目就能重新动起来。

下一篇我们再往前走一步,介绍如何改变问题本身,以及如何测量改变后的问题离原来的目的有多远。


连载“当AI说‘照原样做不到’时”
  1. 拆解做不到的原因,找到可替代测量的东西(本文)
  2. 改变问题,测量偏离的距离

参考资料