如何把老师傅的直觉交给AI — 公开权重,让老师傅担任审核者 (2)

把直觉拆成条件之后,还要决定怎样把这些条件组合起来、直觉在多大范围内值得信任,以及把老师傅放在什么位置。本文依据格罗夫等人关于临床预测与公式预测的元分析、卡尼曼与克莱因关于直觉成立条件的论文、韩国政府制造业隐性知识项目中的熟练工报酬争议,以及WHO手术安全核查表研究,梳理完成标准的原则和八步实施顺序。

AXAI转型隐性知识制造业AI

拆解条件只是开始,怎样组合要由公司来决定。 而这些标准的最终审核者,仍然应该是老师傅。

在第1篇中,我们讨论了如何把老师傅的直觉拆成几个有名字的条件,并为每个条件写明用什么来测。

拆完之后剩下的三个问题

条件和测量方法定下来以后,项目通常会这样推进:收集数据,训练模型,汇报准确率。但在这个流程中,常常漏掉三个问题。

  • 这些条件按什么比重组合?
  • 老师傅的直觉,在多大范围内可以当作正确答案?
  • 老师傅在这个过程中处于什么位置?

这三个问题都更接近判断,而不是技术,所以需要管理层亲自回答。

原则一:公开权重,不要藏起来

到了组合条件的阶段,很多项目会以“让AI自己去学”一笔带过。通过训练找出比重本身没有问题,问题在于结果被藏在模型里,谁也看不到。

权重是判断,不是技术。质量和交期哪个更重要、安全余量留多少,都应该由公司来定。把每个条件的比重放到表格或屏幕上,让老师傅和管理者可以追问:“这个条件占这么大比重合适吗?”权重摆在明处,错误也能更快被发现。比如新加入的条件比重被设成了0,这类错误比想象中常见,如果藏在模型里,可能几个月都没人察觉。

把标准写成公式这件事本身也有依据。格罗夫等人2000年的元分析汇总了医学、金融、犯罪学领域的136项研究,报告称:同样的信息,用既定公式来综合,平均比人在脑中综合准确约10%。这种差距与判断者的资历无关,始终存在。原因不是老师傅判断错了,而是同一个人每天的判断也会略有不同。

原则二:分清直觉可以信任和不可以信任的领域

并不是每位老手的直觉质量都一样。丹尼尔·卡尼曼和加里·克莱因在直觉问题上长期持相反立场,但经过近6年的合作,在2009年的合著论文中就一点达成了共识:直觉是否可信,取决于两件事。做判断的环境是否有规律,以及这个人是否得到了足够的反馈来学会这些规律。论文明确指出:“主观上的确信并不是判断准确性的可靠指标。”

把这一点放到公司的工作里,界线就清楚了。

  • 结果出得快、清楚的判断(是否不良、加工条件、设备异常):名匠的直觉是很好的标准答案,应该最先转化为标准。
  • 结果出得慢、模糊的判断(新产品是否畅销、5年后的市场、招聘是否成功):把直觉当作标准答案,会连那个人的偏见也一起固化。
对比图:在结果出得快、清楚的是否不良、加工条件、设备异常等判断上,名匠的直觉是很好的标准答案;在结果出得慢、模糊的新产品是否畅销、5年后的市场、招聘是否成功等判断上,直觉会把偏见也固化下来
可以把直觉当标准答案的判断与不可以的判断。出处:Kahneman、Klein, American Psychologist (2009)

标准建好之后,标准本来就分辨不了的领域也会显现出来。条件几乎相同的案例之间,分数差距必然很小。这时如果用屏幕上的颜色或排名把差距放大,就等于假装能分辨本来分辨不了的东西。写明“在这个范围内,标准分不出优劣”,也是标准的一部分。

所以,第一版标准与其当作挑出“这个最好”的判定器,不如当作筛掉“这个肯定不行”的筛子来用,这样更稳妥。

原则三:请老师傅担任审核者,而不是数据提供者

隐性知识项目最常垮掉的地方,不是技术,而是人。

第1篇介绍的冲压工序课题(韩语),把成果标准定为“经名匠审核的黄金数据集1,500条以上”。在这个结构里,老师傅不是交出数据的人,而是确认什么是正确答案的人。

也有相反的例子。在同一个政府项目中,发给熟练技术人员的研究津贴以人工费的20%为建议标准,但据产业日报报道(韩语),30个团队中有14个编列得更低,某联合体只有0.97%左右。还有一个49人参与的团队,分到的总额只有594万韩元。一边请人拿出毕生积累的经验,一边给这样的待遇,拿到的很可能只是手册里早就写着的内容。

柱状图:熟练技术人员研究津贴的建议标准是人工费的20%,而某联合体只编列了0.97%
熟练技术人员研究津贴占人工费的比例。出处:产业日报(2026)(韩语)

也有证据表明,由专家掌握标准时结果会变好。2009年的一项研究在8个国家的8家医院引入世界卫生组织制定的19项手术安全核查表,死亡率从1.5%降到0.8%,住院期间并发症从11.0%降到7.0%。核查表并没有取代外科医生,而是把资深人员一直在做的检查说出来,让所有人按同样的顺序去做。

柱状图:引入WHO手术安全核查表后,死亡率从1.5%降到0.8%,住院期间并发症从11.0%降到7.0%
8个国家8家医院引入核查表前后的对比。出处:Haynes等, NEJM (2009)

用AI建立标准时人的角色会怎样变化,我们在AX,人的角色如何改变?中有更多讨论。

还有一点:标准建好一次之后,不要就此锁死。原材料变了、设备变了,直觉也会跟着变。老师傅会用身体去跟上这些变化,但写成文件固定下来的标准跟不上。至少每个季度一次,把标准和现场判断出现分歧的案例收集起来重新校准。主持这件事的人,也应该是老师傅。

实施顺序:把一种直觉变成标准的八个步骤

  1. 选一个判断。最好是经常重复、结果能很快确认、那个人不在就会停摆的判断。
  2. 在旁边观察并提问。当场问“您为什么现在停下来?”“您看到了什么?”,并录音。现场比会议室访谈更好。
  3. 拆成5到8个条件并命名。直接用老师傅的说法来命名,阻力会小很多。
  4. 为每个条件写明测量方法和数据来源。没有的数据单独标出来。
  5. 起草权重,并和老师傅一起调整。权重必须在屏幕或文件上看得见。
  6. 用过去的案例对照。输入已知结果的案例,看标准和老师傅的判断在哪里出现分歧。方法整理在AI 做出来的东西,你怎么验证中。
  7. 把标准分辨不了的领域写进文件。“在这种条件下必须由人来看”这句话,本身也是标准。
  8. 把老师傅的名字和报酬写进标准。留下是谁建立的标准,修改时才有人可问。

小结

组合拆出来的条件时,请公开权重,分清直觉可信的领域,让老师傅担任审核者。这样,它才会成为AI能用的标准,并在那位老师傅退休后继续留在公司。

建立标准不是要取代老师傅,而是把老师傅知道的东西翻译成公司的语言记录下来。所以,标准的最终审核者仍然应该是他们。

我亲自就这个主题做实验的记录,写在了AI로 풍수 명당 찾기(用AI寻找风水宝地)(韩语)中。


“如何把老师傅的直觉交给AI”系列
  1. 把直觉拆成可测量的条件
  2. 公开权重,让老师傅担任审核者(本文)

参考资料