先用已知答案的假数据来测试 — 制作埋好答案的试卷 (1)

验证AI或自动测量系统需要正确答案,但现场数据往往没有答案,人给出的答案也会摇摆。这时可以先做一份事先埋好答案的试卷。第1篇通过葡萄酒评审、神秘顾客、变异测试、合成细胞图像等韩国国内外案例,整理了埋入答案的方法,以及针对不同业务制作试卷的做法。

AXAI转型验证合成数据

用没有答案的数据,无法给AI打分。 这种时候,请先做一份埋好答案的试卷。

没有可以对照的答案

AI导入的验证阶段,常常卡在一个地方:没有可以用来核对结果的正确答案。

如果是不良检测AI,过去的照片上需要有“这是不良”的标注,但大多数现场只保留了合格/不合格记录,没有记下哪个部位、为什么不良。如果是单据分类AI,虽然有人工分类的记录,却没人知道那个人的判断对不对。我们在AI验证设计篇中说过“挑选答案已经确定的案例”,但很多业务根本没有这样的案例。

人给出的答案本身也会摇摆,这也是个问题。在美国加州州博览会葡萄酒大赛上,罗伯特·霍奇森(2008)在评委不知情的情况下,把同一瓶倒出的三杯酒混进了30杯酒中。他每年测试65~70名评委,给三杯打出同一奖牌等级内分数的评委,大约只有十分之一。另有约十分之一的评委,给同一款酒打出了从铜牌到金牌的分数。这说明,在把专家判定当作答案之前,先要知道这个答案摇摆得有多厉害。

在30杯评审葡萄酒中用红色标出同一瓶倒出的三杯,并注明给这三杯打出同一奖牌等级内分数的评委约为十分之一的示意图
把已知答案的样本混入评审的方式及结果。酒杯排列为示意。出处:霍奇森,Journal of Wine Economics,2008

这个实验值得关注的,与其说是结果,不如说是方法。霍奇森把已知答案的样本悄悄埋进了考试里。既然是同一款酒,就应该得到同样的分数,这个答案他事先就知道。本系列讲的,就是把这种方法搬到AI验证上。第1篇讨论如何制作埋好答案的试卷,第2篇讨论如何让这份试卷值得信任。

埋入答案的方法早已广泛使用

混入已知答案的假样本来测试系统,并不是新方法。

韩国金融业有“神秘顾客”调查。金融监督院(韩国的金融监管机构)让调查员假扮顾客到柜台办理业务,检查销售人员是否按规定进行说明。在2018年对衍生结合证券销售的检查中,调查了29家金融公司的440个网点,结果证券公司平均83.9分、银行平均64.0分(韩语)。监督院知道每个调查员扮演的是什么样的顾客,因此应当向这位顾客说明什么,也是事先确定的。这就是已知答案的假顾客。

软件业有变异测试。故意在代码中埋入小bug,看现有测试能否发现。如果发现不了,说明测试不够。谷歌在2021年的论文中公开了把这种方法接入代码评审、在超过2.4万名开发者和1,000多个项目中运行的结果。相当于做了一份考测试的试卷。

生命科学领域有把答案写在文件名里的图像集。美国博德研究所的BBBC005是用模拟器绘制的19,200张细胞图像,每张有1~100个细胞,并逐级改变失焦模糊程度。细胞数量就写在文件名里,可以直接给计数细胞的算法打分。

案例被测试方测试方掌握的答案
葡萄酒评审(霍奇森,2008)评委同一瓶的三杯应得同样分数
神秘顾客(金融监督院,2018)销售人员调查员扮演什么顾客、应听到什么说明
变异测试(谷歌,2021)现有测试故意埋进代码的小bug
BBBC005(博德研究所)计数细胞的算法文件名中写明的细胞数

四个案例的共同点只有一个:答案握在测试方手里,被测试方并不知道。

先制作已知答案的数据

验证的第一步,是拿到确切知道答案是什么的数据。在现场数据里找不到,就要自己做。

在研究领域,合成数据已经进入实用阶段。米尔等(2021)用三维图形程序绘制纳米颗粒显微图像来训练模型,仅用合成图像训练的模型在二氧化硅颗粒分割上取得了F1 0.930,用人工标注的真实图像训练的模型为0.950。无需人一张张描轮廓,就达到了几乎相同的水平。吴恩达也在IEEE Spectrum的访谈中说,当某类缺陷上性能偏低时,制作合成数据可以更有针对性地解决这个问题。

条形图:二氧化硅纳米颗粒分割中,仅用合成图像训练的模型F1为0.930,用真实图像加人工标注训练的模型为0.950
二氧化硅纳米颗粒显微图像分割性能(F1)。出处:米尔等,2021

放到中小企业的业务中,并不需要多么复杂。已知尺寸的样品零件、故意做错的报价单、事先定好分类答案的几十条虚拟投诉,就足以起步。关键不在于数据量,而在于答案握在自己手里。

容易制作试卷的业务

不同业务,埋入答案的方法如下:

  • 文档识别(OCR)与单据录入:制作事先定好金额、日期、交易方的虚拟报价单和收据,打印后扫描或用手机拍照输入。故意加入褶皱、倾斜和模糊的印章
  • 客户咨询分类:参照以往咨询,写出分类明确的虚拟咨询,但要按实际比例加入错别字、缩略语和混有两个诉求的句子
  • 不良检测:在样品零件上故意制造已知大小和位置的缺陷,或在正常品照片上合成缺陷形状
  • 异常交易与舞弊检测:在正常交易记录中埋入几条违规案例,统计能找出多少条

无论哪种情况,都必须把答案表与试卷分开保管。答案一旦混进AI的输入,就不是考试而是默写了。

答案表上要记什么

答案表不只是记对错的表。为了日后找出是什么拉低了分数,还要把每个样本的条件一并记下。单据要记倾斜和褶皱程度,咨询要记错别字数量和混了几个诉求,零件要记缺陷大小和照明角度。有了这些条件栏,才能做第2篇要讲的“逐个改变条件、找出原因”的工作。

总结

不能因为现场数据没有答案就放弃验证。制作已知答案的样本,把答案表和试卷分开,并为每个样本记下条件。正如葡萄酒评审和神秘顾客所示,只要由掌握答案的一方来设计考试,即使在没有答案的现场也能打分。制作试卷的成本,通常比一次失败的试点要小。如果想先看看现有数据中还留有多少答案记录,请一并参考数据状态检查篇。

下一篇将讨论如何确认这份试卷是否像真实问题,以及把合成数据上的分数延伸到实物验证的步骤。


「先用已知答案的假数据来测试」系列
  1. 制作埋好答案的试卷(本文)
  2. 衡量假数据是否像真数据的方法

参考资料