先用已知答案的假数据来测试 — 制作埋好答案的试卷 (1)
验证AI或自动测量系统需要正确答案,但现场数据往往没有答案,人给出的答案也会摇摆。这时可以先做一份事先埋好答案的试卷。第1篇通过葡萄酒评审、神秘顾客、变异测试、合成细胞图像等韩国国内外案例,整理了埋入答案的方法,以及针对不同业务制作试卷的做法。
用没有答案的数据,无法给AI打分。 这种时候,请先做一份埋好答案的试卷。
没有可以对照的答案
AI导入的验证阶段,常常卡在一个地方:没有可以用来核对结果的正确答案。
如果是不良检测AI,过去的照片上需要有“这是不良”的标注,但大多数现场只保留了合格/不合格记录,没有记下哪个部位、为什么不良。如果是单据分类AI,虽然有人工分类的记录,却没人知道那个人的判断对不对。我们在AI验证设计篇中说过“挑选答案已经确定的案例”,但很多业务根本没有这样的案例。
人给出的答案本身也会摇摆,这也是个问题。在美国加州州博览会葡萄酒大赛上,罗伯特·霍奇森(2008)在评委不知情的情况下,把同一瓶倒出的三杯酒混进了30杯酒中。他每年测试65~70名评委,给三杯打出同一奖牌等级内分数的评委,大约只有十分之一。另有约十分之一的评委,给同一款酒打出了从铜牌到金牌的分数。这说明,在把专家判定当作答案之前,先要知道这个答案摇摆得有多厉害。

这个实验值得关注的,与其说是结果,不如说是方法。霍奇森把已知答案的样本悄悄埋进了考试里。既然是同一款酒,就应该得到同样的分数,这个答案他事先就知道。本系列讲的,就是把这种方法搬到AI验证上。第1篇讨论如何制作埋好答案的试卷,第2篇讨论如何让这份试卷值得信任。
埋入答案的方法早已广泛使用
混入已知答案的假样本来测试系统,并不是新方法。
韩国金融业有“神秘顾客”调查。金融监督院(韩国的金融监管机构)让调查员假扮顾客到柜台办理业务,检查销售人员是否按规定进行说明。在2018年对衍生结合证券销售的检查中,调查了29家金融公司的440个网点,结果证券公司平均83.9分、银行平均64.0分(韩语)。监督院知道每个调查员扮演的是什么样的顾客,因此应当向这位顾客说明什么,也是事先确定的。这就是已知答案的假顾客。
软件业有变异测试。故意在代码中埋入小bug,看现有测试能否发现。如果发现不了,说明测试不够。谷歌在2021年的论文中公开了把这种方法接入代码评审、在超过2.4万名开发者和1,000多个项目中运行的结果。相当于做了一份考测试的试卷。
生命科学领域有把答案写在文件名里的图像集。美国博德研究所的BBBC005是用模拟器绘制的19,200张细胞图像,每张有1~100个细胞,并逐级改变失焦模糊程度。细胞数量就写在文件名里,可以直接给计数细胞的算法打分。
| 案例 | 被测试方 | 测试方掌握的答案 |
|---|---|---|
| 葡萄酒评审(霍奇森,2008) | 评委 | 同一瓶的三杯应得同样分数 |
| 神秘顾客(金融监督院,2018) | 销售人员 | 调查员扮演什么顾客、应听到什么说明 |
| 变异测试(谷歌,2021) | 现有测试 | 故意埋进代码的小bug |
| BBBC005(博德研究所) | 计数细胞的算法 | 文件名中写明的细胞数 |
四个案例的共同点只有一个:答案握在测试方手里,被测试方并不知道。
先制作已知答案的数据
验证的第一步,是拿到确切知道答案是什么的数据。在现场数据里找不到,就要自己做。
在研究领域,合成数据已经进入实用阶段。米尔等(2021)用三维图形程序绘制纳米颗粒显微图像来训练模型,仅用合成图像训练的模型在二氧化硅颗粒分割上取得了F1 0.930,用人工标注的真实图像训练的模型为0.950。无需人一张张描轮廓,就达到了几乎相同的水平。吴恩达也在IEEE Spectrum的访谈中说,当某类缺陷上性能偏低时,制作合成数据可以更有针对性地解决这个问题。

放到中小企业的业务中,并不需要多么复杂。已知尺寸的样品零件、故意做错的报价单、事先定好分类答案的几十条虚拟投诉,就足以起步。关键不在于数据量,而在于答案握在自己手里。
容易制作试卷的业务
不同业务,埋入答案的方法如下:
- 文档识别(OCR)与单据录入:制作事先定好金额、日期、交易方的虚拟报价单和收据,打印后扫描或用手机拍照输入。故意加入褶皱、倾斜和模糊的印章
- 客户咨询分类:参照以往咨询,写出分类明确的虚拟咨询,但要按实际比例加入错别字、缩略语和混有两个诉求的句子
- 不良检测:在样品零件上故意制造已知大小和位置的缺陷,或在正常品照片上合成缺陷形状
- 异常交易与舞弊检测:在正常交易记录中埋入几条违规案例,统计能找出多少条
无论哪种情况,都必须把答案表与试卷分开保管。答案一旦混进AI的输入,就不是考试而是默写了。
答案表上要记什么
答案表不只是记对错的表。为了日后找出是什么拉低了分数,还要把每个样本的条件一并记下。单据要记倾斜和褶皱程度,咨询要记错别字数量和混了几个诉求,零件要记缺陷大小和照明角度。有了这些条件栏,才能做第2篇要讲的“逐个改变条件、找出原因”的工作。
总结
不能因为现场数据没有答案就放弃验证。制作已知答案的样本,把答案表和试卷分开,并为每个样本记下条件。正如葡萄酒评审和神秘顾客所示,只要由掌握答案的一方来设计考试,即使在没有答案的现场也能打分。制作试卷的成本,通常比一次失败的试点要小。如果想先看看现有数据中还留有多少答案记录,请一并参考数据状态检查篇。
下一篇将讨论如何确认这份试卷是否像真实问题,以及把合成数据上的分数延伸到实物验证的步骤。
「先用已知答案的假数据来测试」系列
- 制作埋好答案的试卷(本文)
- 衡量假数据是否像真数据的方法
参考资料
- Hodgson RT, An Examination of Judge Reliability at a major U.S. Wine Competition, Journal of Wine Economics (2008)
- 비즈니스워치, 금감원 파생결합증권 미스터리쇼핑 결과 (2018)(Business Watch,金融监督院衍生结合证券神秘顾客调查结果,韩语)
- Petrović G 等, Practical Mutation Testing at Scale: A view from Google (2021)
- Broad Institute, BBBC005 合成细胞图像集
- Mill L 等, Synthetic Image Rendering Solves Annotation Problem in Deep Learning Nanoparticle Segmentation (2021)
- IEEE Spectrum, Andrew Ng: Unbiggen AI (2022)