谁蒙住了计算机的“眼睛”

2018-03-07  来源：  中国青年报

对抗样本案例：一张小狗图片加上不同程度的“扰动”后，被肉眼识别为猫的概率不同。

对抗样本案例：加上了“扰动”的熊猫图片被计算机识别为长臂猿。

　　一辆无人驾驶汽车正在行驶，经过“最高时速60公里”的标志后，它竟忽然提速。车内乘客并不知道，那一刻，无人驾驶汽车把标志看错成“最高时速120公里”。

　　人工智能没有“近视眼”。如今，计算机“看世界”的能力，在很多领域甚至超过人眼。看似强大的机器有着“阿喀琉斯之踵”。2014年初，当时还在加拿大攻读博士学位的伊恩·古德费洛和同事发现了一个“秘密”。准确率逼近百分百、“看”速飞快的计算机存在着致命的漏洞。

　　研究者针对“漏洞”精心设计“障眼法”，故意引发计算机错误输出读图结果，这种“障眼法”被命名为对抗样本（adversarial sample）。

　　想“算计”无人驾驶汽车，只需给原来的交通标志图像加上一层人眼不可见的细微改动。经美国非营利组织OpenAI等机构的研究者证实，这种引发危险的操作能够实现。

　　人类双眼不太容易犯这种错误。能影响计算机“视觉”的对抗样本不影响人类对同样的视觉对象作出判断。对抗样本可以成为绑在计算机身上的“定时炸弹”。

　　因提出对抗样本而出名的伊恩·古德费洛，眼下正积极寻求打败对抗样本的办法。只不过在近4年时间里，他还没有获得成功。

　　“对抗样本”能够被用来操纵人类

　　伊恩·古德费洛向人类提出了一个问题：当一张蜘蛛的照片摆在你眼前，你确定自己能分清楚那是蜘蛛还是蛇吗？

　　研究者在蜘蛛的照片上加上“噪声”，就足以迷惑计算机的“眼睛”。只不过这些噪声不是随机生成的，而是一种精心构造的复杂函数。对攻击者而言，要误导计算机把蜘蛛看成蛇，那么它深色的圆形躯干、八只脚、吐出的丝都可以被“加以利用”。

　　这张图片就被称为对抗样本。通俗地说，这是一种“人眼看着一样但是计算机算法会分类错误”的图像，并且它是被人为构造出来的。

　　在人眼和大脑的精妙配合下，即便是幼童也很容易区分八只脚的蜘蛛和没有脚的蛇。

　　不过，古德费洛最新的实验可以对人类稍加打击。他在arXiv最新发布的研究成果显示，人也会将蜘蛛错认为蛇，对抗样本也可能欺骗人类。

　　参与实验时，受试者会被带到一间光线较暗的房间，面对高清晰度的电脑屏幕，屏幕距离人眼61厘米，按键器摆放在手边。受试者需要对屏幕上的图片作出二选一的抉择——图中事物是猫还是狗、是卷心菜还是西兰花、是蜘蛛还是蛇。

　　难度来自两方面。首先，受试者不知道自己看到的图像是原始图片还是对抗样本。人类原本无法察觉这些细微扰动，但是古德费洛在对抗样本上加上了视觉“仿生层”。原本清晰的图片叠加了一层带有明显人工痕迹的、令人眼花的纹理，物体的部分边缘、暗部的细节都出现了人眼可见的细微变化。

　　另一重困难来自时间。当漆黑的屏幕上出现一个“十”字时，受试者就要紧张起来。因为接下来的图片仅会出现60～70毫秒，还不到0.1秒。

　　稍纵即逝的图片搭配人为干扰——不起眼的变化就能使人眼犯错。即便在准确率最高的“蜘蛛与蛇”组别中，人眼的错判率也接近30%。

　　“计算机视觉相当于人类视觉的初级处理。”NIPS2017AI 对抗性攻防竞赛（全球首个关于对抗样本的国际性比赛）的冠军组成员庞天宇对中国青年报·中青在线记者表示，这两项对于人类而言稍显苛刻的条件，正是计算机“看”的日常。

　　在现实世界中，人识别图像用时通常不会如此短暂。有人对古德费洛的最新研究提出质疑，认为将研究对象选为短时间的观察者可能是无意义的。但是在庞天宇看来：“人工智能和传统领域的区别在于，大家（研究者）都不清楚哪个方向才是真正正确的方向，都是不断摸索前进的。如果一篇文章能告诉你应该朝哪个方向研究，这就很有意义。”

　　对古德费洛团队而言，该研究只是一个开始。他在论文中提示了这样一种风险：“‘对抗样本’能够被用来巧妙地操纵人类。”

　　计算机会把熊猫看作长臂猿

　　当计算机应用古德费洛写出的脚本、第一次将猫识别为飞机时，他以为自己写错了代码。

　　在斯坦福大学的一次公开课上，古德费洛讲道，在目标识别、人脸识别等方面，计算机已经达到了人类水平。在识别照片上的模糊字体时，它的能力比人还强。如果仅看输出结果，面对小小的图形验证码，已经无法区分是人还是机器在作答。

　　“在2013年以前，计算机犯错是常态而不是例外。算法在大部分情况下效果还不错，对抗样本不会成为一个正经的研究主题。”古德费洛说。不过，随着算法的能力突飞猛进，对抗样本再被摆在研究者眼前时，已是这个领域最热门的话题之一。

　　“它的产生原因是一个研究热点，说法还比较多。”根据庞天宇的介绍，在人类对图像进行分类时，人会综合颜色、形状、周边环境等多种细节，并根据已有的知识进行判断。人脑的结构非常复杂，并不会像计算机那么机械。而计算机没有真正的眼睛，也没有精妙复杂的大脑。计算机需要把图像的所有信息全部解构成数据，输进模型，给出是与非的答案。当计算机经历过的训练样本还很有限时，就容易出现错误。比如，计算机会把基于熊猫生成的对抗样本看作长臂猿，又会把海龟当成来福枪。

　　针对计算机视觉的研究由来已久。在上世纪90年代，计算机就能进行手写字符的识别与分类，并在美国的银行中投入使用。不过，真正的大发展是从2012年开始，伴随着卷积神经网络（CNN）的突破和大数据的应用，图像识别才获得了惊人的准确率。

　　直到一年多以后，同样令研究者感到惊讶的对抗样本被发现。看正常样本准确率近乎完美的计算机，在面对对抗样本时却正确率趋零。

　　“那时候的人工智能就像在高速公路上飞驰的汽车。所有人都在一门心思研究如何能让汽车跑得更快，但是突然有个人出现说，兄弟，你这样太不安全。”庞天宇说，“对抗样本的出现就像给高速路上的汽车敲响了警钟，提醒它该加装安全带了。”

　　这还是一个难题。截至目前，提出防御方案的人很多，但是能完全防御对抗样本的模型尚未出现。

　　“战争”的到来或许只是时间问题

　　2017年冬天，在古德费洛举办的那场对抗样本攻防大赛中，董胤蓬也是冠军团队的成员。他告诉中国青年报·中青在线记者，团队3人历时两个月才完成了攻击和防守两方面的工作。准备过程中，他们不知道对手会采用何种攻击方式，也不知道为了防范他们的攻击，对手会构筑怎样的堡垒。

　　与比赛相比，现实世界更难预知。相同的是，“敌人”在暗处。对抗样本只是那柄高悬的“达摩克利斯之剑”闪现的锋芒，对人工智能的恶意攻击宛如一个巨大的黑箱，没人知道“攻击”什么时候到来，来时是什么样。

　　人们唯一知道的，是他们的算法还不够强健，计算机安全性仍存在明显缺陷。

　　古德费洛在最新的论文中写道：“一个耐人寻味的现象是，对抗样本通常可以从一个模型迁移到另一个……”攻击者不管知不知道你的算法，都能发起进攻。

　　研究者证实，物理世界的对抗样本攻击是可行的。最近处于风口上的智能车就是最典型的案例。有学者表示，如果自动驾驶时代来临，街道上的停车、减速等标志被蒙上了对抗样本，可能引发严重的后果。

　　庞天宇表示：“不管是看X光片还是道路交通标志，这些图形的底层模型都很相似，所以基本都可以受到攻击。”

　　近来，古德费洛在社交网络中频频转发关于网络安全的文章，并常常进行相关演讲。在谷歌大脑团队对他的介绍中，他的一个重要的研究方向就是互联网隐私与安全。当他找到机器学习中的漏洞后，正在利用自己的影响力，呼吁更多人致力于开发解决方案。他的做法，在牛津大学等机构推出的《人工智能恶意使用报告》中，被称为“高级”对策之一。

　　技术专家也在使用对抗样本来训练他们的模型，以便让计算机的“目光”变得更加“犀利”，判断更加准确。庞天宇介绍，对抗样本的研究历程“相当于一个相互博弈的过程，一个强的攻击能逼出强的防御，反过来又促进攻击升级”。（胡宁）