为什么深度学习如此容易被愚弄?AI研究员正在努力修复神经网络缺陷

DNN模式识别方法,对各种输入正确分类非常成功,包括图像、语音和消费者偏好数据。它们已经成为日常生活的一部分,从自动电话系统到媒体服务用户推荐的方方面面。然而,对输入进行改变——以人类通常察觉不到的微小变化的形式,可能会愚弄神经网络。

来源 / nature 编译 / 张大笔茹、小七 出品 / 公众号“大数据文摘”(ID:BigDataDigest)理论派经授权发布

假设一辆自动驾驶汽车看到停车标志时并没有减速,而是加速驶入了繁忙的十字路口,从而导致了交通事故。事故报告显示,停车标志的表面粘了四个小的矩形标志。这说明一些微小扰动就能愚弄车载人工智能(AI),使其将“停止”一词误读为“限速45”。

目前,此类事件还未发生,但是人为扰动可能影响AI是非常现实的。研究人员已经展示了如何通过粘贴纸来欺骗AI系统误读停车标志,或者通过在眼镜或帽子上粘贴印刷图案来欺骗人脸识别系统,又或者通过在音频中插入白噪声使语音识别系统产生错误判断。

这只是一些攻击AI中领先的模式识别技术——深度神经网络(DNN)的小示例。事实证明,这些方法在正确分类各种输入方面(包括图像、语音和有关消费者偏好的数据)非常成功。从自动电话系统到流媒体服务Netflix上的用户推荐,这都是日常生活中的一部分。对输入进行人类难以察觉的微小更改,就能使周围最好的神经网络发生混淆。

加利福尼亚大学伯克利分校计算机科学博士生Dan Hendrycks表示,在这种不完美的技术中,这些问题比特殊的怪癖更麻烦。像许多科学家一样,他一开始也认为其是DNN的内在缺陷:在训练领域能出色地完成任务,但是一旦进入陌生领域,就会因为各种原因而失效。

这可能会导致严重的问题。越来越多的深度学习系统从实验室走向现实世界,从自动驾驶汽车到犯罪测量和诊断疾病。但是,今年一项研究报告称,恶意添加到医学扫描中的图像可能会使DNN误检测癌症。另一方面,黑客可以利用这些弱点黑掉一个在线AI系统,从而运行自己的代码。

努力寻找问题根源的过程中,研究人员发现了许多DNN失败的原因。位于加利福尼亚山景城的Google的AI工程师François Chollet认为,“DNN的内在缺陷是没有解决办法的。要克服这些缺陷,研究人员需要开发额外的功能来增强模式匹配DNN,例如,使AI能够自己探索世界,自己写代码并保留记忆。“一些专家认为,这将是未来十年AI的研究方向。

现实检验

2011年,谷歌开发了一个可以识别YouTube视频中的猫的系统,随后不久便出现了一波基于DNN的分类系统。加州旧金山Uber AI Labs的高级研究经理,怀俄明大学拉拉米分校的杰夫·克劳恩(Jeff Clune)表示,不明就里的人都在说,“哇,这太神奇了,计算机终于可以理解世界了” 。

但只有AI研究人员知道DNN实际上并不了解世界。它们只是由许多数字神经元组成的,分布在许多上下相互连接的各层网络中的,类似大脑结构的松散模型。

其思想是,原始输入进入底层的特征(例如图像中的像素)会触发其中一些神经元,然后根据简单的数学规则将信号传递到上一层的神经元,每次调整神经元的连接方式,训练DNN网络涉及到将其暴露于大量示例中,以便最终顶层可以提供所需的答案。例如,即使DNN之前从未看到过该图片,也能始终将狮子的图片输出为狮子。

2013年,Google研究员Christian Szegedy和他的同事发布了一份名为“神经网络的有趣特性”的预印本,这是对神经网络在现实应用的第一次检验。以狮子的图像为例,即使改变一些像素,例如在图像里添加图书馆背景,DNN能确认它看到了不同的内容,但是依然能识别图中的狮子。小组称篡改的图像为“对抗样本”。

相关报道:https://www.nature.com/articles/d41586-019-03013-5

参与评论

请输入你的评论!
请在这里输入你的名字