为医疗人工智能系统的攻击做好准备

去年六月，一个团队在哈佛医学院而且麻省理工学院这很简单欺骗人工智能系统yabo2016网上亚博A分析医学图像。研究人员修改了眼睛图像、皮肤照片和胸部x光片中的几个像素，以欺骗深度学习系统，使其自信地将完全良性的图像分类是恶性．

这些所谓的“对抗性攻击”对数据进行了微小的、精心设计的更改(在这种情况下，像素的变化是人类视觉无法察觉的)，以推动算法出错。

这并不是什么好消息，因为医疗人工智能系统只是到达诊所第一个基于人工智能的医疗设备批准以及人工智能系统在诊断方面胜过医生在医疗保健领域。

现在，这个团队与哈佛大学的一位律师和伦理学家合作，在杂志上发表了一篇文章科学提供有关医疗行业何时以及如何干预对抗攻击的建议。

他们想要传达的信息是:等待，但要做好防守的准备。

针对医疗人工智能系统的对抗性攻击非常有可能发生，原因有两个。首先，医生和保险公司有“巨大的动机”来实施这样的攻击，比如IEEE去年六月报道．第二，这很容易做到，正如麻省理工学院本科生在LabSix．事实上，在拍摄痣时，即使只是倾斜相机的角度，也会使算法的诊断从良性美体痣变成恶性皮肤癌。

“这类事情很可能会发生，但仍是假设，”强调说撒母耳Finlayson他是哈佛大学和麻省理工学院的研究生，与哈佛大学生物医学信息学家安德鲁·比姆和伊萨克·科汉共同撰写了这篇论文。

那么，当袭击真的开始时，我们该做些什么呢?

乔纳森·斯特兰，联合创始人哈佛法学院伯克曼·克莱因互联网与社会中心他是互联网的未来以及如何阻止它，他在读团队论文时也有类似的问题。

“我想起了21世纪初的那段时间，当时网络安全漏洞很明显，但还没有被经常利用。”斯特兰告诉亚博真人yabo.atIEEE频谱。他联系了Beam、Kohane和Finlayson，讨论在处理这类攻击时，该领域将如何向前发展。

“我们不应该急于预测新技术可能会发生的每一件可怕的事情，而是应该在我们学习的过程中发布和迭代。”" Float ="left" expand=1 "

一个选择是拖延的原则这个概念表明，“我们不应该急于预测新技术可能发生的每一件可怕的事情，而是应该在我们学习的过程中发布和迭代，”兹特林说。试图预测和预防对医疗人工智能系统的所有可能的对抗性攻击，可能会削弱系统的推出，推迟系统可能带来的好处，比如诊断农村地区缺乏疾病专家的患者。

该领域可以首先提出最佳实践，而不是先发制人地建立广泛的防御，例如在系统启动之前测试漏洞，并在捕获图像时对图像进行散列，以检测任何未来的篡改，然后在攻击出现时进行防御。

Zittrain提供了其他可以采取的步骤:“可以对结果进行一致的审计，将系统的观点与最初训练它的人的观点进行比较，看看它是否会得出奇怪的结论，”他说。“就像对待软件漏洞一样，包含ml的系统的严肃制造商可能会悬赏那些能够证明漏洞的人。”

总体而言，作者认为，医疗保健可能成为现实世界对抗性攻击的“零点”(计算机科学会议上对此进行了大量研究，但在商业产品中并不常见)，但平衡人工智能系统的潜力与漏洞非常重要——这种方法“为恢复能力奠定了基础，而不会导致严重后果”。

“我们对机器学习和人工智能非常乐观，”Finlayson说网上亚博Ayabo2016亚博真人yabo.at．“我们认为它会给世界带来很多好处，我们不想拖延这个进程。”