黑客争相破解面部识别系统

面部识别技术在我们的生活中越来越普遍，但它也非常容易受到攻击。这就是为什么一组研究人员呼吁黑客们参加一项新的比赛，旨在揭露面部识别的缺陷，提高人们对潜在风险的认识。

的机器学习安全规避大赛一直是固定的人工智能村在Def Con2019年开始的黑客大会。早期的迭代要求研究人员绕过基于机器学习的恶意软件检测系统的防御。2021年，组织者增加了一条新赛道，旨在发现使用视觉线索检测钓鱼网站的计算机视觉模型中的缺陷。

但今年的比赛也将让黑客与人脸识别系统要求他们修改名人的照片，这样机器学习模型就会错误地识别出他们。Zoltan Balazs他是一家软件公司漏洞研究实验室的负责人库乔AI成功比赛的组织者之一，他说，增加这项功能是为了应对面部识别应用的迅速扩大，以及许多供应商在安全方面似乎松懈的做法。

他说:“我们真的希望我们比赛的结论之一是，当人们使用面部识别系统时，应该特别注意。”“因为他们并不完美。后果可能很糟糕。”

面部识别挑战是由人工智能安全公司Adversa人工智能该公司清楚地知道这类机器学习模型有多脆弱。该公司定期进行“红队”演习，即被其他公司雇佣来测试他们的机器学习系统的安全漏洞。

网络上有越来越多的工具可供黑客用来进行这类攻击，Adversa CTO说尤金Neelou在现实世界中，已经有一些例子表明人们利用了面部识别系统的弱点。骗子最近做到了欺骗面部识别软件身份验证公司使用的ID。我来核实假驾照，这是一个250万美元失业欺诈计划的一部分，在中国，犯罪分子成功做到了洗钱7700万美元通过使用篡改过的照片来欺骗当地税务机关使用的软件。

“对于有足够动机的攻击者来说，这是非常容易和快速的，”Neelou说。“我们的经验表明，一些最好的面部识别供应商对对抗性输入修改几乎没有安全性。”

组织者希望他们的比赛能够突出当前人们对面部识别的担忧。获胜者还被要求公布其技术，这将有助于该行业缩小潜在差距。比赛于8月12日开始，将持续到9月23日。参赛者将获得一组10张知名名人的头像，并可以在线使用经过训练的面部识别模型来识别这些名人。

攻击者被指示巧妙地改变图像，以便模型错误地识别它们。他们的目标是欺骗系统，让系统把每个名人都识别成其他名人，这意味着为每个头像创建9张修改过的图片。然后，这些数据需要提交给比赛组织者，由他们来评估欺骗的效果。

判断每张图像最重要的标准是模型接受新身份的信心。这是由模型给出图像的概率分数来判断的，范围从0到1。图像还将根据修改的“隐蔽性”进行评级，换句话说，就是它们被发现的难易程度。这将根据原始图像和篡改图像之间的水平结构相似性来判断，但只有当团队的信心得分相同时，才会被用作决胜局。

参赛者如何编辑图片取决于他们自己。虽然可以手动修改它们，但Neelou说，对机器学习系统的攻击通常使用自动化过程。在大多数情况下，黑客对他们所瞄准的模型一无所知，因此会提交数百或数千张图像，并使用模型的反馈来迭代他们的修改。如果他们能收集一些关于模型的信息，他们的工作就会变得更加容易，因为他们可以根据模型的特殊性来调整方法。

“针对神经网络的不同内部特征，有各种各样的策略，”Neelou说。“一种攻击技术可能对一个网络是最好的，对另一个网络是最差的。这就是为什么没有放之四海而皆准的攻击，但只要有足够的时间，每个人工智能系统都可以被黑客入侵。”

Neelou说，面部识别开发者可以做很多事情来保护他们的模型。像对抗性再训练这样的技术，在这种技术中，模型被重新训练以发现篡改的图像，攻击检测，甚至像限制人们将数据输入模型的次数这样简单的事情都可以提供帮助。

但Neelou说，这个行业真正需要的是一个根本性的思维转变，这样在开发过程的早期就考虑到安全问题，而不是在最后才加标签。他说:“人工智能容易受到攻击的主要原因是，人工智能从来没有考虑到安全性。与许多技术一样，安全性是事后才考虑的。”