在深度学习系统中隐藏偏见太容易了

如果你在脸谱网，点击“为什么我看到这个广告?”答案看起来像是“[广告商]想要接触到可能与他们的客户相似的人”或“[广告商]试图接触到18岁及以上的人”或“[广告商]试图接触到主要地点在美国的人”。哦，你还会看到“这里可能还有更多没有列出的因素。”这些解释开始出现在Facebook上，以回应人们对该平台投放广告的人工智能(AI)系统的抱怨。网上亚博Ayabo2016对于许多人来说，这是他们第一次遇到日益增长的可解释人工智能(XAI)趋势。

但这些解释有些地方让人无法接受Oana Goga他是该研究所的一名研究员格勒诺布尔信息学实验室在法国。所以她和她的同事们进行了编码AdAnalyst这是一个浏览器扩展，可以自动收集Facebook的广告解释。Goga的团队自己也成为了广告商。这使得他们能够向运行AdAnalyst的志愿者投放广告。其结果是:“解释往往是不完整的，有时是误导性的，”他说艾伦•梅丝洛夫， Goga的合作者之一东北大学在波士顿。

当广告商在Facebook上发布广告时，他们会从一个庞大的兴趣列表中进行选择，以锁定他们想要查看广告的人群。“你可以选择那些对足球感兴趣的人，他们住在蔚蓝海岸，他们也在这所大学就读，他们也喜欢喝酒，”戈加说。但Facebook提供的解释通常只提到一种兴趣，而且是最普遍的一种兴趣。Mislove认为，这是因为Facebook不想显得令人毛骨悚然;该公司拒绝对本文发表评论，因此很难确定。

谷歌和Twitter的广告也有类似的解释。这三家平台可能都希望通过这种透明的姿态来减轻用户对他们使用的神秘广告算法的怀疑，同时掩盖任何令人不安的做法。也许他们真的想让用户对他们看到的广告有一点控制权——解释弹出窗口为用户提供了一个改变他们兴趣列表的机会。在任何情况下，这些特性可能是用于解释其他算法的最广泛部署的算法示例。在这种情况下，被揭示的是为什么算法选择一个特定的广告给你看。

我们周围的世界越来越多地被这样的算法编排。他们决定你看什么样的广告、新闻和电影推荐。他们还帮助做出更重大的决定，决定谁能得到贷款、工作或假释。在不久的将来，它们可能会决定你将接受什么样的医疗治疗，或者你的汽车将如何在街道上行驶。人们希望对这些决定做出解释。透明度允许开发人员调试他们的软件，最终用户信任它，监管机构确保它的安全和公平。

问题是，这些自动化系统变得如此复杂，以至于通常很难弄清楚它们为什么会做出某些决定。因此，研究人员开发了用于理解这些决策自动化的算法，形成了可解释人工智能的新子领域。

2017年，美国国防高级研究计划局启动了7500万美元的项目新品项目．自那以后，要求这种透明度的新法律如雨后春笋般涌现，其中最著名的是欧洲一般保障资料规例该法案规定，当组织使用个人数据进行“自动化决策，包括分析”时，它们必须披露“有关所涉及逻辑的有意义的信息”。制定这些规则的动机之一是担心黑箱系统可能隐藏了非法或令人讨厌的歧视性做法的证据。

全球思维，本地行动:人们有时会寻求全球解释(黑色)，这描述了AI“黑盒子”是如何工作的。然而，更多的时候，他们只寻求局部的解释，这些解释描述了为什么一组特定的输入会导致特定的输出(红、蓝、绿)。插图:Spectrum Staff

因此，XAI系统的需求很大。更好地监管决策算法肯定是一件好事。但是，即使人们普遍需要解释，一些研究人员担心，自动决策系统可能看起来是公平的，但实际上它们根本就不公平。

例如，一个评估贷款申请的系统可能会告诉你，它是根据你的收入和年龄做出决定的，而实际上，最重要的是你的种族。这种偏见可能会产生，因为它反映了用于训练人工智能的数据中的相关性，但必须将其排除在决策算法之外，以免它们的行为延续过去的不公平做法。

挑战在于如何根除这种不公平的歧视形式。虽然排除申请人的种族、性别或宗教信仰信息很容易，但这通常是不够的。例如，研究表明，名字在非裔美国人中很常见的求职者接收更少的回调，即使他们拥有与其他人相同的资格。

一个计算机化的résumé-screening工具很可能表现出同样的种族偏见，即使申请人从来没有看到种族复选框。这个体系可能仍然存在种族偏见;它只是不会“承认”它是如何工作的，而是会提供一个更令人接受的解释。

不管算法是否显式使用受保护的特点例如种族，解释可以被专门设计来隐藏有问题的歧视形式。一些人工智能研究人员将这种口是心非描述为一种“公平洗涤”形式:将可能不公平的算法描述为公平的。

这种欺骗系统是普遍还是罕见尚不清楚。它们可能已经存在，但隐藏得很好，或者使用它们的动机不够强大。没有人真正知道。不过，显而易见的是，越来越复杂形式的人工智能的应用将使识别此类威胁变得越来越困难。

没有公司会希望被认为是在延续陈旧的思想或根深蒂固的社会不公正。因此，一家公司可能会犹豫是否要分享其决策算法的具体工作原理，以避免被指责为不公平的歧视。公司也可能不愿为所做的决定提供解释，因为这些信息会让外人更容易对他们的专有系统进行逆向工程。辛西娅·鲁丁他是哈佛大学的计算机科学家杜克大学他说，“对信用评分的解释令人难以满意得可笑。”她认为信用评级机构故意模糊其基本原理。“他们不会确切地告诉你他们是如何计算的。这就是他们的秘密武器，对吧?”

还有一个谨慎的原因。一旦人们逆向设计了你的决策系统，他们就能更容易地利用它。事实上，一个被称为“搜索引擎优化”的巨大行业就是围绕着这样做而建立的:对网页进行表面上的修改，使其上升到搜索排名的顶端。

那么，为什么一些使用人工智能决策的公司如此热衷于提供解释呢?Umang Bhatt他是麻省理工大学的计算机科学家剑桥大学和他的合作者采访了50位科学家、工程师和高管在30个组织中找到答案。他们了解到，一些高管要求他们的数据科学家加入解释性工具，这样公司就可以声称自己使用的是透明的人工智能。数据科学家没有被告知这是为谁准备的，需要什么样的解释，或者为什么公司打算开放。巴特说:“从本质上讲，高层喜欢这种可解释性的说辞，而数据科学家则争先恐后地想办法实现它。”

这些数据科学家给出的解释形式各异，但大多数都可以归为两类:对基于人工智能的系统如何总体运行的解释，以及对特定决策的解释。它们分别被称为全局解释和局部解释。两者都可以被操纵。

乌尔里希Aivodji在Université du Québec他和他的同事展示了如何修改全球解释，使其看起来更好。他们使用了一种算法，他们称之为(足够适合这种公平清洗)LaundryML要研究一个内部工作过于复杂，人无法轻易分辨的机器学习系统。研究人员将LaundryML应用于研究XAI时经常使用的两个挑战。第一个任务是根据14个个人特征来预测某人的收入是否超过5万美元(可能使该人成为一个好的贷款候选人)。第二项任务是根据罪犯的12个特征，预测他出狱后两年内是否会再次犯罪。

与通常用于生成解释的算法不同，LaundryML包含某些公平性测试，以确保解释(原始系统的简化版本)不会优先考虑性别或种族等因素来预测收入和累犯率。使用LaundryML，这些研究人员能够提出简单的规则列表，这些规则列表看起来比原始的有偏见的系统公平得多，但给出的结果基本上相同。令人担忧的是，企业可能会提供这样的规则清单作为解释，以证明它们的决策体系是公平的。

另一种解释机器学习系统整体操作的方法是展示其决策的抽样。去年2月，东京大学的一名研究人员Kazuto Fukuchi理研中心高级智能项目他和两名同事描述了一种方法从以前的决策中选择一个子集，使样本在试图判断系统是否不公正的审计员看来具有代表性。但巧妙选择的样本符合某些公平标准，而整个决策集却没有。

组织需要来他们对个人决策的解释多于对系统总体运作方式的解释。其中一项技术依赖于XAI研究人员所谓的注意力，它反映了决策系统的部分输入(例如résumé中的单个单词)和输出(申请人是否合格)之间的关系。顾名思义，注意力值被认为是表明最终判断对某些属性的依赖程度。但圣扎迦利利普顿的卡内基梅隆大学他的同事对注意力的整个概念提出质疑．

这些研究人员训练了各种神经网络来阅读医生的短篇传记，并预测哪些人擅长外科手术。研究人员确保网络不会将注意力分配到表明个人性别的词语上。如果只考虑注意力，那么这些网络似乎并没有基于性别的歧视。但奇怪的是，如果像“女士”这样的词从传记中删除，准确性就会下降，这表明网络实际上仍然在用性别来预测一个人的专业。

“人们的关注一开始告诉了我们什么?”立顿问道。他认为，对注意力指标实际含义的不明确为欺骗提供了空间。

约翰内斯·施耐德在列支敦士登大学最近还有其他的描述了一个系统它会检查它做出的决定，然后为改变(不正确)的决定找到一个合理的理由。分类互联网电影资料库（IMDb)电影评论是积极的还是消极的，一个忠实的模型将一个评论归类为积极的，并通过突出“令人愉快”和“赞赏”等词来解释自己。但是施耐德的系统可以将相同的评论标记为负面，并在断章取义时指出那些看起来像是骂人的话。

另一种解释自动决策的方法是使用一种研究人员称之为输入扰动的技术。如果您想了解哪些输入导致系统批准或拒绝贷款，您可以用以各种方式修改的输入创建贷款申请的多个副本。也许一种说法认为申请人性别不同，而另一种说法认为收入略有不同。如果您提交所有这些申请并记录判断，您就可以找出哪些输入具有影响力。

这可以为一些神秘的决策系统如何运作提供一个合理的解释。但是一组研究人员在哈佛大学由Himabindu Lakkaraju制定了一个决策系统吗检测此类探测并相应地调整输出。在测试时，系统会保持最佳状态，忽略种族或性别等限制因素。在其他时候，它会回到固有的偏见。该研究的作者之一索菲·希尔加德(Sophie Hilgard)将这种方案的使用(到目前为止只是一个理论上的问题)比作什么大众确实做到了为了检测汽车何时进行排放测试，可以暂时调整发动机参数，使尾气比正常情况下更清洁。

解释判断的另一种方法是输出一个简单的决策树:一个if-then规则列表。不过，这棵树并没有总结整个算法;相反，它只包括用于做出有问题的决定的因素。2019年，Erwan Le Merrer和Gilles Trédan法国国家科学研究中心描述了一种方法它以一种欺骗性的方式构建这些树，这样它们就可以用看似客观的术语来解释信用评级，同时隐藏了系统对申请人性别、年龄和移民身份的依赖。

无论这些欺骗已经或将会被使用是一个悬而未决的问题。也许某种程度上的欺骗已经很普遍了，就像解释广告如何定位的算法一样。列支敦士登大学的施耐德说，现在的欺骗可能没有那么明目张胆，“只是有点误导。”此外，他指出，目前要求解释的法律并不难满足。“如果你需要提供一个解释，没有人会告诉你它应该是什么样子。”

尽管XAI可能存在欺诈，但杜克大学的鲁丁对如何应对潜在问题持强硬态度:她认为，我们不应该依赖任何需要解释的决策系统。她倡导的不是可解释的人工智能，而是可说明的人工智能算法本质上是透明的。“人们真的很喜欢他们的黑匣子，”她说。“对于我见过的每一个数据集，你都可以得到一个和黑匣子一样准确的可解释(系统)。”与此同时，她说，解释可以诱导更多的信任，而不是必要的:“你会说，‘哦，我可以使用这个黑盒子，因为我可以解释它。因此，这是可以的。使用起来很安全。’”

有一种观点认为，透明度会让这些系统更容易被欺骗?鲁丁不信。她断言，如果你能玩弄它们，那它们只是糟糕的系统。以产品评级为例，你需要透明度。当评级算法由于其复杂性或需要保密而变得不透明时，所有人都会遭难:“制造商试图设计出一辆好车，但他们不知道好质量意味着什么，”她说。她补充说，人工智能的发展并不需要保护知识产权的私有能力，至少对于高风险的应用来说是这样。如果被迫公开自己的算法，一些公司可能会失去兴趣，但填补这一空白的公司并不缺少。

卡内基梅隆大学的利普顿不同意鲁丁的观点。他说，在许多任务中，深度神经网络——最黑的黑匣子——仍然需要优化性能，尤其是那些用于图像和语音识别的任务。因此，对XAI的需求一直存在。但他表示，具有欺骗性的XAI的可能性指出了一个更大的问题:即使在没有被操纵的情况下，解释也可能具有误导性。

最终，人类必须评估他们使用的工具。如果一个算法突出了我们自己在做决策时考虑的因素，我们可能会认为它的标准是可以接受的，即使我们没有获得额外的见解，即使解释不能说明全部情况。没有单一的理论或实践方法来衡量解释的质量。“这种概念上的模糊提供了一个真正的误导机会，”利普顿说，即使我们人类只是在误导自己。

在某些情况下，任何解释的尝试都可能是徒劳的。利普顿认为，希望我们能够理解一些复杂的人工智能系统在做什么反映了拟人主义，而这些系统实际上应该被认为是外星智能——或者至少是深奥的数学函数——其内部工作原理本质上超出了我们的理解。他说，如果问系统如何思考，“只有错误的答案。”

然而，解释对于调试和加强公平性是有价值的，即使它们不完整或具有误导性。借用一句有时用于描述统计模型的格言:所有的解释都是错误的——包括解释AI黑盒如何工作的简单解释——但有些是有用的。

本文发表在2021年2月的印刷版上，题为“Lyin’AIs”。