这个人工智能可以识别艺术赝品

声音必须那些香槟酒瓶塞噼里啪啦响的声音让你耳聋吗佳士得于2017年11月15日在英国拍卖公司拍卖。耶稣的肖像，被称为该画(拉丁语，意为“世界的救世主”)，刚刚在纽约佳士得以4.503亿美元的价格售出，成为迄今为止最昂贵的转手画作。

但就在木槌落下之时，仍有持续的怀疑者齐声表示怀疑。这真的是画家画的吗莱昂纳多·达·芬奇他是文艺复兴时期的杰出大师，这是一个专家小组六年前做出的决定吗?50多年前，一名路易斯安那州男子在伦敦以仅45英镑的价格买下了这幅画。在重新发现之前该画在美国，自1909年以来就没有发现过达·芬奇的画作。

一些持怀疑态度的专家质疑这幅作品的来源——销售和转让的历史记录——并指出这幅严重受损的画作经过了大规模的修复。其他人看到的是达芬奇众多作品中的一幅protégés，而不是大师本人的作品。

在相互矛盾的专家意见和不完整的证据中，有可能确定一件艺术品的真伪吗?科学测量可以确定一幅画的年代并揭示地下细节，但它们不能直接确定它的创作者。这需要对风格和技巧做出微妙的判断，而这似乎只有艺术专家才能做到。事实上，这项任务非常适合计算机分析，特别是神经网络——擅长分析模式的计算机算法。卷积神经网络(cnn)是用来分析图像的，已经在广泛的应用中得到了很好的应用，包括识别人脸和帮助驾驶自动驾驶汽车。为什么不用它们来鉴定艺术品呢?

作者将他的神经网络应用于伦勃朗的这幅画(上)，一幅以前被认为是伦勃朗的画(中)，还有达芬奇的《救世主》(下)。热颜色表示分类器确定与该作品相关的艺术家极有可能绘制的区域。概率图:Steven和Andrea frank

这是我在2018年问我的妻子安德烈亚·m·弗兰克(Andrea M. Frank)的问题，她是一名专业的艺术图像策展人。虽然我职业生涯的大部分时间都在做知识产权律师，但我对在线教育的痴迷最近在一所大学的人工智能研究生证书上达到了顶峰网上亚博Ayabo2016哥伦比亚大学．安德烈正在考虑退休。所以我们一起接受了这个新的挑战。

我们从回顾用神经网络分析绘画的障碍，并立即识别出最大的障碍。首先是尺寸:一幅绘画的高分辨率图像对于传统的CNN来说太大了。但是较小的图像，适合cnn的大小，可能缺乏信息来支持所需的识别。另一个障碍是人数。神经网络需要数千个训练样本，远远超过即使是最多产的艺术家一生所能创作的绘画数量。计算机在解决绘画真伪争议方面贡献甚微，这并不奇怪。

尺寸问题并不是艺术图像独有的。病理学家用来诊断癌症和其他疾病的数字化活检切片也包含大量像素。医学研究人员通过将这些图像分解成更小的碎片(例如方形瓷砖)，使其更容易被cnn处理。这样做也可以帮助解决数字问题:你可以从一张图像中生成大量的训练块，特别是如果你允许它们垂直和水平重叠的话。当然，每个贴图中的大部分信息都是冗余的，但事实证明，这没有拥有大量贴图重要。通常在训练神经网络时，数量是质量。

我们认为，如果这种方法也适用于艺术，那么下一个问题将是确定使用哪些瓷砖。该画有丰富的图像信息的区域，也有很少的视觉兴趣的背景区域。为了训练目的，这些低信息区域似乎相关性不足——或者更糟:如果它们缺乏作者的标志性特征，因为达芬奇在它们上面花了很少的时间，或者如果许多艺术家倾向于将简单的背景区域渲染得难以区分，基于这些区域的训练可能会误导CNN。它区分有意义的区别的能力将受到影响。

我们需要某种标准来帮助我们识别视觉上显著的瓷砖，计算机可以自动一致地应用这些瓷砖。我认为信息论可能会提供一个解决方案，或者至少指明了方向。当我提出数学问题时，安德里亚的眼睛开始呆滞。但克劳德·香农他是这一领域的先驱，是一个骑独轮车的制造商，生产喷火小号和火箭驱动的飞盘。能有多糟呢?

的概念是信息论的一个堡垒熵．当大多数人想到熵的时候，如果他们想到熵的话，他们想象的是事物分裂成无序。不过，香农认为它是通过一条线发送信息的效率有多高。消息包含的冗余越多，就越容易压缩，发送它所需的带宽就越少。可以高度压缩的消息具有低熵。另一方面，高熵信息不能被压缩，因为它们具有更多的唯一性，更多的不可预测性，更多的无序性。

克劳德·香农(Claude Shannon)是信息论的先驱，他骑着独轮车，制造喷火喇叭和火箭驱动的飞盘。

像信息一样，图像也携带信息，它们的熵同样表明了它们的复杂程度。一个全白(或全黑)的图像具有零熵——当你可以说“全黑”或“全白”时，记录大量的1或0是完全多余的。尽管棋盘在视觉上比单对角线条更繁忙，但从可预测性的角度来看，它并没有更复杂，这意味着它的熵只多一点。然而，一幅静物画的熵比两者都要大得多。

但是把熵看作是一个错误量图像中的信息，即使很小的图像也有很高的熵。相反，熵反映了多样性图像信息的。作为团队中对数学不过敏的人，我突然想到，在努力消除背景和其他视觉单调区域时，我们可能会排除低熵的瓷砖。

我们的冒险是从这位荷兰大师的肖像画开始的伦布兰特伦勃朗(Rembrandt Harmenszoon van Rijn)，他的作品一直是几个世纪以来归属争议的主题。训练CNN识别真迹伦勃朗显然需要一个数据集，其中包括伦勃朗的一些画作和其他人的一些画作。但是，将这些数据集合起来是一个难题。

如果我们选择50幅伦勃朗的肖像画和50幅随机选择的其他艺术家的肖像画，我们可以训练一个系统来区分伦勃朗和，比如说，毕加索但不是来自伦勃朗的学生和崇拜者(更不用说伪造者了)。但如果我们训练集中所有非伦勃朗的图像看起来都太像伦勃朗，CNN就会过度拟合。也就是说，它不能很好地泛化超出它的训练范围。所以安德里亚开始编制一个非伦勃朗作品的数据集，从一些非常接近伦勃朗作品的作品到那些令人想起伦勃朗的作品，但很容易与真实的作品区分开来。

然后我们需要做出一些额外的选择。如果我们要把伦勃朗的画切成小块，只保留那些有足够高熵的，熵的边界应该是什么?我怀疑一个贴图至少应该有和整个图像一样多的熵，才能可靠地对分类做出贡献。这种直觉在实践中被证明是正确的，它将熵阈值与绘画的特征联系在一起，这显然会因作品的不同而有所不同。这是一个很高的门槛——通常只有不到15%的瓷砖符合条件。但如果这导致的结果太少，我们可以增加相邻瓷砖之间的重叠，以获得足够的瓷砖种群用于训练目的。

低概率区域并不能确定是另一只手的作品。它们可能来自艺术家大胆的、不符合性格的实验——甚至只是糟糕的一天。

这种基于熵的选择结果在直觉上是有意义的——实际上，通过测试的瓦片就是你自己可能会选择的瓦片。通常情况下，他们捕捉到的特征是专家在判断一幅画的作者时所依赖的。在这种情况下该画在《圣经》中，所选的瓷砖覆盖了耶稣的脸、侧卷和祝福的手——学者们在争论这幅画的作者时，最激烈的争论正是这些属性。

接下来要考虑的是瓷砖大小。在标准硬件上运行的常用cnn可以轻松处理从100 × 100像素到600 × 600像素的图像尺寸。我们意识到，使用小瓦会将分析限制在细节上，而使用大瓦会有将CNN过度拟合到训练数据的风险。但只有通过训练和测试，我们才能确定特定艺术家的最佳瓷砖尺寸。对于伦勃朗的肖像画，我们的系统最好使用450 × 450像素的瓷砖(大约是主体脸的大小)，所有绘画图像缩放到相同的分辨率。

我们还发现简单的CNN设计比更复杂(更常见)的设计效果更好。所以我们决定使用只有五层的CNN。Andrea精心选择的数据集包括76张伦勃朗和非伦勃朗画作的图像，我们将它们以四种不同的方式分为51张训练图像和25张测试图像。这允许我们“交叉验证”我们的结果，以确保数据集的一致性。我们的五层CNN学会了将伦勃朗与他的学生、模仿者和其他肖像画家区分开来，准确率超过90%。

受此鼓舞成功在美国，我们异想天开地将我们勇敢的小CNN称为“a眼”，并将其用于另一位荷兰天才的风景画，文森特·梵高．我们选择梵高是因为他的作品与伦勃朗的作品截然不同，他的作品是感性的，而不是经过研究的，他的笔触大胆而富有表现力。这一次，我们的数据集包括152幅梵高和非梵高的画作，我们将它们分为四种不同的方式，每组100张训练图像和52张测试图像。

A-Eye在梵高的作品上表现得很好，在我们的测试集上再次达到了很高的精度，但只是在小得多的瓷砖上。表现最好的像素只有100 x 100像素，大约一笔大小。似乎艺术家作品的“标志性”尺度——有助于cnn精确分类的独特特征大小——是艺术家特有的，至少在肖像或风景等流派中是如此。

CNN究竟是如何找到关键细节的——它在做出预测时“看到”了什么——还不容易确定。CNN的业务端(实际上是它的中间部分)是一系列卷积层，它逐步将图像消化成细节，以某种方式，深不可测地产生分类。我们工具的黑盒特性是人工神经网络的一个众所周知的挑战，特别是那些分析图像的。我们所知道的是，当在正确大小的瓷砖上进行适当的训练时，CNN可靠地估计出与每个瓷砖对应的画布区域是由主题艺术家绘制的概率。我们可以把这幅画作为一个整体来分类，这是基于各个单独的瓷砖所确定的概率——最简单的方法是找到它们的总体平均值。

为了更仔细地观察整个图像的预测，我们可以将与一个tile相关的概率分配给它包含的每个像素。通常会有多个贴图拦截一个像素，所以我们可以平均相关的贴图级概率来确定该像素的值。结果是一个概率图，显示出或多或少有可能是这位艺术家所画的区域。

画布上的概率分布可能具有指导意义，特别是对于已知(或怀疑)曾与助手合作的艺术家，或者那些画作受损后又被修复的艺术家。例如，伦勃朗的妻子萨斯kia van Uylenburgh的肖像，在我们的概率图中有一些地方值得怀疑，特别是在脸部和背景上。这与研究伦勃朗的学者认为这些区域后来被伦勃朗以外的人覆盖的观点是一致的。

尽管这些发现具有启发性，但低概率区域并不能肯定地表明是另一只手的工作。它们可能来自艺术家大胆的、不符合性格的实验——甚至只是糟糕的一天。或者这些区域中的一些可能是由简单的分类错误引起的。毕竟，没有什么制度是完美的。

我们对我们的系统进行了测试，评估了伦勃朗和梵高的10幅作品，这些作品一直是专家们激烈争论的主题。除了一个案例外，我们的分类都符合当前的学术共识。因此，我们有了勇气，觉得已经准备好迎接更大的挑战，即评估该画-我说“更大”是因为确定属于达·芬奇的画作数量太少(不到20幅)。

最终，我们能够获得可信的瓦级分类，并生成一个说明概率的地图。我们的研究结果对达芬奇的背景和祝福之手的作者提出了怀疑该画．这与这幅画的大规模修复是一致的，其中包括对背景的完全重新绘制。如前所述，专家们对谁画了祝福之手存在严重分歧。

买家花了4.5亿美元买下该画2017年是匿名的，这幅画目前下落不明。但有报道称，它现在住在沙特王储穆罕默德·本·萨勒曼的超级游艇上宁静．Mandel ngan / afp getty images

在为我们的方法建立了一定的可信度之后，我们有了一个过分的野心。这涉及到唯一一种情况，我们的系统偏离了今天的归因共识，一幅画叫做戴金头盔的人．作为伦勃朗特别引人注目的作品，它长期受到人们的喜爱。1985年，它的主人柏林Staatliche博物馆(Staatliche Museum)将它的所有权收回。博物馆的学者指出，这幅画在处理颜料时前后不一致，结论是它们不符合伦勃朗已知的工作方式。

现在，这幅画被认为是一位不知名的“伦勃朗圈子”画家的作品，在公众的心目中，它的光彩已经大大褪色了，如果不是在那个阴沉的士兵壮观的头盔上的话。但我们的神经网络强烈地将这幅画归类为伦勃朗的作品(可能有一小部分的返工或辅助)。此外，我们的整体研究结果警告不要将伦勃朗的归因建立在良好的表面特征上，因为将CNN的分析缩小到这些特征上，它的预测并不比猜测更好。我们希望，有一天，老战士的降级会被重新考虑。

图像熵是一个万能的助手。它可以识别出复杂图像中最能代表整体的部分，使即使是最大的图像——包括医学图像(参见上面的“从绘画到病理”)——也能接受计算机分析和分类。随着训练的简化和对大型数据集的需求的减少，小型cnn现在可以超越自己的能力。

本文发表在2021年9月的印刷版上，题为“最新进展”。

肖像侦探的肖像

Steven和Andrea frank

2011年，马克•安德森(Marc Andreessen)写了一篇著名的文章:软件正在吞噬世界。如今，全球正在被一种特殊的软件吞噬:深度学习，它允许机器处理在不久以前计算机似乎无法处理的任务，包括驾驶汽车和进行医疗诊断。准备好在这个列表上添加另一个惊人的壮举——识别伪造的画作。

计算机可以帮助专家鉴定艺术品，这是史蒂文·弗兰克(Steven Frank)和安德里亚·弗兰克(Andrea Frank)这对夫妻团队努力的结果。他们开发了一种卷积神经网络，可以评估一幅画，甚至是一幅画的一部分，是由所谓的创作者所画的概率。他们最近应用这种神经网络来评估列奥纳多·达·芬奇画作的真实性该画这幅画于2017年在佳士得以4.5亿美元的价格拍卖，成为有史以来最昂贵的画作。

考虑到史蒂文不是计算机科学家，而是一名律师，他接受了创建一个可以鉴定艺术品的神经网络的挑战，这尤其令人惊讶。但在2012年，在完成EdX的课程后电子学概论，他发现自己根本停不下来参加这样的在线课程。“它变成了一种上瘾，”史蒂文说，他后来通过电子学习获得了哥伦比亚大学(Columbia University)的人工智能研究生证书。网上亚博Ayabo2016

拥有了对神经网络的良好理解，IEEE成员Steven试图将这些知识应用于现实世界的问题。安德烈是一名艺术历史学家，她的大部分职业生涯都在策划艺术图像，她正在考虑退休，有一些空闲时间。所以他们介入了。很难想象有更好的团队来应对这一特殊的挑战。