睡眠可以防止人工智能灾难性遗忘

神经网络可以实现超人的性能在许多任务，但是这些人工智能系统如果要求吸收新的记忆，他们会突然完全忘记所学的知识。现在，一项新的研究揭示了一种神经网络经历类似睡眠阶段的新方法，并有助于防止这种健忘症。

人工神经网络面临的一个主要挑战是“灾难性的忘记“当他们学习一项新任务时，他们有一种不幸的倾向，会突然完全忘记他们之前学过的东西。”本质上，它们用新的知识覆盖过去的数据。

相比之下，人脑却有能力终身学习在不干扰其执行先前已存入内存的任务的能力的情况下。之前的研究表明，当一轮又一轮的学习中穿插着睡眠时，人脑的学习效果最好。睡眠显然有助于将近期经历纳入长期记忆。

“记忆的重组实际上可能是生物需要经历睡眠阶段的主要原因之一，”该研究的合著者、加州大学圣地亚哥分校的计算神经科学家埃里克·德拉诺瓦说。

之前的研究试图通过让人工智能进行类似睡眠的练习来解决灾难性遗忘问题。例如，当神经网络学习一项新任务时，一种被称为交叉训练的策略会同时向机器提供它们之前学习过的旧数据，以帮助它们保存过去的知识。这种方法以前被认为是模仿大脑在睡眠时的工作方式——旧记忆被重放。

然而，科学家们认为，交叉训练要求每次神经网络想要学习新东西时，都要向它输入最初用于学习旧技能的所有数据。这不仅需要大量的时间和数据，它也没有出现什么在真正的睡眠中，大脑是这样的他们既不会保存学习旧任务所需的所有数据，也没有时间在睡觉时回放所有数据。

在这项新研究中，研究人员分析了灾难性遗忘背后的机制，以及睡眠在预防遗忘中的作用。他们没有使用传统的神经网络，而是使用了一个“尖峰神经网络，更接近于模拟人脑。

在人工神经网络，被称为神经元的组件被输入数据并合作解决问题，例如识别人脸．神经网络反复调整突触神经元之间的联系，并观察由此产生的行为模式是否能更好地找到解决方案。随着时间的推移，网络会发现哪些模式最适合计算结果。然后，它采用这些模式作为默认值，模仿人类大脑的学习过程。

这张图代表了抽象突触空间中的记忆以及睡眠和不睡眠时记忆的演变。PLoS计算生物学

在大多数人工神经网络中，神经元的输出是一个随着输入的变化而不断变化的数字。这大致类似于生物神经元在一段时间内可能发出的信号数量。

相比之下，在峰值神经网络中，神经元只有在给定时间内接收到一定量的输入信号后，才会“峰值”或产生输出信号，复制真实生物神经元的行为。由于尖峰神经网络很少发射尖峰，因此它们比典型的人工神经网络传输的数据要少得多，原则上需要的功率和通信带宽也要少得多。

正如预期的那样，当峰值神经网络学会在网格中发现水平对的粒子时，它表现出灾难性的遗忘，然后训练它在网格中寻找垂直对的粒子。然后，在两轮学习之间，研究人员让尖峰神经网络经历一段时间，其中参与学习第一个任务的神经元集合被重新激活。这更接近于神经科学家目前认为的睡眠过程。

捷克科学院计算机科学研究所的计算神经科学家帕维尔·桑达是这项研究的合著者，他说:“好处是我们没有明确地存储与早期记忆相关的数据，在睡眠中人为地回放它们，以防止遗忘。”

科学家们发现他们的策略有助于防止灾难性遗忘。在经历了类似睡眠的阶段后，尖峰神经网络能够执行这两项任务。他们表示，他们的策略有助于保护与旧任务和新任务相关的突触模式。

德拉诺瓦说:“我们的工作突出了开发生物灵感解决方案的实用性。”

研究人员指出，他们的发现并不局限于神经网络。即将进行的研究表明，类似睡眠的阶段可以帮助“克服标准人工神经网络中的灾难性遗忘，”Sanda说。

科学家们详细描述了他们的发现11月18日PLOS计算生物学．