这种植入物将脑电波转化为文字

电脑屏幕显示了问题“Would you like some water?”在下面，三个点闪烁着，后面出现了文字，一次一个:“不，我不渴。”

是大脑活动使这些话变成了现实——这是一个自从中风破坏了他的大脑和身体其他部分之间的联系，导致他几乎瘫痪，已经超过15年没有说话的人的大脑。他还使用了许多其他技术进行交流;最近，他用棒球帽上的一根指针在触摸屏上敲出单词，这种方法很有效，但速度很慢。他自愿为我的研究小组的临床试验加州大学旧金山分校希望开创一种更快的方法。到目前为止，他只在研究过程中使用过脑转文本系统，但他希望将这项技术发展成像他这样的人可以在日常生活中使用的技术。

---

在我们的初步研究，我们在志愿者的大脑表面覆盖了一个薄而灵活的电极阵列。电极记录神经信号，并将其发送到语音解码器，解码器将信号翻译成该男子想说的话。这是第一次一个不能说话的瘫痪患者使用神经技术从大脑中传播整个单词——而不仅仅是字母。

这项试验是十多年来对控制语言的潜在大脑机制的研究的顶峰，我们对迄今为止所取得的成就感到非常自豪。但我们才刚刚开始。我在加州大学旧金山分校的实验室正在与世界各地的同事合作，使这项技术足够安全、稳定和可靠，适合家庭日常使用。我们也在努力提高系统的性能，所以这是值得的努力。

神经义肢是如何工作的

第一个版本的脑机接口给志愿者提供了50个实用词汇。加州大学旧金山分校

神经修复术在过去的二十年里取得了长足的进步。用于听觉的假体植入物已经取得了最大的进步，其设计可以与耳蜗神经或直接进入内耳听觉脑干．也有相当多的研究视网膜而且大脑植入物为了视力，以及为人们提供假手的努力触觉．所有这些感觉义肢都从外界获取信息，并将其转换为电信号，输入大脑的处理中心。

相反类型的神经假体记录大脑的电活动，并将其转换为控制外部世界的信号，例如机械手臂,一个视频游戏控制器，或光标在电脑屏幕上。最后一种控制方式已被诸如“大脑之门”财团使瘫痪的人输入单词有时一次一个字母，有时使用自动完成功能来加快进程。

为了实现脑识别功能，植入物通常被放置在大脑中控制运动的运动皮层。然后，用户想象某些物理动作来控制光标在虚拟键盘上移动。另一种方法，是由我的一些合作者在2021年的论文他让一名用户想象他拿着一支笔在纸上写字，在运动皮层中产生信号，然后转化为文本。这种方法创下速度的新纪录使志愿者每分钟能写18个单词。

在我实验室的研究中，我们采取了一种更有野心的方法。我们不再解码用户移动光标或笔的意图，而是解码控制声道的意图，声道由数十块控制喉(通常称为喉头)、舌头和嘴唇的肌肉组成。

这个看似简单的对话设置是由复杂的神经技术硬件和机器学习系统实现的，这些系统可以解码他的大脑信号。加州大学旧金山分校

我10多年前开始在这个领域工作。作为一名神经外科医生，我经常看到一些严重受伤而无法说话的病人。令我惊讶的是，在很多情况下，脑损伤的位置与我在医学院学到的症状并不匹配，我意识到，关于大脑如何处理语言，我们还有很多需要学习的地方。我决定研究语言的潜在神经生物学，如果可能的话，开发一种脑机接口(BMI)，为失去沟通能力的人恢复沟通。除了我的神经外科背景，我的团队还拥有语言学、电子工程、计算机科学、生物工程和医学方面的专业知识。我们正在进行的临床试验正在测试硬件和软件，以探索BMI的极限，并确定我们可以为人们恢复哪种语言。

与说话有关的肌肉

言语是一种行为区分人类．很多其他物种也会发声，但只有人类用无数种不同的方式组合一组声音来代表周围的世界。这也是一种异常复杂的运动行为——一些专家认为这是人类所做的最复杂的运动行为。说话是通过声道调节气流的产物;每一次说话，我们都通过在喉部声带中创造可听振动，改变嘴唇、下巴和舌头的形状来塑造呼吸。

声道的许多肌肉与以关节为基础的肌肉(如手臂和腿部的肌肉)非常不同，后者只能以几种规定的方式运动。例如，控制嘴唇的肌肉是括约肌，而组成舌头的肌肉更多地是由液压控制的——舌头主要由固定体积的肌肉组织组成，因此移动舌头的一部分会改变其他地方的形状。控制这些肌肉运动的物理原理与肱二头肌或腘绳肌完全不同。

因为涉及到这么多肌肉，每一块都有这么多自由度，本质上有无限种可能的构型。但当人们说话时，他们使用的核心动作相对较少(在不同的语言中略有不同)。例如，说英语的人发“d”音时，他们会把舌头放在牙齿后面;当他们发出“k”音时，舌头的后部会向上碰到口腔后部的顶部。很少有人能意识到说最简单的话所需要的精确、复杂和协调的肌肉动作。

团队成员大卫·摩西(David Moses)看着病人脑电波的读数(左屏)和解码系统活动的显示(右屏)。加州大学旧金山分校

我的研究小组专注于大脑运动皮层的部分，这些部分向面部、喉咙、嘴巴和舌头的肌肉发送运动命令。这些大脑区域是多任务的:它们管理产生语言的肌肉运动，也管理吞咽、微笑和接吻的肌肉运动。

以一种有用的方式研究这些区域的神经活动既需要毫米级的空间分辨率，也需要毫秒级的时间分辨率。从历史上看，非侵入性成像系统能够提供其中一种，但不能同时提供两种。当我们开始这项研究时，我们发现几乎没有关于大脑活动模式如何与语音最简单的组成部分(音素和音节)相关联的数据。

在此，我们要感谢我们的志愿者。在加州大学旧金山分校癫痫中心，准备手术的患者通常会在他们的大脑表面放置几天手术电极，这样我们就可以在他们癫痫发作时绘制相关区域的地图。在断电的那几天里，许多患者自愿参加神经学研究实验，利用他们大脑中的电极记录。我的小组要求患者在说话时让我们研究他们的神经活动模式。

所涉及的硬件被调用electrocorticography(ECoG)。ECoG系统中的电极不穿透大脑，而是位于大脑表面。我们的阵列可以包含数百个电极传感器，每个电极传感器记录数千个神经元。亚博排列五投注网站到目前为止，我们使用了一个包含256个通道的数组。我们早期研究的目标是发现人们说简单音节时皮层活动的模式。我们要求志愿者说出特定的声音和单词，同时记录他们的神经模式，并跟踪他们舌头和嘴巴的运动。有时我们会让他们在脸上涂上彩色颜料，然后用计算机视觉系统提取运动手势;其他时候，我们使用放置在患者下颚下的超声波机器来成像他们移动的舌头。

该系统首先是覆盖在患者大脑上的柔性电极阵列，以接收来自运动皮层的信号。该阵列专门捕捉针对患者声道的运动命令。附着在颅骨上的一个端口引导连接到计算机系统的电线，计算机系统将大脑信号解码并将其翻译成患者想说的话。然后他的答案就会出现在显示屏上。克里斯Philpot

我们用这些系统将神经模式与声道运动相匹配。一开始我们对神经密码有很多疑问。一种可能性是，神经活动为特定肌肉编码了方向，大脑基本上打开和关闭这些肌肉，就像按键盘上的键一样。另一种想法是，这种密码决定了肌肉收缩的速度。还有一种说法是，神经活动与肌肉收缩的协调模式相对应，肌肉收缩是用来产生某种声音的。(例如，要发出“啊”的声音，舌头和下巴都需要垂下。)我们所发现的是，有一张控制声道不同部分的表征图，在一起，不同的大脑区域以协调的方式结合起来，从而产生流利的演讲。

人工智能在当今神经科技中的作用

我们的工作依赖于过去十年人工智能的进步。网上亚博Ayabo2016我们可以将收集到的关于神经活动和语音运动学的数据输入到神经网络中，然后让机器学习算法在两个数据集之间的关联中找到模式。在神经活动和产生的语音之间建立联系是可能的，并使用这个模型产生计算机生成的语音或文本。但这种技术无法训练瘫痪患者的算法，因为我们缺少一半的数据:我们有神经模式，但没有相应的肌肉运动。

我们意识到，使用机器学习更聪明的方法是把问题分解成两个步骤。首先，解码器将来自大脑的信号翻译成声道肌肉的预期运动，然后将这些预期运动翻译成合成的语音或文本。

我们称之为仿生方法，因为它复制了生物学;在人体中，神经活动直接负责声道的运动，只间接负责发出声音。这种方法的一大优势在于训练解码器完成将肌肉运动转换为声音的第二步。因为声道运动和声音之间的关系是相当普遍的，我们能够在大量数据集上训练解码器，这些数据集来自没有瘫痪的人。

测试我们的语音神经义肢的临床试验

下一个巨大的挑战是把这项技术带给真正能从中受益的人。

美国国立卫生研究院(NIH)正在提供资金我们的试点从2021年开始。我们已经有两名瘫痪的志愿者植入了ECoG阵列，我们希望在未来几年招收更多的志愿者。主要目标是提高他们的沟通能力，我们以每分钟的字数来衡量他们的表现。在全键盘上打字的成年人平均每分钟可以打40个单词，最快的打字者每分钟可以打80多个单词。

爱德华·张(Edward Chang)在他的神经外科实践中遇到的病人启发了他开发大脑语音系统的想法。芭芭拉里斯

我们认为接入语音系统可以提供更好的结果。人类说话比打字快得多:说英语的人一分钟可以轻松地说150个单词。我们想让瘫痪的人能够以每分钟100个单词的速度交流。为了实现这个目标，我们还有很多工作要做，但我们认为我们的方法使它成为一个可行的目标。

植入手术是常规的。首先，外科医生切除一小部分颅骨;接下来，将柔性ECoG阵列轻轻放置在皮层表面。然后一个小端口被固定在颅骨上，并通过头皮上的一个单独的开口出口。我们目前需要这个端口，它连接到外部电线来传输来自电极的数据，但我们希望在未来使系统无线化。

我们考虑过使用穿透微电极，因为它们可以记录更小的神经群，因此可能提供关于神经活动的更多细节。但目前的硬件在临床应用中并不像ECoG那样健壮和安全，特别是在多年后。

另一个需要考虑的问题是，穿透电极通常需要每天重新校准，以将神经信号转化为清晰的命令，对神经设备的研究表明，设置速度和性能可靠性是让人们使用该技术的关键。这就是为什么我们优先考虑稳定性创建“即插即用”系统长期使用。我们进行了一项研究，观察志愿者神经信号随时间的变化，发现如果解码器使用多个会话和多个天的数据模式，则解码器表现更好。在机器学习术语中，我们说解码器的“权重”被保留了下来，产生了统一的神经信号。

加州大学旧金山分校

因为瘫痪的志愿者在我们观察他们的大脑模式时不能说话，我们让第一位志愿者尝试两种不同的方法。他先列出了50个日常生活中常用的词汇，比如“饿了”、“渴了”、“请”、“帮忙”和“电脑”。在几个月的48次会议中，我们有时让他想象说出列表上的每个单词，有时让他公开地说试一试说出来。我们发现，说话的尝试产生了更清晰的大脑信号，足以训练解码算法。然后志愿者可以使用列表中的这些单词来生成他自己选择的句子，比如“不，我不渴。”

我们现在正在努力扩大词汇量。为了实现这一目标，我们需要继续改进当前的算法和接口，但我相信这些改进将在未来几个月和几年内实现。既然原理证明已经建立，目标就是优化。我们可以专注于使我们的系统更快、更准确，最重要的是更安全、更可靠。现在事情应该进展得很快。

如果我们能更好地理解我们正在试图解码的大脑系统，以及瘫痪是如何改变它们的活动的，那么最大的突破可能就会到来。我们已经意识到瘫痪患者的神经模式与癫痫患者的神经模式是非常不同的，瘫痪患者不能向声道肌肉发送命令。我们正在尝试BMI工程的一项雄心勃勃的壮举，同时还有很多关于潜在神经科学的知识需要学习。我们相信这一切都会让我们的病人恢复他们的声音。