一个脑植入体同时解码言语和手势，控制虚拟化身

一次问候可以同时包含一句话和一个挥手动作，但让脑机接口同时识别二者，并不是把两个能单独工作的程序拼在一起那么简单。加利福尼亚大学旧金山分校的团队证明，单个植入体可以提供信号，让系统并行解码言语和手势，控制用户的数字化身。Samantha Brosler、Jessie Liu、Alexander Silva及同事的研究于9月14日发表于《Nature Neuroscience》。实验任务的选项事先确定，距离不受限制的自然交谈仍有很大差距。

研究人员记录了三名不同程度瘫痪者的脑活动。每人脑表面都放置了一张含253个电极的网格，覆盖与言语和运动有关的区域。这种称为皮层脑电图的技术，记录神经元群体产生的电信号。虚拟化身演示以及言语与手势结合的任务涉及其中两名参与者：一人因脑干卒中而瘫痪，另一人患有肌萎缩侧索硬化症，这是一种损害运动神经元的疾病。

在屏幕提示引导的试次中，参与者根据自身能力尝试说出短语、做出或想象手势，或者同时进行两种行为。两个机器学习模型接收同一植入体的信号：一个对短语分类，另一个对手势分类。识别出的短语显示为文字，化身则挥手、转动头部或执行其他选定的手势。指令作用于数字身体；实验并没有使瘫痪的身体恢复运动。

困难出现在只用单独言语或单独手势训练的模型需要识别同时进行的尝试时。部分电极对两种行为都有响应，二者结合时记录到的模式无法以同样的效果被识别。把同时尝试的样本加入训练后，表现得到改善。另一项调整让每个模型学会在只有另一种行为出现时不输出响应。例如，言语分类器学会了不把单独挥手的尝试转换成一句话。

在肌萎缩侧索硬化症参与者的实时同步测试中，系统正确识别了70%的短语和66%的手势。两类各有十个选项，模型还设有休息类别。表示估计不确定性的95%置信区间，言语为63.5%至76%，手势为59.5%至72.5%。在十一个类别中随机选择的参考水平约为9.1%。这是两项分别计算的指标，并不表示70%的试次中短语和手势都正确。

这项工作的核心贡献，是展示如何为交流中同时存在的行为训练脑机接口。手势既能补充短语，也能独立构成回答，从而丰富化身可以表达的内容。要把演示变成日常工具，还需要扩大可识别的表达范围、缩短响应延迟，并在更多人中检验表现。此次系统也仍然依赖植入体与外部设备之间的有线连接。