“该技术具有重要的科学意义。首次通过侵入式脑机接口系统,让完全丧失自主肌肉控制的患者实现了对外语言交流,患者甚至闭着眼睛也可以进行。”华中科技大学人工智能与自动化学院脑机接口与机器学习实验室主任伍冬睿表示。
伍冬睿提及的这项技术,是近日脑机接口的一项最新研究成果。一位渐冻症患者通过脑机接口系统,实现了其大脑信号的读取,并通过机器上字母的选择组合完成了句子的完整表达。
健康的人只需要几秒钟便能脱口而出的句子,对于重度渐冻症患者来说几乎是一项“不可能完成的任务”。
而通过该脑机接口系统,这位来自德国的36岁患者对他4岁的儿子实现了其想法的即时表达——“儿子,我爱你。你想和我一起去看迪士尼的《罗宾汉》吗?”
2022年3月22日,相关论文以《在通过听觉神经反馈训练启用的完全锁定患者中使用皮质内信号的拼写界面》为题发表。
相关论文
微电极阵列
人们理想的脑机接口是希望能够通过植入电极侦测神经元的电活动,发展译码算法,直接翻译出患者的想法并进行表达。但是人类大脑结构过于复杂,识别并直接译码并非易事。
该技术由瑞士Wyss生物和神经工程中心与德国蒂宾根大学科研团队共同合作,他们没有通过发展译码算法破解患者的想法,而是通过侵入式脑机接口系统“植入式电极+神经反馈”的方式获取患者的意图。
研究人员通过脑外科手术,将3.2毫米大小的两个微电极阵列在该患者的大脑皮层表面植入,每个电极阵列有64个针状电极,用来记录神经信号。
这位患者是具备意识及认知能力的完全闭锁综合征患者,由于他已完全丧失自主肌肉控制能力,只能根据听觉反馈来调节大脑中神经元的脉冲发放率。
通过这种新技术,他每次选择一个字母,进而形成单词、短语及句子来表达需求,再通过机器传达想法,以约每分钟1个字符的速度,实现了与外界的交流。
当机器给出一个字母,并同时将电极记录的患者脑电翻译为“是”或“否”,并编译成声音的频率高低,患者通过判断声音的频率高低是否与自己的想法一致,从而反馈、调节自己的大脑活动,最终使机器显示出准确的语句。
也就是说,当神经发放率高于某个阈值时,通过机器学习实时解码判断其想表达“是”;而当神经发放率低于某个阈值时,则认定其想法为“否”。
根据该论文结果,“在135天的研究实验中,有107天,他能匹配一系列目标音调,准确率约为80%。并且,在这107天中只有44天,该患者能表达出可理解的句子。”
中国科学院深圳理工大学、中国科学院深圳先进技术研究院副研究员徐放认为,这种方式比较巧妙,它采取了一种相对较为容易实现的技术,实现了完全闭锁状态的渐冻人的交流。从本质上说,这个脑机接口实现的功能是对患者脑中所想的“是”或“否”的选择,并且由患者直接反馈该判断是否准确。
臻泰智能创始人兼首席执行官王浩冲表示,从实际应用角度来看,该技术提供了一种更直接的沟通方式,能够更好地将患者的意图表达出来。但他同时指出,基于听觉反馈的拼写速度有待改善。“目前,该技术的拼写速度为每分钟1个字符,在交互效率方面还可以进一步提升。”
设置和神经反馈范式
被人们广为熟知的渐冻症患者著名的物理学家斯蒂芬·威廉·霍金曾使用英特尔的一款语音表达系统ACAT实现和他人的交流,该系统通过获取眼球和面部肌肉运动,将他的想法“翻译”成单词。
那么,重度渐冻症患者为何只能通过脑机接口实现与外界的交流?渐冻症患者在于外界交流的过程中有怎样的难点呢?
渐冻症全称为“肌萎缩性脊髓侧索硬化症”,是一种运动神经细胞疾病,由中枢神经系统内控制骨骼肌的运动神经元退化所致。
使完全闭锁状态的患者实现交流,是脑机接口的重要挑战。由于控制眼外肌与骨骼肌的神经元的差异,部分病人依然拥有控制部分肌肉、眼球运动的能力。一些渐冻症患者可通过肌肉运动、眼球追踪等方式实现与外界沟通。
但随着病情的加重,这些患者会逐渐像被“冻住”一样,慢慢地丧失对肌肉及眼球的运动的能力。在病程晚期则会进入“完全闭锁”状态,甚至连吞咽动作都成为困难。
该研究中的重度渐冻症患者于6年前确诊,当时他的眼睛还能动。但现在由于骨骼肌失能,四肢无法运动、发音困难,已无法通过肌肉运动、眼球追踪等方式进行交流。并且,非侵入式脑机接口系统因神经信号逐渐减弱也会逐渐变得不可用,如运动想象等方式。
该患者的认知功能并未受到太大影响,依然能够拥有清晰的意识和思维,这也是他能够通过听觉反馈配合脑机接口系统实现对外沟通的重要前提。
神经数据被实时解码和分析以控制拼写界面
伍冬睿认为,该技术可以让患者在全身任何地方都不能动的情况下,依然拥有与外界交流的能力,提高患者生活质量。因此,侵入式脑机接口系统可能是他们与外界沟通的“终极手段”。
目前,渐冻症尚未有明确的治愈解决方案,世界卫生组织将渐冻症认定是“五大绝症之一”。病痛的折磨加上与外界的“零沟通”,使渐冻症患者的身心备受煎熬。
徐放指出,值得关注的是,在这项研究的过程中,能明显地看出渐冻症患者与外界建立交流的迫切渴望。“患者的意志力很坚强,即使身体完全无法动弹,依然坚持了强烈的表达愿望,尝试各种方法让自己的大脑去适应机器的运算。”
此外,该技术的使用环境也比较宽松,该团队称,理论上这种脑机接口系统可以在家中使用。因此,患者及其家人使用相关系统建立沟通会更加方便,熟悉的环境也有利于患者家属对他们的日常起居照顾。
自由拼写块中的字母选择示例
虽然患者通过脑机接口系统建立了对外界的有效沟通方式,但是否可持续使用仍是一个不能忽视的问题。
根据论文结果,在该技术使用一段时间后,患者的自由拼写能力有所下降,目前主要回答“是”或“否”的情况。“这有可能是植入电极周围产生的结痂遮蔽了神经信号导致的,也可能是由于患者的大脑正在失去控制设备的能力。”伍冬睿说。
该研究中使用的侵入式脑机接口系统面临着电极寿命有限、需要寻找合适的反馈模式、信息传输率低等技术挑战。伍冬睿指出,该脑机接口系统在技术层面还有以下3项优化空间。
第一,植入式电极的信号质量会随着植入时间变长而慢慢退化,让系统性能慢慢下降。因此,需要生物兼容性更好的电极。“植入式电极的寿命会受到周围神经元结痂的影响,所以,一般来说其使用寿命短于5年。”他表示。
第二,电极植入的位置、数量等也可以进行进一步优化,提取更稳定、更有区分度的特征。
第三,即使电极没有问题,神经信号的质量本身并不稳定,会随时间产生变化。因此,解码算法的参数可能需要每天或不定时校准。
人类对信息交互效率的追求从未止步,从古代的“飞鸽传书”到如今的“网络视频”都是为了提高信息交换的效率。
王浩冲认为,脑机接口技术目前的瓶颈主要在电极、芯片以及算法3个方面。以该研究中的脑机接口设备为例,该设备费用高昂,仅前两年的使用费用就接近50万美元(约合人民币318万元)。
“早期手术成本过高是造成患者经济负担较重的主要原因,随着技术的不断成熟,系统硬件成本可以规模化降低,但更适宜的植入电极材料以及更高效的脑机交互算法依然是该项技术大规模应用需要突破的难点。”他说。
那么,脑机接口技术领域未来将会如何发展呢?根据2022年的一项研究,该领域会迎来至少以下四大发展趋势:
一是脑机信息交互手段从原来的以电为主,走向电、光、磁、声等各种手段的综合;二是脑机融合的增强能力逐步从行为增强到各种感知增强,乃至高级认知的增强;三是脑机技术研究的硬件向柔性、无线以及更加微小化、更加高通量和低功耗方向发展;四是脑机接口技术有望在神经/精神疾病的诊断、治疗、康复等临床应用领域,引领新的技术发展。
总的来说,脑机接口技术通过识别大脑的意图用最直接的方式表达想法,极大地提升了人们获取信息的效率。从改善瘫痪患者的生活方式到对神经精神类疾病的临床治疗,脑机接口仍然“任重道远”。
虽然目前该领域仍然存在很多技术瓶颈,但随着人们对大脑机理的不断认知以及工程技术的不断发展,脑机接口技术将会日趋成熟。脑机接口技术作为人机交互的终极手段,其发展值得期待。