蒋 勤,张 毅,谢志荣
(1.重庆邮电大学 计算机科学与技术学院,重庆 400065;2.重庆邮电大学 先进制造工程学院,重庆 400065;3.重庆邮电大学 光电工程学院,重庆 400065)
截止2018年末,中国60岁及以上人口2.49亿,约55%的人患有肢体残疾,此外,我国每年新发脑卒中约200万人,而85%的幸存者出现不同程度的运动功能障碍[1]。日益加剧的老龄化趋势以及肢体残疾的庞大基数,使我国对临床康复治疗手段以及康复辅助装备存在巨大的缺口。传统的人工或简单的医疗设备已经不能满足患者的康复需求,这使得人们对于四肢康复设备如康复机器人的需求增大。康复机器人和智能辅助设备可以提供有效的辅助训练、减少人员陪护、缓解康复医疗资源的供需矛盾,具有广阔的刚性市场。
脑机接口(brain-computer interface,BCI)是一种不依赖外周神经和肌肉,而由大脑完成控制命令输出的通信方式,已在神经康复、辅助医学、航天、军事及生活娱乐等领域被广泛研究。基于BCI的康复训练手段,一方面通过对脑信号进行某种方式的处理和变换将用户的运动或意图转换为指令,控制轮椅、机械手臂等康复辅助装置实现与外界的交互,在一定程度上解决了肌肉或神经末稍受损的患者(如闭锁综合症、肌萎缩侧索硬化)与环境交流的难题;一方面通过促进大脑功能重塑实现功能的代偿,最终恢复部分功能提高生存质量[2]。本文对康复医疗中的不同类型的BCI进行了归纳,主要包括用于瘫痪患者交流、功能辅助的BCI,以及用于恢复肌萎缩性脊髓侧索硬化症(amyotrophic lateral sclerosis,ALS) 和脑卒中患者运动功能的BCI。
一个典型的BCI系统主要包含信号采集、信号处理、控制设备,其中信号处理又包括预处理、特征提取及模式分类算法(见图1)。通过脑电信号实现人机交互的关键是由脑电识别出人体运动意图,在信号处理中需要根据脑电信号的类型选择不同的处理方法。
图1 BCI系统基本工作原理Fig.1 Principle block diagram of BCI system
根据康复治疗的方向不同,BCI的控制设备主要分成“功能辅助”、“功能恢复”及“功能增强”3类。功能辅助是通过BCI对辅助设备的控制,帮助运动功能障碍患者实现对外界的控制与交流如控制轮椅[3]、家庭电器开关[4]、拨打电话[5]、浏览网页[6]等;功能恢复指采取神经反馈训练的方式[7],让患者通过BCI控制外界设备进行主动患肢运动训练,刺激脑的重塑或者代偿,从而重新获得肢体的控制能力[8];功能增强是指借助BCI为系统增加新的交互手段,不仅限于康复医学,在教育、航天、军事、娱乐等方面也具有广阔的应用前景,如BCI操控无人机、无人车、机器人等设备以代替特殊职业的人士从事各种危险的任务,以及在不适宜人工操作的环境中工作。
反馈环节使受试者能感知外界环境的响应,进而调整大脑的活动状态,以达到良好的人机交互,感知能力包括视觉、触觉、听觉、嗅觉和味觉等,反馈过程需要对多模态感知的混合解析,这是一个非常复杂的过程,目前大部分BCI系统仍只是进行简单的视觉反馈。
脑机接口的分类不仅有利于总结当前用于康复治疗的BCI系统的研究现状,更有助于建立BCI系统设计的通用框架,以及提取不同类型的脑电信号的关键技术。按照检测信号的方式,BCI可分为侵入性和非侵入性2种类型(图1)。侵入式BCI通过手术植入电极的方式测量大脑皮层神经元的活动模式。4类主要的神经元活动与行为模式相关:局部场电位(local lield potentials, LFPs)、单神经元活动(single-unit activity, SUA)、多神经元活动(multi-unit activity, MUA)、大脑皮层电极记录的振荡信号ECoG(electrocorticography, ECoG)。皮层脑电信号ECoG是一种浅层植入,电极位于颅腔内,大脑皮层之外,具有更低的安全风险和成本,同时其获得的信号强度及分辨率较表皮电信号高。ECoG已广泛应用于神经或精神治疗的临床方案中,通过神经反馈的方式对大脑信号进行调整,如癫痫、多动症、抑郁症等。
无创BCI利用特定的检测装置记录神经元活动在头皮外表面的表现形式包括:记录神经元活动的代谢情况的功能性磁共振成像(functional magnetic resonance imaging, fMRI)、反映大脑氧合的变化的功能近红外光谱(functional near infrared spectroscopy, fNIRS) 、血液氧饱和水平检测(Blood-oxygen-level-dependent,BOLD)、脑磁图(magnetoencephalography, MEG)、脑电图(electroencephalogram, EEG)。其中,EEG具有采集设备简单、时间分辨率高、便于操作等优点,成为无创BCI系统研究中使用最多的方式。相较于侵入式的神经动作电位的LFPs,EEG反映的是神经元群的动作电位的叠加,频率较LFPs更低(<90 Hz)[9],但EEG能够覆盖整个大脑新皮层,可以用于监测毗邻功能区的大规模神经活动。
EEG信号是一种受思想意识和运动行为影响的节律性活动,按受意识和行为诱发的方式不同,具有不同的特点。在进行BCI系统设计时需要针对性地进行信号处理,表1归纳了研究中广泛使用的无创BCI范式。下文将详细归纳不同范式的发生机理以及表征其特征的关键技术。
表1 脑电信号的种类与典型应用Tab.1 Types and typical applications of EEG
慢皮层电位(slow cortical potentials, SCPs)是一种自发性脑电信号,频率低于1 Hz,通常能持续500 ms至数秒,利用直流电放大器在头皮任何位置均能进行采集(最好的采集点在额中部)。SCPs具有较大的正负电位差异, 当受试者未执行任何行为意识活动时,正向变化的 SCPs 显著;而当受试者进行特定的意识任务时,负向变化的 SCPs 比较明显[10-11]。研究表明,经过训练可以人为控制SCPs的正负偏移幅度,将SCPs偏移方向与不同的目标刺激相对应可以实现一些简单的控制任务[12]。Neumann等[13]设计的TTD(thought translation device)系统使ALS病人通过控制SCPs的振幅来移动光标和选择字母达到基本的沟通目的。在基于SCPs的BCI系统中,对SCPs信号振幅差异的识别是解码的关键,方差、均值、小波系数、频谱能量均可以有效表征差异,随后利用阈值法、LDA(linear discriminant analysis)等进行判别[14]。SCPs范式需要针对应用场景进行长期的专业训练,患者通常在1~5个月的培训后,对该范式能达到70%以上的熟练水平。此外该范式仅有2种类型,这极大地限制了该范式的应用。
神经元群可以形成复杂的网络,伴随着运动、运动准备或运动想象等刺激的出现产生振荡活动,并在躯体感觉和运动皮层区域检测到节律性振荡[15]。alpha波(8~13 Hz)是节律性脑电波中最明显的波,并且睁眼时可以诱发明显阻断现象。Zhao等[4]通过Alpha波在睁眼、闭眼情况下的状态,实现对外部设备的开关控制。ALS患者可以通过控制alpha节律的幅值来移动光标选择屏幕选项[15]。当进行或者想象不同部位运动时,对应反射区的大脑皮层被激活,导致运动感觉区的Mu和Beta节律幅度受到抑制,这种现象称为事件相关去同步(event related desynchronization,ERD),当(想象)运动结束对应感觉区的Mu和Beta节律幅度增强,这种现象称为事件相关同步(event related synchronization,ERS)[16-17]。运动想象的BCI系统就是根据不同运动感应区的EEG信号差异区分不同的运动想象模式,获得运动意图。
由于不同部位躯体运动想象与对应的感觉运动皮层ERD/ERS现象有关,所以通过检测受试者脑电信号的节律活动变化可以推测受试者的运动意图。运动想象EEG信号特征提取的目标是实现对ERD/ERS现象的有效表征,可以从时域、频率、空域以及复合域角度进行描述。然而,由于EEG的非稳定性,时域特征处理方法如振幅、方差、波峰等和频率特征处理方法如自回归功率谱分析[18]、双谱分析法[19]等效果较差。在解决EEG信号的非稳定性、时变性问题上,时频域特征分析方法如小波包变换(wavelet packet transform,WPT)[20]、经验模态分解(empirical mode decomposition,EMD)[21]能有效提取不同节律的时变特征和瞬时特征,但提取的特征中并不包含电极间的相关信息。因此,当电极增加,特征维数增加,特征间复杂度、冗余度增加,这并不利于分类。共空间模式(common spatial pattern,CSP)算法能从空域角度找到EEG信号的最大方差投影方向,被证明是一种有效的多通道特征提取方法[22]。另外,一些因素(例如导联选择、频带滤波以及时间区间选择)对该算法的效果具有决定性的影响[23-25],为此以CSP为基础,衍生出了CSSP(common space spectral pattern)[26],FBCSP(filter bank common spatial pattern)[27],RCSP(regularization common spatial pattern)[28]等行之有效的特征提取方法。此外,基于深度神经网络[29]的特征提取方法为运动想象的类型识别提供了新思路,但该方法对训练样本的质量、数量要求较高。
运动节律是运动意图的最直观的体现,在功能康复训练研究中具有重要的价值。想象运动的康复机器人可以按照患者运动意图提供主动训练,提高患者的参与积极性。研究表明,运动想象可以激活受损的脑皮层,促进其重组或重建[2,7]。此外,通过将运动想象可视化,能为患者的康复程度提供更直观的评价。
P300诱发电位是一种内源性事件相关电位,在小概率事件刺激后300 ms左右产生一个峰值,需要注意的是单次刺激诱发的P300非常微弱,实际应用中通常将多次刺激之后的信号进行叠加以增强信噪比。实验表明,一个刺激出现的概率越小[30],刺激间隔时间越大[31],P300电位的幅值越大;刺激的颜色、大小、亮度、持续时间等也会影响P300[32],因此,刺激范式的设计将关系到BCI的分类准确率和信息传输率。行列刺激编码范式是P300-BCI中研究最广泛使用的刺激范式。
稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP) 是指当人接受高频(>6 Hz)周期性视觉刺激时,在枕叶皮层的EEG信号在该刺激频率及其谐波频率处发生增强效应[33]。基于P300和SSVEP的 BCI 系统依赖于患者注意力和视力的完整性,常被使用于拼写系统的设计。由于SSVEP的波形特征会受到视觉刺激源的频率、相位的影响[33-36],在进行特征提取中可以通过功率谱分析方法[34]、经验模式分解[37]等频域方法分析出刺激频率的基频、倍频信息,到达目标识别的目的;典型相关分析方法(canonical correlation analysis,CCA)[38-39]则通过计算SSVEP序列与不同刺激频率及其倍频成分构成的参考信号间的相关关系,最大相关系数对应的刺激即为刺激目标。同时,SSVEP-BCI系统的分类准确率和传输速度还与刺激范式有关。因此,在范式设计中需要考虑激励信号的频率、刺激目标的大小及布局等。根据SSVEP的时锁性、倍频特征,常用的激励信号的编码方式有频分多址[38]、空分多址[39]以及频相联合编码[35],P300则多采用时分编码[31]。
基于事件诱发电位中的P300、SSVEP脑机接口系统常被使用于拼写应用以辅助患者交流。对于绝大多数人来说,P300,SSVEP-BCI系统无需经过训练环节就可以取得较好的效果。
根据其康复临床应用,BCI可分为辅助型或康复型。辅助BCI系统旨在替代失去的功能(如通信或运动功能)控制机器人设备以辅助日常生活;康复BCI系统(包括康复训练型和神经反馈型的BCI系统)旨在通过控制或自我调节神经生理活动来促进大脑功能和运动功能的(部分)恢复。下面将重点介绍用于康复医疗的BCI系统类型,首先讨论BCI在运动辅助、交流辅助中的应用;然后讨论BCI在功能恢复中的应用。
对于诸如ALS、脑卒中导致的瘫痪(如偏瘫或闭锁综合征)、语言障碍及认知功能障碍,除完全闭锁综合征(complete lock-in syndrome,CLIS)患者外, BCI为患者交流提供了新的手段。通过BCI系统控制字母、数字网格、光标或网页浏览工具,能够完成简单的语言交流,实现沟通意图[3-7]。Kennedy等[40]首次将电极阵列植入ALS患者的大脑,通过侵入式BCI实现屏幕上的光标控制。随后,Hochberg等[41]在2位四肢瘫痪患者的运动皮层植入100个微电极,患者通过神经接口实现了光标移位和手部训练机器人的控制。美国斯坦福大学研究团队提出一种侵入式字符输入BCI系统[42](见图2a),通过在ALS和脊髓损伤患者的手部运动皮层区域植入高密度微电极阵列,实现对屏幕上二维光标的连续控制及字符选择的“点击”动作,患者可以通过虚拟键盘输入文本与外界交互,3位使用该系统的瘫痪患者分别实现了每分钟 39.2 31.6 13.5 个字符的输入。相较于以往的机械性输入,Anumanchipalli等[43]的BCI实现了更加自然的交流,首先在控制语言和发音的大脑活动区域植入皮层电极(ECoG)采集发音时的脑电信号,然后利用循环神经网络建立发音时脑信号与肌肉运动的关联,并借助另一个循环神经网络模型将发音部位的运动学特征翻译成口语句子,实验每分钟生成单词约150个,接近正常人类水平。
与侵入式BCI相比,基于事件相关电位的BCI更容易获取分辨率较高的信号,被广泛用于辅助通信研究。Farwell等[30]首次提出基于P300的拼写系统,实现了36个字符的输入,提供了P300用于字符输入的可行性支撑。Akram等[44]通过改进诱发界面(构造2个视觉诱发界面、26个字母界面和9个数字界面)提高拼写速度,字符识别正确率达到100%。Azom等[5]设计了基于SSVEP的自动拨号系统,BCI系统根据这个频率来选择键盘上的数据进而实现拨号功能。为进一步提高拼写速度,Chen等[39]利用频率相位联合调制将40个字符编码在0.5 s的视觉诱导信号中,系统信息传输率高达5.32 bit/s。Nakanishi等[33]提出任务相关成分分析的 SSVEP 检测方法,获得了325 bit/min 的信息传输率,为目前无创BCI系统的最高速度。
ALS、脑卒中或脊髓损伤患者可以通过BCI控制智能轮椅、假肢、机器臂等外接设备,实现上、下肢的替代运动,进而改善运动功能及活动空间,提高独立生活的能力。2005年,Cyberkinetics公司获得美国食品、药品监督管理局(food and drug administration,FDA)批准,将名为‘BrainGate’的电极阵列植入瘫痪病人运动皮层对应手臂和手部的区域,经过训练能够通过运动意图完成机械臂控制、电脑光标控制等任务[45]。奥地利 Graz 科技大学应用 BCI 控制电刺激帮助手部瘫痪病人完成了日常生活中最基本的抓杯、举杯、倒水入口的连续动作[46-47]。2014年巴西世界杯——机器战甲,身着机器战甲的截肢残疾者,凭借BCI和机械外骨骼开出了一球[48]。浙江大学的 “双脑计划”科研中首次将Utah阵列电极植入到控制右侧上肢运动的运动神经皮层,四肢失能的患者控制机械臂实现了握手、喝饮料、吃油条、玩麻将(见图2b)。李清远团队研发了多个非侵入式BCI系统[49],包括脑控轮椅、脑控护理床、脑控电视、脑控电灯等。
图2 BCI在康复医疗中的典型应用Fig.2 BCItypical applications in rehabilitation
大脑神经元的可塑性是神经损失后功能康复的理论基础。BCI系统促进功能康复的方式在中风患者人群中研究最为广泛,主要有2种通途(见图3):一是通过神经刺激技术调节大脑信号的特征,使皮质激活模式趋于正常化,进而实现功能恢复[7,50]。运动功能的恢复通常采用功能电刺激(functional electrical stimulation,FES)[51],运动皮层脑电活动直接控制FES装置,绕过病变的神经通路(如脊髓),刺激特定肌肉的神经纤维以激活目标肌肉,使瘫痪的肢体恢复活力。Biasiucci等[52]通过对比无创脑机接口-功能电刺激(BCI-FES)系统与单纯电刺激在慢性脑卒中患者的运动功能康复中的疗效发现,BCI-FES表现出显著的功能恢复,并且这种疗效与功能神经可塑性量化指标相关。天津大学神经工程团队研制的BCI-FES系统,解码患者的运动意图后驱动多级电刺激产生模拟神经肌电,控制患肢完成对应动作,在患肢处构筑了一条人工神经通路,经过反复训练促进神经通路的可塑性修复和重建(见图2c)。Schwemmer等[53]将微电极阵列植入患者左侧初级运动皮层负责手部运动的区域,以控制患肢手臂表面的功能性电刺激系统,使得因脊髓损伤而导致四肢瘫痪者可以控制患肢完成抓取动作。这些研究表明,BCI-FES训练可以激发神经的可塑性,改善运动能力。
图3 BCI促进中枢神经系统重塑的训练途径Fig.3 Remodeling pathways for central nervous system by BCI
另一种途径是通过BCI控制外接设备进行功能重塑的康复训练,通过反复训练间接促进神经通路的重建[7,50],恢复(部分)运动能力及运动控制水平,同时BCI与康复机器人相结合,将机电一体的被动训练转为了人机一体的主动训练模式,有利于提高患者的参与度。Donati等[54]利用无创BCI接口控制下肢外骨骼对8例慢性脊髓损伤截瘫患者进行了12个月的多阶段步态神经康复训练,并结合沉浸式虚拟现实(virtual reality,VR)进行视觉-触觉反馈,结果显示患者的关键肌肉恢复了部分自主控制,步行指数明显改善。清华大学智能与生物机械实验室研发的上肢康复辅助机器人具有被动模式、助动模式、主动模式和脑控训练模式等康复训练模式,能根据不同患者运动功能状态的个体差异性为患者提供最适宜的康复训练模式,满足神经损伤患者全周期康复训练需求。其中,脑控训练模式能够建立运动意图与感觉反馈闭环,真实模拟健康人运动控制功能,充分刺激神经闭环,提高康复训练效率。上海交通大学机器人研究团队研发了名为eCon-Hand的无创脑控外骨骼设备,通过解析患者的运动意图控制外骨骼辅助患者进行手部抓握训练,提高患者的自主控制意识。
目前,基于BCI的康复研究还停留在实验研发阶段。BCI作为交流、运动辅助手段,还需要提高系统在长期工作下的稳定性、提高信息转换的速率、提高系统的便携性,提高系统的人机交互能力。值得注意的是,所有范式的BCI都要求测试者严格按照设计的诱发规则进行,不允许分散注意力。此外,由于损伤后的神经重塑有正性和负性之分,这要求引起重塑的干预措施须有针对性且明确无负效应。如果 BCI 产生负效应,通过重复的错误的信号调整形成非正常的突触,产生负性重塑,可能使患者产生非意向动作。虽然,研究证明了BCI在功能重建中的价值,但尚不能对重建过程进行定量分析。
脑电信号作为康复机器人的交互媒介是实现ALS、脑卒中及神经损伤等患者运动康复的一种有效手段,尤其对于CLIS患者,BCI的潜力不可替代。目前,关于侵入性和非侵入性BCI在康复辅助及训练中的研究取得了突破性的进展,展现了巨大的潜力,但当前的BCI康复系统仍处于实验应用阶段,距实用化、市场化还有一段距离。在神经机理、理论技术、硬件设备、交互设计等方面有一些亟待解决的问题。
1)大脑神经机制的认识不完整。由于患者脑损伤的差异,不可避免地使大脑信号存在差异,如何进行特征编码以诱导有益的可塑性,BCI训练的最佳时机是什么,如何评价康复训练的效果等都均依赖于对运动恢复机制、干预机制、神经修复机制等的正确认识。随着欧洲、美国、中国等相继提出“大脑计划”,将对大脑机制具有更深入的理解。
2)BCI系统信息转换速率低。SSVEP-BCI的通信速率最优结果达到6.3 bit/s,是目前已有报道的最快的头皮BCI系统,但是其他几种范式的信息速度仍不足以达到日常交流所需。可分类目标数与分类准确率都是影响信息传输率的关键因素。目前,基于感觉运动节律的BCI的分类类别有限,常见为手、脚、舌头运动;基于事件相关电位的BCI(如SSVEP,P300)通过多址编码技术可以实现大量目标的编码,如何提高信息解码的维度,将有利于将现有低维度信息扩展到更复杂的信息空间。此外,更高效的特征提取方法更好的分类技术则将有利于提高分类正确率。
3)系统稳定性差。现有 BCI系统受测试者个体差异性影响,对设备的控制精确度存在差异,并且即使是同一位受试者使用同一套 BCI 系统最优的参数也会随时间发生变化。设计泛化能力更高、鲁棒性更好的分类识别算法将有效解决脑电的个体差异和非稳定性。
4)脑电信号采集设备的局限。无创脑电信号采集过程繁琐、缺乏非便携化,而侵入式电极需要手术植入,风险高、成本高。开发更便携的采集方式将有利于BCI从实验室走进日常生活。美国加州大学圣迭戈分校的研究团队报道了一种将电极放置在耳后无毛发覆盖区域的SSVEP-BCI系统,并在一个 12 分类任务中,达到了85%的分类正确率,信息传输率达到 30 bit/min。这一研究进展为脑电采集的便携化提供了可行性支撑。Neuralink的微创BCI技术以及“脑语者”系列芯片的问世为脑-机交互技术走向民用化、便携化、可穿戴化及简单易用化开辟道路。
5)人机交互到人机融合。目前,BCI主要是解决对大脑信息的准确稳定分类,利用视觉反馈进行简单的人机交互,尚未到达人机交互、人机融合的目标。自然的人机交互,需要构建一个双向闭环脑机系统,实现视、听、触觉反馈的神经编码与解码。人机融合则是生物智能与人工智能的融合,将生物智能的认知力、决策力和人工智能的运算力、检索能力、记忆力相结合。
尽管,脑机接口技术距离真正的康复临床实践还有一段距离,但BCI技术为康复治疗提供了新的思路和手段,为运动障碍患者提供了新的交互媒介。展望未来,随着神经科学、生命科学、传感器技术、人工智能和嵌入式计算等技术的发展,BCI系统必将突破现有技术的局限,在硬件、算法、范式及应用模式上都将有新的突破。