脑机接口控制的下肢功能性电刺激系统研究

姚 林 张定国 王 颖

(上海交通大学机器人研究所机械系统与振动国家重点实验室，上海 200240)

引言

脑机接口(brain-computer interface，BCI)和功能性电刺激(functional electrical stimulation，FES)都是康复工程领域常用的技术[1]，但两者结合应用的历史却很短暂。在2003年，脑机接口与功能性电刺激的结合有了首次应用[2]，给瘫痪患者带来了希望，引起了诸多研究者的关注。该系统的基本原理是：脑机接口作为控制源，解析人的意图;功能性电刺激技术作为驱动源，刺激肌肉使瘫痪肢体产生运动。目前的BCI-FES研究基本都是为上肢服务的，为下肢服务的系统很少见[2-9]。主要有几个原因：一是恢复瘫痪上肢运动的需求更为强烈，可以实现重要的日常活动，而下肢的瘫痪则可以借助轮椅之类的辅助设备来完成患者的移动;二是下肢的运动(如行走)会给脑电信号(electroencephalogram，EEG)带来干扰，所以需要特制的脑机接口装备，比如主动屏蔽式电极[10];三是控制下肢行走运动的大脑皮层位置较深，采集的脑电信号信息相对来说较为微弱，给后期的信号处理识别带来了困难。

虽然研发服务于下肢的BCI-FES系统颇具挑战，但同时也带来了机遇，为此笔者探索性地研究了此课题。根据全面的文献调研，发现只有一篇文章比较深入地涉及了此内容[10]，而且还有很多局限。首先，其原理是利用一条腿运动引起的脑电变化作为指令，控制电刺激系统，实现另一条腿(只是踝关节)的运动，所以该系统只能为偏瘫患者服务;其次该系统既然是设计服务于偏瘫患者的电刺激系统，那么下肢健侧的肌电信号应是个更好的控制源，效果要远远优于脑电信号。笔者开展的研究不但适用于偏瘫患者，也适用于下肢完全瘫痪的患者。

综合分析功能性电刺激系统对脑机接口的技术需求，最希望的是能够利用基于想象运动的脑电信号，因为这是一种独立式脑机接口技术，狭义上这才是真正意义的脑机接口，即利用人的自主“思维意图”实现的一种控制方式。但基于想像运动的脑电信号处理技术有很多不足，主要是可识别的运动种类或状态很少(≤ 4)、识别率低、训练时间长、个体差异大等，这些都是在短期内很难显著改善的问题。尤其是在下肢的想像运动脑区为两块脑半球的结合处，大脑皮层比较深，采集的脑电信号微弱，直接造成了分类效果很差[9]。因此，如果想开发一套具有实际应用价值的BCI-FES系统，利用基于想像运动的脑电信号至少在目前是难以胜任的。退而求其次，本研究将采用一种非独立式的脑机接口技术，即基于稳态视觉诱发电位(steady-state visual evoked potential，SSVEP)的脑电信号，实现对FES的控制，辅助下肢产生期望的运动。基于SSVEP的脑机接口技术具有传输率高、识别准确、训练时间短以及通用性强的特点，很好地满足了BCI-FES系统走向实践的需求[11]。而且控制方式更为灵活，控制效果更为优越。

1 方案和方法

设计系统的基本原理是：让患者按照自己的意愿注视屏幕上以不同频率黑白相间闪烁的方块，从而对不同的下肢运动模式进行选择。其中，稳态视觉诱发电位的脑机接口的功用是在眼睛注视某一块闪动区域的时候，采集头皮的 EEG信号，对信号进行特征提取分类，识别出患者所注视区域的闪烁频率，从而翻译出患者的意图，其整体原理如图1所示。

图1 BCI-FES控制下肢运动康复系统框图Fig.1 The structure of BCI-FES rehabilitation system for lower limbs.

1.1 脑机接口范式

针对脑电信号中稳态视觉诱发电位的特征，本实验在电脑显示屏设置了5个频闪，映射下肢不同的运动意图，如图2所示。其中，12.5 Hz频闪对应于开始行走，7.5 Hz频闪对应于停止行走，8.33 Hz频闪对应于快速行走，6.82 Hz频闪对应于慢速行走，此外9.37 Hz对应于空闲状态(闭眼时α波非常明显，受试者亦可通过闭眼一两秒达到空闲状态)，相当于行走保持现状，不发生改变。在图2中，每块白色闪动区域旁边的窄条为识别能量条，一方面用于标识视觉注意区域是否与结果一致，另一方面由绿至红变化的能量条也是触发 BCI与FES接口的开关，即达到某一阈值后，相应的区域设定意图经过接口传递至电刺激器，从而实现不同电刺激模式间的切换，控制不同的动作。

图2 稳态视觉诱发电位实验的视觉刺激界面(即电脑显示屏中的频闪方块)Fig.2 The visual stimulation interface(flashing bloxes on compter screen)in SSVEP experiment.

实验分为两个阶段。第一阶段为单纯的脑机接口实验阶段，受试者应集中注意力，按自己的意图对屏幕上的5个频闪进行选择，头部尽量少晃动、眨眼动作尽可能少;第二阶段为BCI-FES实验测试阶段，即在第一阶段实验的基础上，加入FES设备，电刺激仪产生电脉冲刺激骨骼肌进行相应动作。

6位健康受试者(年龄在21～28岁之间，5位男性，1位女性)参与了单纯的脑机接口实验，其中2位分别参与了实际的BCI-FES控制的小腿摆动与行走运动实验。

1.2 脑电处理算法

研究发现，在稳态视觉刺激频率下，大脑的初级视觉皮层区出现与该频闪相对应的反应，即在信号的频域表现为该频率及其谐波成分较高，从信号调制的角度来看，信号经过了频率调制过程。特征和模式识别的任务，就是从复杂的调制信号中分析出被调制的信号，并进行分类。分类的好坏与稳定性，在很大的程度上取决于特征的好坏与稳定性，一般提取的特征应该尽可能包含信号的特点，不同模式类的特征区分度应尽可能大，特征组成的特征向量应便于分类以及减少运算量。

1.2.1 特征提取

受试者集中注意力，分别按顺序注视5个闪烁的方块(见图2)，每个方块注视持续30 s。当注视不同的闪烁方块时，对应的幅频谱差异比较大，因而根据特征提取的一般原则，选取5个方块的基本频率以及谐波作为分类的基本特征向量。为提高特征的区分度，调节 Emotiv的电极与脑部接触位置，选取显著包含刺激频率的视觉区通道。

1.2.2 分类器设计

综合考虑各种分类器的特点以及所提取的特征向量的区分度，这里选择线性判决分析(linear discriminant analysis，LDA)作为分类方法。由于要进行5个类别的分类，因而需要进行两两 LDA分类。在Matlab环境下，通过训练阶段得到的特征进行LDA分类器训练，并将训练好的LDA分类器应用于在线的分类。有6位健康受试者参与了单纯的脑机接口实验，其中2位参与了接下来的BCI-FES实验。针对Neuroscan系统的EEG处理分析参见文献[8]。这里简单介绍针对 Emotiv系统的 EEG处理，主要区别是减少了实验范式中的训练环节。

设Si(t)为Emotiv脑电仪的第i个通道的信号，且 i=1，2，…，M;fj为第 j个刺激频率，且 j=1，2，…，N;W(t-c)为信号截取的窗函数，c为窗函数的中心。为获取信号特定频率的能量，截取后的信号通过内积投影到刺激频率组成的正弦和余弦函数空间，信号特定的频率能量表达为

式中，Aij(c)为在时间点c、第i个通道，频率成分为fj的能量，Bij(c)为在时间点c、第i个通道、频率成分为2fj(fj的谐波)的能量(注意：4πfj=2π ×2fj)。

设Pj为所有脑区频率为 fj、2fj的能量之和，可表达为

获取最大的Pj所对应的标号为

设γ的一调节因子(一般设为2)，根据实验过程进行调节，若满足则分类器的输出类别为I，反之则输出空闲类0。

1.3 BCI-FES综合实验

功能性电刺激采用的是瑞士Compex Motion II电刺激器，通过表面电极刺激肌肉产生收缩。传感器使用的是英国 Biometrics公司的角度仪，测量关节角度信息。实验室有两套 BCI设备，即美国的NeuroScan系统及Emotiv EPOC系统。Neuroscan系统有64导通道，采用的是湿电极，采集的脑电信号质量好，但使用起来很复杂繁琐，而且由于导线长度的限制，不适合行走运动时的应用。Emotiv EPOC无线式系统通道数目很少，采集的脑电信号质量一般。但简单易用，而且无线式系统更适合行走运动。研究发现，针对视觉诱发电位的脑电信号，在相同的算法处理下，使用这两套系统的效果差异很小，因此采用 Emotiv系统作为脑电信号的采集系统。BCI与FES接口采用自行设计单片机接口电路：上端通过标准的RS232串口与PC机进行通信，主要接受BCI命令指令;下端通过单片机的输出口输出控制电压，此控制电压为与FES输入口检测相对应的具有一定幅值和持续时间的电压信号。当接收到BCI的动作模式识别结果后，发出具有一定幅值和持续时间的电压来触发电刺激器，电刺激器产生电脉冲来刺激骨骼肌，继而带动肢体运动。

由易到难开展了两组BCI-FES实验，第一组是针对小腿摆动的实验(见图3)，第二组是针对下肢行走的实验(见图4)。在小腿摆动实验中，电刺激只涉及了一块控制膝关节运动的肌肉(股直肌)。在下肢行走的实验中，电刺激涉及了每条腿的4块肌肉(髂腰肌、臀大肌、股直肌和腘绳肌)，控制了双腿的臀关节和膝关节的运动。

图3 BCI-FES控制的小腿摆动实验系统。(a)BCI系统及视觉刺激界面;(b)FES系统及实验范式Fig.3 Experimental system of shank swinging controlled by BCI-FES.(a)BCI system and visual stimulation interface.(b) FES system and experimental protocol.

步行运动的整体实验系统如图4所示。主要包括悬吊减重系统、绑缚系统、跑步机、FES系统、BCI系统、传感器及硬件接口。

图4 BCI-FES控制的行走实验系统。(a)FES电极及角度仪布置;(b)BCI系统及硬件接口;(c)实验中的步态Fig.4 Experimental system of walking controlled by BCI-FES.(a) Location of FES electrodes and goniometer(b)BCI system and hardware interface(c)Gait during experiment.

步行运动的实验与小腿摆动实验类似，采用相同的BCI-FES接口，将人体的视觉诱发脑电信号作为模式选择的依据，通过选择屏幕上的不同闪动区域来间接选择不同的电刺激模式，从而完成停止、开始、快速、慢速、保持现有状态5种控制下肢行走运动的方式。频闪方块的设计稍有不同，其中快速行走对应于周期为1.6 s的步态(约合2 km/h的步速)，慢速行走对应于周期为3.2 s的步态 (约合1 km/h的步速)。

2 结果与分析

2.1 脑电处理

由于EEG信号非常微弱，外界的干扰(包括电磁辐射、眨眼、肌肉动作等)会给EEG图谱的可读性带来问题，通常是要去除的。当使用基于SSVEP的脑机接口控制FES时，FES的电脉冲伪迹会对EEG信号造成很大的干扰。为此，需要探究在FES刺激引起EEG图谱变化的情况下，各模式类的特征空间是否仍然具有区分度，即所提取的特征信息在有电刺激伪迹存在时是否仍然显著。如本文1.1节BCI实验范式所述，5种频闪的频率分别为12.5、7.5、8.33、6.82、9.37 Hz。而 FES应用时的电脉冲频率一般在20～30 Hz之间，且固定不变，所以在频域下分析EEG信号，电刺激产生的尾迹应该与频闪的SSVEP响应不会产生干涉问题。实验结果验证了这一点。在受试者的腿部加入28 Hz的电刺激，同时受试者关注某一种频闪(如 12.5 Hz)，使用Neuroscan系统采集 EEG信号并分析。在时域里，EEG信号如图5(a)所示，可以看出电刺激的尾迹很严重，已经完全淹没了EEG里其他的信息成分。经过时-频变换，EEG信号在频域的结果如图5(b)所示。虽然电刺激频率(28 Hz)的功率谱及其谐波成分很明显，但是靶点频闪(12.5 Hz)及其谐波的功率谱也非常清晰，也就是说分类器依然可以准确地识别靶刺激模式。故而在后续的实验中，只要FES的电脉冲频率与频闪的频率有一定的差别，在线识别算法就不必对FES的刺激伪迹做特别的处理。

图5 电刺激对脑电的尾迹影响。(a)时域中电刺激作用下CB2通道的EEG信号;(b)频域中电刺激作用下EEG信号的功率谱图Fig.5 Electrical artifacts on EEG.(a)EEG from channel CB2 under FES in time domain.(b)EEG spectrum from occipital region CB2 channel under FES in frequency domain

采用Emotiv作为实际下肢运动控制中的BCI设备。首先在比较理想的实验条件下进行单纯的基于SSVEP的BCI实验，分析时间窗长为2 s，滑动长度为0.5 s。6位受试者对5种状态的平均识别率见表1，可见实验效果良好，基本都在85%以上，验证了算法的有效性以及该 BCI系统的可用性。受试者的经验会对识别率有很大的影响;从表1中可以看出，参加BCI实验次数多的受试者其实验效果总体要好一些。在实际实验过程中，各种外界干扰以及Emotiv电极松动等均会对BCI识别率造成一定影响，即在线识别率会有一些下降。

表1 基于SSVEP的脑机接口实验平均识别率Tab.1 Average recognition accuracy rate in SSVEP based BCI experiments

2.2 小腿摆动

在实验过程中，受试者分别将视线集中于开始摆动、快速摆动、慢速摆动和停止摆动4个区域，用来控制小腿的摆动情况。电刺激器输出端连接贴于大腿上侧皮肤表面的的电极，即对股直肌进行皮肤表面电刺激。电刺激脉冲的3个基本变量被设为固定值，即脉冲幅值 40 mA、脉冲宽度 300 μs、脉冲频率20 Hz，刺激频率的大小会影响腿部摆动的快慢。这里需要注意，刺激频率与脉冲频率是不同的概念。图2的快速行走方块代表刺激频率增加0.5 Hz，而慢速行走则代表刺激频率减少0.5 Hz。初始的刺激频率设为1 Hz，实验情况如图6所示。图6(a)显示了受试者注视“快速行走”闪烁方块，实现了小腿1.5 Hz的快速摆动;图6(b)显示了受试者注视“慢速行走”闪烁方块，实现了小腿0.5 Hz的慢速摆动。实验效果良好，受试者E对靶刺激模式的正确识别率在90%左右。该实验搭建的BCI-FES接口能在1～2 s的时间内识别受试者的意图，并完成不同运动模式的切换，这个接口也在步行控制实验中得以运用。

2.3 步行运动

步行实验系统参见图4。实验过程如下：脑电信号采集者依次注视开始行走、快速行走、慢速行走和停止行走4块屏闪区域，在相应的脑电信号处理后，由电刺激仪将8路电刺激信号输入到左右腿各4块肌肉(左右髂腰肌、臀大肌、股直肌和腘绳肌)的皮肤表面电极上，驱动下肢在设定好的动作模式下产生步态运动，对这4块目标肌肉的电脉冲设定值参见表2。实验同时，由贴于4个关节处(左右髋、膝关节)的角度仪采集实验过程中的关节角度变化情况，实验数据如图7所示。

图6 BCI-FES控制的小腿摆动实验结果。(a)快速摆动的膝关节角度曲线;(b)慢速摆动的膝关节角度曲线Fig.6 Experimental results of shank swinging controlled by BCI-FES.(a)Knee joint angle during fast swinging.(b)Knee joint angle during slow swinging

表2 目标肌肉的电脉冲参数设定值Tab.2 Parameters and values of the electrical pulses for target muscles

在图7的4幅图中发现，约5s处进入“开始行走”阶段，约14 s处进入“快速行走”阶段，约25 s处进入“慢速行走”阶段。将其中的右腿髋关节角度变化曲线单独拿出来分析，如图7(a)所示。可以看出，14～25 s的9～10 s时间内出现6个步态周期，步态周期为1.6 s，与脑机接口识别的快速行走意图吻合;25～35 s的约10 s时间内出现3个步态周期，步态周期为3.2 s，与脑机接口识别的慢速行走意图也吻合，这直接证明了脑机接口下对步态模式选择的准确性。从行走的关节角度来看，步态还不是很自然。与小腿摆动控制相比，行走的难度要大很多，是一种涉及了多肌肉、多关节和多自由度的运动。而且在三维空间里，受试者在行走过程中不只是矢状切面里的运动，在其他两个平面里都有相应的运动，同时受试者还要支撑身体质量，保持身体平衡，因此其自主控制必须参与其中。目前，完全单纯靠功能性电刺激技术来实现理想的行走运动是非常具有挑战性的。

图7 BCI-FES控制的步行关节角度实验结果。(a)右髋;(b)右膝;(c)左髋;(d)左膝Fig.7 Experimental results of joint angles during walking controlled by BCI-FES.(a)Right hip.(b)Right knee.(c)Left hip.(d)Left knee.

在实验的过程中发现若干问题：一是为驱动下肢产生行走运动，电刺激的强度比较大，因此会产生轻微的疼痛感;二是采用单绳悬吊，受试者很难保持水平面的身体稳定性，而且由于绑缚系统不能调节松紧，受试者很不舒服。这些因素让受试者很难全神贯注地集中视线于某一块屏闪区域，从而导致实验效果并不是很理想。受试者F对靶刺激模式的平均识别率低于70%。

关于脑机接口与电刺激结合的另一个重要考核标准应该是系统的响应速度，即在注视某一块屏闪区域之后，下肢动作能在多长时间内响应并产生预期的模式切换。但是，由于脑电信号的不稳定性因素过多，比如精神集中度差异、受试者个体差异等人体因素，会直接影响脑电信号的识别率，从而进一步影响整个BCI-FES系统的响应速度。故在本次实验中，在脑电采集者以决定注视某一特定屏闪区域直到电刺激受试者产生相应动作，存在1～2 s的延时，这也是基于稳态视觉触发的脑机接口技术目前难以避免的问题。

3 结论

笔者研究了脑机接口技术控制的功能性电刺激康复系统，以实现受试者下肢的运动，弥补了现有技术的空白。核心技术利用了基于稳态视觉诱发电位的脑机接口，实现了对5种运动意图的识别，设计的BCI-FES系统在健康受试者身上做了实验测试，分别实现了小腿摆动和行走运动，其中小腿摆动实验效果理想，步行运动有待改进。BCI-FES系统今后需要改进的地方，一方面是改进悬吊及绑缚系统，使受试者完全放松，能集中注意力关注SSVEP频闪;另一方面则是研究电刺激作用下的脑机接口优化和改进，将识别率和识别时间进一步改善，从而提高整个BCI-FES系统的应用性能。未来也将开展基于下肢瘫痪患者的实验测试。

[1]隋宝石，万柏坤.功能性电刺激与脑机接口的应用[J].中国医疗装备，2011，26(6)：63-66.

[2]Pfurtscheller G，Müller GR，Pfurtscheller J，et al.‘Thought’-control of functional electrical stimulation to restore hand grasp in a patient with tetraplegia[J].Neuroscience Letters，2003，351：33-36.

[3]Boord P，Barriskill A，Craig A，et al.Brain-computer interface-FES integration：Towards a hands-free neuroprosthesis command system[J].Neuromodulation，2004，7(4)：267-276.

[4]Meng F，Tong KY，Chan ST，et al.BCI-FES training system design and implementation for rehabilitation of stroke patients[C]//IEEE International. Joint. Conference on Neural Networks(IJCNN).Hong Kong：IEEE，2008：4103-4106.

[5]Tan HG，Kong KH，Shee CY，et al.Post-acute stroke patients use a brain-computer interface to activate electrical stimulation[C].The 32ndInternational Conference of IEEE Engineering in Medicine and Biology Society(EMBC).Buenos Aires：IEEE，2010：4234-4237.

[6]Bentley ASJ，Andrew CM，John LR.An offline auditory P300 brain-computer interface using principal and independent component analysis techniques for functional electrical stimulation application[C]//The 30thInternational Conference of IEEE Engineering in Medicine and Biology Society(EMBC).Vancouver：IEEE，2008：4660-4663.

[7]周鹏，曹红宝，熊屹，等.基于脑机接口的智能康复系统的设计[J].计算机工程与应用，2007，43(26)：1-4.

[8]Yao L，Zhang DG，Zhu XY.Using SSVEP based brain-computer interface to control functional electrical stimulation[C]//The 5 th EEE International Conference on Cybernetics and Intelligent Systems(CIS).Qingdao：IEEE，2011：323-328.

[9]Zhang DG， Liu GQ， Huang G， et al. A hybrid FES rehabilitation system based on CPG and BCI technology for locomotion：A preliminary study[C]//Proceedings of ICIRA.Singapore：Springer，2009：1073-1084.

[10]Do AH，Wang PT，King CE，et al.Brain-computer interface controlled functional electrical stimulation system for ankle movement[J].Journal of NeuroEngineering and Rehabilitation.2011，8：49.

[11]Gollee H，Mclachlan AJ，Hunt KJ，et al.An SSVEP based brain-computer interface for the control of functional electrical stimulation [J].IEEE Trans.Biomedical Engineering，2010，57(8)：1847-1855.