张力新 常美榕 王仲朋 陈 龙* 明 东#
1(天津大学医学工程与转化医学研究院, 天津 300072)2(天津大学精密仪器与光电子工程学院, 天津 300072)
脑-机接口(brain-computer interface,BCI)系统可不依赖外周神经或肌肉,通过解码用户大脑活动对外部设备发送控制指令,为人机交互控制与残疾人康复和辅助等提供了全新技术途径[1-2]。作为BCI的重要范式之一,运动想象(motor imagery,MI)是对运动行为的心理演练而未有明显运动输出,可直接映射用户运动意图,而且对无法进行自主运动患者的康复训练具有独特优势。MI-BCI能以自然、直观的命令方式实现控制,得以广泛研究[3-5]。
研究显示,目前MI-BCI的研究多以上肢控制为主,主要原因是需要精细控制的上肢(如手臂、手指等)映射到大脑皮层外表面且占据运动皮质较大区域,而下肢(如髋、腿、踝、脚等)位于皮层沟壑且仅占运动皮质小部分区域,如图1所示[6]。然而在步态康复研究控制系统中下肢分类具有重要作用。众所周知,脑电(electroencephalogram,EEG)信号时间分辨率较高,但其空间分辨率较低,限制了下肢MI-BCI系统性能。
图1 躯体感觉区和躯体运动区[6]Fig.1 Sensory and Motor homunculus of the human brain[6]
为提升下肢MI-BCI系统性能,有学者构建混合范式,根据用户群体可分为两类:肢体运动障碍患者和普通用户,对患者多采取MI结合肢体残存肌电等电信号方式;对普通用户则是将MI与视觉型、听觉型等反应式BCI融合,分析EEG包含的多种特征信息[7-9]。后者受众群体广,但反应式BCI占据用户视觉、听觉通道,增加用户的精神负担。
基于体感刺激的BCI系统范式,无需占据视觉、听觉通道,不会在执行MI任务时消耗更多的注意力,在未来应用中具有显著优势和技术发展潜力。较高频(>10 Hz)连续脉冲重复刺激人体,产生稳定且振荡与刺激频率相同的电反应,称为稳态体感诱发电位(steady state somatosensory evoked potential,SSSEP)[10]。有研究表明,施加体感刺激诱发SSSEP可对肢体进行分类识别且得到的下肢分类结果优于MI-EEG方式。2017年,Kee等[11]对脚趾施加振动刺激诱发SSSEP,分别使用共空间模式(common spatial pattern,CSP)和功率谱密度(power spectral density,PSD)特征提取方法,左、右脚分类正确率均约为72%,相较于MI提升了10%以上。此外,SSSEP与MI结合的BCI混合范式分类性能优于任何一种单一范式。Ahn等[12]的MI-SSSEP混合范式研究显示,左、右手识别准确率比单一范式提高了约10%;2017年,Yi等[13]设计的MI-SSSEP混合范式同样证实了这一结果。此外,该作者指出MI-SSSEP是唯一的在保持MI-BCI的优势的同时,可按传统方式调制大脑活动的复合范式。
作用于特定感觉受体产生SSSEP有多种刺激方式,其中机械振动、触觉或痛觉等刺激方法更自然,但其技术复杂、产生SSSEP幅值较低;电刺激周围神经技术操作简单,且刺激运动神经、感觉混合神经和纯感觉神经刺激均能产生波形相同的SSSEP[14]。
在BCI系统中引入运动功能康复辅助机器人,可促进患者的神经运动康复,有较大应用前景。此外,有学者指出面向康复与辅助应用的BCI技术在军事、航天、医疗及生活娱乐等多领域均具有令人期待的光明未来[15-16]。本研究引入体感电刺激诱发的SSSEP,针对下肢分类识别设计了MI-SSSEP混合范式,探讨了MI/电刺激下执行MI(peform MI tasks under electrical stimulation (ES),记为MI+ES条件)及CSP/基于多频率成分的共空间模式(filter bank CSP,FBCSP)特征提取方法下EEG信号频谱、空间和时间特征,借助统计学分析评估性能。旨在提升下肢左、右足MI-BCI系统性能,促进MI-BCI在下肢康复与辅助中的应用。
共招募了20名(11名男性,9名女性,年龄范围为22~28岁)右利手健康成年受试参加实验。所有受试均无精神系统疾病史,没有服用任何影响脑电的药物,均为天津大学在校学生。实验开始前所有的受试者均签署了知情同意书,且实验人员向受试讲解了实验流程及任务,以使受试者清楚了解实验目的和步骤。获得了天津大学伦理委员会的批准。
设定人体实际行走时双足背屈动作指令。受试在实验时执行左、右足背屈的动觉MI(kinesthetic motor imagery,KMI)任务,即受试固定脚后部,想象自己脚尖缓慢匀速抬起放下的动作。任务包含左脚KMI指令、右脚KMI指令,分别记为left和right。实验分两种条件:一是没有任何外部刺激的条件,记为MI条件;二是体感电刺激条件,记为MI+ES条件。两种条件流程完全相同。
选择体感电刺激诱发SSSEP,使用天津大学神经工程团队自主研发的TUN-FES双通道恒流电刺激器,已通过国家食品药品监督管理总局的注册检验。可输出双向对称Lily波、刺激频率最高100 Hz、最大电流值为60 mA,MI+ES条件,受试双足胫后神经分别放置两个直径2.5 cm的无纺布圆片电极,实验场景与设备如图2所示。
图2 实验场景与设备。(a)实验场景;(b)左侧为电刺激设备,右侧为胫后神经电极位置示意Fig.2 The experimental scene and devices. (a) experimental scene; (b) The left is electrical stimulation equipment, the right is schematic diagram of the electrode position of the posterior tibial nerve
研究表明,采取差频刺激脚踝胫后神经,大多数受试的最优诱发频率为左侧28 Hz,右侧33 Hz[17]。在此基础上,选取5名(2女,3男,年龄23~25岁)受试在正式实验前进行SSSEP诱发频率筛选试验(记为最优诱发频率验证实验),缩减系统使用前频率筛选步骤。
最优诱发频率验证试验分为2个session,即session 1和session 2,均在MI+ES条件执行KMI任务。在参考文献[17-18]研究结果的基础上,同时为简化验证流程,仅选取两种差频刺激频率组合:session 1中,刺激频率设置为左侧22 Hz、右侧30 Hz; session 2中,刺激频率设置为左侧28 Hz、右侧33 Hz。KMI任务刺激对Cz导联时域EEG信号进行频域分析得到频域幅度响应如图3所示。可以看出,session 1和session 2试均诱发产生SSSEP,且后者诱发SSSEP的一次谐波及二次谐波处幅度高于前者,验证了已有研究结果[19]并选定刺激频率组合为左侧28 Hz、右侧33 Hz (差频5 Hz)。
图3 Cz导联某受试者分别在left和right指令下的频谱图。(a)Session 1(b)Session 2Fig.3 The power spectrum of the Cz channel of a subject under left and right commands.(a)Session 1;(b)Session 2
共有15名(8男7女,年龄22~28岁)受试参与正式实验。正式实验分训练阶段与实验阶段,流程如图4所示。所有受试均完成整个实验流程。训练阶段,受试需在连续6 d内,每天进行3 min运动执行(motor execution,ME)任务和30 min的MI任务,实验阶段在第7 d完成。实验阶段分2个session, session 1为MI条件,session 2为MI+ES条件。每个session分2个block,每个block包含40个trial,其中left、right指令各20个trial。每个trial中指令提示字符持续出现4 s(在此期间受试执行相应指令提示的运动想象任务)。此外,session 2执行前将依据受试个人情况适当调整电极位置和电流幅度以保证诱发出清晰的SSSEP,施加的电流于每个trial第2 s开始由0 mA逐渐增大,0.5 s内增加到设定值,运动想象任务结束后0.5 s内逐渐降低到0 mA。受试在各block完成后可适当休息,避免疲劳影响实验效果。
图4 实验流程(每个trial中白色圆圈持续2 s表示一次trial的开始,随后红色圆圈出现1 s,指令提示字符持续4 s提示受试执行运动想象任务,rest字符在下个trial开始前持续出现1 s)Fig.4 Experimental process schematic diagram (Each trial started with a white circle keeping 2 s, followed by a red circle for 1 s. The command cued the subject to perform the indicated task (MI) for 4 s. ‘rest’ indicates a 1 s rest before the next trial)
对每名受试每只脚的电流设定强度进行单独调整,以使全部脚趾产生强烈的酥麻感,同时未引起任何不良反应,15名受试的电流强度在8 ~30 mA内不等,如表1所示。
表1 所有受试者左右脚设定的刺激强度
实验使用64导Neuroscan Synamps 2采集放大系统(美国Neuroscan公司),受试佩戴配套的Quik-Cap电极帽获取62导联脑电数据,代表眼动信号的“HEOG”和“VEOG”电极被剔除。EEG信号采样率为1 000 Hz,经50 Hz陷波处理,参考电极放置在鼻尖、接地电极放置在前额,各导联阻抗控制在15 kΩ以下。整个实验在隔音的脑电信号采集实验室内完成。要求所有受试在实验过程中避免身体大幅度移动,以减少身体运动带来的肌电图伪影。
使用Matlab中EEGLAB工具箱对原始EEG数据进行预处理,包含降采样、滤波、截取数据3个步骤。
步骤1:降采样至250 Hz;
步骤2:使用三阶巴特沃斯滤波器进行带通滤波处理;
步骤3:定义每个trial任务开始时刻为0时刻,截取0时刻前2 s至其后4 s(共6 s)数据进行处理。
计算功率谱时选取带通滤波范围为5~70 Hz,以便观察SSSEP的一次、二次谐波振荡特征;绘制时频图以及计算分类结果时选取5~40 Hz范围带通滤波分析EEG中alpha、beta频带的特征信息。
为观察EEG中SSSEP振荡与刺激频率的对应关系[16],利用快速傅里叶变换(fast Fourier transform,FFT)及离散傅里叶变换(discrete Fourier transformation,DFT)找出有限长离散信号的各个频率分量[20-21]。主要分析对应的运动皮层中央前回周围几个关键导联:C1-Cz、Cz、C2-Cz(记为选定导联及运算组合)。为突出左右皮层的差异,计算Cz导联与C1、C2导联的能量差,并将其绘制成EEG差值频谱图,分别记为C1-Cz、C2-Cz导联[22]。
为探索不同条件对MI运动皮层激活的影响,利用事件相关谱扰动(event-related spectral perturbation,ERSP)对预处理后的EEG数据进行时频分析。ERSP的计算公式为
(1)
式中,n表示trial的数目,每个session单类任务的trail数为40,Fk(f,t)表示特定频率f和时间t处第k个trial的频谱估计。
此外,根据基线归一化ERSP,计算了选定导联及运算组合alpha(8~13 Hz)、低beta(14~24 Hz)、高beta(25~35 Hz)频段所有受试平均事件相关(去)同步(event related(de)sychronization,ERD/S)信息,定量研究不同条件下的ERD模式[23],计算公式为
(2)
式中,F表示要计算的频带,N表示所选频带所有频率点的数目。
此外,选取CSP、FBCSP方法提取MI及MI+ES条件不同指令的特征。
图5 FBCSP特征提取及分类Fig.5 Schematic diagram of FBCSP Feature extraction and classification
对提取特征后的数据使用支持向量机(support vector machine,SVM)进行分类,相较于其他大多数分类器,SVM适用于样本量较小、数据维度较高等问题的处理上[25]。采用Matlab中LIBSVM软件包实现分类识别。截取任务开始后0.5~3.5 s内的EEG数据,通过十折交叉验证策略将每种条件下80个trial的数据分为训练集和测试集。针对FBCSP特征提取方法,使用十折交叉验证取得最高正确率的滤波器个数作为每个子频段的滤波器个数。
总之,对经过预处理后的脑电数据本文主要从频谱响应、时频特征及分类准确率等3个方面进行分析处理。首先使用FFT处理MI+ES条件下选定导联及运算组合导联的EEG信号,绘制其频谱响应曲线,观察SSSEP的诱发强弱程度。随后分别绘制了MI、MI+ES条件的事件相关谱扰动,对比在不同条件下受试在特定时间和频率下的脑电能量信息;此外,为了更好的定量计算MI+ES条件下left、right指令的ERD能量模式差异,绘制了ERD柱形图。
最后,使用CSP、FBCSP特征提取算法计算MI、MI+ES条件的分类准确率,分别分析SSSEP、特征提取算法对分类结果的影响,并利用配对t检验方法进行显著性分析。其中,FBCSP特征提取方法所选的频率成分为6个5 Hz带宽的子频段,覆盖10~40 Hz的频率范围,即10~15、15~20、20~25、25~30、30~35、35~40 Hz。
图6展示了MI+ES条件下选定导联及运算组合所有受试平均EEG频谱图。由图可见,MI+ES条件受试left、right指令均在刺激频率第一、第二谐波处均表现出清晰的峰值,表明体感电刺激左、右脚在皮层顶区成功诱发出相应频率的SSSEP,为接下来分析SSSEP对提升下肢MI-BCI系统性能与否提供了必要条件。同时还观察到体感电刺激产生的幅度响应无明显对侧占优现象,其原因为足KMI任务映射位于皮层沟壑,而EEG无法获取皮层较深区域的精准信息,这也是限制下肢EEG-MI-BCI系统发展的原因之一。
图6 MI+ES条件选定导联及运算组合下left和right指令的平均频谱图。(a)C1-Cz;(b)Cz;(c)C2-CzFig.6 Average spectrum of MI+ES condition at selected channel and its combination of calculations under left and right commands.(a)C1-Cz;(b)Cz;(c)C2-Cz
图7给出了MI及MI+ES条件选定导联及运算组合的平均时频图。由图可知,相对于MI条件,MI+ES条件left、right指令在刺激频率处,即28和33 Hz时频图显示清晰的能量上升现象(即SSSEP特征),并表现出长时程特点(持续到电刺激结束时刻)。表明胫后神经体感电刺激诱发出了SSSEP特征,并且与刺激有锁时关系。
图7 选定导联及运算组合的平均时频图(每行从左至右依次为MI条件left指令、MI条件right指令、MI+ES条件left指令、MI+ES条件right指令;红色虚线表示0时刻,即指令开始时刻)。(a)C1-Cz;(b)Cz;(c)C2-CzFig.7 Average time-frequency maps at selected channel and its combination of calculations (From left to right is left instruction of MI conditional, right instruction of MI conditional, left instruction of MI+ES conditional, right instruction of MI+ES conditional in each row, respectively. The red dotted line indicate time 0, which is the instruction onset).(a)C1-Cz;(b)Cz;(c)C2-Cz
此外,为定量研究不同运动想象指令的ERD模式,分别计算了MI+ES条件alpha(8~13 Hz)、低beta(14~24 Hz)、高beta(25~35 Hz)3个频带在不同参考方式下所有受试的平均ERD能量值绘制成柱状图,如图8所示。由图可见,alpha频段选定导联及运算组合均显示去同步现象(ERD); 低beta频段Cz导联及高beta频段均显示同步现象(ERS)。SSSEP刺激频率包含在高beta频段,因此选定导联及运算组合均表现为ERS。
图8 MI+ES条件选定导联及运算组合平均柱状图。(a)alpha;(b)低beta;(c)高betaFig.8 Histogram of MI+ES condition at selected channel and its combination of calculations.(a)alpha;(b)Low beta;(c)High beta
从两个角度分析不同条件对基于SSSEP的下肢MI-BCI系统分类性能影响。首先,对比了MI条件与MI+ES条件left、right指令分类准确率分别使用CSP/FBCSP特征提取方法下的改变。
MI/MI+ES条件每名受试及所有受试平均的分类准确率的改善效果,并对平均分类准确率进行统计检验,如图9所示。从图可见,CSP/FBCSP特征提取方法得到的平均分类准确率在MI及MI+ES条件均超过50%机会水平且统计检验表明均有显著性(P<0.001)提升。MI条件CSP特征提取方法所有受试平均分类准确率为52.8%±2.1%,而FBCSP特征提取方法的分类准确率为57.3%±5.1%。MI+ES条件相应的平均分类准确率依次为70.2%±8.9%、71.7%±9.9%,相较于MI条件提升了14.4%、17.4%。其中受试者S15,MI+ES条件分类准确率高达90%。该结果表明,引入SSSEP有助于提升系统性能。
图9 CSP/FBCSP方式,MI/MI+ES条件分类正确率比较(**:P<0.001)。(a)CSP;(b)FBCSPFig.9 Comparison of MI/MI+ES classification accuracy under CSP/FBCSP method(**:P<0.001).(a)CSP;(b)FBCSP
其次,评估了CSP和FBCSP特征提取方法受试分类准确率的改善(见图10)。结果显示,FBCSP特征提取方法的分类准确率均高于CSP,但仅MI条件分类准确率的改变有显著性(P<0.01)。该结果表明,FBCSP较CSP有助于提升MI条件分类性能。
MI技术是主动式BCI的一种典型范式,是卒中等肢体运动功能障碍患者的一种新型临床神经康复手段。现阶段基于BCI的MI技术能够有效解码肢体(尤其是在步态康复研究控制系统中发挥重要作用的下肢)的指令集数目较少,且解码正确率有限。然而,在基于BCI的MI技术实用化发展进程中,提升下肢运动意图指令集及正确率是MI技术未来应用的必然趋势。为此,Yu等[9]将基于视觉和听觉得BCI范式与下肢MI范式结合,探究视觉和听觉对运动想象的影响,结果表明,视觉和听觉结合MI的治疗方法是一种很有前途的运动康复手段。但在BCI系统使用期间,视觉和听觉会占据用户额外的注意力资源。因此,将无需消耗用户注意力的体感刺激与MI范式融合,用于下肢运动意图分类。从分类结果和时、频域等多维度分析脑电特征。结果表明,体感刺激诱发的SSSEP融合MI较单一MI可提升下肢BCI系统性能,并且SSSEP融合MI较单一MI可在时域和频域产生明显的特征差异。
在李小芹等[18]的研究基础上,证实了体感电刺激胫后神经可产生清晰的SSSEP特征,且MI结合体感电刺激的混合范式较单一MI范式有显著性提升。尽管最终15名受试平均分类结果与该文献中10名受试的结果相差不大,但较宽频带范围内,诱发的SSSEP特征在诱发频率处的时频特征图中清晰可见,且呈现长时程特性;在频域幅度响应结果图中显示SSSEP的幅度较高,与时频特征一致。
此外,对比了受试CSP/FBCSP特征提取方法下MI/MI+ES条件的分类结果,并从两个层面对产生分类结果的原因展开分析。发现引入SSSEP可显著提升下肢MI-BCI系统性能,推测主要原因可能有二:一是从特征层面考虑,诱发SSSEP的频段与MI产生的特征频段无重叠,一定程度上拓展了用于分类识别的维度,致使二者融合利于分类;二是从空间信息层面考虑,诱发SSSEP的体感电刺激施加与左、右脚的刺激强度和刺激频率不同产生的差异增强了可分性。
由CSP/FBCSP特征提取方法分析可知,对MI条件而言,后者得到的分类准确率更高,可能原因为:MI条件仅包含MI产生的ERD特征,FBCSP构建的多个频段滤波器较CSP而言,可提取更多利于分类的特征;对MI+ES条件而言,两者的差异并不明显,可能由于MI+ES条件包含多种特征,CSP得到的分类结果较MI条件已有较大提升。该结果表明,对单一MI范式,FBCSP较CSP能提取更多利于分类的特征,而对含多种特征的混合范式不明显。
然而,本研究仅采集和分析了受试训练后的脑电数据,未来将探究长时间连续训练对ERD及SSSEP特征的影响。
针对现有下肢MI-BCI分类性能较低等关键问题,提出了一种MI融合体感电刺激诱发SSSEP的混合范式用于下肢BCI系统,尝试了两种差频频率对进行最优诱发频率验证试验,最终设定一种较好的诱发频率以降低系统使用时间成本,并与单一MI-BCI系统对比,探索优化系统性能的数据分析策略。研究表明,MI融合SSSEP较单一MI可显著提升系统性能;FBCSP较CSP仅对MI条件分类结果有显著性提升。研究结果可为面向下肢MI-BCI系统性能提升与实际应用提供有参考价值的研究依据和应用基础,也能为刺激外周神经的体感刺激调控方法的优化设计策略提供新的技术思路。