虚拟诱导患者下肢主动运动意图及其脑电精准感知方法

董润霖,张小栋,李瀚哲,李亮亮,史晓军

(1.西安交通大学陕西省智能机器人重点实验室, 710049, 西安; 2.西安交通大学机械工程学院, 710049, 西安)

近年来,因意外伤害或疾病导致下肢运动功能障碍的患者不断增多,除去必要的手术治疗外,患者恢复期采用科学的康复训练方式对于致残率降低及术后生活质量提高至关重要[1]。康复运动训练包含被动运动与主动运动两种形式,由于主动运动能够促进运动形态知觉、运动幅度知觉、身体方位知觉的形成,在目前的康复临床治疗中,越来越多的康复理疗师提倡以“主动运动为主,被动运动为辅”的康复模式[2-3]。

主动运动以患者为导向,在运动中促使功能恢复,患者在行走过程中常伴随着下肢力弱、变形、感觉异常等问题,使得运动过程艰难且痛苦。随着康复辅具的开发,外骨骼机器人由于具有人体可穿戴的特点,拥有好的机体适应性与安全性,已逐步取代传统康复辅具成为新的研究热点[4-6]。

主动运动康复模式中外骨骼机器人应采用基于患者运动意图及下肢状态的按需辅助控制策略,运动意图识别作为控制问题的输入是该研究的关键。大脑是意图产生的根源,解码脑电信号是获取运动意图最快速最直接的途径,并从源头上保证了信号的前置性[7-8]。然而,患者完成康复运动过程中,常由于要忍受身体带来的剧烈疼痛而无法产生较为强烈的运动意图,甚至不具有主动运动意图,加之脑电信号的非平稳性与易干扰性,使得意图识别的准确率始终较低。

对于上述问题,传统指令式的引导不能很好的唤起患者兴趣并产生强烈运动意图,缺乏良好人机交互,有学者提出在康复训练中引入虚拟现实(virtual reality,VR)技术,构建具有丰富感知的三维视听一体化虚拟环境,使患者可在非现实氛围内完成虚拟与现实间的双向互动[9-12]。针对性的沉浸式体验感,大脑产生选择性注意现象,使感知觉对特定目标选择指向和集中注意[13-14]。Alessandra等统计分析了2015—2020年间虚拟现实技术对骨科患者影响的临床数据,多项结果表明虚拟现实技术对患者的康复呈现积极作用[15]。Chillura等的病例研究表明,虚拟现实下的传统康复与机器人辅助康复相结合可进一步增强功能恢复,联合治疗后患者的改善效果明显大于单纯常规康复治疗后的改善效果[16]。统计数据表明,虚拟诱导系统对下肢运动功能障碍患者的康复具有促进作用。然而,当前研究大多集中于整体康复情况的定性分析,缺乏基于数据定量分析的虚拟诱导系统对患者运动意图的影响研究。

本文研究着眼于上述问题,针对现有设备与技术缺陷,结合生物电信息技术特点与虚拟现实技术优势,分析患者意图产生与感知机理,提出一种虚拟诱导患者下肢主动运动意图及其脑电精准感知方法。在虚拟现实平台上设计开发针对患者的沉浸式虚拟诱导场景,激发患者兴趣并减弱消极因素影响,诱导患者产生并增强其自发的主动运动意图,研究基于自适应噪声完备经验模态分解-独立成分分析(complete ensemble empirical mode decomposition with adaptive noise-indep endent component analysis, CEEMDAN-ICA)的脑电信号伪迹去除方法,以及基于卷积神经网络的运动意图识别方法,旨在实现意图感知准确率的提升,为外骨骼机器人按需辅助控制奠定基础。

1 虚拟诱导患者下肢运动意图及其感知机理分析

1.1 患者运动康复策略与主动运动意图产生机理

运动康复是通过体育运动手段和方法来促进个体的机体、心理、社会性等各方面的恢复的过程[17]。实践证明,人类的很多疾病在临床上虽然已经治愈,但是病患者的机体并没有完全恢复,许多机体功能仍然处在正在恢复的状态之中,运动疗法能有效地缩短康复期,使患者早日获得身心康复。目前,运动康复的重要医疗价值已经被充分承认,在国内外体育领域、医学领域以及社会学等领域都备受重视。

世界卫生组织(WHO)提出“应该提倡主动训练技术和身体体质训练”,在康复过程中,患者自身产生主动运动意图是康复运动训练时的关键[18]。人体下肢主动运动意图的产生受到自身意念、外界环境刺激以及个体身体感官的影响,产生机理如图1a所示,外界环境刺激通过视觉、听觉神经通路传入大脑,同时其他感觉神经通路接收来自外界环境与人体自身的感官信息,大脑在高级认知过程中将外界环境刺激结果、人体自身感受与个人意志等因素结合,最终产生下肢运动意图。

(a)人体下肢主动运动意图产生机理

因此,在某时刻产生的运动意图可用如下方程表示

I(t)=[k(t)+V(t)+A(t)+S(t)]x(t)

(1)

式中:V(t)代表人体感受到的视觉信息因素;A(t)代表人体感受到的听觉信息因素;S(t)代表人体感受到的感觉信息因素;k(t)代表个人意志;x(t)代表大脑的高级认知过程,大脑在高级认知过程中融合各部分因素进行信息加工,最终产生运动意图。由此可见,人体主动运动意图的产生是多种因素综合作用的结果。

1.2 虚拟诱导患者运动意图机理分析

大脑思维中枢的注意控制环路由“中脑网状结构→丘脑板内核→端脑皮质→丘脑网状核→中脑网状结构”构成,中脑网状结构接收各信息通道的非特异性投射信号,通过竞争决定信息通路及神经元激活,形成和控制思维的注意指向,并且,皮质的神经活动通过丘脑网状核会聚投射到中脑网状结构,调制和影响对注意的控制,注意指向的形成即思维中枢对思维过程的控制[19-20]。

将促使下肢运动功能障碍患者产生运动意图的因素视为积极因素,阻碍患者产生运动意图的因素视为消极因素。患者运动时,大脑的注意指向多集中于痛感即思维中枢被消极因素占据。对于脑机制正常的人,最易引起注意指向切换的因素为外部感觉信号的传入,信号强烈时则该通道神经元的兴奋整合更快并激活,向丘脑发放激励脉冲并对当前注意通路进行抑制,完成注意指向切换。因此,增强具有积极因素的外部刺激,可以相对性地削弱疼痛对患者带来的消极影响。

视觉刺激是有效的外界刺激方式,结合虚拟现实技术为患者搭建一个沉浸式虚拟空间,最大限度减少其他因素的干扰,增强积极因素影响,减弱消极因素影响,使大脑的注意指向集中于渴望运动的意图上,使患者产生强烈的主动运动意图。忽略影响下肢运动功能障碍患者主动运动意图较小的因素,患者虚拟诱导运动意图产生过程如图1b所示。可以看出,虚拟诱导系统输出与人体痛觉的耦合作用决定了下肢运动功能障碍患者大脑的注意指向,即患者主动运动意图的产生。

在式(1)的基础上,基于虚拟诱导的患者当前时刻意图可以用如下方程表示

I(t)=[V(t)-P(t)]x(t)

(2)

式中:A(t)为虚拟诱导系统的输出,即患者即视觉感受器的输入,A(t)=a(t)s(t),其中a(t)是虚拟诱导场景中的设定参数;V(t)为视觉神经通路的输出,V(t)=A(t)v(t);P(t)为痛觉神经通路的输出,P(t)=b(t)p(t),其中b(t)为疼痛参数,来自于人体下肢神经末梢的痛觉感受器。

1.3 下肢运动意图的脑电产生及感知机理

科学研究发现,人体功能在大脑皮质上有定位关系,德国医生Korbinian Brodmann在1909年最早提出了布罗德曼分区,成为沿用至今的最为流行的结构分区方法[21]。参与人体下肢主动运动意图的产生及运动控制的相关功能脑区包含:外界刺激信息处理相关脑区(视觉区、听觉区等)、运动皮层区、前额叶皮层等。

脑电波(electroencephalogram,EEG)是一种使用电生理指标记录大脑活动的方法,可以反映大脑运行状态和神经细胞活动情况,由大脑活动时大量神经元同步发生的突触后电位经总和后形成[22]。大脑活动时的电波变化,是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映,记录不同分区内的脑电信号并对其分析可以获得大量包含运动意图在内的生理、心理及病理信息。

2 下肢主动运动意图虚拟诱导系统设计

2.1 基于虚拟诱导脑电信号的人机交互策略

虚拟诱导系统既要对患者发出诱导信息,又要接收患者实时状态进行针对性的场景调整。基于虚拟诱导脑电信号的人机交互策略如图2所示,在患者个人特质基础上设计开发虚拟仿真场景,患者佩戴虚拟现实设备并通过人体感知系统接收到诱导信息,产生运动意图后由中枢神经系统将信息逐层传递至相关肌肉、肌群,完成人体下肢运动,同时,系统对脑电信号解码获得患者运动意图,并反馈于虚拟诱导系统使其进一步实现针对性诱导。

图2 基于虚拟诱导脑电信号的人机交互策略 Fig.2 A human-computer interaction strategy based on virtually induced EEG signals

2.2 虚拟场景建模

虚拟场景包含虚拟人物模型和虚拟仿真环境模型,基于虚拟诱导患者运动意图机理,在虚拟现实平台上搭建的仿真场景应接近现实环境以使受试者适应,并弱化无关因素的影响,突出诱导因素的作用,本文场景基于Unity3D编辑器实现。

虚拟人物模型在场景中起主要诱导作用,先建立人物仿真模型,导入3Ds Max中添加骨架如图3a所示,然后为使患者的信息接收指向更明确,对诱导人物进行单独动作的局部动画编辑使动作更加精细如图3b所示。此处采用数据干预与动画相结合的方法,使虚拟诱导具有一定的个体差异适应性。进一步,在编辑器中添加贴图、渲染等使模型视觉效果逼真,添加Rigidbody 3D物理引擎以及材质、动力学等信息,加入碰撞器防止虚拟对象在物理模拟过程中模型互相穿透。

(a)人体骨架仿真

虚拟仿真环境模型包含灯光、相机以及虚拟空间内的其他内容等,创建虚拟场景时将相机绑定至虚拟头盔,光源设置为天空盒以产生自然光照的效果,使场景更加逼真。

2.3 虚拟诱导系统数据通信接口

虚拟诱导系统的数据通讯为多源数据的跨平台通讯,故采用数据库通讯方式以保证各数据的兼容性。在虚拟诱导场景中构建Plugins插件,添加连接数据库所需的动态链接库,建立全局脚本并添加相应的类,连接数据库成功后基于Dataset数据集实现对指定数据读取调用等。本文基于该接口实现虚拟诱导场景数据与脑电数据的同步打标,以及虚拟场景参数调整。

3 患者下肢运动意图脑电精准识别方法

3.1 基于CEEMDAN-ICA的脑电信号伪迹去除方法

经验模态分解(empirical mode decomposition,EMD)是一种分析非线性系统非平稳信号的时频域信号处理方法,尽管克服了小波分析中基函数无自适应性的问题,但仍存在“模态混叠”问题,在脑电信号伪迹去除中的效果较差。集合经验模态分解(ensemble empirical mode decom position,EEMD)利用白噪声频率均匀分布特性,在信号中多次加入白噪声抑制端点效应和模态混叠现象,然而EEMD分解后的各模态分量都不可避免的存在噪声残留[23]。自适应噪声完备集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise, CEEMDAN)是对EMD方法的更进一步改进,克服了EEMD方法存在重构误差的问题。

设原始信号为s(t),ni(t)是第i次添加均值为0方差为1的白噪声,σ为信噪比控制系数。采用CEEMDAN算法,构造信号如下式所示

si(t)=s(t)+σni(t),i=1,2,…,N

(3)

(4)

(5)

式中,k=1,…,K-1。计算模态分量后对余量继续分解,直至余量信号不可再分解时算法终止。

独立成分分析(independent component analysis,ICA)是一种处理盲源分离问题的方法,通过观测信号估计源信号。ICA模型可表示为

x=As

(6)

式中:x是观测信号;s是源信号;A是混合矩阵。s、A均未知,ICA方法即为寻找混矩阵W的解

y=Wx=WAs

(7)

用ICA对经CEEMDAN分解后形成的模态分量进行独立成分分析,得到相应的混合矩阵A和解混矩阵W,并通过模糊熵阈值判别式判断独立分量是否属于伪迹成分。将伪迹成分置零,余下分量进行ICA逆变换,得到重构EEG信号。

3.2 基于卷积神经网络的运动意图识别方法

EEG信号相对于其他生理信号微弱得多,尽管大脑在产生运动意图时会伴随有事件相关去同步化(event-related desynchronization,ERD)和事件相关同步化(event-related synchronization,ERS)的现象,但作为稳定性差且易受干扰的信号,特征提取难度较大,基于特征的模式识别准确率更低。深度学习是一种可以自学习数据特征的机器学习方法,在普通神经网络中增加了深度属性,相较浅层网络,其对于EEG这种复杂信号的识别效果更好。

卷积神经网络(convolutional neural networks,CNN)是具有深度结构的神经网络,其结构如图4所示。卷积层在输入数据中提取特征,池化层降低数据维度以减少计算量,各隐层交叉连接计算,全连接层输出分类结果。与其他神经网络相比,CNN对于EEG信号这种样本数量较少的输入数据更容易培养出好的网络模型。

图4 卷积神经网络结构Fig.4 The structure of convolutional neural network

VGG-16是由University of Oxford的Visual Geometry团队提出的深度学习卷积神经网络,其相关工作证明了增加网络的深度能够在一定程度上影响网络最终的性能[24]。该网络采用连续几个小卷积核代替最初网络中的较大卷积核,这样可以在保证在相同感知野的条件下以多层非线性层增加网络深度来保证学习更复杂的模式,并且参数更少[25]。本文基于上述网络框架,有13个卷积层,5个池化层,3个全连接层,1个归一化层,将输入数据用“same”操作填充,保证卷积操作后输入输出大小相同,卷积核大小为3×3并使用tanh函数激活,池化层采用最大池化方法,步长为2×2。

4 实验及结果分析

4.1 实验平台搭建

为验证虚拟诱导系统的有效性,搭建实验平台如图5所示。实验平台包含虚拟诱导模块、脑电信号采集模块和上位计算机,其中采用HTC VIVE Pro虚拟头盔进行虚拟诱导,采用Neuracle博睿康的32导脑电帽进行脑电信号的采集,其采样频率为1 000 Hz,上位计算机主要完成接收并存储EEG信号,并利用MATLAB进行信号处理。

(a)实验原理框图

4.2 实验设计与安排

为防止虚拟头盔与脑电帽摩擦而产生信号干扰,本次实验将佩戴虚拟头盔改为手持,该实验除下肢产生运动其余身体部分无任何运动,故手持头盔不会对实验结果产生影响,本实验在国际10/20系统下脑电测点为FP1、FP2、FZ、F3、F4、F7、F8、FC1、FC2、FC5、FC6、CZ、C3、C4、T3、T4、A1、A2、CP1、CP2、CP5、CP6、PZ、P3、P4、T5、T6、PO3、PO4、OZ、O1和O2。

实验选取6名在校大学生作为受试者(标记为S1～S6),包含5名男性,1名女性,年龄在22～28岁之间,均无感觉运动缺陷或任何心理障碍史,实验开始前与受试者签订了实验知情同意书。

抬腿动作是下肢运动的重要基本动作,由于本实验的受试者均为右利脚,故本实验选择抬右腿动作为下肢运动的起始动作进行研究。本次实验为对照实验,实验组采用虚拟诱导系统引导受试者完成动作,对照组不使用虚拟诱导系统改为单音提示。实验过程中受试者需始终保持自然站立状态,实验开始后,受试者保持静止5 s,然后根据提示完成动作,动作完成后休息5 s并为下次实验做准备,其时序图如图6所示。实验每次采集9 000×32个样本数据点,受试者需进行多次重复试验,本文采集每位受试者的实验组和对照组数据各50次。

图6 实验时序图Fig.6 Experimental sequence diagram

虚拟场景的构建如图7所示,模拟光源为天空的颜色,并将场景相机绑定至虚拟头盔,当场景中的虚拟人物开始运动时,受试者跟随其一起发生动作。

(a)虚拟诱导场景

4.3 数据处理与实验结果分析

将采集的脑电数据降采样到300 Hz,利用滤波器进行0.1～64 Hz的带通滤波并去除趋势项,然后进行基于CEEMDAN-ICA的脑电信号伪迹去除,之后对脑电信号数据进行时域和频域分析。

代表性受试者S2和S3的脑电信号α波段(8 Hz～13 Hz)时域图如图8所示。

(a)S2受试者结果

为深入研究在α频段所产生的ERD现象,计算6名受试者该频段的平均功率值,对数处理后得到脑电能量随频率变化曲线图如图9所示。

由图9可知:①不同受试者同一实验条件下的频域能量变化曲线趋势是一致的;②从能量衰减的角度看,采用虚拟诱导系统后比不采用虚拟诱导系统能量衰减更多(p<0.05),该结果显示出使用虚拟诱导系统后α频段的去同步化更多,则表明受试者的注意力更为集中,大脑信息流向更加清晰,产生意图的目标指向性更强;③6名受试者使用虚拟诱导系统时均产生了一个明显的特征频率,表1所示为6名受试者使用虚拟诱导系统的α特征频率。

(a)S1受试者结果

由表1统计结果看出,6名受试者脑电能量变化的峰值均在12 Hz附近,由于个体差异,其平均频率为(12.074±0.254) Hz,该现象表明在α频段,特别是频率为12 Hz时的脑电信号,相较于不使用虚拟诱导系统特征频率灵敏度更高,更进一步说明虚拟诱导系统不仅使受试者注意力集中,主动运动意图增强,克服了传统方法特征不明显的问题,并且,该特征频率的出现为下一步运动意图的准确识别奠定了基础。

表1 受试者使用虚拟诱导系统的α特征频率

进一步,采用基于VGG-16的卷积神经网络对受试者主动运动意图进行识别,其统计结果如表2所示。

由表2可知,一般情况下静息状态的识别准确率为70.17%,产生意图的识别准确率为71.67%,使用虚拟诱导系统后各受试者意图识别准确率有了明显的提升,静息状态的识别准确率达到80.5%,提高了10.33%,产生意图的识别准确率达到92.17%,提高了20.5%,维持在较高水平,验证了虚拟诱导场景动态调整的有效性以及意图识别方法的有效性。

5 结 论

本文针对下肢运动功能障碍患者康复过程中遇到的实际问题,根据患者意图产生与感知机理,提出了虚拟诱导患者下肢主动运动意图,搭建了虚拟场景并诱导患者产生强烈的主动运动意图。对采集的脑电信号采用基于CEEMDAN-ICA的方法去除伪迹,并基于深度学习实现对患者运动意图的感知。实验结果表明:虚拟诱导系统能够有效诱导患者产生运动意图,诱导后的脑电信号较不使用虚拟诱导系统产生强烈的ERD现象,特征更明显,使用虚拟诱导系统后受试者意图识别准确率维持在较高水平,验证了虚拟诱导方法及意图识别方法的有效性,同时也为下肢辅助行走外骨骼机器人的控制奠定了基础。