基于脑肌电信号的机械臂控制方法与实现

(1.北京航天测控技术有限公司,北京 100041；2.北京邮电大学 自动化学院,北京 100876)

0 引言

智能人机交互是以人体生物电信号检测为基础、以人工智能、深度学习为特色，实现机器主动理解人的行为意图的高端人机交互技术，代表了人机交互的最新热点与潮流[1]。近年来基于脑电(Electroencephalogram，EEG)或肌电(Electromyography，EMG)的人机交互技术[2-3]在生物医学[4]、康复轮椅[5-6]、航空航天[7]、步态识别[8-9]、人体外骨骼[10-11]等领域取得了很大的应用成果。

然而，目前有关脑-机接口(Brain-Computer Interface，BCI)或肌-机接口(Electromyography-Computer Interface，MCI)的智能人机交互系统，绝大部分是采取单一模式的生物电信号实现对外部设备的控制。这种单一模式具有信息传输率低、信息源单一、外部设备输出控制指令少的缺点。相对于单模式脑-机接口系统，多模式混合脑-机接口(Hybrid Brain-Computer Interface)能够有效地利用多源信息的融合互补，弥补现有脑-机接口在控制识别准确率上较低的不足。对脑-机接口的发展具有一定的指导意义。

目前许多学者在多源信息混合脑-机接口方面进行了深入的研究，并取得了卓越的成绩。Li[12]针对截肢者残留肌肉过少、肌电信号源不足的问题，提出脑肌电融合的多功能假肢控制方法，实现上肢运动的高精度识别。李翔等[13]等提出一种基于运动想象和运动起始时刻，将不同范式进行结合的混合型 BCI 系统，并验证了可提高BCI系统性能的有效性。Brunner[14]等采用混合两种不同类型的脑信号ERD和SSVEPs提高大脑活动模式的分类准确度。谢平[15]等通过脑电与肌电特征层融合，实现单侧手腕屈、伸动作模式的分类识别分类的准确度提升。Leeb[16]等探索肌肉疲劳下的控制混合BCI机制，验证了肌肉和大脑活动的多模式融合方法具有更好和更稳定的性能。Wang[17]等提出一种融合脑电-眼电的混合 BCI 系统来实现对轮椅的联合控制。吴松[18]提出了一种结合MI 和眼动 EEG 的两种模态的异步BCI系统。Duan[19]等实现了一种结合了μ节律、SSVEP、以及 MI 3个脑电信号的多模态在线 BCI 系统，控制机器人来抓取物体。Ma[20]等提出了一种基于MI和mVEP结合的多模态光标控制系统，实现了BCI系统的控制效率的整体性提升。

综上所述，多源信息混合是通过采用两种或两种以上不同“EEG特征层”的混合增强，实现BCI系统的输出准确性的提高。但这种多模式融合要求被试者在更高的注意力下，同时完成多种任务，长时间会造成被试者过度疲劳，影响系统控制稳定性，且设备控制指令输出类别十分有限。

为实现BCI系统稳定性上的提升并且能够具备多种控制指令的系统模型，本研究基于混合脑-机接口的思想，进行“脑-肌”电同步采集，采用“并行”模式对不同信号进行特征提取、分类识别，最终实现六自由度机械臂的多指令实时控制。首先，对肌电信号进行特征提取，构建特征向量，采用典型相关性分析方法(canonical correlation，CCA)实现肌电信号模式的分类、识别；然后基于小波分解、低频重构，进行左右手运动想象执行下的EEG事件相关去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)特征提取，并采用支持向量机(support vector machine，SVM)分类方法，实现脑电特征的二分类识别；最后，利用脑肌电特征的协同互补性实现对六自由度机械臂的多指令实时控制。

1 信号采集与预处理方法

1.1 数据采集

被试者无任何病史的健康受试者，并签署了知情同意书。实验环境安静无绝对噪声，受试者端坐在舒适的座椅上，与屏幕水平距离为 70-80 cm。要求被试者根据电脑屏幕的提示，进行相应的单侧手臂及左右手运动想象动作。

肌电信号采集：肌电电极依据人体手臂肌肉群分布，采用环式贴法，进行相应的单侧手腕伸(wrist flexion)、手腕屈(wrist extension)、握拳(hand close)、手张开(hand open)、手指动作(fine pinch)、休息(no movement)6个动作的肌电信号采集，见图1。肌电电极采用10个通道，电极分布见图2。训练采用单试次，持续时间2 s。脑电信号采集：脑电帽电极放置按照国际标准10-20系统。共采集C3、C4 、FZ、A1四通道脑电信号，选取A1左侧乳突部位为参考电极，FZ 额头中央接地。脑电左右手运动想象，采集实验分成10个试次(trials)，单试次持续2 s，左右各1 s，如图3所示。

数据记录采用 Neuroscan 脑电采集系统，同步采集脑电和肌电信号。采样频率设定为 500 Hz，并进行50 Hz 工频陷波处理。为了保证数据采集质量，实验之前使用酒精棉清洁受试者的肌肉皮肤表面，使用导电膏减小皮肤、头皮与电极之间的阻抗。具体实验过程包括5个步骤。脑肌电时序图如图4所示。

步骤 1:t= 0～2 s 时，屏幕中央出现一个十字光标、START状态，提示受试者实验即将开始，需集中注意力，等待动作提示指令出现。

步骤 2:t= 2～14 s 时，屏幕上出现单侧手腕伸、手腕屈、握拳、手张开、手指动作、休息6个动作的肌电信号运动的图片提示，受试者根据提示进行手臂动作，6个动作任务按顺序执行，每个动作在2 s时间内完成。

步骤 3：t= 14～16 s时，屏幕出现十字光标，提示受试者脑电实验即将开始，需集中注意力，等待动作提示指令出现。

步骤 4：t= 16～18 s时，屏幕出现左右指示箭头，被试者依据箭头方向提示，做相应的左右手运动想象动作，两种动作任务出现的顺序执行。运动想象执行10次实验。

步骤 5：当执行脑电次数结束，显示器处于END状态，提示受试者实验结束。

图2 肌电电脑极布置

图3 脑电信号采集通道

图4 脑肌电采集实验时序图

1.2 信号预处理

1.2.1 EMG数据预处理

肌电信号的有效频率成分分布在0～500 Hz，其中主要能量集中在10～200 Hz范围内，采用自适应滤波器去除工频50 Hz干扰，然后进行10～200 Hz 的带通滤波，并进行去均值、去线性趋势光滑处理有效地去除了肌电信号中各种噪声干扰。EMG手臂动作肌电信号预处理之后的结果，如图5所示。

图5 手臂动作肌电信号

1.2.2 EEG数据预处理

由于脑电信号的特征主要体现在低频段，因此对原始脑电信号进行0～30 Hz 带通滤波，同时去均值光滑处理。依据脑电实验范式对C3、C4脑电数据进行每隔1 000 ms数据长度进行切分，共5组，脑电预处理之后的结果，如图6所示。

图6 C3、C4脑电信号

2 特征提取方法

2.1 EMG 特征提取

为了得到不同手臂肌肉动作特征，在特征提取之前对信号先进行“加窗”截取处理，然后依次对每个时间窗长度为k的肌电信号xn(n=1,2,3,…,k)进行特征提取。本研究选取肌电信号常用的功率谱、短时过零率、短时能量、符号变化次数、波形长度5个特征作为肌电特征。其计算公式如下：

通过对肌电信号先进行自相关函数处理再进行维纳-辛钦功率密度计算：

(1)

维纳-辛钦(Wiener-Khintchine)功率谱密度计算公式：

(2)

短时过零率：为单个时间窗内肌电信号通过零点的次数，该时域特征可以反映肌电信号的频域信息，被广泛应用在声音、肌电信号特征提取。

(3)

短时能量：短时能量为单个时间窗内肌电信号能量的大小。

(4)

符合变化次数：符号变化次数为单个时间窗内肌电信号符号的变化次数。

(5)

波形长度：波形长度为单个时间窗内肌电信号波形长度随时间的积分，通常用来衡量信号的复杂度。

(6)

2.2 EEG 特征提取

研究表明，当进行左右手运动运动想象时，大脑两侧半球产生某些频段的增强减弱，这一电生理现象被称为EEG事件相关去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)。

当人们想象左手运动时，ERD现象会出现在大脑右半球，使其功率谱减弱，ERS现象会出现在大脑左半球，使其功率谱出现增强；与此相反，当想象右手运动时，ERD现象会出现在大脑左半球，而ERS现象会出现在大脑右半球。对应于大脑主观想象肢体动作思维和作业提示所诱发被动思维的ERD/ERS在具体表现特征频段和运动皮层区域均有所不同。因此本文选取ERD/ERS作为判断想象左右手运动的判别依据。

本研究采用多尺度小波分解、低频重构，提取左右手脑电信号C3和C4低频段平均功率之差的ERD/ERS信息，作为区分脑电左右手运动想象的脑电特征。对实验采集数据进行10次切分成5组左手，5组右手。就是C3和C4左手、右手5次，左右手平均功率谱，如图7、8所示。

图7 C3、C4左手平均功率

图8 C3、C4右手平均功率

小波分解与重构是通过不同带通滤波器将含有综合信息的一组原始序列分解成多组不同特征的时间序列，一组信号反应原时间序列的内在变化趋势的逼近信号；其余组的序列反映随机扰动带来的影响的细节信号。小波分解原理如图9所示。对脑电信号的平均功率进行小波分解，并通过小波系数重构构建第五层低频段为[0 15.6250]Hz的信息。

图9 小波分解原理图

小波系数重构C3、C4平均功率谱之差的第五层重构信息，提取低频信号的功率尺度特征。如图10、11所示。

左手想象的特征，C3通道减去C4通道的功率谱。第五层小波重构的5组左手运动想象特征。

图10 左手运动想象特征

右手想象的特征，C3通道减去C4通道的功率谱。第五层小波重构的5组左手运动想象特征。

图11 右手运动想象特征

对比被试者进行左右手运动想象时，五组特征具有一定的差异性，可将此特征集作为左右手脑电特征的识别分类。

3 脑肌电信号的机械臂控制

为了验证脑-肌电协同控制的实际应用效果，以六自由度机械臂为控制对象，实现对机械臂的七指令(6个机械臂控制指令和一个脑肌切换指令)实时控制。为实现机械臂“脑”“肌”控制指令切换，设定手指执行动作为连续两次，以提高脑-肌控制指令识别的准确率。对肌电信号进行中值滤波、光滑处理。可以看出，手指动作在20uV以上具有两个波峰与其他手臂动作相比具有显著性差异，如图12所示，当“脑”“肌”控制指令切换和手臂休息时，机械臂静止不动。

图12 手臂肌电信号

3.1 控制方法

被试者根据屏幕中实验范式的提示进行相应的手势动作和左右手运动想象，产生的原始肌电、脑电信号通过预处理后进行特征提取；获得的肌电特征采用典型相关性分析法CCA进行多元统计算法分类识别，CCA常用来分析两个数据集之间潜在的相关性[21]。获得的EEG脑电信号特征，采用支持向量机SVM进行分类识别，SVM因其具有较高的鲁棒性和准确率[22]，通常被作为二分类分类器。最后，根据训练的分类模型进行基于脑-肌信号的机械臂的单侧手臂和左右手运动想象动作各 100次数据记录。控制策略如图13所示。机械臂控制器根据脑-肌输出信号，输出相应的控制指令信号，驱动机械臂运动。同时，依据被试者动作与机械臂控制指令吻合度相对比，结合期望值评估分类表现。

图13 机械臂控制策略

3.2 结果分析

首先，告知每位被试者实验范式流程，待所有电极安置完毕后，被试被要求坐在屏幕前，右手自然地放置在桌上，如图14所示。被试需要完成 1次单侧手臂6个动作和10 次左右手想象动作，作为训练数据集，然后被试者随机动作控制机械臂运动。

实验征集20名被试者，每名被试者进行10次实验操作，100次数据统计，如图15所示。机械臂动作指令平均准确率，如表1。综合实验结果表明：机械臂控制指令平均准确率达到95%以上。

4 结论

本文提出了一种基于脑肌电信号的单侧手臂和左右手运动想象的控制系统。并将其成功应用于实现六自由度机械臂多指令实时控制中。实验结果表明：被试者在执行不同操作任务时，无明显疲劳现象，实现了BCI控制系统的稳定识别，并且机械臂控制指令平均准确率可达到95%以上。不仅丰富了人机交互-混合脑-机接口的多样性，为面向机械臂等领域控制的脑-机接口技术，提供了实践基础和理论依据。

图14 机械臂控制应用

图15 识别准确率

表1 机械臂控制指令准确率