融合脑电-肌电信号的人机协作装配意图识别方法

董元发 蒋 磊 彭 巍 周 彬 方子帆

1.三峡大学智能制造创新技术中心，宜昌，443002 2.三峡大学机械与动力学院，宜昌，443002

0 引言

装配是产品生产过程中的重要环节之一，在现代工业制造中，装配工作量平均占整个产品制造工作量的45%，费用占制造总费用的20%～30%[1]。灵活、高效的装配过程能极大保证产品的生产效率。以水轮机、飞机等复杂产品装配为例，由于其精度要求高、工序复杂、品种多、柔性大、批量小，装配过程与方法有别于一般的机械产品，仍然主要由技艺娴熟的操作人员完成，因此不可避免地存在操作人员在狭小空间、重载、噪声、振动、异味等恶劣环境下工作带来的工效学问题。采用完全自动化的装备与生产线固然可以提高装配作业效率，然而经济性差且技术难度很大，因此具备高度灵活性和自动化水平的人机协作装配模式逐步成为该领域关注的热点和焦点。

随着机器人技术的快速发展，协作机器人被引入装配系统与人一起协作完成装配任务。在这种人机协作(human robot collaboration，HRC)装配模式下，协作机器人负责强度大、具有重复性、准确度要求高的工作部分，工人负责灵活性强、需要创造力、变化性大的工作部分[2]，两者结合起来既能发挥工人的认知能力，减轻其体力负担，又能发挥协作机器人连续工作能力强、不会疲劳的特点。与全自动装配或纯人工装配相比，HRC装配模式能实现人与机器的优势互补，提高整体装配效率[3]。HRC装配过程首先需要解决的是人机协作装配意图的识别问题[4]。

根据人的意图信息采集方式的不同，意图识别系统一般可分为非穿戴式和穿戴式。非穿戴式系统一般使用在特定场景，如接触力识别系统[5]、视觉识别系统[6]；穿戴式系统通过收集并解析人体生理电信号来获取意图信息，如基于脑电信号和基于肌电信号意图识别系统。协作意图的起源来自大脑的认知和决策活动，同时工人在执行装配动作时不可避免地伴随着大量肢体动作，上述活动都会造成人体生理电信号的变化，这些生理电信号中蕴含着大量的人体运动意图信息，能直观地表达人的意图，且能与视觉、力觉等其他意图来源组成多模式意图识别模式。因此，基于生理电信号的人机协作意图识别逐渐成为人机协作领域的研究热点[3]。PRAKAKSITA等[7-9]通过分析脑电信号并将其转化成命令去控制机器人。WANG等[10]将脑电信号转换成时频图像，再由卷积神经网络分类触发功能块网络进行组装动作的命令。LIU等[11]从可佩戴脑电设备获取脑电信号并将其处理后转为控制命令来远程控制机器人。DING等[12]基于表面肌电信号和状态空间模型对人体手臂关节连续运动角度进行了预测。CALABR等[13]通过表面肌电信号获取人体下肢运动意图并用于控制外骨骼机器人。以上基于单一生理信号的意图识别方法虽然取得了较好的效果，但仍然存在一定的局限性，如脑电信号的微弱性和信噪比低等特点使得其多模式动作识别准确率有待提高；此外，随着肌肉疲劳程度的上升，基于肌电信号的意图识别准确率逐步降低[14]。鉴于此，文献[15-17]通过多信号融合验证了多模式融合方法具有更好的稳定性，文献[18]证实了在进行肌肉运动时脑电信号和肌电信号之间存在相关性。

综上所述，本文针对人机协作装配场景下基于单源生理电信号识别协作意图准确率不高、稳定性不好的问题，同时获取工人在进行装配动作时脑电(EEG)信号和肌电(EMG)信号，并分别基于支持向量机(support vector machines，SVM)识别单源协作意图，然后采用D-S证据理论对多源协作意图进行融合，提出一种融合EEG-EMG信号的人机协作装配意图识别方法。

1 人机协作装配意图识别问题框架

1.1 人机协作装配场景描述

通常情况下人机协作装配工位包含装配区、零件区、工具区以及协作机器人，图1所示为一种可能的布局，待装配零件放置在零件区，装配所需要的工具放置在工具区，工人在装配区进行装配作业，协作机器人的运动范围涵盖以上三个区域，并与工人在装配区有一定的共享区域，可协助工人固定待装配件、递送零件或工具等。

图1 人机协作装配工位示意图Fig.1 Schematic diagram of HRC assembly station

一项装配任务往往包含多个装配工序，而每个装配工序又由工人的一系列元动作有机组合完成，如拧、握、推、拉、抬等。不同元动作对应的生理电信号往往也不同，因此可以借助信号特征提取与模式识别的方法分析工人的装配意图，并结合装配工艺知识和其他感知手段(如机器视觉、力反馈等)获得的上下文信息(如工件位置与空间拓扑关系、机器人状态、人体姿态等)推理出目前所处的装配阶段及下一步装配工序，从而引导协作机器人配合工人完成装配作业。

1.2 人机协作装配意图识别系统构成

如图2所示，人机协作装配意图识别系统一般由4个模块组成。模块1由可内置在工人安全帽的脑电仪及便携式肌电仪收集工人在进行装配动作时的生理电信号，并通过仪器内置蓝牙或无线协议将信号传输至模块3；模块2为用户界面，允许工人启停生理仪器，观察协作机器人状态；模块3接收到信号后进行特征提取并基于多源生理电信号识别人机协作装配意图，结合意图识别结果和其他装配信息通过推理决策生成协作机器人运动控制指令并发送至模块4，以控制机器人并执行装配任务。

图2 人机协作装配意图识别系统框架图Fig.2 Frame diagram of HRC assembly intention recognition system

2 人机协作装配意图识别关键技术

2.1 EEG信号特征提取

人机协作装配场景下的脑电信号通常包含较多的噪声干扰，如外部环境及脑电设备的噪声，眼电、肌电伪迹等，在进行特征提取前应进行预处理。已有研究表明[19-20]，采用事件相关去同步化(event related desynchronization，ERD)和事件相关同步化(event related synchronization，ERS)分析方法得到的脑电运动想象特征主要集中在8～30 Hz，主要为Alpha频段(8～13 Hz)、Beta频段(13～30 Hz)，因此对脑电信号采用5～45 Hz的带通滤波，以消除基线漂移产生的噪声干扰。此外，通过独立分量分析(independent component analysis，ICA)去除脑电信号中的眼电、肌电等伪迹。

采用共空间模式(common spatial pattern，CSP)算法对ERS/ERD的脑电信号进行二分类特征提取时非常有效[19]，它的运行原理是将脑电信号进行空间投影并找到一组空间滤波器，使得其中一类信号在这组空间滤波器的作用下方差达到最大，而另一类信号方差达到最小，从而达到分类的目的，二分类CSP运算过程详见文献[21]，此处不再赘述。针对n分类任务，可采用“一对一”的CSP策略[22-23]，将其转化为n(n-1)/2个二分类任务，对n类信号分别两两做CSP算法运算，得到n(n-1)/2个投影矩阵后将它们组合起来形成1个共空间滤波器，使用此共空间滤波器滤波后的数据即可作为区分n类信号的特征矩阵，其中行代表Trial(试次)，列代表特征。

2.2 EMG信号特征提取

工人进行装配动作时产生的肌电信号的有效频率成分一般分布在0～500 Hz。对肌电信号特征提取前先进行如下预处理：采用巴特沃斯6阶滤波器进行10～450 Hz的带通滤波，采用50 Hz的陷波滤波器消除工频干扰，并进行去中值平滑处理。

首先对采集到的肌电信号作“加窗”处理。设一个时间窗长度为T，分别对每个T时间长度里的肌电信号xi(i=1，2，…)进行特征提取。本文选取平均绝对值、均方根值、波形长度等3个变量表征肌电信号特征。

平均绝对值(MAV)计算公式为

(1)

均方根值(RMS)计算公式为

(2)

波形长度(WL)计算公式为

(3)

在每一个时间窗里分别提取MAV、RMS、WL三个特征变量组成特征向量

vi=(eMAV，i，eRMS，i，LW，i)

(4)

则N个时间窗的特征向量组成特征向量组

V=(v1，v2，v3，…，vN)T

(5)

2.3 多源协作意图识别与融合

人机协作装配过程中，每一类生理电信号均可用于识别工人的装配意图，只是存在识别精度和稳定性的差异，故需要对多源协作装配意图识别结果进行融合以提高识别精度。如图3所示，首先采用2.1节和2.2节的方法分别对人机协作装配时采集到的EEG和EMG信号进行预处理和特征提取，然后基于SVM分别构建EEG和EMG信号的特征分类器并用于单源协作意图识别。SVM理论相对比较成熟，此处不再赘述。特别要说明的是，对于n分类任务可采用“一对一”的SVM策略[24]，在任意两类样本间各构建n(n-1)/2个SVM分类器，用构建的分类器对测试数据进行测试，在得到的测试结果中采用投票的形式，票最多者为最终结果。由于人机协作装配场景下采集到的EEG和EMG信号易受到汗水、大幅度动作或工人精神不集中等影响，而且采用训练好的SVM分类器识别单源协作意图本身也存在较大不确定性，本文借助D-S证据理论处理各单源协作意图识别结果中的不确定性。

图3 多源协作意图融合流程图Fig.3 Flow chart of multi-source collaboration intention fusion

D-S理论是在概率论的基础上，将单个事件的不确定性问题转化为以多个事件为一个集合的集合不确定性问题。设Ω为人机协作装配意图所有可能取值的有限集合，且Ω中的每个元素都相互独立，则由Ω的所有子集构成的幂集记为2Ω。当Ω中的元素个数为N时，则其幂集2Ω的元素个数为2N，且其中的每一个元素A都对应一个关于协作意图识别结果的命题，称该命题为“协作意图识别结果在A中”。例如，A={拧}表示“协作意图识别结果为拧”；若A={拧，推}，则表示“协作意图识别结果为拧或者推”。

设函数m：2Ω→[0，1]，且满足：

(6)

则称m为2Ω上的概率分配函数，可通过SVM的预测函数得到；m(A)为协作意图识别结果A的基本概率数，表示对通过SVM分类器判定协作意图识别结果为A的信任程度。对于同一个识别结果，由于其证据的来源不同，可能会出现不同的概率分配函数，因此需要对它们进行组合。

设m1、m2分别为通过EEG和EMG两种生理电信号识别得到的协作意图概率分配函数，则其正交和m=m1⊕m2满足：

(7)

(8)

如果K≠0，则正交和m也是一个协作意图概率分配函数；如果K=0，则不存在正交和m，称m1和m2矛盾。

对于组合EEG信号和EMG信号识别结果后形成的新概率分配函数m，需要将其转换为协作意图识别结果A的类概率函数f(A)，取具有最大类概率的A为最终协作意图识别结果。对于任意A，其类概率f(A)按如下方法计算：

(9)

(10)

Pl(A)=1-Bel(┐A)

(11)

┐A=Ω-A

(12)

式中，|A|、|Ω|分别为A和Ω中包含元素的个数；信任函数Bel(A)表示对协作意图识别结果为A的信任程度，其值为A的所有子集的基本概率之和；似然函数Pl(A)表示对协作意图识别结果为A非假的信任度。

3 实验及结果分析

3.1 实验环境

减速器广泛应用在各类机械设备的传动系统中，其装配工艺目前仍然以手动或半自动为主。通过动素分析，抓(握)、推(入)、拧(紧)是减速器装配过程中最常见的三类元动作，本文以某减速器轴承盖和窥视孔盖的装配过程为例验证所提理论方法的可行性。实验环境如图4所示，由被试者、UR5协作机器人、待装配零部件、脑电仪、肌电仪、数据处理服务器等构成，被试者与一台UR5协作机器人在同一空间内共同完成指定装配任务。其中脑电信号采用Emotiv无线便携式脑电仪采集，采样频率为128 Hz，电极按照国际10-20标准电极安放法安放，其安放位置如图5a所示，其中“CMS”和“DRL”为参考电极。肌电信号采用Cometa无线表面肌电测试仪采集，其采样频率为2 kHz，肌电电极采用环式贴法，共采集4个通道的肌电数据，电极布置如图5b所示。

图4 实验场景图Fig.4 Experimental scene

(a)脑电电极放置位置 (b)肌电电极放置位置图5 电极放置位置Fig.5 Electrode placement position

3.2 数据采集

本次实验共招募被试者8名，其中男性5名，女性3名，年龄23～26岁，在实验前每名被试者都知晓实验内容并签署了知情同意书。如图6所示，8位被试者按照图中的顺序依次做出抓、推、拧的装配动作，每个元动作在2 s内完成，完成后休息2 s切换至下一元动作，整套动作重复50次。被试者执行上述动作的同时同步采集被试者的EEG和EMG信号并加上动作标签，形成用于后续分析的数据集。

图6 实验数据采集流程图Fig.6 Experimental data collection flowchart

3.3 结果分析

3.3.1单源协作意图识别结果分析

在3.2节的实验中共采集400组数据，随机选取其中70%作为训练集，30%作测试集，将数据分别进行预处理和特征提取后，基于SVM进行单源协作意图识别。基于EEG信号的协作意图识别准确率如表1所示，被试者S1～S8在三种协作装配意图中最高识别准确率分别可达到79.43%、80.53%、81.12%，平均准确率分别为76.95%、76.37%、76.92%。虽然协作意图识别准确率略有波动，但波动幅度不大，在平均识别准确率的上下波动率分别为2.96%±0.48%、3.40%±0.76%、3.38%±0.82%，说明CSP+SVM的脑电处理方法泛化性较好，适合用于人机协作装配意图的识别。

表1 基于EEG信号的协作装配意图识别准确率Tab.1 Accuracy of collaborative assembly intention recognition based on EEG signals %

基于肌电信号的协作意图识别准确率如表2所示，基于肌电信号的整体意图识别准确率要高于基于脑电信号的准确率，三种协作装配意图中最高识别准确率分别可达到95.61%、94.12%、95.95%，平均准确率分别为93.56%、92.66%、92.93%。为了探究不同肌电特征组合对于识别准确率的影响，本文对不同肌电特征组合进行了验证。不同肌电特征组合的识别准确率如表3所示，MAV+RMS+WL特征组合的识别准确率最高，说明本文肌电特征指标的选取是有效的。

表2 基于EMG信号的协作装配意图识别准确率Tab.2 Accuracy of collaborative assembly intention recognition based on EMG signals %

表3 不同肌电特征组合下的协作装配意图识别准确率Tab.3 Accuracy of collaborative assembly intention recognition under different EMG feature combinations %

3.3.2多源协作意图融合结果分析

基于D-S理论的多源协作意图融合识别结果与单源协作意图识别结果准确率对比如表4所示，采用多源协作意图识别与融合方法的平均准确率较基于单一EEG信号的协作意图识别平均准确率有较大提高(19.38%)，说明EMG信号的融入能有效提高基于EEG信号的意图识别准确率；较基于EMG信号的协作意图识别平均准确率提高3.07%，识别准确率的上下波动从2.54%±0.08%降至1.21%±0.23%，说明EEG信号的融入能提高基于EMG信号的协作意图识别的稳定性。为对上述结果进行交叉验证，随机选取400组数据的70%作为训练集，30%作为测试集，协作意图识别准确率如图7所示，可以看出多源协作意图融合方法的识别准确率要显著优于单源协作意图识别方法。

表4 单源与多源融合识别准确率对比Tab.4 Comparison of recognition accuracy between single source and multi-source fusion %

3.4 实验效果

基于EEG-EMG多源融合的方法开发了人机协作装配意图识别原型系统，该系统实时采集被试者的EEG和EMG信号并进行1 s的“加窗+滑窗”，采用3.3.2节训练得到的预测模型识别被试者的装配意图，从而支持后续结合其他场景识别信息和装配工艺知识库自动推理得到协作机器人的控制指令，完成人机协作装配。图8所示为某被试者在完成减速器装配过程中的实时识别结果，可以看到基于EEG-EMG多源融合的方法在实际人机协作装配过程中具有较好的可行性和识别准确率。

图8 原型系统实验效果Fig.8 Experimental effect of prototype system

4 讨论和结论

在人机协作装配场景下，利用生理电信号进行协作意图识别有如下优点：①可与其他意图识别方式(语音、手势、触觉)形成多模式意图识别；②生理电信号采集设备轻便，可集成在工作服上，操作员可自由移动而不受设备的限制。但由于生理信号自身的特点，在人机协作装配场景下想要保持较好的识别准确率与稳定性是一项具有挑战性的工作。

基于单一EEG信号的协作装配意图识别准确率较低(76%)，因为不同被试者在进行运动想象时大脑产生的ERD/ERS现象存在差异性，且装配过程中大量的手部装配动作会对工人的注意力分配产生影响。为探究注意力集中程度对协作装配意图识别准确率的影响，将同一被试者的EEG信号前半段和后半段分别用于协作装配意图识别，由于刚开始实验时被试者注意力集中程度较高，前半段数据的协作意图识别准确率明显优于后半段数据；加入EMG信号后，协作意图识别的准确率显著提高(96%)。

基于单一EMG信号的协作装配意图识别准确率较好(93%)。根据谢平[14]等的研究，随着肌肉疲劳程度的增加，意图识别准确率将明显下降，在肌电信号将近缺失时将降至70%以下。将同一被试者的肌电信号截段后进行协作意图识别，其识别准确率按先后顺序呈现下降的趋势，符合谢平[14]等的研究结果。另外，由于人的动作具有不确定性，即使是同一个实验动作，被试者在执行时也存在差异，因此在装配过程中依靠单一EMG信号进行协作意图识别可能存在肌电信号类似却不是目标动作而发生误判的现象。本文结合EEG信号与EMG信号，首先分别进行单源协作意图识别，再在决策层进行多源协作意图融合得到最终协作装配意图识别结果，有效地提高了人机协作装配意图识别的准确率和稳定性。