采用组合特征法的极限学习机多手势精准识别

来全宝，陶 庆，胡玉舸，孟庆丰

（新疆大学机械工程学院，新疆 乌鲁木齐 830047）

1 引言

伴随着我国老龄化人口的数目急剧增加，其中因中风导致的偏瘫患者数量也是逐年递增。根据临床实践，患者主动积极的参与康复训练对受损神经系统功能康复有重要意义［1］，其中上肢手部的康性训练，对于人体大脑皮层的影响效果是最大［2］。为了解决人工协助的手部康复训练治疗的，长期性、单一性。经过提取并解码人体表面肌电信号（sEMG）将患者自身的训练意图表达出来，进而融入到上肢手部康复训练器中，有宜于神经的重塑性，促进肢体的复健。手势动作的精准识别是利用康复机器人训练的首要条件，所以探究上肢手势动作识别多样性及准确性是十分必要的。

依据人体上肢运动方式的不同，对应运动肌肉产生的信号也会有所改变，故可提取某些特征量对肢体活动进行模式分类。虽然当前利用肌电信号对人体动作模式的识别已经取得了部分成果，但上肢手势识别研究还不够充分，较多研究集中于少量手势动作的研究，如文献［3］对握拳、伸五指、三指对捏、八字伸展4种手势进行识别，识别率可达99.24%；文献［4］运用神经网络对5种手势平均识别率达98.7%；文献［5］运用GMM-HMM模型对手部6种动作进行识别准确率达99%等，均在较少手势领域获得较高的识别率。但随着手部动作模式的增多，分类器的识别结果会有所下降［6］。而在多种手势识别方面其识别效果有待提高，如文献［7］对人体上肢八种动作平均识别率为（73.1～97.7）%；而文献［8］采用时频域特征识别九种动作识别率为94%；文献［9］采用K最近邻和决策树算法针对10种手势进行识别平均识别率为89%；文献［10］则采用神经网络对手部9种动作进行识别，最高识别率达90.3%；文献［11］通过组合原始肌电信号和包络信号基于监督学习和单变量特征选择使得9种动作最高识别率为95%。

总体来看多通道手势识别准确率还有所欠缺，因此更进一步提高多种手势模式的识别率很有必要，这在未来将会更符合患者肢体康复的需要。

深挖多手势识别率不高原因，关键在于特征值的选择。将能够反映各手势变化的主要特征筛选出来，便能较高的区分各手势动作实现精准的识别效果。

考虑传统的特征选择算法如过滤式、包裹式和嵌入式和降维算法如，PCA。可适当的将部分表现较差的特征筛选出来，一定程度上减少冗余特征提高识别率，但并不是表现最好的特征单纯的集合起来就可以提高识别率，有些表现不好的特征与其他特征组合起来将对精准识别起到重要作用。

故这里提出综合特征选择与排列组合的组合特征法，不仅去除表现较差特征，还在较优特征空间中进行排类组合计算，兼顾各特征的搭配组合，最后将最优特征子集与ELM算法相结合，实现了较高的识别率和较高的响应速度。

2 极限学习机

ELM是全连接单隐层网络，分为输入层、隐含层、输出层神经元数目分别可表示为n、l、m可将ELM训练过程简化成矩阵求逆问题，有效提升学习速度。其网络结构图，如图1所示。网络模型，如式（1）所示。

图1 极限学习机网络结构图Fig.1 Extreme Learning Machine Network Structure Diagram

（j=1，2，……n，g=1，2，…m）

式中：S—隐含层神经元节点数；βi—第i个隐含到输出的权值；f(x)—隐含层激活函数；ωi—输入到第i个隐含层的连接权值；bi—第i个隐含节点偏差；Xj—第j个训练样本的输入值；Xj=[Xj1，Xj2，…，Xjn］，n—输入层神经元个数；Yg—第j个训练样本的输出值；Yg=［Yg1，Yg2，…，Ygm］，m—输出层神经元个数。

3 上肢手势识别实验

3.1 实验设置

本次实验采用葡萄牙某公司生产ErgoPlux的8通道无线表面肌电测量系统和上海励图医疗器材有限公司生产的LT-7型理疗电极片，采用5个信号通道对在校4名大学生（2名男性，2名女性，年龄20岁±3）进行上肢手势动作表面肌电信号采集，分别为握拳、展拳、伸单指、伸两指、伸三指、伸四指、六手型、八手型8个常用动作，每名受试者采集20组信号，共计采集80组数据，每采集4组信号休息5min，保证数据不受疲劳等因素影响。志愿者上肢手部正常均无骨折受伤经历，将受试者肘部搭在办公桌上，前臂和手部保持竖直放松，紧接着按照提示做出上述8 个手势动作。做同种手部动作时应保持手部姿态和力度大小方向一致，将表面肌电信号传感器黏贴于受试者左臂皮肤表面5个不同肌肉位置，分别为：指浅屈肌、肱桡肌、指伸肌、尺侧腕伸肌、肱侧腕屈肌，进行肌电信号采集实验。实验时要求预先清洁皮肤并用医用酒精擦拭，再将电极片粘贴在皮肤表面，肌电传感器采样频率为1000Hz，其中一位受试者手部实验具体详情，如图2所示。

图2 实验过程Fig.2 Experimental Process

3.2 肌电信号预处理

表面肌电信号主要频率集中于（10～300）Hz之间，容易受到工频信号、周围磁场、静电、系统噪声、运动伪迹以及人体其他生物电信号的干扰。故肌电信号数据的应用，需把去噪处理列为第一要务，目的为调整基线漂移和去除频率较高的噪声信以及消除50Hz频率干扰影响。本次实验首先去除50Hz市电的工频干扰，接着采用四阶巴特沃斯带通滤波器滤除基线噪声干扰，滤波器带通选择为（30～150）Hz。滤波后采用活动段检测技术保留有效动作信号。无论是分类器训练还是实际应用阶段，活动段检测都有其重要意义，其目的为截取肌电信号数据流中动作时肌肉“收缩发力”的电信号，即活动段，对应的则是表示肌肉处于“静息放松”状态下的非活动段。只有准确标记出上肢动作时肌电信号活动段的起止点范围，才能更准确地进行信号提取与识别工作。动作电位的提取本实验采用滑动窗口法，窗长为128ms，滑动窗为64ms，起止点判断阈值由多次试验确定，为5通道平均能量和最大值的0.06n倍（n为实验经验取值），动作起始点与结束点采用连续5次超跃阈值法，来确定起始点和动作结束点，采集的手部八指手型动作肌电信号活动段检测，如图3所示。

图3 八指手型动作活动段Fig.3 Eight Finger Hand Movement Activity Section

4 特征值提取

预处理后需要对肌电信号进行特征值提取工作，特征值的优劣与手势分类结果有直接关系。

表中：N—活动段内有效采样点数；

xi—活动段内第i个采样点幅值。

肌电信号中每一种动作都有自己独特的特征集，根据其提取方式主要可分为：基于时域信息的特征提取、频域信息的特征提取、时频域信息的特征提取、参数模型的特征提取、非线性特征。为获得更加全面的肌电信号特征信息，分别提取了上述五个方面的特征信息共计32个特征。

4.1 时域特征

共计采集12个时域特征，分别为积分肌电值（IEMG）、平均绝对值（MAV）、均方根（RMS）、方差（VAR）、波形长度（WL）、最大值（MAX）、简单方形积分（SSI）、逻辑检测（LOG）、Willison 幅值（WAMP）、最大分形长度（MFL）、过零率（ZC）、斜率符号变化（SSC），具体数学公式，如表1所示。

表1 时域特征值定义Tab.1 Time Domain Eigenvalue Definition

4.2 频域特征

频域特征方面采集4种特征，4阶AR（1-4）模型参数，如表2所示。

表2 频域特征定义Tab.2 Frequency Domain Feature Definition

4.3 时频域特征

时频域代表性特征为小波变换提取的特征值，其中小波包的应用在生物医学处理中已经取得应用［12］。

这里选择db3小波包基函数进行2层小波包分解，将分别提取系数绝对值均值（MOAC1-4）、系数平均能量（APOC（1-4））、系数标准差（STDOC（1-4））和系数均值（RI1-3）之比。2层小波包分解树，如图4所示。

图4 2层小波包分解Fig.4 Two Layer Wavelet Packet Decomposition

4.4 非线性特征

上肢肌肉收缩时，肌肉单元激活程度数量等存在差异性，故表面肌电信号存在非线性和混沌性，在非线性特征中采用很少被采用的样本熵特征，进行肌电信信号的评估。

其通过肌电中产生不同模式概率的大小判定时间序列的随机性，其值越低相似性越高，越高则越复杂。

其中本实验模式维数取2，相似容限为0.5倍的样本标准差。上述特征集均进行归一化处理取值范围为［-1，1］。

5 组合特征法

将从时域、频域、时频域和非线性中提取的综合特征进行筛选，排列组合，减少冗余低效特征，有机求取最优搭配特征集，是实现多手势精准识别的前提。

所提组合特征法原理图，如图5所示。其中，Cnm参数中，m为特征选择法选取的代表性特征，n从中排除特征数，当进行排列时，出现后一个排列数中最大识别率较前一个排列数低时，则停止后续计算。

图5 组合特征法原理Fig.5 Principle of Combined Feature Method

5.1 .皮尔森相关系数法

将通过初选的上述特征值，采用过滤式中的相关系数法，进行相关度计算，选取与分类效果相关度高的特征作为最优特征值，进行后续处理。这里计算所挑选的32个特征与8种上肢手势动作之间的相关系数的绝对值［13］，公式如下：

式中：n—总样本数；mik—第i个样本第k个特征值；mˉk—第k个特征所有样本均值；t—各分类手势标签值分别为1、2、3、4、5、6、7、8个数值；tˉ—目标均值。

将上述32种特征的绝对相关系数 ||r用柱状图表示出来，如图6所示。

图6 各特征相关系数统计值Fig.6 Statistical Value of Correlation Coefficient of Each Feature

由表可以看出其中IEMG（6）、ARC1（7）、ARC2（8）、ARC3（17）、MAX（19）、MOAC2（16）、STDOC2（24）、RI2（28）与目标值之间的相关系数较其他特征小，其与分类目标相关性极低，在本次研究中予以排除，故选取24 个特征为特征筛选初集，各特征代号，如表3所示。

表3 各特征集代号Tab.3 Code of Each Feature Set

5.2 最优窗口选取

本次数据通过滑动窗口法提取数据特征，滑动窗最优窗口选取对比数据，如表4所示。为了降低控制器的延时必须将其增量窗保持在300ms以下［14］故选取64-32、128-64、256-128、600-300数据窗口。特征集为上述筛选特征，最终选增量窗为300ms，窗口长度为600ms进行数据分割，共计提取4640特征样本数据，其中选取80%为训练数据，20%为测试数据，分类器选用激活函数为Sigmoid、隐含层为800 的ELM 分类器算法进行训练测试。其中下文各表中平均识别率均为十次测试结果均值。

表4 基于ELM分类器最优窗口选取Tab.4 Optimal Window Selection Based on ELM Classifier

由上表分类结果可知采用不同的窗口搭配训练ELM对最终识别结果有重要影响。其中最优窗口搭配识别结果超最劣搭配结果4.33%，因此窗口的合理搭配选择也是重要的一环。

5.3 排列组合法

经过上述特征筛选，将与动作相关性不高特征粗略剔除出来，留取相对来说较高特征参与动作分类。但所挑选出的特征集合虽在相关性上具有很大优势，由于特征种类数量较多，各个特征性质衡量信号角度各有不同，仅粗糙的聚合起来识别效果稍有不足。这里通过将初选特征集的各个特征进行排列组合计算，将识别准确率当做目标函数，进行穷举排列，使得所选特征达到最优搭配组合，求取最优特征集合。在选取24个特征后进行排列组合计算所得识别率数据，分类器参数同上，如表5所示。

表5 匹配选优Tab.5 Matching

由上表可得，将通过相关系数提取的特征值，进行排列组合计算，在Matlab软件多次测试中发现在24个特征子集中选取22个将会得到较优的识别率，这里从276个组合中选取识别率最高的搭配组合进行后续计算，最优子集为MAV、RMS、VAR、WL、AR1、SSI、LOG、MFL、MOAC1、MOAC3、MOAC4、APOC1、APOC2 APOC3、STDOC1、STDOC3、STDOC4、RI1、RI3、WAMP、ZC、SSC。随着所取特征值数目减少，最高识别率也是有所下降的，特征值的减少使得肌电信号特征衡量各个动作的差异性有所下降。随着排类组合方式的增多，种类数将急剧增加，大大加剧计算量，故考虑以上两部分原因不再进行后续冗余计算。

5.4 各特征处理算法比较

将未进行特征选取特征、传统过滤式算法中的皮尔森系数法、PCA特征降维算法，取原始特征集前95%贡献度特征值和这里所提组合特征法进行对比，如图7所示。

图7 各特征选择方案比对Fig.7 Comparison of Various Feature Selection Schemes

从图中可以看出，经过PCA算法对于此特征集的降维处理使得整体识别效果较差，因为PCA处理虽降低数据维度，但也使得部份信息损失，而这些丢失信息与部分特征组合可以达到较好的效果，所以造成整体识别率欠佳。总的来说原始特征集经过特征筛选，总体识别率都有所升高，说明特征值筛选的有效性。其中组合特征法选优出的最佳特征集对八种手势识别效果最好，充分说明本方法的优越性。

6 分类算法的比对分析

在获得最优特征集后，运用机器学习算法进行特征集的训练与测试。其中特征集与算法的结合也是实现高识别率的关键因素。这里将目前具有代表性的三种算法与最优特集进行结合，分别为ELM、SVM 和BP算法。ELM 算法参数参数与上述相同，SVM基本思想是寻求出不同类别样本的边界距离最大化的超面进而将各个样本区分出来，边界距离为各类最近样本点与超平面的距离［15］。其参数选择径向基函数（RBF）为核函数，采用交叉验证进行参数（惩罚因子c与核函数参数g）寻优，此寻优过程包含在训练时间内。BP 算法通过反向传播梯度下降来进行权值优化，提高识别率，其参数设置激活函数为sigmod 函数，学习率取0.1，循环次数为100次。特征集与各算法结合的识别效果，数据为十次平均结果与标准差组成，如表6所示。

表6 不同分类器手势识别准确性对比（%）Tab.6 Comparison of Gesture Recognition Accuracy of Different Classifiers Under Optimal Window

6.1 各模型训练与测试时间比较

离线上肢手势识别，最终是为在线的实时识别做积累与探究，所以训练后模型测试时间尤为重要这直接影响着康复患者的实时体验性，减少康复训练的滞后感。给出文章各模型的具体训练及测试时间和模型训练时间，如表7、图8所示。

表7 不同算法分类时间比较Tab.7 Comparison of Classification Time of Different Algorithms

图8 各算法平均测试时间Fig.8 Average Test Time of Each Algorithm

6.2 讨论

通过从原始表面肌电信号提取多维度特征值，运用组合特征方法筛选最优特征集，联合最佳滑动窗口，最后与三种分类器相结合，进行上肢八种手势识别。

其中十次平均识别率最高为SVM，较ELLM高0.19%，超BP神经网络17.21%。但综合考虑模型的训练与测试时间，ELM的训练时间和测试时间，较BP与SVM优势很大。对于康复患者来说，上肢手部实时训练，无明显滞后感是相当重要的因素。故综合识别准确率和模型训练及测试时间，选择ELM模型为最佳模型，更符合后续康复机器人的研究，为后续实时自动识别提供了参考依据。

7 结论

（1）这里提出综合特征选择与排列组合的组合特征法与极限学习机向结合的多种手势模式识别模型。对上肢八种手势进行识别，其效果超原始特征集、传统的特征值筛选和PCA降维分别为4.18%、1.78%、23.16%，显著提高上肢手势识别率，证明所提算法的有效性。

（2）为了减小康复机器人对患者手部训练时明显的滞后感，综合识别准确率和模型训练与测试时间，选择ELM模型为上肢手势识别分类算法，为后续手势自动识别提供了重要的参考依据。进而可继续将其应用到人机交互控制［16］、外骨骼控制、康复医学、进行肌肉康复训练、人体假肢控制等。