改进频率切片小波变换和卷积神经网络的手势肌电信号识别

李建兴，沈亮，蔡聪，杨睿宁，罗堪

(福建工程学院电子电气与物理学院，福建 福州 350117)

表面肌电信号(surface electromyography,sEMG)被广泛应用于人机接口的研究[1-2]。但是，目前采用特征工程方法[3-4]对手势识别准确率偏低。其原因可能是人工不恰当的特征设计不仅对模型毫无帮助，甚至降低模型性能[5]。

近年来，随着计算机算力的提高，深度学习在许多模式识别应用中取得了较好的效果[6-7]。深度学习方法在解决肌电识别率、普适性等问题上比传统方法取得了更好的效果[8]。如：Duan等[9]用小波神经网络识别3路表面肌电信号，6个手部动作平均分类准确率为94.67%；孙光民等[10]对结合双谱变换和概率神经网络(PNN)对3种手部动作分类的平均准确率达95.48%。

受卷积神经网络自动特征提取能够提升复杂动作肌电信号识别准确率的启发，本文提出结合改进频率小波切片变换和卷积神经网络的手势肌电识别方法。由于改进频率切片小波变换具有在时频域上增强信号时频成分的优点，因此将对采集的肌电信号直接识别转化为对肌电信号时频谱图的模式识别；考虑深度卷积神经网络在图像识别中高准确率，设计一个18层深度卷积神经网络实现手放松、手握紧、腕外翻、腕下旋、手张开、腕内翻和腕上旋7种手势动作预测。最后，通过实验验证提出方法的有效性。

1 表面肌电卷积神经网络识别方案

传统表面肌电信号分类框架和本文提出的分类框架如图1所示,其中(a)为传统方法框架，(b)为本文提出的方法框架。两者均包含了3个步骤：表面肌电信号的采集、特征提取以及分类。本文提出的新框架与传统方法不同之处在于：(1)无需传统的方法中烦琐的数据预处理；(2)采用卷积神经网络从MFSWT时频谱图中自动提取特征，无需传统的人工提取特征步骤；(3)采用MFSWT生成时频谱图并结合深度学习方法进行手势动作预测，提高分类准确率。

图1 提出框架和传统方法对比Fig.1 Comparison of the proposed system framework and traditional method

1.1 表面肌电信号采集

本文采用自建表面肌电信号数据方式开展研究。8通道手臂表面肌电信号由ADS1299采集模块以500 Hz采样率采集并存储。数据采集使用的测量电极为银-氯化银电极。电极使用前需用酒精清洁手臂皮肤表面。实验中信号采集电极布置位置如图2所示。要求受试者前臂平行于地面，手掌朝上，以肘、腕关节为参考点将手臂做3等分，记距离肘关节1/3处为N。在N点确定的等分位置处，选择手臂中线顺时针方向8等分布置负电极；之后在近腕关节距离N点3.5 cm处布置正电极，记为P。尺骨茎突处无肌肉，在信号采集中将其设置为参考电极，记为R。以上描述解剖特征点和标记点均在图2(a)、(b)中标出。

(a) 电极布置示意图 (b) 手臂电极布置位置规划俯/仰视图 (c) 电极粘贴完成后手臂俯/仰视图

本实验总共有5名志愿者(4名男性、1名女性)参与，对每名志愿者分别采集2组含有7种手势动作的表面肌电信号，其中一组作为训练数据集，另一组作为测试数据集。图3中给出了7种动作的示例，具体为手放松、手握紧、腕外翻、腕下旋、手张开、腕内翻和腕上旋。每组数据包含4轮7种手势动作循环。

图3 7种手势动作示例Fig.3 The examples of seven hand gestures

最后，采集到的8通道表面肌电信号数据用260 ms(130个采样点)滑动窗和10 ms(5个采样点)增量窗进行分割处理，处理过程如图4所示。分割后信号离线存储用于模型的训练和测试。信号采集实验共收集到133 000个有效样本，7类动作样本数量均衡，总样本中66 500个样本用于模型训练，另外66 500个样本用于模型测试。

图4 肌电信号滑动分割示意图Fig.4 A example of sEMG segmentation with sliding window

1.2 改进频率切片小波变换

利用卷积神经网络在图像识别上具有高准确率的优点，本文采用改进频率切片小波变换[11](modified frequency slice wavelet transform,MFSWT)将表面肌电信号在时间-频率域上展开。变换能够将一维时序信号按时间和频率展开到二维平面，并通过深度卷积神经网络发现时频谱图中信号和手势动作对应的模式规律。改进频率切片小波变换的数学模型为：

(1)

由于q是信号频率变换的函数。在肌电信号时频分析中q函数形式如下：

(2)

使用改进频率切片小波变换对单一通道表面肌电信号做65个频率和12个时间尺度映射，可以得到12×65的时频谱矩阵。考虑运动造成伪迹以及高频噪声对应的频率尺度分别是1和65，因此，删除矩阵的第1列和最后1列以去除变换后时频谱图中无用信号成分。最终通过变换得到12×63的时频谱矩阵。组合8通道表面肌电信号时频谱图可得到一个8×12×63的矩阵，上述采用改进频率切片小波变换对肌电信号生成时频谱图过程如图5所示。

图5 一个改进频率切片小波变换生成时频谱图例子Fig.5 A example of MFSWT Spectrum generation

1.3 卷积神经网络肌电分类模型

不同于传统的机器学习分类方法需进行复杂的特征设计、提取与降维等步骤，采用深度学习方法进行手势动作分类模型设计，特征提取包含在深度卷积神经网络逐层处理中。采用数据驱动的自动特征提取与模式识别方法避免了强专家经验依赖和不恰当特征选择导致识别率偏低的问题。本文提出的卷积神经网络肌电分类模型框架如图6所示。模型结构共18层，包含了信号输入层、提取特征的卷积神经网络层、全连接层以及数据输出层。其中第1层与第2层卷积层使用12个特征图，卷积核为2×2；第3层卷积层使用24个特征图，卷积核为3×3。通过平铺层将数据转换为一维数据输入至全连接层，最终输出分类结果。模型的各层配置如表1所示。

图6 提出的深度卷积神经网络模型Fig.6 The model of deep convolution neural network

表1 模型的各层配置Tab.1 Each layer configuration of the model

为了避免模型出现过拟合，模型训练中采用了随机失活、批标准化以及数据进行随机打乱处理[12]。

2 实验结果分析

为了验证提出方法和模型的有效性，本文进行了包括不同实验对象，不同温度环境以及不同电极测量位置下的手势肌电信号识别实验。深度卷积模型基于Anaconda和tensorflow2.0实验环境实现。卷积神经网络训练中反向传播优化算法采用ADAM算法，损失函数采用类间交叉熵，步长设置为128，随机失活设置为0.5，学习率设置为0.000 681 8，训练次数设置为100。

4个广泛的指标，灵敏度(SE)、特异度(SP)、阳性预测值(PPV)和准确度(ACC)，用于评估分类结果，分别定义如下：

SE，i=TP，i/(TP,i+FN,i)

(3)

SP,i=TN,i/(TN,i+FP,i)

(4)

PPV,i=TP,i/(TP,i+FP,i)

(5)

ACC,i=(TP,i+TN,i)/(TP,i+TN,i+FP,i+FN,i)

(6)

其中:TP,i为正确分类为第i类的数目；TN,i为不属于第i类且未分类到第i类的数目；FP,i为不属于第i类但错误分类到第i类的数目；FN,i为分类到其他类目的第i类的数目。上述参数分别反映了分类器对第i类预测的敏感性和特异性。

在5个志愿者7种手势动作识别实验中，迭代训练100次的准确率和损失值如图7所示。实验结果显示在前5次迭代训练中，训练集与测试集的损失值快速下降，准确率快速上升，5次迭代后损失值和准确率分别小于0.1和大于96%，模型能够快速收敛。继续迭代训练，准确率持续缓慢上升。训练次数达到18次后，测试集的准确率与损失值基本保持稳定，损失值和准确率分别在0.1和98%左右小幅波动。

各含9 500个样本数据的7种手势动作类别(D1为手放松、D2为手握拳、D3为腕外翻、D4为腕下旋、D5为手张开、D6为腕内翻、D7为腕上旋)的总体分类评估如表2所示。正确预测D1，D2，D3，D4，D5，D6和D7类别的数目分别为9 490，9 321，9 358，8 802，9 194，9 497和9 467。手势动作分类的平均准确率达到97.94%，灵敏度(SE)平均值达到97.94%且阳性预测值(PPV)平均值达到97.96%。实验结果表明所构建的模型分类准确率高。D4动作的灵敏度为92.65%。考虑D4动作灵敏度稍偏低的原因是部分个体受试者在做“腕下旋”动作容易含有部分“腕外翻”动作，信号的相似性造成模型误判，导致模型识别灵敏度下降。但考虑整体动作识别率达到90%以上，提出方法具有实际应用的价值。同时在实际使用中，可采取多次检测少数服从多数判定方案，降低误判风险来提高动作识别的准确度。

迭代次数(a) 训练集和测试集的损失值

表2 7种手势动作分类的总体评估Tab.2 Overall evaluation of seven gesture classification

本文提出的方法与已有文献报道方法相关结果见表3。本文提出的模型具有较好的手势动作分类能力，达到或者部分超越现有文献报道的结果。虽然文献[13]中提出采用迁移学习方法准确率达到98.31%，稍领先本文提出的方法，但考虑测试数据集间的差异以及训练集和测试集比率划分等因素的影响，本文提出的方法仍达到了较先进水平，相较于传统技术方案，在实际中具有较好的应用潜力。

表3 本文提出方法与文献报道方法比较Tab.3 The method proposed in this paper is compared with the method reported in the literature

为了验证改进频率切片小波变换在提出方法中的作用。本文同时对比了连续小波变换、短时傅里叶变换对手势肌电信号识别结果的影响，结果如表4所示。采用改进频率切片小波变换生成时频谱图进行手势肌电信号识别方案的准确率和损失值两个评价指标均优于另外两种方案。表明改进频率切片小波变换对手势肌电信号识别具有一定的提升作用。

表4 3种方法的对比结果Tab.4 Comparison results of three methods

考虑实际场景中使用者可能身处不同的环境温度中，在空调室内(室温25.8 ℃)与室外(室温37.6 ℃)重新采集信号并分别进行了手势肌电信号识别实验验证，结果如表5所示。手势识别的平均准确率在25.8 ℃和37.6 ℃实验温度下分别为97.93%和97.86%，结果显示环境温度的变化对提出的方法和模型几乎没有影响。

表5 不同环境温度下的识别准确率对比Tab.5 Comparison of recognition accuracy under different ambient temperatures

考虑实际场景中使用者可能存在佩戴不规范问题，进一步讨论了肌电测量位置偏移对手势肌电信号识别准确率的影响。在标准位置基础上分别前、后移动1 cm电极测量位置，采集信号后进行手势识别，结果统计如表6所示。规定的电极测量位置偏移1 cm时，识别准确率并未存在明显变化，仍可保持97%以上。结果表明提出的方法具有较好的鲁棒性。

表6 电极片位置偏移下的识别准确率对比Tab.6 Comparison of recognition accuracy under electrode position offset

3 结论

本文提出结合改进频率切片小波变换和卷积神经网络的手势肌电信号识别方法。通过改进频率切片小波变换生成时频谱图有效提升了卷积神经网络手势肌电信号识别准确率；采用卷积神经网络逐层处理方式包含了自动特征提取过程，能够避免传统特征工程方法中设计特征有效性评价的难题，实现了高准确率表面肌电手势识别，7种手势动作的平均准确率达到97.94%；提出的方法具有较好的鲁棒性，准确率在不同环境温度和小于1cm电极测量位置偏移情况下性能无明显降低。