基于肌电信号与肌肉形变信号的手语识别

张夏丰，阚秀，曹乐，杨诞，张文艳

上海工程技术大学电子电气工程学院，上海 201620

前言

语言是人与外界沟通的工具，聋哑人因语言功能的丧失，难以与外界沟通，手语的出现解决了聋哑人无法相互沟通的问题［1-2］。手语可以在无声的条件下通过手势动作的方式将聋哑人想表达的信息传递出去。由于手语的专业性及复杂性使得该语言在正常人群中传播并不广泛，聋哑人与正常人之间难以正常交流。手语识别方法的出现促进了聋哑人与正常人之间的交流。

目前，手语识别方法主要有基于视觉图像、姿态传感器、数据手套等方法［3-4］。文献［5］中采用基于视觉图像的手语识别方式实现了对印度手语的识别。文献［6］中通过将肌电信号与加速度信号及陀螺仪信号相结合针对5 种运动轨迹及6 种手势的识别。文献［7］通过将肌电信号与加速度信号融合的方式实现手势识别。文献［8］采用惯性传感器及弯曲传感器设计一种数据手套，通过采集数据手套中传感器融合，实现对聋哑拼音的识别。基于视觉图像的方法容易受到光照以及背景等环境因素影响。基于数据手套的方法虽不受环境因素影响，但该方法在一定程度上限制了使用者的手部运动自由。利用惯性传感器可实现对大幅度手势的识别，对涉及手指与手腕等部位动作的敏感度不高。在产生手势动作时，相关肌肉群会产生对应的形变［9］。通过压电薄膜传感器采集该形变信号可以有效反映整体手势动作情况且不易受外界噪声影响。

针对手语识别方面的需求，本研究通过将薄膜压力传感器与肌电采集装置两种低成本传感器结合，以手语为研究对象，提出一种基于肌电信号与肌肉形变信号的手语识别方法。通过两种信号的融合，有效提高手语识别能力。

1 数据和架构系统

基于肌电信号及肌肉形变信号的手语识别架构系统如图1所示。首先，通过自主设计采集系统获取肌电信号与肌肉形变信号；其次，依据信号特点通过滤波、小波降噪等方法降低信号噪声，通过双门限端点检测法划分出有效活动段。最后针对有效活动段进行特征提取，组成特征向量，将特征向量输入识别模型中，经识别模型处理得到手语识别结果。

图1 手语识别架构Fig.1 Sign language recognition framework

1.1 采集系统

为实现肌电信号及肌肉形变信号的采集，本研究设计一款便携式采集系统，包括多通道肌电信号采集模块以及肌肉形变采集模块。其中肌电采集模块主要由模拟前端电路、主控与无线传输电路组成。其中肌电模拟前端电路主要由德州仪器推出的集成模拟前端芯片ADS1298 组成。该芯片是一款专用于生物电信号采集的医疗级模拟前端芯片，内部集成了模拟前端电路所需的24 位高精度ADC 电路与最高12 倍的可编程放大器（PGA）。该芯片即可实现对8个通道肌电信号的采集［10-12］。与传统模拟前端电路相比，采用集成模拟前端电路可进一步降低噪声，同时节省系统功耗与电路空间。

采集系统硬件如图2所示，主要由电源、信号采集模块、主控以及无线传输模块组成。人体表面肌电信号幅值一般在10 μV 以上，为保证系统具有合适的分辨率以实现对肌电信号的有效采集，本研究将系统PGA 增益（GainPGA）设置为6 倍，则可获得的信号分辨率（URes）如下：

图2 采集系统硬件Fig.2 Acquisition system hardware

其中，U为2.5 V基准电压。

系统可分辨电压远低于肌电信号幅值，因此，系统可实现对肌电信号的有效采集。肌电信号有用频率范围为20～450 Hz，根据香农采样定理，为满足需求系统将采样频率设置为1 kHz。

在采集肌电信号的同时，本研究采用RP-C18.3-ST 型压电薄膜传感器对肌肉形变信号进行同步采集。系统工作时将其置于对应肌肉所在位置，通过软质扎带将其与手臂贴合。通过压电薄膜将肌肉形变以压电信号的形式量化。薄膜式压电传感器由美国微芯推出的MCP6002I 型低功耗运放构成调理模块将压电薄膜输出转变为主控ADC模块可识别的模拟信号。

1.2 试验设计

本试验选用4 名男性受试者，年龄22～25 岁，无任何神经肌肉系统疾病或其他相关疾病史。为保证试验质量，4 名受试者在试验之前对实验相关手语动作进行统一练习，以确保试验时受试者所执行手语动作标准规范。试验前，受试者静坐于椅子上，手臂肌肉保持放松状态，通过医用酒精擦拭对应肌肉。

针对手语动作，本试验采集选取4组肌肉。所选肌肉按照肌电采集1～4 通道顺序分别为桡侧腕长伸肌、桡侧腕屈肌、尺侧腕伸肌、伸指肌。本研究选用来自《中国手语》中的“我、你、我们、谢谢、鞠躬、承认”等6 个日常生活用语为识别对象。图3所示为所选6种手语动作，每名受试者需执行每个手语动作各20 次，每次执行完对应动作后恢复初始放松手势状态。为避免持续动作导致肌肉疲劳，受试者每执行5次动作后放松手臂休息2～3 min。图4为受试者执行手语“谢谢”时手语动作及采集系统，图中肌电采集电极为Ag/AgCl电极，黑色束带内为肌肉形变采集装置，附有3 个通道薄膜压力传感器，肌肉形变采集位置与1、2、3 通道肌电对应，即位于桡侧腕长伸肌、桡侧腕屈肌、尺侧腕伸肌。

图3 手语动作Fig.3 Sign language motions

图4 手语“谢谢”Fig.4 Sign language"thank you"

2 预处理与特征提取

2.1 肌电数据预处理

肌电信号是一种微弱电信号，易受外界干扰，导致信号中带有噪声。因此，需对所采集信号进行预处理以降低噪声。在执行手语动作时，会导致皮肤表面的电极发生轻微移动，从而造成采集的原始肌电信号产生基线漂移［13-14］。本研究通过3 Hz 零相移滤波器提取出低频漂移信号，并在原始信号的基础上减去所提取的低频信号，进而得到去除基线漂移后的信号。图5分别为原始信号及去除基线漂移后的肌电信号。

图5 去基线漂移Fig.5 Removing baseline drift

电网及日常生活中存在着工频信号干扰，我国工频干扰信号为50 Hz信号［15-17］。在设计肌电信号采集设备时已避免肌电采集设备接入电网，但由于环境干扰导致所采集肌电信号中仍含有部分50 Hz 噪声信号，因此，本研究利用陷波滤波器滤除50 Hz 频率噪声。

肌电信号有效频率一般为20～450 Hz。系统采集频率为1 kHz，在进行信号采集时易引入高频噪声。本研究利用带通滤波器滤除有用频率段外的噪声信号。滤波器将肌电信号通过快速傅里叶变换转换至频域，保留落在带通频率范围内的信号，滤除其余频率段信号。图6分别为滤波前后时域波形以及频域振幅谱，经滤波后有效范围外噪声信号被有效滤除。

图6 肌电信号滤波Fig.6 Electromyogram signal filtering

在信号静息电位中可以发现滤波处理后信号中依然存在一定的噪声信号，若直接将含有噪声的信号进行手势识别处理，将在一定程度上对手语动作识别精度造成影响。小波阈值降噪的方法能有效滤除混杂在肌电信号之中的噪声信号。在小波降噪中选择不同的小波基对信号处理效果不尽相同，sym 小波系与db小波系在肌电信号处理中等具有较好的效果［18-19］。本研究选用db4 小波基作为母小波进行降噪。根据肌电信号特点及肌电采样率选取分解层数为5 层，并采用sqtwolog 阈值对信号进行降噪。图7所示为受试者在执行手语动作“我”时通道4 所采集肌电信号，分别展示了降噪前与降噪后信号效果对比，经小波降噪后信号噪声被进一步降低。

图7 小波降噪Fig.7 Wavelet denoising

2.2 肌肉形变数据预处理

在压力信号采集过程中，由于采集过程中电压的细微变化易导致信号中夹杂高频噪声，而反映肌肉形变的压力信号变化曲线一般以低频信号的形式表现。为避免对后续识别产生影响，本研究利用巴特沃斯模拟滤波器设计一款截止频率为10 Hz 的低通滤波器用于提取低频肌肉形变信号。图8展示了受试者在执行动作“你”时通道3所采集到的信号，所示原始信号中含有较多高频信号，经低通滤波后高频噪声得到有效抑制。

图8 肌肉形变信号预处理Fig.8 Muscle deformation signal preprocessing

2.3 活动段划分

为有效区分不同手势，需对所采集信号进行活动段划分以提取手势动作的起始点与结束点［20］。肌电信号的产生会早于或同时于手语动作。采用肌电信号的起止点作为手语动作发生的依据更具有效性，且能避免因不同信号的划分误差导致端点判断不一致。本研究采用基于能熵比双门限端点检测法作为起止点判断方法。该方法以在一定数据长度窗口内能量（ELi）与谱熵值（Hi）的比值作为划分依据。能熵比（EEFi）定义如下：

在肌电发生活动时，窗口内能量值增大，谱熵值减小，采用能熵比法可以有效突出肌电活动段与非活动段的差别。图9分别展示了肌电活动段划分与肌电信号能熵比。为保证能及时、准确地检测到肌电活动的发生，本研究将窗口长度设定为200，步长为50。根据所求得短时能熵比确定起始点阈值T1与截止点阈值T2。阈值Ti表示方法如下：

图9 活动段划分Fig.9 Activity segment division

其中，EEFmax与EEFmean分别为活动区段内能熵比的最高值与非活动段能熵比均值，x为系数，该系数通过多次试验确定。

2.4 特征提取

根据肌电信号特点，本研究提取4种肌电时域特征，分别为各个通道中的平均绝对值（MAVEMG）、绝对值积分（IAVEMG）、波形长度（WLEMG）、均方根值（RMSEMG）。

肌电特征中MAVEMG反映了区间内肌电信号平均强度，其表示方式如下：

IAVEMG表现为肌电型号波形幅值一种较为直接的表现形式，其表示方法如下：

WLEMG为窗口范围内相邻各个数值绝对差值之和，其表示方法如下：

RMSEMG为窗口内各个数值的平方和取均值后取其平方根得到，均方根值反映了窗口范围内表面肌电信号的有效值，其表示方法如下：

肌肉形变信号特点与肌电信号不同，肌肉形变信号为一种低频信号且一个完整动作内传感器数值均高于非活动段。依据信号特点，本研究提取4种时域特征分别为方差（VARMD）、平均压力（AVGMD）和波形长度（WLMD），其中WLMD表示方法与肌电特征相同。

AVGMD表示在窗口内各个数据点压力平均值，其表示方法如下：

压电薄膜传感器信号在不同手势动作及不同采样位置其幅值均有较大差别，因此VARMD具有重要的参考价值。VARMD表示方法如下：

为研究肌电信号及肌肉形变信号对手语识别的影响，本研究将以上特征分别构造肌电特征向量FEMG、肌肉形变特征向量FMD及信号特征结合后特征向量FEMG+MD，在进行手语动作识别时将各特征向量输入识别模型。图10a 和图10b 分别展示部分肌电IAVEMG特征及肌肉形变AVGMD特征分布，图中虚线将数据划分为6个区域，分别对应6种手势动作。

图10 信号特征分布Fig.10 Signal feature distribution

3 GS-SVM手语识别模型

3.1 支持向量机（SVM）

SVM 是一种基于统计学习理论的机器学习方法，具有较好的泛化能力［21］。SVM是一种二分类器，基本思想为在高维空间建立一个超平面，使两类数据样本之间的间隔最大化。本研究需要处理6 种手语动作，是一种多分类问题，需要构建一个多分类器。本研究通过间接法构造多分类器。针对SVM中存在的线性不可分情况，引入核函数与惩罚函数以解决线性不可分问题。

3.2 GS-SVM分类算法

人工调参存在误差大、依靠经验设置等缺点，为保证分类器精度，本研究采用网格搜索法对SVM 中惩罚参数C与核函数参数g进行寻优。网格搜索法为对需要搜索的参数设定一个搜索范围，组成一个搜索网络，在设定网络范围内对参数C与g进行逐点寻找最优参数，最终筛选出一组可获得较高分类精度的参数值。网格搜索方法是一种自适应参数寻优方法，可在不同数据样本中自行搜索最优参数，进而提高模型的泛化能力。

4 实验结果分析

为探究不同传感器信号对手语动作分类的影响，本研究从所采集的数据中随机选取部分样本，分别将FEMG、FMD、FEMG+MD作为识别模型输入，采用GS-SVM 识别模型对6 种手语动作进行识别。图11及表1分别展示了不同信号输入时的识别结果。其中图11 表示采用肌肉形变信号、肌电信号以及信号融合后的手语识别结果。

图11 分类结果Fig.11 Classification results

表1为GS-SVM 在不同信号输入条件下对6 种手语的识别正确率。采用肌电信号对6 种手语动作的识别正确率为87.9%，采用肌肉形变信号的手语识别正确率为85.0%，通过信号融合后手语动作识别正确率达到97.2%，与采用肌电信号相比识别正确率提高9.3%。通过手语2 的识别结果可得在肌电信号识别正确率达到100%，而肌肉形变信号识别正确率较低的情况下，易出现个别样本被错分的情况，但融合后手势识别正确率仍高达99.5%。肌电信号对手语4的识别正确率仅为68.5%，但肌肉形变信号对手语4识别正确率达到96%；肌肉形变信号对手语3 识别正确率仅为59.5%，肌电信号对手语3 的识别正确率达到89.5%，通过信号融合后两种手语手势的识别正确率分别提高至98%与93.5%。

表1 不同信号识别正确率（%）Tab.1 Recognition accuracy based on different signals(%)

上述结果表明通过肌电信号与肌肉形变信号融合，不仅能提高整体手语识别正确率，且针对某种信号识别效果较差的手语动作，通过信号融合可以改善对应手语的识别正确率。

5 结论

本研究提出一种融合肌电信号及肌肉形变信号的手势识别框架，通过自主设计信号采集系统采集肌电信号及肌肉形变信号，针对肌电信号及肌肉形变信号的特点，分别采用不同的降噪方法。通过短时能熵比双门限端点检测法提取信号中有用部分，并进行特征提取，从而得到信号特征向量。对所得到的特征向量进行特征层融合。分别将肌电特征向量、肌肉形变特征向量与融合后特征向量输入GS-SVM 识别模型，其中仅肌电信号获得87.9%的识别正确率，信号融合后识别正确率达到97.2%，与仅采用肌电信号识别结果相比提高9.3%。试验结果表明，本研究提出的基于肌电信号与肌肉形变信号的手语识别方法具有良好的识别效果，为手语识别的发展提供重要的技术支撑。