基于深度学习的sEMG 手语识别翻译

曾亚婷

（丽水学院，浙江 绍兴 323000）

1 基本实现原理

1.1 sEMG 信号采集

经过初期的研究，我们开始了基于Arduino 平台的肌电信号提取的装置的研发。我们所挑选的传感器基本原理如下：传感器模块通过检测人体的表面肌电信号（sEMG），进而反应出人体肌肉和神经的活动情况。本传感器模块集成了滤波、放大电路，将范围在±1.5mV内的微弱人体表面肌电信号进行1000倍放大，并通过差分输入、模拟滤波电路的方式对噪声（特别是工频干扰）进行有效抑制。输出信号为模拟量形式，其以1.5V 为基准电压，0V～3.0V 量程的输出。输出信号的大小取决于选定肌肉的活动量，输出信号的波形则可显著指示被观察位置皮下肌肉的情况，方便做肌电信号的分析与研究，但是我们采用了其他更加精确的数据进行分析与处理[1]。

1.2 信号分析处理

为了做简单的分析，我们首先测量了手臂自然下垂时的肌电信号。很明显可以发现自然状态下手臂是不会产生任何肌电信号的，同时我们让被测人握拳从而采集到另一种肌电信号。我们要做的就是采集各种不同手势下的肌电信号，通过多次测量求出平均手势肌电信号强度，再利用移动窗口法取若干连续时间序列对应的信号强度求局域平均，若均值大于一定阈值，我们就认为一个动作开始从而进行识别。若反之则视为一个动作的结束。

1.3 算法分析处理

为了进行预处理来找到不同信号的特征，我们首先对数据进行移动窗口平滑处理，其主要用于通过平滑曲线来查找采集到的肌电信号的大体趋势。其中需要计算包括的数值有总和，均值，中位数，方差，协方差，相关性等。

使用两种机器学习算法对每一个的运动进行分类：支持向量机（SVM）和随机森林（RF）。这些分类器很常见，众所周知，以前曾应用于许多机器学习问题，包括sEMG 分析，两者都显示出良好的性能。重复1、3、4 和6 用于训练分类器，重复2 和5 用于验证它们。对所有运动（包括其余运动）进行分类[2]。

2 医学机理分析

肌电信号的医学机理涉及以下几个方面：

1.肌肉收缩：当神经向肌肉发送信号时，肌肉会收缩并产生电活动。肌肉收缩是由神经冲动引起的，这些冲动在神经细胞中产生并沿着神经纤维传导。

2.神经传导：神经冲动通过神经传导到达肌肉。这些冲动通常从中枢神经系统发出，经过神经树突、轴突和神经末梢等结构，最终传递到肌肉。

图1 佩戴示意图

3.肌肉电活动：肌肉收缩过程中产生的电信号可以通过表面肌电图进行测量。当肌肉收缩时，肌纤维中的电活动会产生电位差，这些电位差可以通过皮肤传导到测量电极上。sEMG 可以记录和分析这些电位差的特征，包括振幅、频率和时域特性等。

4.神经-肌肉接头：神经冲动到达肌肉后，会通过神经-肌肉接头传递信号。这是神经与肌肉之间的接触点，通过释放化学物质（例如乙酰胆碱），神经冲动可以引发肌肉收缩。

综上所述，sEMG 的医学机理涉及肌肉收缩、神经传导、肌肉电活动、神经-肌肉接头以及神经异常等方面。通过测量和分析肌肉的电信号，sEMG 可以提供有关肌肉功能和神经病理状态的信息。因而可以通过对该信号的测量来实现手语的识别翻译。

当神经系统向肌肉发送指令时，神经元释放神经递质乙酰胆碱，乙酰胆碱通过神经肌接头传递到肌肉细胞上的乙酰胆碱受体上。乙酰胆碱受体激活后，导致细胞内部钠离子通道打开，钠离子进入肌肉细胞内部。

这种钠离子的进入导致肌肉细胞内部的电位变化，从而触发肌肉细胞内的细胞膜上的肌动蛋白。这种肌动蛋白和肌原纤维上的肌动蛋白相互作用，产生肌肉收缩。同时，肌肉细胞内的钙离子也参与了肌肉收缩的调节。

肌肉收缩完成后，神经元停止释放乙酰胆碱，并将未被吸收的乙酰胆碱分解掉。肌肉细胞内的钠离子通道关闭，钙离子的浓度回到正常水平，肌肉细胞逐渐放松。

在肌肉收缩和放松过程中，肌电信号可以通过肌肉细胞内的电位变化和离子流动来记录和测量。这种肌电信号的改变可以用来分析肌肉的活动和功能，因而可以应用于运动控制的手语翻译领域中[3]。

3 sEMG 采集与数据预处理

从客观的实际出发，手语包含的手势动作其实是相对复杂的，一整套手语动作是由连贯的多个手势动作构成的。所以我们选取了四个基础手势动作来进行识别分析。其分别是伸掌、握拳、OK 和捏取。

肌电信号数据主要来自于项目成员组，在执行的过程中每个手势保持5 秒，手势之间的间隔为10 秒，一共收集到了上千份数据集合。

为了防止数据集在后续的算法应用中出现过拟合现象，我们必须对数据进行标签修正的处理操作。标签修正可以修复或调整数据中的错误标签，从而改进模型的性能。错误的标签会干扰模型的学习过程，导致模型预测的准确性降低。通过标签修正，可以提高模型的精度、召回率等性能指标，提升智能算法的整体表现。标签修正可以充分提高模型的理解能力和泛化能力。

综上所述，标签修正在处理肌电信号中具有提高模型性能、改进数据质量、提供人工知识引导、处理标签不平衡问题等重要意义。通过标签修正，可以提高算法的准确性、泛化能力和可解释性，进一步优化智能算法的应用效果。

在多样本种类分类的任务中，神经网络会输出一个当前数据对应于每个分类类别的置信度分数，这些分数可以通过softmax 进行归一化最终会计算出当前数据归属每个类别的概率[4]。

为了让标签修改更加的贴合肌电信号本身，我们采用了基于最大面积法原则进行标签修正，即选择与当前标签相似度最高的标签作为修正结果。这种方法不涉及复杂的模型训练过程，更加容易理解和实现。其效果较好是由于最大面积法是通过计算相似度找到与当前标签相似度最高的诠释方式，从而实现修正。同时，最大面积法可以灵活地结合其他的标签修正方法或者特征工程方法，这也是因为其不依赖于特定的领域知识或者先验条件，适用于各种不同的场景和领域。最大面积法的计算过程相对简单，不需要进行复杂的模型训练或者迭代计算。所以其计算效率较高，可以在大规模数据集上进行快速的标签修正。因此在初始分析时，我们选取了这样相对较为简单的修正方式来对数据做了初始处理。

图2 手势准确率

4 特征提取与分类

卷积神经网络（CNN）是一种深度学习模型，主要用于图像识别、语音识别和自然语言处理等领域。CNN模型由多个层组成，每一层在模型中承担不同的作用。经过处理后的肌电信号也属于一种图像，因此我们考虑用CNN 来进行特征提取与归类[5]。

最终可以得到的是，四个手势的识别准确率基本处于60%的范围水平，基本达到预期的预设目标。

5 本文工作总结与未来展望

肌电信号是人体手臂活动时肌肉产生的生理电信号，其中包含了动作信息，通过对肌电信号进行分析识别是一种新型的人机交互控制方式。相较于语音还有机器视觉的交互方式，肌电信号具有方便直接，且不易受到环境干扰等特点。本文以肌电信号手势识别中的适应性为研究方向，探究了肌电信号时变性对肌电信号手势识别的影响。本文主要工作总结如下：

1.分析了当下的残障人士的现状困境，并且阐明了基于深度学习的sEMG 手语识别的重要意义。

2.确定了肌电信号的采集模块，以小组成员作测试对象建立了数据集，以四个基础手势作基石展开信号分析。

3.分析了肌电信号医学机理，通过分析肌电信号的各项特征来确认后续的分析逻辑思路。

4.进行标签修正的数据预处理操作，并且选取CNN智能算法作分类器，最后的准确率稳定在60%左右，达到了预期效果。

而在今后的研究工作中，可以继续深入的研究之处有：

1.由于实际中的手势是较为复杂的，后续在改进准确度的问题上可能可以考虑其他的算法。

2.未来技术成熟时也可以迁移到其他的应用领域，比如智能假肢等。