表面肌电与三轴信息融合的运动判断实验

喻 剑，李至霖，庞鹏瞩，李 洁，c

（同济大学a.电子与信息工程学院；b.计算机与信息技术国家级实验教学示范中心；c.上海市养志康复医院（上海市阳光康复中心），上海 201804）

0 引言

人体运动识别作为智能康复机器人［1］、智能外骨骼机器人［2］和智能假肢［3］等关键技术之一，引起了学术界的广泛兴趣。针对运动识别的发展经历了多个阶段，从基于规则的方法到模板匹配［4］、机器学习［5］的方法，再到目前深度学习方法的广泛应用。随着算法的不断迭代更新，针对运动识别模型的准确率和泛化能力要求也日益严苛。尽管深度学习模型在分类能力上具有显著优势，但由于表面肌电数据的通道有限，稀疏的信息量成为限制深度学习模型实际应用效果的瓶颈［6］。

为了解决肌电信号通道数量限制对深度学习模型的影响，提高运动识别准确率，本文提出了一种表面肌电与三轴加速度［7］多模态息融合（将多种感官信息进行融合）的实验流程与方法：利用多层小波分析，从肌电信号中提取出不同频域的特征；并将分离出的不同频域的肌电信号特征与空间运动特征相融合，构建融合特征图序列；再在动作识别阶段引入状态自动机。从而有效地扩展肌电信号的信息量，提高对多模态运动识别的准确性。

1 实验原理

为了实现对多模态信号的识别，本文设计了如图1所示的信号处理流程。整个实验流程包含了信号采集、信息处理与融合、深度卷积神经网络训练以及运动判断几个步骤：①信号采集部分主要是同步采集表面肌电信号（Electromyography，EMG）和三轴加速度信号，由于信号融合时间窗口很小，因此对两种信号采集需保证毫秒级的同步；②数据处理与融合由滑动窗口采样［8］、时频分析、向量拼接3 个处理步骤构成，主要是将两种信号进行多频域的特征提取与深度融合；③神经网络训练可选Conv1d 或Conv2d 网络［9］进行，使用上一步骤生成的融合特征图对深度学习网络进行训练，对当前的运动状态进行快速判断；④使用一个状态机对运动状态的转换条件进行判断，保证了运动识别的稳定性。

图1 信号处理步骤

2 实验设计

2.1 信号采集

由于信号融合处理需要确保来自不同传感器的异构数据保持较高的同步性和实时性，因此选用了如图2 所示的ESen-2518 肌电手环作为有线EMG 信号采集设备和gForceDual腕带手环作为三轴加速度信号采集设备。

图2 信号采集设备

信号采集时，受试者需要同时佩戴肌电手环和三轴加速度腕带，根据实验流程完成指定的实验范式动作。受试者可以在电脑屏幕上看到当前的动作指令，并且可以同时看到各通道采集到的信号波形以确保当前的动作信号都被准确采集，如图3 所示。

图3 EMG信号和三轴加速度信号采集

2.2 信息处理与融合

数据处理与融合的分为滑动窗口处理、时频特征提取、特征融合3 个步骤，如图4 所示。滑动窗口处理主要对采集的肌电信号进行滑动采样，对每个滑动窗口生成1 张特征图；时频特征提取主要使用多层离散小波变换对表面肌电信号进行时频分解，提取出一组低频特征信息；特征融合处理则将肌电信号中提取现的低频特征信息与三轴加速度信息以向量的形式进行拼接，形成融合特征图。

图4 信息处理与信号融合示意图

（1）滑动窗口采样。滑动窗口采样时，将滑动窗口的大小设定为200 ms，滑动步长设置为窗口大小的一半，即100 ms。这一设置能够确保每次滑动窗口都有一定的重叠，以充分利用时序数据中的信息，提高采样的覆盖范围。保持窗口大小不变，可以更准确地对比不同实验条件下不同信息融合处理方法的性能。

由于采集得到的信号中包含了大量的休息状态信号。为了提高算法的针对性，设计的滑动窗口跳过静止状态的信号［10］，从而避免在休息状态下产生的冗余信息对算法性能的干扰。

（2）时频特征提取。采用小波变换时频分析（Discrete Wavelet Transform，DWT）方法对肌电信号进行多分频域分解。这样的处理方式不仅可以充分提取时序信息，还增强了信号的频谱信息，使得模型更具鲁棒性。

在DWT中，采样尺度和平移参数被离散化，其中尺度通常进行幂级数的离散化，而位移进行均匀离散取值［11］。这个过程的离散化是为了适应连续小波变换（Continuous Wavelet Transform，CWT）的不足，因为CWT需要连续信号，而实际信号是离散的。设x（n）为实验采集的离散EMG 信号，则x（n）的DWT 计算式为：

式中：DWT［x（n）］为对采集信号x（n）进行离散小波变换的结果；n为时间序列索引；ψ（n）为母小波；ψj，k（n）为母小波进行缩放平移操作得到的小波基函数，ψj，k（t）=∶j为缩放尺度参数；k为平移位置参数。

离散小波变换的分解过程可以看作是使用一组低通和高通滤波器，分离出低频信号和高频信号。随后，对低频信号再进行循环的分解操作直到预定的分解层数。低频信号保留了原信号的概貌和轮廓，而高频信号则代表了原信号中的细节信息和一部分噪声［12］。在实验中，使用每次分解得到的低频信号部分，将其合并为新的融合信号，以增强同一类别动作的相似性。图5 所示为在信号处理中，每个通道的表面肌电信号会分别进行5 层离散小波分解，得到5 个低频信号。这5 个低频信号与空白信号进行重构，形成一个局部的融合单元。同时，融合特征窗口信号则是每个通道各自分解形成的小融合单元所合并的大融合单元。

图5 时频分析处理示意图

通过采用滑动窗口结合小波变换，每个通道的原始信号都变换为一组时序信号，12 个通道的原始信号拓展为60 个时序信号，从而将图片尺寸从200 ×12 拓展到了200 ×60 的大小，丰富了特征信息。

（3）向量特征融合。相较于表面肌电信号，三轴加速度传感器的信息变化较慢，但是它为模型补充了重要的空间运动信息［13］。表面肌电与三轴加速度的特征融合采用了特征向量拼接合并的方法，通过将离散小波变换处理后的表面肌电信号与原始的三轴加速度信号拼接在一起，形成了更为丰富的特征图，如图6所示。经离散小波变换后的表面肌电图尺寸为200 ×60，而三轴加速度信号以原始信号的形式拼接在表面肌电图下方，最终得到了200 ×96 尺寸的融合特征图。

图6 信号融合特征图像示意图

在拼接的过程中，为了保证信号之间的相关性，需要确定一个合适的拼接顺序。实验中将同一通道表面肌电信号分解得到的子信号看作1 个独立的融合单元，将这12 个融合单元拼接得到一个更大的表面肌电融合单元；同时，三轴加速度传感器所采集的加速度信息中，同1 个节点加速度的3 个维度被看作1 个融合单元，将这12 个传感器的融合单元拼接成1 个更大的加速度融合单元；最后，将表面肌电融合单元与加速度融合单元进行拼接，得到最终的融合特征图像。

这种向量拼接的特征融合方法充分融合了表面肌电和空间运动信息，为深度学习模型提供了更全面的特征信息。通过将不同维度的信息相互关联，使模型更具泛化能力。

2.3 深度卷积神经网络训练

深度卷积神经网络训练过程对输入的融合特征信息进行学习与训练。为体现不同的深度神经网络对信号的学习不同效果，选择使用Conv1d 和Conv2d 2 种不同卷积神经网络进行实验。

Conv1d为一维卷积神经网络模型，主要用于处理序列数据或时间序列数据。在生理信号分析中，Conv1d常用于处理一维信号，比如EMG，能够捕获信号在时间轴上的特征变化，适用于需要关注信号时间信息的任务。Conv2d为二维卷积神经网络模型，主要用于处理图像等二维数据。可以有效地捕捉信号的空间特征，对于需要分析信号在不同空间维度上的模式和关联性的任务有一定优势。在生理信号分析中，Conv1d和Conv2d的主要区别在于其处理信号的维度和特征捕获方式。Conv1d 更适合处理单一维度的信号，例如时间序列信号，能够较好地捕捉信号在时间轴上的变化和模式；而Conv2d则更适用于考虑信号在多个维度（例如空间维度）上的特征［14］，能够同时关注不同维度间的关联性和模式。该模块的示意如图7 所示。可以通过选择不同的网络进行多模态信号的识别，从而对比分析不同方法的差异。

图7 神经网络训练示意图

2.4 动作判断

动作判断的任务是将神经网络得到的运动分类结果，通过状态机转移规则层面的推理实现对当前运动动作的判断。本模块设计考虑了历史运动状态的稳定性，通过状态机的方法实现了对运动状态的连续判断。

人体的运动状态往往是一个连续的过程，而不是瞬时突变的动作。因此，引入状态机［15］可以通过连续跟踪运动状态的变化，推断出当前的动作。这种连续性的状态机设计使得模块能够更加稳定地判断用户的运动状态，避免了一些由于神经网络的分类错误造成运动状态判断错误。状态机的转移条件是动作判断模块设计中的关键。静止状态和运动状态2 种基本状态间的切换是通过判断队列中元素的数量和出现情况来实现的。

图8 所示为2 种状态转移条件。在静止状态转移到运动状态时，需要满足队列中出现得最多元素数量大于阈值p1，且这些元素不为占位符。这样的设计是为了排除偶然的分类异常结果，确保在短时间内能稳定完成某一动作。而从运动状态转移到静止状态的条件包括队列中占位符的数量大于阈值p2，或者队列中出现得最多元素数量小于阈值p3。这2 个条件的设置是为了应对系统在一段时间内的判断概率低或者分类混乱的情况，从而可以使系统恢复静止状态。

图8 2种状态转移条件

3 实验结果与分析

实验招募了10 位被试人员，并对应采集了相应的数据，分别使用本文提出的实验方法和常用4 种信号融合的处理方法，在2 种卷积神经网络模型上完成了训练与评估。本实验方法与对比处理方法的准确率结果对比如表1 所示。

表1 不同信号融合方法准确度比较

由表1 的数据对比分析可得如下结论：

（1）多模态信号的融合提高了运动判断准确性。图9 所示为多模态融合信号与单一信号对比。由图9可知，仅通过表面肌电信号进行分类，最高准确率为81.9%；而在二维卷积神经网络中，准确率达到了95.4%；在一维卷积神经网络中，准确率为89.2%。多模态信号在多种网络中均呈现出更高的准确率，验证了多模态数据融合在提升模型性能方面的有效性。

图9 多模态融合信号与单一信号对比

（2）信号特征提取有效。图10 所示为时频特征的工程对比。由图10 可知，将原始表面肌电信号图像直接输入CNN中进行训练，准确率仅为63.6%；而使用小波变换将最终准确率提高至81.9%。表明通过对原始信号进行时频分析并提取特征，可以更充分地反映信号的动态特性，提高模型的分类性能。

图10 时频特征工程对比

（3）动作判别实时性。实时性是运动判别系统的关键性能之一。在实验流程中，主要的计算复杂度来自特征图构造和模型分类。通过以大小为100 ms 的滑动窗口进行采样，对长度为80 s 的时序信号进行800 次数据处理和模式识别进行实时性测试。结果显示，每次数据处理的平均时间为9.2 ms，而使用二维和一维卷积神经网络进行图像分类的平均时间分别为44.7 和41.5 ms。

图11 所示为标签与动作识别结果对比。由图11可知，输出信息中实验系统对动作的识别速度，实验系统在运动发起的初期就可以迅速完成对运动动作的判断，并成功将状态机从静止转移到相应的运动状态；在运动结束后，也能及时将状态机从运动状态转移到静止状态。这也表明了深度学习方法在表面肌电信号分类问题上有着更高的上限。

图11 标签与动作识别结果对比

4 结语

本文设计的信息融合流程与方法能充分融合肌电信号和三轴加速度信号的运动特征，结合卷积神经网络与自动状态机，实现了对运动状态的准确、稳定识别。通过实验表明，设计的算法总体识别精度分别达到了95.4%和89.2%，取得了较好的实时运动判断准确率。这种信息融合的方法也可以用于生物信号处理、多源信号融合、神经网络训练等项目，为探索新的多源信息融合方法提供有益的参考。