基于不同训练模式的纳米金柔性传感器的手势动作识别

孙淑睿 黄品高 汪 鑫 陈世雄 李光林

1(中国科学院深圳先进技术研究院 深圳 518055)

2(重庆理工大学药学与生物工程学院 重庆 400054)

3(中国科学院大学深圳先进技术学院 深圳 518055)

1 引 言

人类勤劳的双手创造了文明的世界。手部活动在我们生活中扮演着举足轻重的角色，衣食住行都离不开它。不幸的是，有的人因疾病原因致使手无法完成大脑发出的指令，失去自主控制能力，如中风、多发性硬化症等[1-3]，甚至有的人因严重的交通事故导致肢体残疾。2017 年中国残疾人事业发展统计公告显示，得到康复服务的持证残疾人中，视力残疾人 88.3 万、听力残疾人 40.7 万、言语残疾人 4.3 万、肢体残疾人 484.6 万、智力残疾人 71.3 万、精神残疾人 125.9 万、多重残疾人 35.5 万，其中占残疾人总数最多的是肢体残疾。对于肢体残疾的人来说，失去手或上肢不仅造成心理上的创伤，还严重影响他们的正常生活，降低生活质量。针对这一现象，近年来研究者们在假肢控制方面进行了一系列研究。例如，利用开关控制、直接控制和模式识别等多肌电控制方法，使得仿生手及多个自由度假手更加智能化，为弥补截肢者丧失的部分上肢功能做出巨大的贡献[4-6]。随着科技快速发展，假肢控制的技术越来越成熟，这在一定程度上提高了截肢者的生活质量。与此同时，研究者们也提出了一系列提高假肢控制鲁棒性的方法，如改进算法和研究新型传感器等。

为了更有效地解码信号并获得精确的手势动作分类，研究者们提出了各种特征提取、模式识别等算法[7-9]。Samuel 等[10]提出了 Absolute Value of the Sum Square Root(ASS)、Mean Absolute Sum (ASM) per Analysis Window、Mean Value of the Square Root(MSR)三种新的时域特征，在 8 例截肢者的表面肌电信号(Surface Electromyography，sEMG)数据中进行训练测试，结果显示平均分类准确率达到(92.0±3.1)%。Furuki 和 Takiyama[11]提出了一种简单可行的机器学习框架评估运动的可变性。Atzori 等[12]证明结构简单的卷积神经网络和经典机器学习方法可以得到相近的准确分类结果。虽然这些算法在动作分类方面取得了很大的进步，但信号容易受电磁环境干扰等问题影响，降低了信号的质量，无法从信号这一根源解决问题。

目前，传感器是获取高质量信号的常见研究工具。Jiang 等[13]提出了一种基于导电硅的 sEMG 传感器，用于残疾人在日常生活中对假肢的控制。但单一信号的假肢控制难以满足截肢者的需求，而利用复合传感器则可提供多方面的信号信息。Liu 等[14]研发了一种融合环境感知的运动模式识别系统，研究结果表明获取环境信息对可穿戴机器人的设计和控制具有重要意义。Guo 等[15]提出一种多通道小型的无线 sEMG/近红外光谱(NIRS)混合采集系统，可同时检测肌肉的电生理学、血流动力学和氧化代谢信息。但这些传感器都是非柔性的，不适合长期监测。随着科技的发展，柔性材料因其得天独厚的优势，已经应用到各个研究领域，如生物医学工程、电子产品行业等[16-17]。董中飞等[18]设计了一种阵列式的 sEMG 系统，其中电极的设计基于柔性印刷工艺，可用于身体表面具有弯曲度较大的肌肉上。

迄今为止，大多数假肢控制的研究主要是通过解码肌电信号的方法实现。其中，sEMG 是运动和运动康复中常见的主导研究工具[19]。但人体生理信号较微弱，肌电信号也不例外，肌肉在疲劳和非疲劳情况下的肌电信号有所差异。另外，传统的 sEMG 电极需要利用导电膏降低电极与皮肤之间的阻抗，而这有可能导致皮肤过敏和患者不适，因此不利于生理信号的长期监测。

基于以上限制，本研究采用纳米金柔性传感器，利用肌肉收缩引起传感器产生形变，从而导致传感器阻抗发生变化。相对于肌电信号而言，所采用的传感器的形变信号不易受肌肉疲劳的影响，且只需要很低的采样率。因其具有可拉伸特性，能较好地与皮肤表面共形，故肌肉收缩可以有效地影响纳米金柔性传感器产生相应的形变。此外，纳米金柔性传感器在拉伸产生形变过程中，可以保持导电性并有规律地改变导电性。综上所述，本研究采用纳米金柔性传感器形变引起的阻抗变化对手势动作进行分类。

在已有的研究中，无论是通过传感器还是算法来提高手势动作分类的准确率，研究者通常利用重复单个动作的数据进行集训练和测试[20]，且在针对纳米金柔性传感器形变信号的研究中，尚未有人考虑训练模式对动作分类性能的影响。本文从时域波形、分类准确率等方面对重复训练和随机训练两种模式进行分析比较。

2 实验方法

2.1 受试者

本研究在中国科学院深圳先进技术研究院的学生中招募 4 名健全的受试者，均为男性(年龄为 22～41 岁)。本实验方案经中国科学院深圳先进技术研究院人体实验伦理管理委员会批准(SIAT-IRB-160815-H0112)。所有的受试者阅读并同意签署了知情同意书，并允许为了科学和教育的目的发表相应照片。

2.2 实验原理

本研究采用的是本文作者团队前期研究中已制备的纳米金柔性传感器和采集系统[21-22]。其中，纳米金柔性传感器采用最先进的纳米材料微加工技术，以聚二甲基硅氧烷(Polydimethylsiloxane，PDMS)为基底，表面金膜伴有随机裂纹以保证传感器在拉伸的过程中金膜不会断裂，同时具有良好的导电性。该采集系统结构如图 1 所示。实验中采用 4 条该结构的传感器(每条长约 80 mm、宽约 10 mm)，通过导线与 8 通道肌电阻抗采集系统相连。该系统由 4 部分组成，包括传感器、模拟前端、单片机(含 WIFI 收发器)和计算机。其中，计算机显示的采集界面是利用 Matlab 设计的图形用户界面。本研究中阻抗变化信号的频率为低频信号，采用1 kHz 的采样率，采样率满足奈奎斯特采样定理。总体而言，该采集系统具有集成度高、抗干扰能力强的特点。

图 1 采集系统示意图Fig. 1 The schematic of acquisition system

根据前臂肌肉的解剖结构，将 4 条纳米金柔性传感器用医用胶带等间距固定在前臂的指伸肌等收缩较明显的肌肉上(图 2)。实验前，为获得高质量的实验数据，对每位受试者进行实验指导且提前练习手势动作，从而使其了解实验过程并掌握规范动作。实验过程中，要求每位受试者完成 9 种手势动作，包括手张开(HO)、握拳(HC)、手腕外旋(WS)、手腕内旋(WP)、手腕外展(WE)、手腕内勾(WF)、枪指(FG)、半握(HG)和静息 (RS)。

本研究中，受试者需要完成两种不同训练模式，具体如图 2 所示。其中，随机训练模式中每个动作均为 5 s，动作之间静息 5 s，完成一组需 85 s，每组重复三次；重复训练模式则是同一个动作重复三次为一组，每组用时 35 s。静息状态的数据均来自两种训练模式中每个动作中间的静息，不再单独采集，故除静息状态共 8 组。受试者在每组动作之间休息 2 min。

2.3 数据处理

本研究中的实验数据为纳米金柔性传感器在肌肉收缩过程中因形变产生的阻抗变化。所有实验数据来自 4 名健全的受试者且均利用 Matlab 编程离线处理。数据处理过程分为 3 个步骤。

(1)数据预处理。因每个手势动作所产生的阻抗变化量不超过 1 000 Ω，故若大于 1 000 Ω 则认为这个数据为坏点，采用阈值法设置阈值将坏点移除。随后利用巴特沃斯低通滤波器和 50 Hz 陷波滤波器对信号进行滤波，得到去除工频干扰的低频阻抗变化信号。本研究采用阈值法和标签结合的方法将信号分为动作状态和静息状态，将分割后的信号以窗口长度为 200 ms、100 ms 为增量进行分帧，以便进行后续处理。

图 2 实验范式及训练模式示意图Fig. 2 Experimental paradigm and training mode diagram

(2)特征提取。选择合适的特征对于有效的动作分类具有重要的作用。一般将特征分为时域特征(TD)、频域特征(FD)和时频域特征(TFD)。由于时域特征的计算复杂度相对较低，且有研究表明时域特征对力的变化比较敏感[23]，所以对 EMG 都提取时域特征[24]。在本研究中，因为信号结构相对简单，所以采用时域特征中的均方根值(RMS)来表征受试者相应的手势动作。

(3)手势动作分类。采用具有统计意义的 5 倍交叉验证法将特征向量分为训练集和测试集。常见的分类器有线性判别分析(Linear Discriminant Analysis，LDA)，支持向量机(Support Vector Machine，SVM)等。其中，LDA 是一种比较有效且应用广泛的分类器[25]。Nazmi 等[26]总结介绍提取不同的肌电信号的特征及采用不同分类器后的分类性能，其中 Phinyomark等[27]提取时域特征并选择使用 LDA 分类器，准确率最高为 98.9%。此外，LDA 分类器更易于实现，且不影响动作分类的准确性。基于此，本研究采用 LDA 分类器对手势动作进行分类，并以分类精度作为基本性能指标，通过测试集进一步验证模型的性能。

3 实验结果与讨论

3.1 随机训练模式的时域波形

被拉伸的程度不一致。同时，每个动作都有明显的起始点，说明此传感器具有较好的实时性。总体而言，阻抗变化是个简单的信号，图 3 中不同手势动作的波形可直观地表现出每个动作肌肉的不同收缩状态。

图 3 随机训练模式的时域波形图Fig. 3 Time domain waveform of random training mode

3.2 两种不同训练模式的动作分类性能对比

图 4 重复训练模式的混淆矩阵Fig. 4 Confusion matrix of sequential training mode

图 5 随机训练模式的混淆矩阵和特征向量散点图Fig. 5 Confusion matrix and eigenvector scatter plot of random training mode

及其对应色标的颜色代表不同程度的分类性能。

3.2.1 重复训练模式的分类性能

从图 4 中可以看出，每个动作的分类准确率均超过 90%。其中，分类准确率最高的是握拳(HO)，达到 98.72%；最低的是静息(RS)，为 93.20%。图中蓝色圆点的面积较小且数量少，说明动作之间的影响较小。

3.2.2 随机训练模式的分类性能 从图 5(a)中可以看出，每个动作的分类准确率均在 90% 以上。其中，分类准确率最高的是握拳(HO)，达到 98.39%；最低的是静息(RS)，为 92.74%。图中蓝色圆点的面积较小且数量较少，说明动作分类误差较小。图 5(b)是采用其中 1 名受试者的特征向量，利用主成分分析(PCA)方法降维后的二维特征向量散点图。从图 5(b)可以看出，相同动作比较聚集，而不同动作之间则比较分散，这说明每个动作较容易区分。

3.2.3 两种训练模式的平均准确率对比 图 6 是 4 名受试者的平均分类准确率及其平均值。从图中可以看出，两种训练模式的平均分类准确率的平均值都在 94% 以上，且每名受试者的平均准确率都在 90% 以上。其中，重复训练模式的平均分类准确率略高于随机训练模式，前者为 95.46%，后者为 94.18%。

图 6 四名受试者的平均分类准确率Fig. 6 Average classification accuracy of four subjects

3.3 实验结果讨论

上述实验结果表明，不同的手势动作因肌肉收缩力的不同而产生明显的阻抗幅值变化。从随机训练模式时域波形中(图 3)可以看出，每个动作都有明显的起始点，且观察更直观，有利于进行实时性研究。从手势动作分类性能来看，两者的混淆矩阵中每个动作的分类准确率都超过 90%，动作的误差大多与静息有关。其中，本研究的静息数据没有单独采集，而是选择每个动作之间的所有静息数据，这样更符合实际应用中动作之间静息的分类。另外从特征向量的散点图(图 5(b))可以清晰地看到，代表静息的图标(“+”)占据较大的空间分布，故静息是影响其他手势动作误差率的主要因素之一。柔性材料本身存在不可避免的共性问题——蠕变特性，且两个动作之间的静息时间仅为 5 s，这期间纳米金柔性传感器经过拉伸后还未完全恢复到原始的状态，故每组静息的数据都包含部分前一动作的特征，导致两者分类准确率最低的手势动作均是静息。但总体而言，每个手势动作的分类准确率均在 90% 以上，且两种不同的训练模式都可达到较好的分类效果。通过 t 检验可知，P＝0.227 5＞0.05，表明两种训练模式间无显著差异，与 Fu 等[28]肌电信号基于不同训练模式的分类结论一致。此外，对比同类重复训练模式，曹书豪和许成哲[29]采用公开数据库的 52 种手势分类准确率达到 92.7%，张龙娇和曾晓勤[30]的手势识别准确率为 91.6%，本文纳米金柔性传感器的随机训练模式的手势动作分类准确率与前述 3 个研究结果相当，表明了随机训练模式的可行性。

4 结 论

本研究采用纳米金柔性传感器识别手势动作，比较分析了重复训练模式和随机训练模式两种不同的训练模式对识别结果的影响。研究表明，每个手势动作均具有较好的实时性且平均分类识别率在 90% 以上。特征分布散点图中可以看出动作之间的离散性，每个手势动作都有较好的区分度。同时，两种训练模式的平均分类准确率间无显著差异，故在以后的实验中可以采用随机训练模式，因为此模式更方便且更有利于实时性能研究。但值得注意的是，本研究仅招募了健康的受试者，并且所有的数据分析采用的是离线处理。在今后的工作中，将利用纳米金柔性传感器在假肢控制的运动意图识别方面进行更深入的研究。