周小波,邹任玲,卢旭华,王海滨,张俊翔
(1.上海理工大学 医疗器械与食品学院,上海 200093;2.第二军医大学附属长征医院,上海 200003)
表面肌电信号(Surface Electromyography,SEMG)是通过皮肤表面的干、湿电极测出的皮下肌纤维运动单位的动作电位,代表实时人体运动意图[1]。随着AI技术的发展,人机交互(Human-Computer Interaction,HCI)系统对提高人们生活质量和工作效率有重要的作用[2]。基于SEMG建立的HCI具有操作方便、对身体无侵入性、对运动无干扰等特点,有非常广阔的应用前景。利用SEMG识别运动模式的方法主要可以分成两类:一类是需要贴放多对电极,每对电极采集的SEMG分别对应一个动作。此类方法对电极采集到的肌电信号利用率低,往往需要多对电极才可以实现多个自由度的控制;另一种方法是对SEMG进行识别,从一个电极对采集的肌电信号中识别出多种运动模式。此类方法所用的电极数量少,对电极采集到的肌电信号利用率高,但是信号识别的方法复杂[3]。基于SEMG建立肢体康复动作识别系统,一般包括SEMG数据采集模块、信号特征提取模块、分类器模块和机器控制命令输出模块。肢体康复动作识别系统很大程度上依赖于信号特征提取和分类器的使用。人工神经网络(Artificial Neural Network,ANN)越来越多地被用于机器学习领域的模式识别和信号分类领域,其作为分类器,相较于传统的分类器有着巨大的优越性[4]。现将近几年基于ANN构造的SEMG分类器的研究进展进行介绍和分析。
学习向量量化神经网络(Learning Vector Quantization,LVQ)是Kohonen T等人在1988年提出的一种前向型神经网络[5]。LVQ结合了有监督学习和竞争学习两者的优点,在学习中克服了自组织网络无监督学习算法带来的缺乏分类信息的弱点。其最大的优点是不需要对输入向量归一化,缺点是训练时间较长[6]。LVQ由输入层、竞争层和输出层3层神经元组成,结构如图1所示。
图1 学习向量量化网络Figure 1. Learning vector quantization network
小波包变换(Wavelet Packet Transform,WPT)具有良好的时频局部化特征特性,可以同时提取信号的时频特性,克服了傅立叶变换时域无局部化特性的缺点,是一种良好的时频分析工具。WPT分解树如图2所示[7]。
图2 小波包变换分解结构树Figure 2. Decomposition tree of WPT
2018年,Liu L和Song Y等人在已有的SEMG手势分类器研究的基础上,分别测试了BP网络、ELMAN网络、自组织竞争网络等多种类型的神经网络,在此基础上设计出一种以WPT为特征提取的 LVQ分类器对下肢运动产生的表面肌电信号进行分类[7]。该实验的对象为健康学生,实验肌群为股直肌和长收肌,实验动作为上楼、下楼、上坡和下坡4种下肢动作。实验结果表明,采用该方法能很好地分类出腿部的四种运动模式,平均准确率达到96.00%,具有一定的实际运用价值。
极限学习机(Extreme Learning Machine,ELM),是Huang G B和 Zhu Q Y等人在2004年提出的一种单隐含层前馈神经网络[8]。ELM学习速度比传统的前向网络学习算法快数千倍,同时具有更好的泛化性能。与传统的学习算法相比,ELM不仅具有最小的训练误差,还具有最小的权值范数[6]。ELM由输入层、竞争层和输出层3层神经元组成,结构如图3所示。
图3 单隐含层前馈神经网络Figure 3. Single-hidden layer feedforward neural networks
2017年,Anam K和Al-Jumaily A等人提出并评估了两种ELM的实现:一种是基于节点的ELM,它依赖于节点的激活函数;另一种是基于内核的ELM,它依赖于竞争层的内核函数[9]。该研究的实验对象为3名成年女性、6名成年男性和5名外伤性肘部以下截肢患者者。未截肢的受试者进行拇指外展、拇指弯曲、食指弯曲、中指弯曲、无名指弯曲和小拇指弯曲6种动作;截肢者想象着与未截肢者相同的手指动作。实验结果表明,基于内核的ELM对截肢者的手指动作分类准确率达到98.55%,对健全者的手指动作分类准确率达到99.50%。同年,Wang J H和Qi L等人通过加Think技术公司研发的Flex Comp Infiniti系统采集了一名手臂完整的健康男性的SEMG,展开了ELM对上肢运动模式分类的实验[10]。实验肌群为肱二头肌、肱三头肌、肱肌和三角肌4块肌群。识别动作为肘部弯曲、肩部伸展、肩部外展、提裤子和进食5种动作。实验结果表明,该方法能够较好地识别出上肢的5种运动模式,平均分类准确率达到99.26%。2019年,Kuo Y和Zhen Z等人的报告表明,通过对比实验得出ELM与支持向量机(Support Vector Machine,SVM)的准确率相当,但比SVM类分类器更快[11]。
小波神经网络(Wavelet Neural Network,WNN)是由Zhang Q和Benveniste A等人在1992年基于小波分析研究领域的重大突破正式提出的一种前馈神经网络[12]。WNN依据可靠的理论构建小波基元(WBU)和网络结构,可以有效避免网络结构设计的盲目性。由于WNN网络权系数线性分布和学习目标函数的凸性,使网络训练过程中从根本上省略了局部最优等非线性化问题[13]。WNN主要由输入层、隐含层和输出层3层神经元组成,网络结构如图4所示。
图4 小波神经网络Figure 4. Wavelet neural network
2015年,Cheng R和Bai Y P等人利用WNN提高了工业机械假手的运动控制效果[14]。2016年,Duan F和Dai L等人提出了一种新颖的SEMG模式分类方法,在实验中用3个表面肌电信号传感器来识别6个手部运动模式[15]。实验对象为7名23~26岁的女性,1名23岁的男性和1名36岁的男性。实验肌群为桡侧腕长伸肌、桡侧腕屈肌和伸肌3块肌群。实验的动作为手闭合、手张开、手腕伸展、手腕弯屈、前臂旋前和前臂旋后6种手部运动动作。实验结果表明, WNN分类器对6个手部运动动作分类的总体准确率为94.67%。在进一步实验中,通过对2名左手腕关节处截肢的受试者进行相同的实验,无法完成的动作用想象代替。最终结果显示,对截肢者的动作分类准确率虽然低于对正常人的动作分类的准确率,但是整体分类准确率依然可以达到85.17%。从分类准确率可以看出,WNN分类器的性能不仅可以用于工业领域的运动控制,还可以用于基于SEMG的康复假肢控制。
自适应神经模糊推理系统(Adaptive Network-based Fuzzy Inference System,ANFIS),由Jang J S R在1993年正式提出[16]。ANFIS经典模型由模糊层、计算规则适用度层、适用度归一化层、规则输出层和输出层5层神经元构成,网络结构如图5所示。
图5 自适应神经模糊推理系统Figure 5. Adaptive network-based fuzzy inference system
自适应神经模糊推理系统是一种将模糊逻辑和神经元网络结合的模糊推理系统,采用反向传播和最小二乘法的混合算法调整前提参数和结论参数,能自动产生“如果-则”规则,既发挥了模糊逻辑和神经元网络二者的优点,又弥补了各自的不足[17]。2017年,石绍应和王小谟等人提出了一种采用误差反向传播算法的自适应模糊分类器模型结构。对有x个特征向量、M种类别的分类问题进行分类时,需要学习调整参数的数目为2(2x+1)M[18],模型结构如图6所示。
图6 自适应糊分类器模型Figure 6. Adaptive fuzzy classifier model
2015年,Fariman H J和Ahmad S A等人构建了一种利用ANFIS对SEMG进行分类的分类器[19]。实验对象为4名健康的学生。实验肌群是尺侧腕屈肌和桡侧腕长伸肌两块肌群。实验的动作为腕关节弯曲、腕关节伸展、等张收缩和等长收缩4种手部运动动作。实验结果表明,ANFIS分类器对4个手部动作的平均分类准确率为88.90%。Caesarendra W和Tjahjowidodo T等人于2018年利用MYO手镯对健康的实验室成员进行了手势运动分类实验[20]。实验动作为:大拇指、食指、中指、无名指和小拇指弯曲5种手势。实验结果表明,对拇指动作分类的准确度最低,准确率为20.00%;对无名指和小拇指动作分类的准确率最高,平均分类准确率为72.00%。此类分类器的分类准确率有待进一步提高。
AlexNet分类算法由Hinton G E和Krizhevsky A在2012年的ImageNet视觉挑战大赛上首次应用[21]。AlexNet实质是一种卷积神经网络(Convolutional Neural Network,CNN)。CNN具有非常好的目标信息处理能力,能够自动提取目标的特征,已经被广泛应用于图像分类和目标识别等方面[22]。AlexNet是在LeNet的基础上加深了网络结构的卷积神经网络,使用Relu为激活函数。AlexNet网络结构有8层,卷积层由C1~C5共5层构成,全连接层由FC6和FC7两层构成,最后一层为输出层[23],网络结构如图7所示。
图7 AlexNet网络Figure 7. AlexNet network
2019年,Akhundov R和Saxby D J等人基于Hinton G E的深度学习模型,进行了AlexNet分类器对SEMG图像分类的评估实验[24]。实验的数据由墨尔本大学、查尔斯特大学和国防与退伍军人服务部提供,包括腹直肌、股四头肌、股直肌、半腱肌、股二头肌、腓肠肌和臀大肌7块肌群采集到的共87 000组SEMG数据。通过SEMG的过滤处理创建记录图像,并将这些图像分为好、可用、噪声和无信号4类。最后,用AlexNet分类器对图像进行分类。评估实验结果表明,AlexNet分类器对SEMG图像分类的准确度高达99.55%。同年,Xingqun Z和Fei W等人利用MYO手环对7个健康的实验室成员进行了手部运动SEMG采集,并用AlexNet作为分类器进行分类实验[25]。实验动作为弯手腕、握拳、张开手掌、挥手和比圆圈5种手势。实验结果表明,AlexNet分类器对5种手部运动动作的平均分类准确率为95.00%。卷积神经网络不仅在图像识别和信号处理上有出色的表现,也可以应用到文本和语音识别等领域。
广义回归神经网络(General Regression Neural Network,GRNN),由Specht D F在1991年正式提出[26]。GRNN属于建立在数理统计基础上的径向基神经网络(Radial Basis Function,RBF)。其理论基础是非线性回归分析,因此具有很强的非线性映射能力和很快的学习速度。GRNN 由输入层、径向基隐含层和线性输出层3层神经元组成,网络结构如图8所示。
倒谱是一种信号的傅里叶变换经过对数运算后再进行的傅里叶反变换得到一种同态滤波,属于非线性变换,用于对卷积信号的分离操作[27]。倒谱最初是为了描述地震和炸弹爆炸引起的地震回波而被提出的,其也是同态信号处理的一种表示,能够将通过卷积结合起来的信号变换成各自的总和[28]。计算倒谱的一般流程如图9所示。
图8 广义回归神经网络Figure 8. General regression neural network
图9 计算倒谱的一般流程Figure 9. General block diagram for computing the cepsture
2019年,Yavuz E和Eyupoglu C通过计算MEL频率倒谱系数(MFCCS),利用倒谱分析技术来提取SEMG的时域特征,然后将其转发给GRNN分类器进行分类,提出了一种全新的基于倒谱分析的手部运动SEMG分类器[29]。实验对象为5名健康成年人,包括3名女性和2名年龄大致相同的男性。实验肌群为尺侧腕屈肌、桡侧腕长伸肌和短伸肌。实验动作为握圆管、手指拿小物品、提重物、抓物、手持球型物品和拿薄且宽的物品6种手部动作。实验结果表明,GRNN分类器对每个人的6种手势动作的平均分类准确率为99.34%;对5名实验对象的所有数据进行混合而形成的数据集,进行分类的总体平均准确率为99.23%。该方法的成功是由于倒谱的特征能很好地表示生物电信号的特征,这种技术应用的领域可以扩展到各类生物电信号,例如心电图(ECG)、眼动图(EOG)、脑磁图(MEG)和肌音信号(MMG)。
在大量的分类算法中,ANN算法与传统的模糊识别算法(FRP)、SVM和线性判别算法(LDA)等相比,具有十分强的学习能力,能更好地解决复杂问题。近年来,随着人工智能和控制领域的快速发展,基于ANN构建的分类器也不断的成熟。构建准确且高效的ANN分类器,是现阶段的研究热点,有着广阔的应用前景。通过对本文的6种ANN分类器的回顾,得出结论如下:
(1) 基于SEMG建立肢体动作识别系统,很大程度是依赖于分类器的使用。构建准确、高效的分类器十分关键。
表1 6种ANN分类器的分类结果
由表1可以看出本文所述的6种基于人工神经网络的表面肌电信号分类器均有较高的分类准确率;
(2)以上6种ANN分类器都具有较好的分类准确率,但是存在实验动作部位多为上肢动作、实验的对象多为健康成人和实验的样本数量都比较小这3个问题,难以证明该分类器的具有普遍适用性。在丰富的样本上进行多部位的多种动作验证实验,既是ANN分类器进一步完善的重点,也是难点所在;
(3)利用单一的信号特征提取方法提取SEMG,由ANN分类器进行单通道多模式的信号分类难以达到理想的分类准确率,在构建ANN分类器的时候,组建合适的特征集不仅是研究中的难点之一,也是弊端之一。特征提取方法依靠人工设计,不仅在信号预处理时计算量巨大,而且特征提取时会过滤掉部分信号。利用ANN构建一种可以直接利用原始SEMG的高效分类器,将从根本上避免这种缺陷,具有显著的研究意义。