汪 洋, 张定国
(上海交通大学 机械系统与振动国家重点实验室,上海 200240)
肌电作为一种人体生物信号,包含了大量的神经信号[1],结合模式识别算法可以解析出相应的运动意图[2]。国内外一些机构针对用肌电信号控制的假肢进行了很多研究[3~6]。但目前研究工作大多聚焦于手部假肢,即面向前臂截肢者,鲜有针对高位截肢患者的肌电假肢设计和研发。主要原因有:1)采集的表面肌电信号存在很多噪声,且不同的肌肉产生肌电信号传导至皮肤存在串扰[7]。2)人体的肌电信号在每天的不同时刻均可能存在差异,且每次佩戴肌电采集装置的位置亦存在差异[8],导致难保证上一次训练的模式识别模型可以在下一次使用[9,10]。3)一般训练的模型比较大,难以在线快速训练,而快速训练对于截肢患者是很重要的一个指标[11]。4)对于一般高位截肢者控制手部和腕部运动的肌电信号已经丢失,其结果是控制手部和腕部的意图不能从肌电信号中体现出来。因此,目前的假肢大多以肌电信号作为开关量控制假肢的运动,通过多个肌电采集通道上的有无状态的组合控制假肢各个关节的运动[12]。这种控制方式很难做到截肢者想做什么动作,假肢就做出什么样的动作,导致使用者认为假肢实用性不强[13,14]。
上述问题中前3个问题可以通过改进肌电传感器、肌电处理算法和假肢接收腔的佩戴方式解决[12,15]。针对问题(4),美国Kuiken团队提出的靶向肌肉神经移植(targeted muscle reinnervation,TMR)手术提供了解决方案[16],将残留的神经移植到残余的靶向肌肉(比如胸大肌)上,从而恢复控制手部和腕部运动的肌电信号。目前基于TMR的肌电假肢研究只在美国的某些团队开展,国内尚未有相关研究成果发表。
本文与上海华山医院手外科合作,在国内率先开展了基于靶向肌肉神经移植手术的肌电假肢研究。主要介绍了一种针对高位截肢患者的假肢系统设计,为后期的临床测试奠定了基础。
假肢的运动关节包括肘关节、腕关节和手。机械臂的三维模型和实物如图1所示。机械手使用了由上海交通大学机器人研究所生机电实验室研发的SJTU-6,包含6个自由度。本文6个自由度耦合使用,由控制器控制6个电机同时运动,当检测到某个手指与物体达到一定接触力时,手指停止运动,而其他未满足条件的手指则继续运动。由此机械手即可更容易地抓取不同形状的物体。肘关节采用无刷电机和谐波减速器的设计方案,腕关节采用无刷电机加行星减速器的方式。另外,考虑到腕关节的旋转运动对布线的影响,在腕关节增加了导电滑环。导电滑环可以在避免导线缠绕的情况下为机械手上的电机供电。各个关节的运动范围如表1所示。
表1 手臂性能参数
硬件结构如图2所示,硬件系统包括肌电采集模块、总控制模块和驱动模块。肌电采集模块将表面肌电信号放大滤波,驱动模块驱动相应的电机运动,肘部关节和腕部关节的无刷电机的驱动模块直接由总控制器控制,手部电机的驱动模块由手部控制器控制,总控制器通过串口发送命令控制手部控制器。
图2 硬件结构框图
肌电信号在由模/数转换器(analog to digital converter,ADC)采样前首先通过仪表放大器和运放组成的滤波电路[17]被放大和滤波,如图3所示。
图3 采样系统
肌电信号通过低通滤波器,经过仪表放大器放大100倍后,通过截止频率为15.9~482 Hz的带通滤波器。经过陷波频率为50 Hz的陷波器,并将信号再次放大50倍。再对放大和滤波后的信号抬升1.5V,最终由STM32F103ZET6的ADC采样得到。ADC的采样频率为1 860 Hz。在该假肢系统中共有5个肌电采集通道。ADC采用轮询方式,采样结束后由直接存储器存取(direct memory access,DMA)存于缓存中。当每个通道采集满128个数据点后执行一次特征提取。
假肢有3个独立的自由度,为了做到使截肢患者灵巧地控制假肢,必须得到7个不同类的动作,即控制3个自由度往返的6类动作和一个休息态的动作。但考虑到保证识别率,系统中将手腕的内旋和外旋合并为一个外旋动作,即共有6类动作,如表2所示。
6类动作可以根据情况进行定义,最理想的状态是定义成和假肢的动作相同的动作类型。在一般情况下高位截肢患者人群,相应的肌肉已经不存在或者萎缩。需要找到替代的信号源或者进行神经移植手术[16],但亦无法保证每种运动的运动神经能够分开,所以本文动作1,2,3,4,5未限定。为了识别包括空闲态的6类动作,系统中采用了模式识别的方式。
系统选用基于贝叶斯决策的线性分类器(linear discriminant analysis,LDA)[18~20],可以达到快速训练的要求。特征选用时域上的特征,便于实时系统的计算,提高识别速度,且能达到良好的效果[21,22]。肌电采用的特征有绝对平均值(mean absolute value,MAV)、波长(wave length,WL)、过零点数(zero-point crossing,ZC)、斜率符号变化(slope symbol change,SSC)次数4个特征,分别由式(1)~式(4)得到[3]
(1)
(2)
(3)
(4)
分类器计算公式为
(5)
式中X为特征向量;μC为相应动作类别所有训练特征向量的平均向量。p(wc)为动作c出现的概率,在实际情况中一般每个动作出现的概率是相当的,所以在系统中不考虑每个动作概率不同的影响,即在此处lnp(wc)=0。式中的Σ为总协方差矩阵,其计算公式为[15]。
(6)
式中Σc为各个动作的协方差矩阵;C为动作类别数;nc为每个动作的训练样本数;N为总的训练样本数。当得到一个X时,通过式(5)计算得到6个值。比较6个值的大小,最终的识别结果即为最大值对应的动作。
3.2.1 训练流程
在控制板上有6个指示灯分别对应6类动作。当相应按钮按下时对应的指示灯亮起,使用者做出相应的动作,同时ADC开始采样。每个动作的采样时间约为7 s,为了得到稳态的信号将前4 s的信号舍弃。
为了保证实时性和识别率,系统中的数据处理窗长度为256个数据点,滑动窗长度为128个数据点[19]。在1 860 Hz的采样频率下,处理的延迟时间为68.8 ms,明显小于可以接受的延迟时间256 ms[19]。当各通道得到128个数据点时,将这些数据与之前的128个数据合并,并提取特征。处理过程如图4所示。
图4 肌电特征的实时提取
整个系统的训练过程如图5所示。当指示灯1亮时,使用者开始做动作1。主控板上的ADC不停地将采样结果经DMA存储在缓存区,当所有通道的存储数量达到128时触发中断。为了消除尾迹的影响,在开始的缓冲区存满前200次未进行训练,即前4 s的数据。在缓冲区满201次时,中断程序将此次得到的128个数据和上一次得到的128个数据合并,提取特征。每个动作提取40次特征。系统中有5个通道,每个通道提取4个时域特征,最终可以得到40个20维的特征向量。由该40个特征向量得到动作1的协方差矩阵,并得到40个特征向量的平均特征向量μC。
图5 在线训练算法流程
在得到各个动作的协方差矩阵后通过式(6)将各动作的协方差矩阵合并得到最终的总协方差矩阵Σ。
3.2.2 识别流程
如图6,得到各动作的平均特征向量μC和总的协方差矩阵Σ后即可根据式(5)进行动作识别。当缓冲区的数据存满128个时送入分类器,分类器结合上128个数据进行预测。
图6 在线动作识别流程
根据预测结果即可由主控板对驱动电路发出控制指令,控制相应的关节运动。
实验招募了5位受试者,4名男性,1名女性,年龄在20~26岁。5名受试者手臂健全。
为验证系统的识别率,进行了5名受试者的在线分类实验。分类实验包括了1次分类器训练和10次预测。
整个实验的过程如下:1)将5个肌电电极片贴于手臂。贴放的位置分别为掌长肌、尺侧腕屈肌、指伸肌、肱二头肌和肱三头肌,如图7所示。注意:参考这些前臂肌电电极针对的肌肉,后期将会在高位截肢患者上进行靶向肌肉神经移位手术来获取对应的肌电信号。2)训练线性分类器,受试者根据指示灯的提示分别作出放松、握拳、外翻手腕、内翻手腕、屈肘和伸肘6类动作。在放松状态下手臂处于自然垂直状态;握拳、手腕外翻和手腕内翻3个动作手臂处于垂直状态;在屈肘时,手腕和手指放松,上臂处于垂直状态;在伸肘时手腕和手指处于放松状态,手臂处于垂直状态。3)6类动作按放松、握拳、外翻手腕、内翻手腕、屈肘和伸肘的顺序进行。每个动作大约7s。6类动作完成后,得到分类器模型。
图7 电极贴放位置
在预测实验中,受试者根据指示灯的提示完成相应动作,分类器将分类的结果存储在STM32的RAM上。动作的顺序与训练时相同,每个动作的持续时间为4 s左右。受试者根据指示灯的提示进行动作切换。受试者完成一次预测实验后,系统暂停分类,通过串口将分类的结果传输至上位机,保存结果。重复预测实验10次。
上述实验可以得到5名受试者的识别率数据。任意抽取1名受试者的1次预测实验的实验数据,如图8所示。如图中横坐标所示前60次受试者放松,61~120次受试者握拳,后面以此类推。纵坐标为识别结果,其中,1为放松态,2为握拳,3为外翻手腕,4为内翻手腕,5为屈肘,6为伸肘。
图8 6类动作在线预测结果
从图9可以看出,虽然在60~120次指示灯指示做握拳的动作,但识别结果依然为放松态,该现象称为识别延迟。在后面几个动作的切换点处也存在同样的识别延迟。主要原因是受试者在看到指示灯跳转,到调节到相应的动作存在一段时间。另外从图中可以看出:2个动作的间隔时间点附近识别的结果会发生跳动。例如在屈肘和伸肘间隔点附近识别结果跳到了4(内翻手腕)。主要是因为在两个动作切换时,肌电信号不稳定。
以上的结果同样可以从5名受试者总的混淆矩阵看出,如表3所示。混淆矩阵的对角线为动作识别的正确率,可以看出:动作1(握拳)识别率为95.1 %,为5个动作中最高的,而每类动作的错误分类情况主要集中在该动作的前一个动作。例如动作2被识别为动作1有16.7 %,动作3被识别为动作2的有15.1 %,后面几个动作存在类似情况。
表3 6类动作的混淆矩阵 %
为了消除这种现象的影响,在分析时应当剔除动作切换时的数据。在舍弃识别结果时,以动作切换的起始点为参考点,向后数。图9显示了随着舍弃切换处分类结果识别率的变化过程,可以看出:休息态的识别率无变化。因为在实验中休息态之前无动作。其他5类动作在舍弃点达到20之后基本无变化。20个点对应的时间约为1.37 s,基本符合现实运动情况。当舍弃的点数达到20时基本上消除了动作切换时对识别率的影响。
图9 舍弃点数和识别率的关系
在舍弃次数为20时5名受试者的6类动作的识别率如图10。可以看出,当舍弃次数为20次时6类动的识别率均达到了90 %以上。
图10 舍弃20点后6类动作识别率
机械臂运动的控制实验如图11所示。电极片的贴放位置如前面所述,经过51 s 6类动作的训练后,控制者可以通过自身的运动控制机械臂的运动。控制者的屈肘、伸肘、内翻手腕、外翻手腕、握拳、休息态分别对应机械臂的屈肘、伸肘、外旋手腕、展拳、握拳、静止。与验证识别率时不同,此时控制者可以根据自己的意愿随意切换动作。
图11 实时控制
观察发现,机械臂可以很好地跟随手臂的运动。在控制者切换动作时,机械臂的误动作不明显。
论述了整套假肢的设计方案,包括了假肢的机械结构方案、电气系统方案和控制算法方案。实验验证,发现通过快速单次训练分类器,6类动作的稳态识别率可以达到90%以上,整个训练时间为51 s。通过在线控制肌电假肢,发现假肢基本上可以随着控制者的意图运动。但在运动的过程中,会存在错误识别结果,这主要是由于控制者在切换动作时,肌电信号变化需要一段时间造成的。在控制机械臂运动时,这种现象体现并不明显,即机械臂很少出现误动作的情况:1)由于在动作切换时,分类器的错误分类所占的时间很短,在短时间内机械臂的运动幅度比较小;2)由于在动作切换时分类器错误分类的结果中多是上一次动作,在控制机械臂运动时体现出的是动作切换时的延迟,并不会造成错误的动作。
目前,假肢系统在正常人身上得到了验证。为了验证该系统能否用在高位截肢者身上,已经和复旦大学附属华山医院手外科合作,外科医生已经给几例截肢者做了靶向肌肉神经移植手术,相应的研究成果将在未来发表。
参考文献:
[1] Farina D,Jiang N,Rehbaum H,et al.The extraction of neural information from the surface EMG for the control of upper-limb prostheses:Emerging avenues and challenges[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(4):797-809.
[2] Reaz M B I,Hussain M S,Mohd-Yasin F.Techniques of EMG signal analysis:Detection,processing, classification and applications[J].Biological Procedures Online,2006,8(1):11-35.
[3] Kelly M F,Parker P A,Scott R N.The application of neural networks to myoelectric signal analysis: A preliminary study[J].IEEE Transactions on Biomedical Engineering,1990,37(3):221-230.
[4] Jiang N,Englehart K B,Parker P A.Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal[J].IEEE Transactions on Biomedical Engineering,2009,56(4):1070-1080.
[5] Liu H,Yang D,Jiang L,et al.Development of a multi-DOF prosthetic hand with intrinsic actuation,intuitive control and sensory feedback[J].Industrial Robot:An International Journal,2014,41(4):381-392.
[6] 杨大鹏,赵京东,姜 力,等.基于肌电信号的人手姿态多模式识别方法[J].上海交通大学学报,2009(7):1071-1075.
[7] Farina D,Merletti R,Enoka R M.The extraction of neural strategies from the surface EMG: An update[J].Journal of Applied Physiology,2014,117(11):1215-1230.
[8] Sensinger J W,Lock B A,Kuiken T A.Adaptive pattern recognition of myoelectric signals: Exploration of conceptual framework and practical algorithms[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2009,17(3):270-278.
[9] He J,Zhang D,Sheng X,et al.Effects of long-term myoelectric signals on pattern recognition[C]∥International Conference on Intelligent Robotics and Applications,Springer,Berlin Heidelberg,2013:396-404.
[10] Jiang N,Dosen S,Müller K R,et al.Myoelectric control of artificial limbs—Is there a need to change focus[J].IEEE Signal Process Mag,2012,29(5):152-150.
[11] Guo W,Sheng X,Liu J,et al.Towards zero training for myoelectric control based on a wearable wireless sEMG armband[C]∥2015 IEEE International Conference on Advanced Intelligent Mechatronics(AIM),IEEE,2015:196-201.
[12] Parker P A,Scott R N.Myoelectric control of prostheses[J].Critical Reviews in Biomedical Engineering,1985,13(4):283-310.
[13] Wright T W,Hagen A D,Wood M B.Prosthetic usage in major upper extremity amputations[J].The Journal of Hand Surgery,1995,20(4):619-622.
[14] Biddiss E A,Chau T T.Upper limb prosthesis use and abandonment:A survey of the last 25 years[J].Prosthetics and Orthotics International,2007,31(3):236-257.
[15] Liu J,Sheng X,Zhang D,et al.Reduced daily recalibration of myoelectric prosthesis classifiers based on domain adaptation[J].IEEE Journal of Biomedical and Health Informatics,2016,20(1):166-176.
[16] Kuiken T A,Miller L A,Lipschutz R D,et al.Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation:A case study[J].The Lancet,2007,369(9559):371-380.
[17] Fang Y,Zhu X,Liu H.Development of a surface EMG acquisition system with novel electrodes configuration and signal representation[C]∥International Conference on Intelligent Robotics and Applications,Springer,Berlin Heidelberg,2013:405-414.
[18] Chen X,Zhang D,Zhu X.Application of a self-enhancing classification method to electromyography pattern recognition for multifunctional prosthesis control[J].Journal of Neuroengineering and Rehabilitation,2013,10(1):1.
[19] Englehart K,Hudgins B.A robust,real-time control scheme for multifunction myoelectric control[J].IEEE Transactions on Biomedical Engineering,2003,50(7):848-854.
[20] Englehart K,Hudgins B,Parker P A,et al.Classification of the myoelectric signal using time-frequency based representations[J].Medical Engineering & Physics,1999,21(6):431-438.
[21] Phinyomark A,Phukpattaranont P,Limsakul C.Feature reduction and selection for EMG signal classification[J].Expert Systems with Applications,2012,39(8):7420-7431.
[22] Zhou P,Lowery M M,Englehart K B,et al.Decoding a new neural-machine interface for control of artificial limbs[J].Journal of Neurophysiology,2007,98(5):2974-2982.