基于人工神经网络对sEMG信号的手势动作识别*

王景芳， 施 霖

(昆明理工大学 信息工程与自动化学院，云南 昆明 650500)

基于人工神经网络对sEMG信号的手势动作识别*

王景芳， 施 霖

(昆明理工大学 信息工程与自动化学院，云南 昆明 650500)

针对利用表面肌电信号(sEMG)对手势动作的肌电信号的研究较少和sEMG信号处理过于复杂的问题，提出了利用人工神经网络和sEMG信号对人的手势动作进行识别研究，引入了MYO硬件设备对新的手势动作sEMG信号采集。利用MYO从手臂上获取每一个手势动作的sEMG信号，提取信号特征值，作为算法的训练数据和测试数据。采用人工神经网络中的反向传递神经网络算法来进行对4种不同手势动作分类，对应目标手指识别率在90.35 %。研究结果可以被用来做临床诊断和生物医学的应用以及用于现代硬件的发展和更现代化的人机交互的发展。

表面肌电信号(sEMG)； 人工神经网络； MYO； 特征提取； 手势动作

0 引 言

手势的动作识别[1]，已成为全球相关领域科学家研究的重点。从信号的获取方式来看，手势识别主要有两种:通过人体手势图像和人体表面肌电信号识别手势[2]。识别系统是识别手势和用识别出的手势动作来控制硬件设备。手势动作的识别是基于对表面肌电(surface electromyography,sEMG)信号的研究，EMG(electromyography)是一种生物电流信号，它产生于任意组织器官[3],一般是一种时间和一系列的振幅、频率和波形函数[4]。sEMG信号是人体表面肌肉通过收缩产生的生物电流。神经系统控制肌肉的活动(收缩或者放松)，在表面皮肤不同的肌肉纤维运动单元在同一时间产生相互不同的信号。在生物工程领域对sEMG信号的检测需要高质量先进的设备[5]。本文使用的设备是MYO myoglobin腕带,即手势控制臂环，该设备由加拿大创业公司Thalmic Labs生产。手势控制臂环可以佩戴在任何一条胳膊的肘关节上方，探测用户的肌肉产生的电活动。它通过低功率的蓝牙设备与电脑进行无线连接，不需要借助相机。MYO通过8只传感器采集肌肉电极信号[6]，每一个传感器采集其对应通道的肌肉运动神经单元的电信号，通过对单个信道的信号叠加就可以得到完整的sEMG信号。该设备的主要优势在于，采集的信号直接对EMG信号进行分解，对研究各种手势动作识别是由哪些肌肉运动神经产生的提供了方便。目前，对采集的肌肉运动神经产生的电信号进行处理有许多的模式识别技术。不同类型的人工神经网络(ANN)被用作处理肌电信号，人工神经网络也是研究者们最早使用的[7]。2013年，Subasi A[8]在使用决策树来解决EMG信号的分类;同年，Subasi A[9]又采用最佳SVM算法分析神经元诊断;2013年，Zhang Z，Wang C，Yang G Z[10]对前臂的动作采用多通道的sEMG信号进行分类，双频谱分析;2014年,Riillo F,Quitadamo L R,Cavrini F等人[11]比较了监督和无监督算法对EMG信号在医学中的最佳处理;Shama S,Kumar G[12]利用小波分析获取的单信道的EMG信号特征进行分类。

本实验针对人的手势动作的信号采集和分类，使用人工神经网络中的附加动量的自适应学习的反向传递(back propagation,BP)神经网络算法[13]，进行对目标手势动作的分类，BP神经网络由于具有模仿神经元结构和神经传递的机理，具有很多非线性映射能力，神经元之间通过权系数相连构成自适应非线性动态系统，适合分析复杂的非线性的sEMG信号。通过利用MYO装置来采集人体手臂肘的位置上的肌电信号，解决了信号采集的干扰和分解问题，减少了计算量。对信号进行特征提取后，作为BP网络的输入值，以相对应的手势的动作作为其输出，通过学习和训练实现识别出，食指与大拇指点击、中指与大拇指点击、无名指与大拇指点击和小拇指与大拇指点击的4种目标手势动作，提高了对新手势动作的识别率。

1 实验方法

1.1 信号采集

实验方法流程如图1。sEMG信号的采集通过使用MYO设备对人的4种手势动作的sEMG信号获取。4种不同动作的sEMG信号，即：食指与大拇指点击，中指与大拇指点击，无名指与大拇指点击和小拇指与大拇指点击。信号的采集好坏对设备在手臂上的位置很重要，通过反复尝试找到了sEMG信号采集的最佳位置。如图2所示。信号的采集频率为20 Hz，采样点约为1 920，采样时间控制在120 s内。

图1 实验流程图

图2 MYO在手臂的位置

1.2 信号处理

在信号提取之前，需要先对信号进行预处理，采用MYO装置，信号由8只传感器对人体表面肌电进行实时采集，对采集的信号进行预处理，产生8个单一频道的肌电信号，对sEMG信号的所有预处理在MYO设备中完成。而传统的肌电信号采集会伴随着噪音的干扰，对实验结果产生很大影响。这种噪音可以分为人工操作、线性噪音能量、电极噪音、外界噪音和内部噪音。这些噪音可以通过调整电极的插入位置、实验环境，还有通过滤波噪音信号来减小噪音信号对肌电信号的干扰。为了方便实验人员对数据信号的过滤、降噪等操作，采用MYO设备进行。由于sEMG信号本身的复杂性，为了进行有效分类，需要进行特征选择。4种手势信号如图3所示。

图3 4种手势sEMG信号

1.3 特征提取

由于肌电信号本身的复杂性，选取特征值进行分类是必不可少的。sEMG信号的提取有很多方法，研究者采用过时域、频域、时频域技术,及采用多方面的特征。本实验中，特征提取选择平均绝对值(WAV)，均方根(RMS)，零交点(ZC)，方差(VAR)，标准差(SD)。对每个动作进行特征提取，计算方法如下：

1)MAV：能够用来平滑掉sEMG波形中较大的振幅，因为sEMG信号以±(1～3) mV波动，本实验振幅在-1.5～+1.5 mV之间。计算采样信号的平均绝对值，是检测一个收缩信号程度的简单特征

(1)

式中 N为采样信号的长度;xn为sEMG信号的值。

2)RMS：用来调节振幅，在高斯随机过程中，RMS的值与常量和非疲劳收缩有关

(2)

3)VAR：描述sEMG信号的波动情况，观察信号的稳定情况

(3)

4)SD：用来表示信号数据和平均值之间的差值，可以得到肌肉收缩的阈值

(4)

5)ZC：是指幅值过穿零点的个数，它提供了频域性能的近似估计

(5)

4种手势点击特征值计算结果如表1～表4。

2 sEMG信号的分类

本实验采用人工神经网络中的附加动量自适应学习的BP神经网络。在训练数据中，当给出一对输入向量和目标值时，输入向量从网络的输入层到隐含层，最后由输出层输出结果。按照实际值与给定的目标值之间的实际误差，通过梯度下降算法，从输出层到隐含层逐层调整BP网络中的权值，不断提高准确率。其中LM(levenberg-marquardt)算法用在训练中。当结果不满足网络时，用最新保留的数据结果重新训练,用来提高网络的性能和减少训练时间。

表1 食指与大拇指点击特征值

表2 中指与大拇指点击特征值

表3 无名指与大拇指点击特征值

表4 小拇指与大拇指点击特征值

3 手势识别仿真

选用120组不同手势动作的数据。从中提取的5种特征值作为输入向量来训练网络。每次设置一致的输入向量和目标向量。三层神经网络，隐含层神经元选择12(2×5+2)个，采用非线性最小二乘法(levenberg marquardts,LM)算法对手势分类最佳，训练时间最短，最优性能在第78次循环完成，训练停止在第96次循环，平均识别率在90.35 %。仿真结果如表5所示。

表5 手势分类结果

4 结 论

本实验目的是对人体手势动作的sEMG信号进行采集对不同手势动作进行识别，提取不同的特征值后，用人工神经网络中的BP神经网络来进行识别。非线性最小二乘法算法用来作为BP网络的训练，采用梯度下降方法，减少计算时间，人工神经网络对手指的识别效率会随着训练更多的sEMG样本数据而提高。由于sEMG信号自身是时域变化的，所采用BP网络中的LM算法可以有效地识别手势动作。通过sEMG信号对人的手指的识别可以应用在人机交互中对患者进行肌电对比诊断，从而有助于开发供残疾患者使用的电子设备，实现正常的生活。

[1] Pandey B,Mishra R B.An integrated intelligent computing model for the interpretation of EMG-based neuromuscular diseases[J].Expert Systems with Applications,2009,36(5):9201-9213.

[2] Reaz M B I,Hussain M S,Mohd-Yasin F.Technique of EMG signal analysis:Detection, processing,classification and application-s[J].Biology Procedures Online,2006,8(1):11-35.

[3] Yousefi J,Hamilton-Wright A.Characterizing EMG data using machine-learning tools[J].Computers in Biology and Medicine,2014,51:1-13.

[4] Lu Yang,Ju Zhaojie,Liu Yurong,et al.Time series modeling of surface EMG-based hand manipulation identification via expectation maximization algorithm[J].Neurocomputing,2015,168:661-668.

[5] Shroffe E H D,Manimegalai P.Hand gesture recognition based on EMG signals using ANN[J].International Journal of Computer Application，2013,2(3):31-39.

[6] 黄漫国，樊尚春，郑德智,等.多传感器数据融合技术研究进展[J].传感器与微系统,2010，29(3):5-12.

[7] Hiraiwa A,Shimohara K,Tokunaga Y.EMG pattern analysis and classification by neural network[C]∥Proceedings of IEEE International Conference on Systems,Man and Cybernetics,Cambridge,MA,1989:1113-1115.

[8] Keles S,Subasi A.Classification of EMG signals using decision tree methods[C]∥The 3rd International Symposium on Sustai-nable Development，International Burch University,Sarajevo,2013:354-366.

[9] Subasi A.Classification of EMG signals using PSO optimized SVM for diagnosis of neuromuscular disorders[J].Computers in Biology and Medicine，2013,43(5):576-586.

[10] Zhang Z,Wang C,Yang G Z.Forearm functional movement recognition using spare channel surface electromyography[C]∥IEEE International Conference on Body Sensor Networks(BSN)，Cambridge,MA,USA,2013:1-6.

[11] Riillo F,Quitadamo L R,Cavrini F,et al.Optimization of EMG-based hand gesture recognition:Supervisedvsunsupervised data preprocessing on healthy subjects and transradial amputees[J].Biomedical Signal Processing and Control,2014,14:117-125.

[12] Sharma S,Kumar G.Wavelet analysis based feature extraction for pattern classification from single channel acquired EMG sig-nal[J].Elixir Control Engg,2012,50:10320-10324.

[13] Muhammad Ibn Ibrahimy,Md Rezwanul Ahsan,Othman Omran Khlifa.Design and optimization of levenberg-marquardt based neural network classifier for EMG signals to identify hand motion-s[J].Measurement Science Review，2013,13(3):142-151.

Finger movements recognition based on artificial neural network on sEMG signal*

WANG Jing-fang, SHI Lin

(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)

Surface electromyography(sEMG)signals for fingers action research, which finger movements of the research methods is very less and signal processing is too complex.This experiment using the artificial neural network and sEMG signal to the person’s finger gestures recognition research.The experiment introduced the MYO hardware equipment of the new finger movements sEMG signal acquisition.Use MYO from arm for each finger movements of sEMG signal,and then to extract the signal characteristic value as training data and test data of the algorithm, the recognition algorithm with artificial neural network of back propagation(BP)algorithm for the classification of four different finger gestures,its corresponding target finger recognition rate at 90.35 %.The result can be used for clinical diagnosis and biomedical applications,the development of modern hardware and more modern the development of human-computer interaction.

surface electromyography(sEMG); artificial neural networks; MYO; feature extraction; finger movements

2016—06—08

国家自然科学基金资助项目(61368005)

10.13873/J.1000—9787(2017)06—0063—03

TP 391.4

A

1000—9787(2017)06—0063—03

王景芳(1991-)，男，硕士研究生，主要研究方向为信号的模式识别与应用。

施 霖(1972-)，男，通讯作者，博士，副教授，从事实验心理学，计算机软件，计算机应用等研究工作，E—mail:lin.shi@live.cn。