某小型地面无人作战平台控制手势识别方法研究

梅武松,陈科仲,李忠新

(1.南京理工大学 机械工程学院,江苏 南京 210094;2.陆军装备部驻重庆地区军事代表局,重庆 400060)

随着战争形态向信息化形态的转变,无人化武器平台技术在现代战场上扮演着越来越重要的角色。国内外研究人员开展了大量无人平台操控技术研究工作。当前地面无人作战平台多采用操控手柄、触屏等遥控方式[1],操控者的双手和眼睛被束缚在操控终端上,在战场中使用受限,难以充分发挥无人作战平台的作战效能。手势识别控制是一种更加自然的控制方式,能够提高人机协同能力,可将操控者的手、眼从操控终端上解放出来,进一步减轻操作负荷,提升地面无人作战平台的作战能力。Sathiyanarayanan等[2]研究了包括手势识别在内的4种控制方式来操控无人地面车辆,取得了较好的控制效果。Ruttum等[3]利用惯性传感器获取信号,识别了4种海军陆战队作战手势,并应用于无人作战平台控制。在手势识别研究工作中,多采用单特征[4,5]或传统的Hudgins等特征集[6,7]表征手势,存在手势动作特点表征不明显的问题,导致手势识别率不高,特别对具有相近信号的手势往往出现更高的误识别率。

本文提出了一种基于肌电图(Electromyography,EMG)信号的手势识别控制小型地面无人作战平台的方法,从典型的军用手势中选取手势动作,结合手势动作特点提取4种特征,并引入角速度信号识别相近手势,以进一步提高无人平台手势控制的准确度。

1 手势控制地面无人作战平台系统 框架

小型地面无人作战平台一般具有以下7个基本功能:停止、前进、后退、左转、右转、加速和减速。因此本文须选取7种手势来控制无人平台,实现基本功能,而手势动作的选取方式影响整个系统的人机交互性,至关重要。一般情况下各手势差异越大,识别精度就越好。考虑到使用场景和对象的特殊性,手势动作选取的原则是优先考虑军用手势、易用性和常用性,在上述前提下尽量满足手势之间的差异。

(1)停止:五指并拢,掌心朝前;

(2)前进:五指并拢,掌心朝左;

(3)后退:五指并拢,掌心朝上往里翻;

(4)加速:握拳;

(5)减速:五指张开;

(6)左转:五指并拢,往左翻;

(7)右转:五指并拢,往右翻。

以停止动作为例,五指并拢,掌心朝前,在军用和生活上都是常用于表示停止的方式,符合习惯。7种手势动作如图1所示。

图1 手势动作图

图2 小型地面无人作战平台手势控制流程图

在手势识别控制无人平台系统中,操控者通过佩戴MYO臂环做出控制手势,手势识别模块对产生的信号进行识别,输出指令,控制无人平台运动。结合无人平台的运动状态及周围环境,操控者可实时改变手势动作,直至无人平台完成各项作战任务。小型地面无人作战平台手势控制流程如图2所示。

使用MYO臂环获取手势动作的EMG信号和角速度信号,通过蓝牙将信号发送到PC端,在PC端对EMG信号进行巴特沃斯带通滤波处理,对角速度信号进行巴特沃斯低通滤波处理;采用移动平均阈值法确定2个信号的动作起止区间;在动作区间上提取EMG信号的平均绝对值(Mean absolute value,MAV)、平均绝对值斜率(Mean absolute value slope,MAVS)、波形长度(Wave length,WL)和方差(Variance,VAR)特征与角速度信号的能量值特征,得到EMG特征向量和角速度特征向量。将EMG特征向量和角速度特征向量进行特征融合,输入SVM模型中完成分类。识别的手势结果映射为相应指令,并通过无线WiFi传输给小型地面无人作战平台,无人平台的下位机程序解析指令并执行相应的动作。

2 基于EMG信号的手势识别方法

基于EMG信号的手势识别方法如图3所示,使用MYO臂环提取手势动作产生的8通道EMG信号,对信号进行预处理后提取MAV、MAVS、WL和VAR 4种特征组成特征集,输入SVM中完成分类。

图3 EMG手势信号处理流程图

2.1 数据获取与预处理

数据获取使用MYO臂环完成。将MYO臂环佩戴在手臂上,当手部做出动作时,产生的肌电数据由蓝牙模块发送到PC端,在PC端可对数据进行实时处理。

数据预处理包括滤波处理和数据分割。为了提高EMG信号分析精度,除去电极、相邻肌肉间等信号干扰,需要对信号进行滤波预处理。本文采用的滤波方法是巴特沃斯滤波,它的特点是在通带内有最大平坦的幅度特性,阶数越高,通带内特性越明显;在阻带内幅值是衰减的,且衰减速度要比在通带内快很多[8]。经过滤波后,由于信号包含动作区间和非动作区间,需要确定动作的起止区间, 方便后续在该区间上提取特征。移动平均阈值法[9]是最常用的数据分割方法,求取MYO臂环获取的8通道EMG信号平均能量,通过阈值和动作区间长度分别确定起点和终点,具有计算量少、实时性好的特点。

2.2 特征提取

EMG信号由8通道信号组成,结合小型地面无人作战平台控制手势的特点,每通道提取MAV、MAVS、WL和VAR 4种特征组成特征向量,8通道共32个特征组成特征向量。

MAV可以描述信号的幅值特点,计算公式如下

(1)

MAVS是指相邻通道MAV差值的绝对值,可以描述不同通道之间的信号差异特点,其计算公式如下

MAVSk=|MAVk+1-MAVk|

(2)

WL可以描述信号的长度特点,其计算公式如下

(3)

VAR可以描述信号变化程度的特点,其计算公式如下

(4)

每个手势有8通道EMG信号,每个通道含4个特征值,所以每个手势样本是由1×32个特征值组成的特征向量组。以小型地面无人作战平台控制手势左转和右转为例,图4所示是2个右转手势样本和1个左转手势样本的特征图,4个子图依次为MAV、WL、MAVS和VAR特征图。从各子图中均可以看出相同手势每通道的特征点都聚在一起,不同手势的特征点距离较远,说明选取MAV、MAVS、WL和VAR组成特征向量组有较好的区分度,易于区分不同种手势。从图4中还可以发现MAV子图和WL子图形状相近,但是2个特征都要保留。因为WL子图的2个右转样本的第3通道值更接近,而在MAV子图中的2个右转样本的第5通道值更接近,且与左转样本差别更大,说明WL和MAV特征在不同通道上的贡献不同,不能用1个特征取代另一个特征。

图4 左转及右转特征图

为了进一步探究本文选取的特征向量组分类效果,提取传统Hudgins特征集,将2个特征向量组分别输入最终分类器中比较识别效果,平均识别率更高的为更优特征集。Hudgins特征集除了上述MAV、WL外,还包括零交叉(Zero crossing,ZC)和斜率符号变化(Slope sign change,SSC)2种特征值。其中,ZC计算公式如下

(5)

SSC计算公式如下

(6)

图5所示是1个左转样本和2个右转样本的Hudgins特征集,从MAV子图和WL子图可以看出相同手势特征点聚在一起,不同手势特征点散开;ZC子图和SSC子图则不能明显地区分不同手势的样本,在一定程度上说明ZC和SSC特征对手势正确识别贡献度较小。

图5 左转及右转Hudgins特征集

由于不同的特征量纲不同,需要对特征向量组归一化,也有利于提高模型收敛速度和分类精度。以每类手势的15个样本为例,每个样本有1×32个特征:分别是8通道的MAV、WL、MAVS和VAR特征值,所以7类手势样本组成的特征向量组大小为105×32。归一化是将特征向量组的每一列归一化到区间[-1,1],第j列归一化公式如下

(7)

式中:xij和x′ij分别是归一化前后第i行第j列的特征值,xjmin和xjmax分别是第j列的最小和最大特征值。

2.3 结果分类

SVM是一种基于统计学习的机器学习算法,其基本原理如下:有2类训练数据各含多个样本,每个样本都是1组特征向量,寻找1个分离超平面将特征空间化为2部分,一部分是正类,一部分是负类。符合要求的分离超平面可能很多,根据2类特征向量到超平面的距离最大求最优分离超平面[10,11],该平面表示以充分大的确信度对训练数据进行分类。手势识别是多分类问题,需要组合多个二分类器来实现多分类器的构造。本文采用一对一法构造SVM分类器,在任意2个类间构造SVM分类器,M类则有M(M-1)/2个分类器,在测试时选出得票最多的类为分类结果。

SVM模型训练过程如下:每类手势取15个样本,7类手势共105个样本,组成105×32的特征向量组,将该特征向量组输入SVM中完成模型的训练。测试过程如下:每类手势测试100次,记录每次识别结果,7类手势共测试700次。

表1所示为2种不同特征集训练的SVM分类器识别效果,Hudgins特征集手势平均识别率为89%,本文特征集平均识别率达92.29%,提高了3.29%。除前进和加速指令外,其他指令识别率均是本文特征集更高。停止和右转动作由于手势产生的信号相近(相近手势),识别率较低。本文特征集相近手势平均识别率为84%,高于Hudgins特征集的81%。综上所述,本文特征集比Hudgins特征集更有利于识别手形手势,对提高相近手势率也有一定的帮助。

表1 不同特征集分类识别情况表

图6 初始动作与相近手势动作图

3 基于EMG和角速度信号的手势 识别方法

经研究发现,除相近手形手势右转和停止识别率低外,其余手势识别率均较高,能够符合使用要求。图6所示是2种相近手势的执行过程,从图6中可以发现2种手势动作执行时加速度没有明显的变化,但是角速度明显不一样,停止动作有明显的转动过程,于是可以引入角速度信号识别2种相近手势。

在基于EMG和角速度信号的手势识别中,有2种识别方法:第1种是将EMG信号和角速度信号融合,即手势特征向量由EMG信号特征和角速度信号特征组成;第2种是先由EMG信号识别7种手形手势,若识别结果为非相近手势,则输出识别结果,若识别结果为相近手势,再进行基于角速度信号的手势识别,以角速度信号识别的结果为最终结果。

3.1 EMG和角速度信号特征融合识别方法

在小型地面无人作战平台手势识别中,基于EMG信号的相近手势停止和右转的识别率较低,由于2种手势的角速度信号有明显不同,提出将EMG信号特征和角速度信号特征融合为1个特征向量组,输入SVM分类器中探究分类效果。该手势识别方法的流程如图7所示,使用MYO臂环提取未知手势的EMG信号和角速度信号,角速度采样率为50 Hz,使用低通滤波滤除高频噪声。对2种信号进行数据预处理后提取信号特征,例如肌电特征矩阵为A,角速度为B,融合后的特征矩阵则为AB,把该特征矩阵输入SVM分类器中完成7种小型地面无人作战平台控制手势分类。

图7 EMG和角速度特征融合手势识别流程图

角速度信号能量值特征

(8)

式中:lg是角速度信号窗口长度,本文取8;k是通道序号,yki为第k通道第i点的角速度信号值。

EMG和角速度信号特征融合模型与EMG信号模型识别结果如表2所示,特征融合后手势平均识别率为97.85%,与原模型手势平均识别率相比提升较大,有很好的识别效果。在相近手势停止和右转识别中,特征融合后的识别效果较好,提高了13%。在非相近手势识别中,手势识别率均有提高,且识别更加稳定,其中加速手势动作在此次测试中达到了100%识别率。综上,EMG信号和角速度信号特征融合的手势分类方法不仅对2种相近手势识别有较好的分类效果,而且使非相近手势识别更加稳定,能满足小型地面无人作战平台控制的使用要求,所以可以采用EMG和角速度信号特征融合的方法处理相近手势识别率低的问题。

表2 EMG和角速度特征融合与EMG信号识别结果表

3.2 角速度信号辅助EMG信号手势识别方法

角速度辅助EMG信号手势识别过程如图8所示,使用MYO臂环获取未知手势的EMG信号和角速度信号,对上述2种信号进行数据预处理后,分别提取2种信号的特征。先将EMG信号特征输入EMGSVM模型完成分类,若识别结果是5种非相近手势之一,则直接作为识别结果;若识别结果是2种相近手势之一,则该未知手势产生的角速度信号特征将采用K最近邻(K-nearest neighbor,KNN)法分类,并以该方法的分类结果为最终结果。

图8 角速度辅助EMG信号手势识别流程图

角速度信号辅助EMG信号和基于EMG信号的手势识别结果如表3所示,平均手势识别率达96.14%,识别效果也非常好,可以很好地满足小型地面无人作战平台控制的使用要求。在相近手势识别中,引入角速度信号的手势识别模型识别率明显提高,达到了非相近手势识别水平。非相近手势在2种模型下识别率均较高且无明显变化。综上,角速度辅助EMG信号识别相近手势的方法可以解决相近手势识别率低的问题,且不会影响非相近手势的识别情况。

表3 角速度辅助EMG信号与EMG信号识别结果表

综上所述,引入角速度信号可以解决相近手势识别率较低的问题,而且EMG和角速度信号融合与角速度信号辅助EMG信号识别2种方法均能取得很好的识别效果。鉴于前者识别效果更好且稳定,本文最终采用EMG和角速度信号特征融合的方法识别小型地面无人作战平台控制手势。

4 手势控制无人平台作战实验验证

本文采取EMG和角速度信号特征融合的手势识别方法,借助MYO臂环获取手势信号,使用蓝牙将数据发送到PC端识别处理。手势识别后PC端连接ESP8266WIFI模块将指令发给STM32单片机,单片机根据指令控制L298N电机驱动模块驱动电机,进而控制地面无人作战平台运动。图9所示是小型地面无人作战平台及其下位机硬件组成。

图9 小型地面无人作战平台硬件组成图

为了验证本文手势识别方法控制小型地面无人作战平台的有效性,在实验中小型地面无人作战平台需要完成以下3种典型的任务动作:第1种实验任务是前进、加速前进、减速前进到终点后停止,然后后退、加速后退、减速后退,回到起点后停止;第2种实验任务是前进到终点后左转180°,然后前进回到起点后停止;第3种实验任务是前进到终点后右转180°,然后前进回到起点后停止。图10所示是实验测试现场,经测试,3种实验任务均顺利完成,表明本文提出的手势识别方法可以有效地控制地面无人作战平台的运动。

图10 小型地面无人作战平台手势控制实验图

5 结束语

本文提出了一种小型地面无人作战平台控制手势识别方法,提取EMG信号MAV、MAVS、WL和VAR 4种特征,引入角速度信号识别相近手势,对比了EMG和角速度信号融合与角速度辅助EMG信号2种识别方法,得出以下2点结论:

(1)在小型地面无人作战平台控制手势识别中,本文提取的特征集相较于传统Hudgins特征集对手势有更好的分类效果。

(2)引入角速度信号有助于提高手势识别率,且EMG和角速度信号特征融合方法与角速度辅助EMG信号识别方法均有很好的识别效果,特征融合方法识别效果更好且稳定。

在后续研究中,可扩充控制手势,用于控制摄像头舵机周向、俯仰与拍照等动作和武器瞄准、射击等动作,增加无人平台的作战能力,提高手势识别控制小型地面无人作战平台的实用性。