基于气压肌动图和改进神经模糊推理系统的手势识别研究

汪 雷 黄 剑 段 涛 伍冬睿 熊蔡华 崔雨琦

手势作为一种自然、有效的交流方式,在人机交互的应用中发挥着重要的作用[1],并已成为操纵人机接口的主流方法之一[2].对于手部截肢患者等在运动控制和运动功能方面有困难的残障人群,基于手势识别技术的人机接口及其应用有助于通过智能假肢恢复他们缺失的自然手部功能,因而相关研究对于此类弱势群体而言至关重要.

当前,基于穿戴式生物信号采集装置的手势识别研究大多利用肌电图(Electromyogram,EMG)实现[3−6].由于EMG 信号通常比较微弱(亚毫伏级别),因而存在对于电噪声敏感、需要笨重的滤波放大电路等外围设备、不可重复等缺点.此外,肌肉通常在皮肤下交错以肌肉群的方式出现,且在获取EMG 信号时,传感器必须直接附着在皮肤上甚至侵入皮肤,所以EMG 也存在串扰、易受汗液和肌肉疲劳影响等缺陷.近年来,肌动图(Mechanomyogram,MMG) 逐渐受到科研人员的重视[7−11],它具有信号强、采集方便、非侵入等优点,更重要的是MMG 对于出汗、电噪声等不利影响有很好的鲁棒性.此外,MMG 与肌力呈近似线性关系,这种线性关系受肌肉疲劳影响很小[12].这些优点使得MMG可为人机交互提供优质的信号来源.然而,截至目前国内利用肌动图信号进行手势识别,特别是识别截肢者手势并用于假肢手控制的相关研究尚不多见.

从方法上来看,设计分类能力强和具有学习能力的智能模式识别方法仍是这一领域的主要研究方向.一些典型的研究工作包括基于人工神经网络[13−14]和基于模糊系统[15−16]的手势识别方法等.自适应神经模糊推理系统 (Adaptive neural fuzzy inference system,ANFIS) 由于具备模糊系统的可解释性和神经网络的学习性优点,在处理非线性问题上有很好的效果,也是手势识别领域潜在的有效工具之一[17−18].但传统ANFIS 只有一个输出节点,通常适合于解决二分类问题,在解决多分类问题时存在泛化性能差、训练速度慢等缺点.如何提高ANFIS 的学习效率和分类精度,是其应用于手势识别领域亟待解决的难点问题.

考虑到在获取MMG 时一般会用到加速度计和麦克风,这两种传感器仅适用于实验室环境,而基于气压肌动图(Pressure-based mechanomyogram,pMMG) 能够很好地解决适用范围的问题,本文采用pMMG 作为健康人和残疾人手势识别研究的信号来源,设计了基于气压肌动图的穿戴式信号采集装置.同时针对多分类问题中ANFIS 存在训练效率低的问题,提出了一种高效的多分类自适应神经模糊推理系统 (Multi-classification adaptive neural fuzzy inference system,MC_ANFIS),其特点在于仅需要训练一个MC_ANFIS,就可以完成对于多种手势的分类任务,用以实现多手势分类中分类器的高效训练.

本文的主要工作归纳如下:1) 通过拓展传统Takagi-Sugeuo-Kang (TSK) 模糊系统的解模糊层,提出了一种适用于多分类任务的神经模糊推理系统,该系统具有很高的训练效率和快速的分类速度;提出了一种新的高性能自适应多分类算法MC_TS_UR (Multi-class with typical sampling and uniform regularization),用改进的抽样方法和正则化技术又极大地提升了所提系统的训练效率,解决了传统ANFIS 泛化能力差的问题;2) 设计了穿戴式气压肌动图信号采集装置,开展了健康人和残疾人两类受试者的手势识别实验,与经典的机器学习算法以及近期相关研究结果进行性能对比,验证了所提系统和方法的有效性.

1 基于气压肌动图的手势数据采集

本节主要叙述pMMG 原理,手势数据的采集方法,预处理和特征提取方法.

1.1 气压肌动图原理

如图1(a)所示,将肌肉看作横截面积Am、长为xm的均匀圆柱体.记初始横截面积为Am0,长为xm0,假定肌肉总体积Vm0不变.

Hill 提出的肌肉生物力学方程如下[19]:

其中,F为肌力,v为肌肉收缩速度,a、b和F0均为与肌肉相关的常量,且a ≪F、b ≪v.由式 (1)可得,在肌肉活动过程中,即肌肉收缩速度v0时,F与v近似反比,记比例系数为k.肌肉激活时,长度变化量为 dxm,则肌力计算如下:

如图1(b)所示,假定气囊将肌肉表面全覆盖,且被臂环固定,则气囊与肌肉的总横截面积不变.气囊横截面积为Ab,气压为Pb.记气囊初始横截面积为Ab0,初始气压为Pb0.肌肉激活时,气囊横截面积变化 dAb,气压变化 dPb,肌肉横截面积变化 dAm.假定气囊长度为lb0不变,则由气囊的理想气体方程、肌肉体积和气囊与肌肉总横截面积不变的假设可得:

图1 pMMG 原理图Fig.1 The schematic diagram of pMMG

其中,n仅与气囊的初始状态有关,Rb为常量,T为气体温度.忽略气体温度变化,则式(3)右边为仅与气囊初始状态有关的常量.化简式(3)、式(4)并代入式(5)可得:

两边同时对时间求微分,易得:

将式 (7) 代入式(2) 可得肌力F的计算公式如下:

由式(8) 可以看出,在肌肉运动过程中,肌力与气囊气压变化率有关,即能够用气压的变化率表征肌肉运动情况.更进一步,从式(8) 中可以得到如下信息:

1) 根据前面提出的假设,k为与个体相关的变量,Ab0、xm0、Vm0、Pb0均为与气囊初始状态有关的常量,所以对于特定个体,kAm0Pb0/(xm0Ab0) 也为常量.即肌力与气囊气压变化率的倒数线性相关,且系数仅与装置的初始情况有关.

2) 肌力与气压变化率呈静态关系,所以知道气压变化率之后,可立即推算出肌力的大小.

3) 不需要对信号作进一步处理即可得到肌肉活动信息,与肌电图方法相比更加简洁直观,且不用担心复杂的滤波、特征提取过程带来的迟滞效应.

注意到虽然式(8)给出了肌力和气压之间的量化关系,表明pMMG 具有和EMG 类似的功能,但是手势和肌力或气压之间的关系却并不明确,因此仍需研究智能的非线性分类器实现基于pMMG 的手势识别.

1.2 气压肌动信号采集

本文招募了7 名上肢健全和1 名上肢残疾的受试者 (表1 给出了每名受试者的信息),设计了如图2(a) 所示的硬件装置记录每名受试者前臂运动过程中的气压肌动信号.该装置主要由6个单向气囊、6个200 kHz 采样频率气压传感器、1个GY953惯性测量单元 (Inertial measurement unit,IMU)、1 对蓝牙收发装置以及2 条低成本臂环组成.气压传感器测量手部运动中的pMMG 信号,同时IMU传感器测量前臂的姿态信号 (返回欧拉角数据),主要用于补偿手臂位姿带来的气压肌动图差异.尽管气压传感器的采样频率很高,但是受限于IMU 和蓝牙的传输速率,该硬件装置的采样频率为200 Hz.

表1 参与手势识别实验的受试者信息Table 1 Information of the subjects participating in the gesture recognition experiment

pMMG 手势数据的获取流程如下.受试者首先按照图2(b)所示佩戴好装置,然后按照以下范式采集手势数据.先休息2 s,接着以10 s 为周期做每次运动,首先以最大的力量执行屈腕 (Wrist flexion,WF) 手势,保持6 s 后休息4 s,每种手势运动重复5 次;然后按照保持6 s,休息4 s 的规律依次执行伸腕 (Wrist extension,WE)、伸掌 (Hand open,HO)、握拳 (Hand close,HC)、尺侧倾 (Ulnar deviation,UD)、桡侧倾 (Radial deviation,RD),每完成6 种手势的运动记为一轮.每一轮手势数据采集过程如图3 所示,每名受试者重复采集8 轮数据.对于每一个手势周期,休息期间的手势数据没有被记录下来,每种手势的样本数基本相等.

图2 手势识别装置及其佩戴位置Fig.2 The gesture recognition device and it＇s wearing position

图3 每一轮的手势数据采集过程Fig.3 Each round of gesture data acquisition process

残疾人受试者也依据以上相同范式进行数据采集,和健康受试者不同的是,实验过程中他需要在研究人员的指导和帮助下,注视镜子中的健手做6种手势运动,同时想象残肢和镜像健手做同样的手势运动.在此过程中,残肢在运动想象的带动下将会有相应的肌肉运动,这些运动信息可以被手势识别装置实时记录.

该装置检测的是气囊接触位置的气压大小,所以对于受试者手腕的干湿程度、清洁程度没有要求.

图4 给出了6 种手势对应的pMMG 原始信号图(Subject-4),相对于EMG 信号而言,pMMG 原始信号更加光滑且具有更高的幅值,对电噪声具有较强的鲁棒性.

图4 采集的原始手势数据流Fig.4 The collected raw gesture data stream

1.3 预处理和特征提取

尽管文献[20]指出,与随机和高度可变的表面肌电信号不同,肌动图与肌力图(Force myogram,FMG) 通过机械过程自然过滤,可以将原始压力传感器信号直接用作分类特征.然而,第1.1 节中得到的肌力与气压变化率的关系仅为理想状况下的近似.实际上前臂肌肉之间的联系非常复杂,而且存在不同程度的相互干扰.因此,仍然有必要对获取的pMMG 数据作相应的预处理.

由于所使用的MC_ANFIS 的结构中规则数与输入维度的指数线性相关,为避免计算冗余,对采集到的手势数据作降维处理很有必要.

最后将降维处理后的手势数据随机分为训练集(80%)和测试集(20%).PCA 处理后的手势数据作为降维特征用于MC_ANFIS 的训练.数据处理过程如图5 所示.

图5 手势数据处理过程Fig.5 Gesture data processing

2 改进的多类神经模糊推理系统

传统ANFIS 的单个输出节点适合解决二分类问题,在解决多分类任务时需要根据类别数设计分类策略、训练多个分类器,因而训练效率较低,且包含了ANFIS 泛化性能较差的缺陷.针对以上问题,本节首先构造一种多分类的ANFIS,然后又提出一种高性能学习算法MC_TS_UR 解决其泛化性能较差的问题.改进的多类神经模糊推理系统 (Improved multicalss neural fuzzy inference system,IMNFIS) 是两者结合的高性能多分类系统.

2.1 MC_ANFIS 分类器

在最近的研究中,许多跨领域的技术应用取得了很好的效果.本文通过利用卷积神经网络中的全连接层拓展经典TSK 模糊系统的解模糊层,使单个拓展后的TSK 模糊系统具备多分类的能力.其结构如图6 所示,其中方形节点代表含系统参数的自适应节点,圆形节点代表无系统参数的固定节点.

图6 MC_ANFIS 结构图Fig.6 Structure of MC_ANFIS

第4 层:计算每条规则的加权输出

第5 层:解模糊.用权矩阵V ∈RR×P将所有规则输出映射到每个类别得分.第r条规则对应类别p的权重记为vrp ∈V,vrp与wr,m,br,0共同组成后件参数.每个类别的得分计算如下

第6 层:将类别得分转化为类别概率

第7 层:将最大概率对应的类别记为最终的分类结果.例如,假设为第6 层输出的最大值,则分类器输出类别为p.

这样,通过权矩阵V拓展后,MC_ANFIS 具备多分类能力.即仅需训练好一个MC_ANFIS 分类器的系统参数,就可以完成多分类任务,能够大幅节省计算量,缩短训练时间.

由于MC_ANFIS 的每一层节点函数都连续可导,所以直接由链式法则和误差反向传播更新参数.在反向传播过程中,记代价函数为C(认为C中不包含与系统参数直接相关的项),结构风险函数为J.则目标函数O=C+J对于MC_ANFIS 的前件参数和后件参数梯度计算如下:

2.2 MC_TS_UR 融合算法

从第2.1 节可知,MC_ANFIS 提供了一种通用的多分类器架构,通过误差反向传播而具有自学习的能力.因此,MC_ANFIS 具体的学习效果受损失函数的选择、梯度更新的策略影响较大,需要合适的算法优化分类器的性能.MC_ANFIS 是拓展的ANFIS,继承了ANFIS 所具备的神经网络的学习、建模能力和TSK 模糊系统的知识表达特性,所以神经网络和模糊系统的优化算法同样适用于MC_ANFIS.

在分类器的训练过程中,为了综合提升训练质量和训练效率,通常用简单随机抽样的方式从训练集中抽取数量为BS的小批量样本代替整个训练集进行训练.注意到小批量样本的质量直接关系到算法的学习质量,而简单随机抽样没有考虑到训练集样本分布的影响,所以训练得到的分类器泛化性能不能得到保证.

典型抽样 (Typical sampling,TS) 是最近提出的一种神经网络优化算法[21].通过设定阈值γT,将训练集按概率密度划分为概率密度高的典型集H和概率密度低的非典型集L两种,然后分别从H和L中随机抽取数量为BS的样本组成每次训练用的小批量样本Bts. 通过调节阈值γT和小批量样本Bts中抽取的H和L样本比例αT,可以让小批量样本最大限度地符合总体的分布特点.注意到每次迭代中实际参与训练的为Bts中的BS个实例.在使用TS 算法后,式(21) 应修改为:

在TSK 模糊系统学习过程中,容易出现各规则触发强度不均匀的情况,在极端情况下,一些规则的触发强度甚至接近于零.这不仅会浪费计算机的计算量,甚至会损害系统的性能.

标准正则化 (Uniform regularization,UR) 是最近提出的一种TSK 模糊系统优化算法[22].通过增加结构风险函数Ju的方式,让各规则的触发强度尽可能相等,从而提高系统的性能.记UR 的系数为λu,则Ju计算如下:

注意到Ju与MC_ANFIS 后件参数无关,所以代入到目标函数O中之后,后件参数的梯度计算不变.

为增加系统泛化性能,还需要加入较小的L2正则化结构风险项J2,降低后件参数的结构风险.记L2正则化系数为λ2,J2由下式计算得到:

引入上述优化后,神经模糊系统的学习过程显著变化,相应的反向传播的梯度同样改变,重新推导如下:

本文提出的MC_TS_UR 优化算法是在MC_ANFIS 的架构上,融合最近提出的神经系统优化算法TS、模糊系统优化算法UR、L2正则化以及adaBound 等经典机器学习优化算法的融合自适应算法.MC_TS_UR 融合算法流程见算法1.

算法 1.MC_TS_UR 融合算法

从TS、UR 两种算法本身的特点来看,所提融合算法具备以下特性:1) 能精确反映总体特性,即有优秀的泛化能力;2) 优化系统结构,让所有规则都能发挥其应有的作用,即能表现出很好的性能.

3 手势识别实验

本节通过手势识别离线实验验证所提手势识别方法的性能.

3.1 实验设置

本文主要识别6 种手腕手势:屈腕、伸腕、伸掌、握拳、尺侧倾和桡侧倾,如图7 所示.控制6 种手腕手势对应的肌肉信息在表2 中给出.

表2 6 种手腕手势对应的肌肉信息Table 2 Muscles information of the corresponding six gestures

图7 本文研究的6 种手势Fig.7 Six gestures studied in this paper

本文研究中手势识别的方案如下:先用可穿戴式设备采集对应的6 块肌肉气压肌动图以获取原始手势数据,然后通过数据降维、格式转换等方法预处理数据.数据采集方法详见第1.2 节,预处理的方法详见第1.3 节.经8 位受试者手势数据预处理,得到PCA 降维后的维度为M=7.将处理后的数据打上标签后划分训练集 (80%) 和测试集 (20%),用5 折交叉验证的方式训练IMNFIS 以及测试IMNFIS的训练效果.本文实验是在一台配置为16G RAM、3.2 GHz core i7 8700K 的计算机上进行的.

3.2 模型和算法

本次实验比较了几种经典分类算法,如支持向量机 (Support vector machine,SVM)、梯度增强决策树 (Gradient boosting decision tree,GBDT)、线性判别分析 (Linear discriminant analysis,LDA)、一种基于ANFIS 的经典神经模糊系统优化方法(TSK_GD_LSE),以及几种基于MC_ANFIS和小批量梯度下降的TSK 模糊系统优化算法 (MC、MC_TS、MC_UR 和MC_TS_UR).模型和算法的设置如下.

1) SVM:在Python 中调用Scikit-learn 库函数实现.使用5 折交叉验证从 {0.05,0.1,1,10,20}中选择惩罚系数,使用 ‘rbf’ 核,‘auto’ 核系数,‘ovr’决策函数以及默认的其他参数初始化分类器.

2) GBDT:在Python 中调用Scikit-learn 库函数实现.使用5 折交叉验证从 {3,4,5,6} 中选择最大深度,其余参数设置为默认.

3) LDA:在Python 中调用Scikit-learn 库函数实现.使用5 折交叉验证从 {0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9} 中选择惩罚项 ‘shrinkage’,使用 ‘eigen’ 求解器,其余参数设置为默认.

4) TSK_GD_LSE:用一般ANFIS 的分类器模型.通过 ‘ovr’ 的分类策略,将多分类问题转化为多个ANFIS 的二分类问题.最后比较所有二分类器的结果,决定最终的分类结果,按照以下方法训练每个二分类器.系统参数均初始化为0.在前向传播中使用迭代最小二乘法确定先行参数,在反向传播中使用梯度下降结合L2正则化确定后件参数.所有超参数均设置为默认或者典型值 (λ2=0.05).

5) MC:用MC_ANFIS 的分类器模型.系统参数初始化为0.先用简单随机抽样的方式从训练集中随机选取mini-batch,然后用L2正则化结合AdaBound 更新参数.所有超参数均设置为默认或者典型值 (λ2=0.05,β2=0.999).

6) MC_TS:用MC_ANFIS 的分类器模型.系统参数初始化为0.先用典型抽样的方式从训练集中随机选取mini-batch,然后用L2正则化结合AdaBound 更新参数.所有超参数均设置为默认或者典型值 (γT=0.8,αT=0.8,λ2=0.05,β2=0.999).

7) MC_UR:用MC_ANFIS 的分类器模型.系统参数初始化为0.先用简单随机抽样的方式从训练集中随机选取mini-batch,然后用UR+L2正则化结合AdaBound 更新参数.使用5 折交叉验证从 {0.1,1,10,100} 中选择UR 系数λu,其余超参数均设置为默认或者典型值 (λ2=0.05,β2=0.999).

8) MC_TS_UR:用MC_ANFIS 的分类器模型.系统参数初始化为0.先用典型抽样的方式从训练集中随机选取mini-batch,然后用UR+L2正则化结合AdaBound 更新参数.使用5 折交叉验证从{0.1,1,10,100} 中选择UR 系数λu,其余超参数均设置为默认或者典型值 (γT=0.8,αT=0.8,λ2=0.05,β2=0.999).

3.3 评价指标

本文设计了以下指标评价识别性能:1) 混淆矩阵 (Confusion matrix,CM);2) 原始错误率 (Raw error rate,RER);3) 平衡错误率 (Balanced error rate,BER);4) kappa 系数κ;5) 训练时间Tt.评价指标1)～4)根据训练的小批量样本以及测试集的CM 计算得到,是一般分类任务的常用指标;评价指标5)用于评估算法的训练效率.

这些指标的计算如下:

1)混淆矩阵CM.混淆矩阵中每一行代表真实标签为该行数的分类情况.例如,混淆矩阵中第i行j列的数值为该分类器将真实标签为第i类的数据判定为第j类的样本占真实标签为第i类的总样本数的百分比.CM 对角线原素越大越好.

2)原始错误率RER

其中,

p为类别索引,即第p类;

P为分类的类别数,本文中对6 种手腕手势分类,即P=6;

T(p) 为标签为第p类的样本被正确分类的数目;

F(p) 为标签为第p类的样本被错误分类的数目.

3)平衡错误率BER

4)κ系数.一种用于评价所设计分类器或算法效率的系数,用于涉及到识别两个以上类的多类问题.该系数的数值越高,表示结果越好.

其中,

M为待分类样本总数,即测试集大小;

mp,p为标签为第p类且同时被分类器判定为第p类的样本数;

Gp为标签为第p类的样本总数;

Cp为被分类器判定为第p类的样本总数.

5)训练时间Tt.训练时间包括:a) 数据降维、标签数据格式转换和数据集划分等将采集的原始手势、标签数据转化为分类器可直接操作数据的数据预处理时间;b) 数据预处理后,从分类器初始化到分类器学习过程完成的纯粹用于分类器自学习的总时间.Tt越小,分类器的实用性和学习效率越高,更适合用于开发手势识别的在线产品.

以上指标用于评估本研究中的机器学习方法在手势识别中的性能.其中,CM 可以验证单个类别的识别性能,Tt可以验证算法的可拓展性,其余指标可以验证分类器整体的识别性能.

3.4 离线实验结果

本节对于健康人和残疾人两种对象分别给出第3.2 节列出的8 种机器学习算法的离线手势分类结果,并对其进行分析与讨论.

考虑到收集到的数据集较大(每名受试者约50 万组数据)且MATLAB 能够使用的内存有限,直接读取所有数据的话,会有内存溢出的风险.因此,按照每10 万组数据为一个数据集,将实验数据5 等分进行手势识别的离线实验.分别在每个子数据集上用5 折交叉验证的方式训练,然后将5个子数据集的平均分类错误率作为每个受试者的最终平均分类错误率.

融合算法在每名受试者数据集上的混淆矩阵如图8 所示.由图8 可知,利用肌动图识别手腕手势时,伸腕手势和伸掌的识别效果较差且容易互相混淆.这可能是因为受试者们在采集手势数据的过程中动作不够标准引起的,在采集伸腕手势数据时不自觉地也有轻微的伸掌动作.而握拳、手尺侧倾和手桡侧倾则不容易与其他手势混淆,所以识别效果更好,在受试者的数据集上几乎都达到98.5% 以上.

图8 MC_TS_UR 融合算法在每名受试者数据集上的混淆矩阵Fig.8 The CM of the MC_TS_UR fusion algorithm applied to the datasets of every subject

最后在7 名健康人受试者的数据集上,用第3.2 节提到的8 种算法计算第3.4 节中给出的指标.表3 和表4 分别给出了健康人与残疾人实验的平均结果,该结果由健康人和残疾人两种对象的所有受试者实验结果取平均得到.可以看到在健康人的数据集上,相比于SVM、GBDT 等传统机器学习算法,本文所提的融合算法在测试集误差上有明显的减少而κ系数明显提高.基于ANFIS 的分类性能高于SVM 等传统机器学习算法,这与文献[23−24]中所述的结论一致.4 种基于MC_ANFIS 的算法的结果均优于传统ANFIS 优化方法且训练时间Tt更短,说明MC_ANFIS 的结构在处理多分类问题时有更大的优势.训练时间更短的原因在第2.1 节已经分析过,是因为需要训练的分类器数量少,节省了大量数据预处理时间和学习时间.分类效果更好可能是因为在 ‘ovr’ 的分类策略中,每个类的分类器之间的训练是独立的,而MC_ANFIS 则是在第5 层中综合了全部的类别输出信息.融合算法相比于纯MC 方法,测试误差更小并小于训练误差,平均训练时间更是缩短了一半以上,说明融合算法除了分类性能好、泛化能力强以外,计算效率也得到了很大的提升.

而在残疾人的数据集上,本文提出的MC_TS_UR 融合算法表现出的性能同样优秀.在错误率极低的情况下,同样大幅缩减了训练时间.与表3 相比,表4 中8 种算法在CER、BER 等指标上有不同程度的上升而κ系数略有减少.这可能是因为相比于健康人受试者,残疾人受试者的腕部肌肉功能已经发生了遗忘或退化,所以残疾人受试者的手势意图不够明确、准确.尽管如此,MC_TS_UR 融合算法依然达到了97.25%的手势识别准确率,比健康受试者的手势识别准确率仅差0.93%.

表3 8 种算法在健康人数据集上的离线实验结果Table 3 The offline experiment results of eight algorithms on datasets of the normal

表4 8 种算法在残疾人数据集上的离线实验结果Table 4 The offline experiment results of eight algorithms on datasets of the disabled

3.5 分析与讨论

图9 给出了4 种基于MC_ANFIS 框架的分类算法的误差随训练时间的变化曲线.从曲线中容易看出,用UR 优化后,训练时间变化不大,收敛特性有所提升;TS 优化会略微增加一部分训练时间,泛化性能得到了增强;而融合算法在泛化性能和系统收敛特性都提高的同时,训练时间也得到了大幅缩减.这可能是因为TS 和UR 两种优化方法在融合过程中出现了更深层次的结合,从而加快了收敛速度,让训练效率和质量都大幅提升.本文提出的手势识别方法优于传统机器学习算法,而相比于一般MC_ANFIS 分类方法,能节省大量的训练时间,更适合用于开发在线的残疾人手势识别产品.

图9 4 种基于MC_ANFIS 的算法在训练过程中的分类误差随时间变化曲线Fig.9 The classification error changes curve of four MC_ANFIS based algorithms with time during the training process

本文与近期手势识别研究工作的比较如表5 所示.可以看到,与同类研究工作相比,在研究对象为健康人时,在手势类别数相当的情况下,本文所提的手势识别方法取得的分类精度最高;而在研究对象为残疾人时,本文所提方法在所用的传感器通道数差别不大的情况下,同样得到了最高的手势识别精度.综合来看,本文所提的手势识别方法在识别的手势类别数相当的情况下,在健康人和残疾人两种类型的受试者上均表现优秀.

表5 与近期同类研究工作文献的比较Table 5 Comparison with similar research work literature

4 结束语

为克服残疾人的肢体缺陷,设计能被残疾人普遍接受的手势识别产品,本文提出了基于pMMG和IMNFIS 的手势识别方法.该方法融合了多分类的神经模糊系统结构、神经网络与模糊系统优化方法,在分类效果优秀的同时极大地缩短了训练所需的时间.通过健康人实验和残疾人实验,分别验证了本文所提的手势识别方法在健康人和残疾人数据集上的有效性和可拓展性.相比于许多近些年发表文献中的方法,本文提出的MC_TS_UR 融合算法、6个pMMG 传感器和1个IMU 传感器的手势识别方法对于6 种手腕手势的识别能力更高.

本文实验仅考虑了离线情形,而从离线实验到转化为残疾人能够直接使用的产品还有很大的差距,且本文实验中仅研究了8 名受试者的6 种手腕手势,实验对象和手势类别都十分有限.考虑到使用在线的学习方法可以适应不同用户的需求,后续的研究工作会集中在:优化代码结构降低训练时间,离线转在线的学习方法的开发,以及识别更多种类手势能力的推广.