利用多源信息和极限学习机的人体运动意图识别*

曹祥红,刘 磊,2*,杨 鹏,宋寅卯

(1.郑州轻工业学院建筑电气与智能化系,郑州 450002;2.河北工业大学控制科学与工程学院,天津 300130;3.智能康复装置与检测技术教育部工程研究中心,天津 300130)

利用多源信息和极限学习机的人体运动意图识别*

曹祥红1,刘 磊1,2*,杨 鹏2,3,宋寅卯1

(1.郑州轻工业学院建筑电气与智能化系,郑州 450002;2.河北工业大学控制科学与工程学院,天津 300130;3.智能康复装置与检测技术教育部工程研究中心,天津 300130)

快速准确的步态识别是实现智能假肢灵活控制的基础与前提,步态(平地行走、上下楼梯和上下坡)的有效识别是关键。为了克服由单一信息源无法辨识复杂多步态的难题,搭建人体步态多源运动信息系统获取髋关节角度信号、加速度信号和足底压力信号,利用足底压力信号将人体步态划分为4个片段,并根据人体步态的特点确定了4个片段下髋关节角度、髋关节加速度信号的特征值,采用核主成分分析(KPCA)对原始特征的组合进行融合,得到信息互补的特征值,最后利用极限学习机(ELM)进行识别,实验结果表明该方法对平地行走、上楼、下楼、上坡、下坡5种步态的平均识别率达到96.78%,平均识别时间0.52 s,明显高于BP、支持向量机(SVM)等方法。

智能假肢;步态识别;极限学习机;多源信息融合;髋关节运动信号

根据2010年6月9日世界卫生组织发布的《世界残疾报告》,全球下肢截肢约为237万人(包含膝上截肢者134万人),造成下肢截肢的主要原因是疾病和外伤。穿戴高性能的智能假肢是截肢者重返社会的重要保证。智能化、功能更加完善的假肢成了急切的需求,也成了假肢发展的方向。1990年,Zahedi发明了世界上第1个智能下肢假肢IP(Intelligent Prosthesis)[1]。Power Knee动力膝可以使假肢穿戴者完成上下楼梯等复杂步态[2-3]。在智能假肢的研究中,步态识别算法的研究与应用成为智能假肢的关键技术之一。

目前,步态识别的信息源可分为图像、视频信号;和运动传感器信号两类。基于图像、视频的识别方法是通过摄像头对人进行实时拍照和监视,提取图像和视频特征值识别人体活动。该方法仅能在特定的区域进行识别,灵活性差。基于运动传感器与图像方法所需的摄像装置相比成本低、体积小、便于携带。由人体运动时测得的传感器的数据来判断人体步态,该方法不受环境影响;较好的可移动性。加速度传感器设备简单、成本低,信息量丰富,不受时间和空间的限制,具有体积小、灵敏度高、功耗低的特点。研究人员利用加速度传感器采集到人体行走时的加速度信号,对加速度信号进行有效的特征提取,利用分类器识别出相应的动作。足底压力是人体在平地行走、上下楼等步态中,足底受到的一个与地面垂直的反作用力,在足底安装合适的压力传感器,可获取足与地面的接触状况等信息。足底压力可以方便的识别具体步态下的支撑前期、支撑中期、支撑后期、摆动期。针对步态识别,为了能全面的描述步态信息,本文建立了一个由髋关节角度、髋关节加速度和足底压力等传感器组成的步态多源运动信息采集系统。

分类算法的好坏直接关系到整个识别系统的识别能力是否能满足要求,能否正确实现步态的识别。河北工业大学杨鹏等将髋膝踝关节角度作为步态识别信息源,利用BP网络识别大腿截肢者5种步态[4],BP网络需要较多的学习样本,且训练速率固定,初始权值和阈值选择随机性强,很难求得全局最优解。罗志增[5]等利用遗传算法进化BP网络得到全局最优解。近年来,SVM在步态识别领域得到了广泛的应用[6]。杭州电子科技大学的孟明[7]等分析下肢表面肌电信号,在SVM核方法基础上,构造基于二叉树结构的WSVM识别平地行走的5种细分步态,平均识别率达到了85%。文献[8]为了克服SVM参数难以确定的缺点提出基于简约SVM多元分类的步态识别方法,平均识别率达到了89%。He Huang[9]提出将肌电信号、力矩等信息融合作为步态识别信息源研究利用SVM识别运动模式的方法,SVM中的惩罚参数和核参数对识别结果影响较大,若参数选取不当,会降低步态识别准确性。极限学习机ELM(Extreme Learning Machine)最近由Huang等根据摩尔-彭罗斯广义逆矩阵理论[10]提出,ELM克服了BP神经网络隐含层参数人为设定的缺点,由自身随机产生的。ELM与SVM相比,极大地提高了网络的学习速度和泛化能力,在理论上 Huang 等人已经证明了ELM不会陷入局部最优解以及出现过拟合的问题。因ELM学习速度快,泛化性好,故在模式分类方面得到广泛应用[11],所以本文在多源信息特征提取基础上,利用ELM分类平地行走、上楼、下楼、上坡、下坡5种步态。

1 极限学习机基本理论

极限学习机(ELM)是一种简单有效的单隐层前馈神经网络(SLFNs)学习算法[12-13]。典型的单隐层前馈神经网络结构图1所示。

图1 典型的单隐层前馈神经网络结构

假设存在一个单隐层前馈神经网络,包含有L个隐含层、N个训练样本,激活函数为g(x)的标准单隐层前馈神经网络可表述为:

(1)

式中:ωi表示连接第 i个隐层节点与输入神经元的权值,βi表示连接第i个隐层节点和输出神经元的权值,bi表示第 i个隐层节点的偏置,xj、tj表示样本导师。对于N个样本,式(1)可写为矩阵形式的等式

Hβ=T

(2)

式中:

(3)

(4)

H中的第i列是第i个隐层节点对应于N个输入样本x1,x2,…,xN的输出向量。

设给定的训练集为(xi,yi)∈Rn×Rm,i=1,2,…,N,L表示隐含层个数,g(x)表示激活函数,ELM算法包括以下3部分:①随机确定权重向量ωi和偏置bi,其中i=1,2,…,N;②计算隐含层输出矩阵H,并求其广义逆矩阵H*;③计算输出权值b:b=H*T。

综上所述,ELM在计算过程中不用调整ωi和迭代步数,在一次大循环中就可以计算出输出权值。也就是说,ELM的输出权值ωi在训练过程中不用在过多的调整,赋值具有一定的随机性。

图3 5种步态的5种信号

2 人体运动意图识别实验

2.1 实验方案

本实验利用ViconMX三维步态分析系统,该系统可同时采集髋关节、膝关节、踝关节加速度和角度信号。文献[14-16]研究表明,只需测试前脚掌和脚后跟两点的压力便能够检测支撑前期、支撑中期、支撑后期、摆动期。本文中压力传感器用于检测脚尖和脚后跟的状态,选择薄膜键盘产生开关量信号检测压力信号。图2给出了实验平台,其中,上、下的楼梯为高10cm的模拟楼梯,上、下坡的坡度为15°。测量平地行走、下楼梯、下坡、上楼梯和上坡5种步态的髋关节角度、加速度和足底压力信号。实验者共计30名,表1给出了实验者的基本信息。每名实验者分别做出平地行走、上楼、下楼、上坡、下坡各20次,实验次数总计为100次。图3给出了5种步态5种信号波形图,黑色实线表示脚后跟压力信号;黑色虚线表示脚尖压力信号;曲线(实线)表示加速度X轴信号;曲线(长虚线)表示加速度Y轴信号;曲线(短虚线)表示髋关节角度信号。

图2 实验平台

性别体重/kg身高/mm腿长/mm膝宽/mm踝宽/mm男(15位)63．00±14．771750．00±30．45990．00±31．95104．00±10．0074．39±7．02女(15位)54．00±2．001638．62±11．41910．00±48．0095．09±5．7465．00±4．00

2.2 步态周期分解

人体步态具有协调性、均衡性和周期性特点。每个步态周期可分为支撑前期、支撑中期、支撑末期、摆动期。支撑前期约占单个步行周期的15%。支撑中期约占单个步态周期的35%。支撑末期约占单个步态周期的10%。摆动期约占单个步态周期的40%。本文通过将足底压力传感器安装在后脚跟和前脚掌来分别采集前后足底的压力,从而将一个步态周期划分为四部分。当一个步态周期开始时,后脚跟压力信号为1,前脚掌压力信号为0时为支撑前期;随后,后脚跟压力信号为1,前脚掌压力信号也为1的阶段为支撑中期;后脚跟压力信号为0,前脚掌压力信号为1时为支撑末期;后脚跟与前脚掌压力信号均为0时为摆动期,如图4所示。

图4 足底压力信号以及步态细分模式

2.3 特征提取

为了识别5种步态,就必须找到能够区分5种步态的物理量,这里称为特征值。特征值提取是人工智能与模式识别中的一个重要环节,它直接影响着特征选择的结果和分类器的设计。髋关节角度特征提取时,首先求出每种步态下支撑期和摆动期的角度均值θ,然后在分别求出每种步态细分模式下的角度平均值θ1,计算二者比值作为角度特征值。

(5)

(6)

(7)

式中:θi是采样区间内髋关节角度值,Ni是对应时期的采样个数,ni为细分步态下的采样点数。

图5 步态周期划分图

时域特征直接由时域加速度信号提取而来,计算量较小,过程简单,本文选择细分步态模式的方差、峰度、偏斜度、四分位间距、相关系数作为步态时域特征。文献[17-19]给出了方差、峰度、偏斜度、相关系数的定义,本文重点介绍四分位距。

四分位距为第3四分位数Q3和第一四分位数Q1的差距,加速度数据ai由大到小排序为bi,i=1,2,…,N。四分位数的位置表示为Pj=1+(N-1)j/4,(j=1,2,3)表示分位个数,kj代表的Pj整数部分,rj代表小数部分。式8和9给出了四分位数Qj和四分位距W的表达式:

Qj=bkj+(bkj+1-bkj)rj

(8)

W=Q3-Q1

(9)

时域分析相对比较方便,但却未能刻画出时域信息和频域信息之间的关系。人体行走过程中,去除重力加速度后的真实值不仅体现了加速度的大小,还提供了加速度的方向信息。由于重力方向不变,加速度矢量的真实值与重力方向夹角的小波能量可以揭示出运动过程中加速度方向变化的本质,因此本文选其作为特征值。

人体没有行走时,传感器只受重力影响,计算此时X、Y轴输出数据的平均值X0和Y0,即可得到重力加速度,表示为:G=(X0,Y0)。设Xi和Yi分别为加速度传感器第i个采样数据,则Mi=(Xi,Yi)表示加速度传感器的第i个测量值,因此加速度矢量第i个真实值可以估算为Mi-G。因此,采集第i个数据时的真实值和重力方向之间的夹角表示为:

(10)

小波能量为信号经过小波分解后细节分量系数的平方和,设μl为第l个窗内θi的集合,db5小波作为母小波,对μl进行8层分解,提取第7层和第8层细节分量系数,计算小波能量。

(11)

式中:cdμlk表示对μl进行小波分解后第k层细节分量系数;El表示第l个窗的小波能量值。

2.4 特征值融合

主成分分析PCA(PrincipalComponentAnalysis)是一种经典的特征值融合算法,该方法利用线性变换将多个变量选择出几个较少的变量,获得其中重要的数据,从而减少了大量干扰数据,但是,对于步态识别中的多源信号特征值,其统计特征在空间分布呈现非线性步态特征本质是非线性的,因此利用PCA是不合适的,核主成分分析KPCA(KernelPrincipalComponentAnalysis)是PCA的非线性扩展,保持了PCA的优点,Choi等证明了KPCA在多源信息融合上的应用要优于PCA,所以本文利用KPCA融合步态特征值。文献[20]给出了KPCA的介绍,本文不在详细说明。

图6 算法流程图

2.5 算法流程图

利用多源信息和ELM识别步态算法流程图如图6所示,主要包括:多源信息信号采集以及信号归一化处理;利用足底压力信息将步态分为支撑前期、支撑中期、支撑后期、摆动期;然后提取每个细分步态模式下髋关节角度、加速度特征值,利用KPCA融合特征值,最后利用ELM分类5种步态。

3 实验结果分析

实验中共采集了30名实验对象的3 000组样本数据。为了避免行走速度对识别结果的影响,每个实验对象以自己的习惯正常速度行走。建立模板时随机选用了15个人的1 500组数据,分别对5种步态进行建模。验证测试阶段选用了其余15个人的1 500组数据对所构造的模型进行测试。判断该模型的好坏其评价标准为识别率和识别时间,用于确定算法的最优参数。按照2.3节提取步态特征值,特征值包括:细分步态模式下的角度均值比、方差、峰度、偏斜度、相关系数;四分位间距及小波能量,一共22维。为了规范特征值取值范围,将所有特征值归一化至[-1,1],通过对特征进行核主成分分析(KPCA),进行融合处理,前11个主成分累积贡献率达到了95.61%,这前11个主成分在一定程度上可以代表步态的特征,经过KPCA处理后的特征值作为ELM的输入样本。

图7 贡献率最大的前11个主成分累积贡献率

图8 3种激励函数对应的隐含层节点数与识别 正确率的关系

ELM参数确定的过程相对简单,隐含层节点数是影响模型训练时间以及分类准确率的重要因素。只需在确定激励函数的情况下随机产生隐含层节点数目。为了提高分类器的识别能力,首先对训练样本应用ELM,隐含层结点数目从20 到 200 逐渐递增,常用的激励函数为Sine、Sigmoidal、Hardlim函数,识别结果如图8所示,ELM算法的识别率、识别时间为衡量识别结果好坏的重要参数。当隐含层节点数较少时,Sigmoidal激励函数的识别率优于其余两种激励函数。当隐含层节点数大于 120 时,Hardlim 激励函数的识别率优于其余两种激励函数。隐含层节点数目越少,网络越简单,所以选用 Sigmoidal函数。图 9给出了3种激励函数对应的隐含层节点数与网络训练时间的关系,当隐含层节点数位于[20,50],训练时间有一定的优势。为保证ELM具有良好的泛化能力,本文选用 Sigmoidal激励函数,隐含层节点数为 40,此时验证集的步态识别率为94.156%。

图9 3种激励函数对应的隐含层节点数与网络 训练时间的关系

本文提出采用融合多源信息识别人体步态的方法,为了验证融合识别的优势,仅采用髋关节角度和髋关节加速度提取的特征结合上文所采取的方法进行步态识别,表2给出了单一信号、多源信息主成分融合、多源信息核主成分融合方法的识别结果。多源信息核主成分分析方法的平均识别率为96.78%,明显高于其余3种方法的步态识别率。与单一信号特征相比,利用KPCA融合多源信息可以有效提取步态特征的非线性结构信息,而且可以减少特征值的维数,提高了步态识别准确率。

表2 不同步态识别信息源识别结果比较

由表3可以看出,基于ELM的分类判决模型对于平地行走、上楼、下楼、上坡、下坡5种步态的识别效果最好,识别率达到96.78%;上楼与上坡这两种步态的识别率最低,从时域波形上来看,此两种步态具有很大的相似性,在利用ELM分类判决模型进行测试时存在一定的误判率。BP结果表明平均识别率只有83.41%(表3),准确率太低,代价太大。BP网络的训练极为繁琐,主要体现在隐层神经元的选择上,神经元数目少会造成网络训练不充分;神经元数目太多,训练时间增加,又会引起BP网络的过拟合。SVM算法选用高斯核,使用LIBSVM工具包,SVM的参数是惩罚因子C和高斯核函数参数L。表4给出了不同方法的识别时间,ELM无论在训练时间还是测试时间上都有一定的优势,BP训练的泛化性能无法保证,每次训练结果偏差也很大,BP网络无论训练时间还是识别时间都略于SVM、ELM方法。由于SVM采用一对一多分类模型,每次只能区分2种步态,SVM的训练时间约为4 min,而ELM的训练时间仅仅约为1 min,从训练时间的比较上看,本文中提出的ELM方法训练时间要明显比BP方法和SVM方法短。综上所述,相对于SVM、BP,ELM往往可以取得更好的识别效果。

表3 不同分类器识别率比较

表4 不同分类器识别时间比较

4 结论

本文针对步态识别率低这一问题提出利用多源信息和极限学习机进行步态识别。为了获取足够的下肢运动信息,搭建多源信息采集系统,包括足底压力信号、髋关节角度信号和髋关节加速度信号,采用 KPCA融合与ELM分类方法对获得的样本进行分类,可以较精确识别出多种步态,与SVM、BP等传统分类方法相比,该方法具有最高的识别率和相对较短的识别时间,具有较好的研究与推广的价值。但是该方法距离实用还有一定的差距,这是下一步研究的方向。

[1]Protopapadaki A,Drechsler W I. Hip,Knee,Ankle Kinematics and Kinetics During Stair Ascent and Descent in Healthy Young Individuals[J]. Clinical Biomechanics,2007,22:203-210.

[3]Michael F. Eilenberg,Hartmut Geyer,Hugh Herr. Control of a Powered Ankle-Foot Prosthesis Based on a Neuromuscular Model[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering,2010,18(2):164-173.

[4]刘磊,杨鹏,刘作军. BP 神经网络在大腿截肢者运动模式识别中的应用[J]. 计算机仿真,2014,31(5):331-335.

[5]马玉良,马云鹏,张启忠,等. GA-BP神经网络在下肢运动步态识别中的应用研究[J]. 传感技术学报,2013,26(9):1183-1187.

[6]Ganesh R Naik,Dinesh Kant Kumar,Jayadeva. Twin SVM for Gesture Classification Using the Surface Electromyogram[J]. IEEE Transaction on Information Technology in Biomedicine,2010,14(2):301-307.

[7]佘青山,高云园,孟明.下肢EMG的小波支持向量机多类识别方法[J]. 华中科技大学学报(自然科学版),2010,38(10):75-79.

[8]吴剑锋,吴群,孙守迁,等. 简约支持向量机分类算法在下肢动作识别中的应用[J]. 中国机械工程,2011,22(4):433-438.

[9]He Huang,Fan Zhang,Levi J. Hargrove,et al. Continuous Locomotion-Mode Identification for Prosthetic Legs Based on Neuromuscular-Mechanical Fusion[J]. IEEE Transactions on Biomedical Engineer-ing,2011,58(10):2867-2876.

[10]唐贤伦,周家林,张 娜. 基于极限学习机的非线性内模控制[J]. 电子科技大学学报,2016,45(1):96-101.

[11]徐圆,叶亮亮,朱群雄. 基于动态记忆反馈的改进ELM故障预测方法应用研[J]. 控制与决策,2015,30(4):623-629.

[12]李军,乃永强. 基于ELM的机器人自适应跟踪控制[J]. 电机与控制学报,2015,19(4):106-116.

[13]贺彦林,王晓,朱群雄. 基于主成分分析-改进的极限学习机方法的精对苯二甲酸醋酸含量软测量[J]. 控制理论与应用,2015,32(1):80-85.

[14]Aaron J Young,Levi J Hargrove. A Classification Method for User-Independent Intent Recognition for Transfemoral Amputees Using Powered Lower Limb Prostheses[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering,2016,24(2):217-225.

[15]Nitish Thatte,Hartmut Geyer. Toward Balance Recovery With Leg Prostheses Using Neuromuscular Model Control[J]. IEEE Transactions on Biomedical Engineering,2016,63(5):904-913.

[16]王佳佳,高发荣,孙曜,等. 基于sEMG的行走步态非均匀特性及其对识别的影响[J]. 传感技术学报,2016,29(3):384-389.

[17]刘宇,江宏毅,王仕亮. 基于加速度时域特征的实时人体行为模式识别[J]. 上海交通大学学报,2015,49(2):169-172.

[18]卢先领,王洪斌,徐 仙. 基于加速度信号和进化 RBF神经网络的人体行为识别[J]. 模式识别与人工智能,2015,28(12):1127-1136.

[19]Xue Yang,Jin Lianwen. Discrimination Between Upstairs and Downstairs Based on Accelerometer[J]. Emerging Technologies of Ubiquitous Computing Systems,2011,94(6):1173-1177.

[20]阳同光,桂卫华. 基于KPCA与RVM感应电机故障诊断研究[J]. 电机与控制学报,2016,20(9):89-95.

The Research of Locomotion-Mode Recognition Based on Multi-SourceInformation and Extreme Learning Machine*

CAOXianghong1,LIULei1,2*,YANGPeng2,3,SONGYingmao1

(1.Department of Building Electricity and Intelligence,Zhengzhou University of Light industry,Zhengzhou 450002,China;2.School of Control Science and Engineering,Heibei University of Technology,Tianjin 300130,China;3.Engineering Research Center of Intelligent Rehabilitation and Detecting Technology,Ministry of Education,Tianjin 300130,China)

The efficient and accurate locomotion-mode recognition is the basis and the key to the flexible prosthesis control. The key is to recognize locomotion-mode(level-ground walking stairs ascent. stairs descent. upslope. downgrade). In order to overcome the problem that a single information source cannot recognize locomotion-mode,human locomotion-mode multi-source information systems were set up. hip joint angle、and acceleration signals and plantar pressure were used as the major source. Human locomotion-mode were decomposed into four segments using the plantar pressure information. hip joint angle features and acceleration signal features were fused into one feature vector according to the user’s locomotion modes characteristics. The features were reduced(at the cost of information content)using principal component analysis(KPCA). These data were initially used to train Extreme Learning Machine(ELM)models,which classify the patterns as upslope,downgrade,stairs ascent,stairs descent or level-ground walking. The average classification accuracy of level-ground walking.stairs ascent.stairs descent. upslope.downgrade is 96.78%. The average recognition time is 0.52 s,The results showed that the method was superior to SVM and BP method.

artificial legs;locomotion-mode recognition;extreme learning machine;multi-source information fusion;hip joint motion signal

曹祥红(1972-)，女，副教授，硕士，研究方向为智能假肢与模式识别、建筑供配电技术相关工作；刘 磊(1985-)，男，讲师，博士，研究方向为智能假肢与模式识别、康复辅具相关工作，liulei20060000@126．com； 杨 鹏(1960-)，男，教授，博士生导师，研究方向为智能假肢与模式识别、康复辅具相关工作。

项目来源:国家自然科学基金项目(61203323,61503118);河南省高等学校重点科研项目(16B413006);河北省自然科学基金项目(F2015202150,F2017202119);河北省高等学校科学技术研究项目(QN2015068);河南省科技厅重点科研项目(162300410070)

2017-01-02 修改日期:2017-03-02

TP183

A

1004-1699(2017)08-1171-07

C:7230

10.3969/j.issn.1004-1699.2017.08.007