甄倩倩, 张庭亮
(1.安阳师范学院 软件学院,河南 安阳 455000; 2.安阳工学院 电子信息与电气工程学院,河南 安阳 455000)
步态识别技术研究进展
甄倩倩1, 张庭亮2
(1.安阳师范学院 软件学院,河南 安阳 455000; 2.安阳工学院 电子信息与电气工程学院,河南 安阳 455000)
步态识别是一种通过人的行走方式识别人身份的技术,是生物识别领域的重要研究课题之一.首先介绍步态识别的背景和研究意义;其次介绍在步态分割、特征提取、步态识别方面的研究现状;最后分析步态识别的研究困难和未来发展趋势.
生物识别;步态识别;特征提取;分类器
生物特征识别技术是一种采用人的生理或行为进行识别身份的技术.基于生物特征识别技术的身份认证是社会高度信息化和经济全球化的需求,是政府和商业领域必不可少的重要技术[1].机场、车站、银行等安全敏感场合对大范围视觉监控系统的需求提升,远距离的身份识别研究近年来受到了计算机视觉研究者们的大量关注.脸像、指纹和虹膜等生物特征通常需要近距离或者接触性的感知,在实际应用中受到了诸多限制.步态是远距离情况下唯一可以感知的生物特征,因其非接触和难以隐藏性成为近年来的研究热点,步态识别技术的研究使得一些安全敏感场合得到了更好的保护.因此从视觉监控的观点来看,步态识别具有广泛的应用前景[2].
所谓步态是指人行走时的姿态,是一种人类的行为特征.步态分析的理论假设:每个人拥有一幅独一无二的面孔,每个人也拥有一种与众不同的步态.这种观点在医学研究中也得到了认同,即“每个人的步态都是唯一的”.从解剖学的角度分析,步态唯一性的物理基础是每个人生理结构的差异性,不一样的腿骨长度、不一样的肌肉强度、不一样的重心高度、不一样的运动神经灵敏度,共同决定了步态的唯一性.所以,基于步态的唯一性,通过步态可以唯一地识别一个人.
1994年,步态识别被NIYOGI和ADELSON[3]作为生物特征身份认证的研究后,被越来越多的学者所青睐,并取得了一系列研究成果. 归纳前人对步态识别的研究,步态识别的过程如图1所示.
图1 步态识别过程Fig.1 Gait recognition process
本文从采用的技术上对现有的研究文献进行综述、分析和总结.纵观近些年国内外对步态识别技术的研究,按照步态分割方法的不同,主要分为帧间差分法、光流法、背景减除法;针对步态特征提取的不同方式,可以将其划分为基于模型的方法、非模型的方法、融合特征法;按照步态识别的分类器不同,主要分为贝叶斯法、隐马尔可夫法、神经网络法、支持向量机法、近邻法.本文先对国内外对步态识别的研究现状进行综述,然后对步态分割、特征提取以及步态识别的方式进行分析总结.
文献[4]中陈春艳利用侧影下肢关节角度和角速度作为步态的特征,并利用RBF神经网络进行识别.顾磊在文献[5]中提出了3种方法来识别步态,其中GRSFER方法能够对单帧图像划分相等的子区域,从子区域中提取更为精细的步态特征,GRSFTJR算法能够根据人体解剖学知识中人体各部分与身高的比例关系对单帧图像划分不相等的子区域,从而能在各子区域上得到肢体的运动特征,GRSFFUR算法在各非等子区域中提取多种类型的步态特征.文献[6]中林尔东等提出了一种改进的地面反作用力的步态方法,利用小波包分解特征,并用模糊C均值聚类方法挑选出最具有分类能力的特征子集,并且利用多分类器来提高识别的准确率.杨旗等在文献[7]中为了提高识别率,提出了一种基于动静态信息相结合的多信息融合的动态贝叶斯网络模型,该模型能很好地表征步态时序特征的节奏性变化,并依此来提高识别率.文献[8]中赵永伟等在图像分割上采取背景差分和阴影消除法,在特征提取方面采用伪Zernike矩、小波描述子和Procrustes形状分析法,最后通过多特征多视角信息融合,达到通过步态来识别人的身份的目的.余涛等在文献[9]中提出了一种算法来识别步态,该方法在步态训练和识别时将贝叶斯规则和HMM相结合.王浩等在文献[10]中为了解决投影方向及时间复杂度高的问题,提出了一种基于轮廓特征的广义步态识别算法.在文献[11]中,商磊等提出了一种基于密度光流的步态特征提取算法,并对提取到的特征进行降维,用支持向量机进行步态分类.文献[12]中杨旗等提出了一种基于双尺度动态贝叶斯网络及多信息融合的方式对步态进行识别.贲晛烨等在文献[13]中提出了一种基于线性插值的张量步态识别算法.
步态分割,又称为步态检测.步态分割是指将采集到的图像中人体的步态轮廓从背景图像中分割出来,提取出有效的人行走时的图像.步态分割是步态识别的第一步,常见的步态分割方法有帧间差分法、光流法、背景减除法、基于特征的方法等.
帧间差分法,利用图像序列中2帧或3帧图像进行减法运算,求出差分结果,最后达到提取运动目标的目的.如杨旗等在传统帧差法的基础上进行了改进,提取出帧差图,并得出帧差的前向部分和帧差的后向部分,对这些动态信息和静态信息的融合构建贝叶斯模型[7].
光流法是依据视觉的光流特性实现运动区域检测的一种技术,但大多数光流法计算复杂且抗噪性比较差[14].如文献[11]中采用密集光流法来进行背景分割.
背景减除法首先从视频序列中估计出前景图像,然后利用当前帧与背景图像进行减运算,从而得出前景运动目标图像.如文献[15]中胡帅采用背景减除法进行步态检测.
步态特征提取,又称步态表征,是指采用某种方法表示所提取出来的步态以及数据库中的步态. 目前对特征提取的研究有很多,主要分为3类:基于模型的方法、非模型的方法、融合的特征提取方法.
3.1 基于模型的方法
基于模型的方法通过对人体的部分,如膝盖、腿部、手臂和大腿等,进行建模和跟踪获得一系列的人体参数[15].从这些参数中获得特征,然后进行分析和识别.
基于模型的方法有:椭圆模型、钟摆模型等,其中椭圆模型是麻省理工大学LEE等提出的,即将人体的侧影轮廓分成7个相连区域,构建椭圆模型.文献[16-17]采用钟摆模型进行步态特征提取.钟摆模型是将大腿建模为链接的钟摆,并从其倾斜角度信号的频率分量中获取步态特征[18].
3.2 非模型的方法
非模型的方法不考虑人体内部结构,采用非模型方法进行步态特征提取的文献很多,此处只举个别例子进行说明.例如文献[6]中采用小波包分解来进行特征提取,并通过模糊C-均值聚类算法首先挑选出最优小波包,进而挑选出最优特征子集.
3.3 融合特征方法
为了克服单一特征唯一性不强、稳定性不够的问题,常使用多种方法融合处理步态特征.例如文献[8]中使用伪Zernike矩及小波描述子来描述步态序列中每一帧的人体轮廓,使用Procrustes形状分析法来对人体步态运动图像集进行统计描述.
步态识别是指将待检测的步态与步态库中已知步态进行比对,看是否能够匹配.所以,步态特征提取出来后,要对其进行分类并识别,主要采用的方法有贝叶斯法(Bayes)、隐马尔可夫法(HMM)、神经网络法、支持向量机法(SVM)、K近邻(KNN)法.例如,文献[7]中利用动态信息和静态信息融合(DSIF-DBN)构建贝叶斯网络模型,文献[12]中采用一种 4 层的双尺度多信息融合的动态贝叶斯网络模型,文献[9]中应用贝叶斯规则与HMM融合.文献[19]中分别用单层卷积神经网络和双层卷积神经网络模型得到单层和双层卷积特征表示,并比较二者对识别正确率的影响.文献[20]中,曾玮利用径向基函数(Radial Basis Function,RBF)神经网络对步态的系统动力学的局部准确辨识,所获取知识以常值神经网络的形式存储起来.文献[21]中,陈江城等以自适应模糊神经网络来构建模型.文献[22]中提出一种基于二次特征提取与支持向量机的异常步态识别方法.文献[23]中提出了基于频域特征提取与支持向量机识别的新方法,文献[24]采用模糊支持向量机进行步态识别.文献[11]以及文献[15]中均采用支持向量机作为分类器.文献[25]中夏懿等也是采用支持向量机作为分类器进行步态识别.文献[16]以及文献[17]均采用KNN作为分类器,文献[26]中在多个视角下进行多视角融合,并采用KNN分类器进行分类和识别.
部分实例与中科院自动化所的CASIA(B) 库上的识别性能比较结果如表1所示.
表1 步态识别算法识别率比较Tab.1 Comparison of recognition rate of gait recognition algorithm
表1中的文献[7]中进行了两个实验,其中实验1采用3层DSIF-DBN模型,正常状态下识别率为97.1%,穿大衣状态下为97.3%,背包状态下为96.1%,3种状态下平均识别率为96.83%.文献[9]在多视角下进行识别,从18°到162°,每隔18°为一个视角.该文献提出的方法在各个视角下的识别率普遍较高.实验结果表明90°时识别率最低,36°和144°时识别率较高.在先验知识不同的情况下正常着装时,这3个视角的识别率分别为 93.56%、99.01%、98.82%,穿着大衣时,这3个视角的识别率分别为82.56%、94.51%、82.22%.但该文献主要研究基本的步态,所以没有考虑携带物体的情况.文献[11]中采用光流法特征,提取丰富的动态信息,具有良好的识别效果,识别率达到97.72%.文献[12]中所提出的模型在正常、穿大衣、背包3种情况下识别率均为95.2%,由结果可知,该模型可以降低穿大衣以及背包对步态识别的影响.文献[13]中提出的能量信息融合法,该方法采用组合投影特征,由 0°、45°、90°和135°的投影特征组成,算法识别率较高,达到93.27%.文献[26]中,采用0°、54°、90° 3个视角进行融合,并且在特征提取时采用多个特征进行融合.基于 Fuzzy的融合机制融合效果最好,识别率达到99.19%.
现有的步态识别技术距离投入安保防护工作中还有很长的路要走,因为大部分的研究都是针对简单环境下的步态进行分析研究的,在实际生活中,可能是在很复杂环境中进行步态识别.除此之外,光线、视角、关节受伤、醉酒、路面状况以及遮挡情况都有可能影响识别的精确度.并且步态识别需要处理的信息较多,时间复杂度较高的算法,计算机计算的速度较慢,无法在限定的时间内得到分析结果的反馈信息,所以降低特征提取算法的时间复杂度势在必行.另外,步态可以与其他生物识别技术相融合,因为步态不是识别人物的唯一方式,可以采用多种模式确定人物的身份,人脸、掌纹、虹膜、指纹均可作为人物识别的方式.所以可以采用从多种渠道得到的信息与现有的步态信息融合,以提高识别的精确度.
[1] 郑方, 艾斯卡尔·肉孜, 王仁宇,等. 生物特征识别技术综述[J]. 信息安全研究, 2016, 2(1):12-26.
[2] 胡荣. 人体步态识别研究[D]. 武汉:华中科技大学, 2010.
[3] NIYOGI S A, ADELSON E H. Analyzing gait with spatiotemporal surfaces[C]// Motion of Non-Rigid and Articulated Objects, 1994. Proceedings of the 1994 IEEE Workshop on IEEE, 1994:64-69.
[4] 陈春艳. 基于确定学习的步态快速识别系统设计[D]. 广州:华南理工大学, 2013.
[5] 顾磊. 基于图像序列的人体步态识别方法研究[D].南京:南京理工大学, 2008.
[6] 林尔东, 姚志明, 郑重,等. 一种改进的基于地面反作用力的步态识别方法[J]. 模式识别与人工智能, 2011, 24(3):353-359.
[7] 杨旗, 薛定宇. 动静态信息融合及动态贝叶斯网络的步态识别[J]. 中国图象图形学报, 2012, 17(7):783-790.
[8] 赵永伟, 张二虎, 鲁继文,等. 多特征和多视角信息融合的步态识别[J]. 中国图象图形学报, 2009, 14(3):388-393.
[9] 余涛, 邹建华. 基于Bayes规则与HMM相结合的步态识别方法研究[J]. 计算机学报, 2012, 35(2):386-396.
[10]王浩, 范媛媛, 方宝富. 基于轮廓分析的广义步态识别算法研究[J]. 小型微型计算机系统, 2016(7).
[11]商磊, 张宇, 李平. 基于密集光流的步态识别[J]. 大连理工大学学报, 2016, 56(2):214-220.
[12]杨旗, 薛定宇. 基于双尺度动态贝叶斯网络及多信息融合的步态识别[J]. 电子与信息学报, 2012, 34(5):1148-1153.
[13]贲晛烨, 安实, 王健,等. 基于线性插值的张量步态识别算法[J]. 计算机应用研究, 2012, 29(1):355-358.
[14]卢官明, 衣美佳. 步态识别关键技术研究[J]. 计算机技术与发展, 2015(7):100-106.
[15]胡帅. 复杂场景下步态识别技术研究[D]. 哈尔滨:哈尔滨工程大学, 2013.
[16]HE WEIHUA, LI PING. Gait recognition using the temporal information of leg angles[C]//Proceedings of 2010 third IEEE international conference on computer science and information technology, Chengdu, 2010: 78-83.
[17]YOO JANG-HEE, MARKER N. Automated markerless analysis of human gait motion for recognition and classification[J].ETRI Journal, 2011, 33(2) : 259-266.
[18]钟兴志, 王晨升, 刘丰,等. 步态识别综述[J]. 软件, 2013, 34(4):160-164.
[19]王欣. 基于卷积神经网络与足底压力信息的步态识别[D]. 合肥:安徽大学, 2015.
[20]曾玮. 基于确定学习理论的人体步态识别研究[D]. 广州:华南理工大学, 2012.
[21]陈江城, 张小栋, 尹贵. 基于表面肌电信号的人体步态事件快速识别方法[J]. 中国机械工程, 2016, 27(7):911-916.
[22]石欣, 雷璐宁, 熊庆宇. 基于二次特征提取与SVM的异常步态识别[J]. 仪器仪表学报, 2011, 32(3):673-677.
[23]薛召军, 李佳, 明东,等. 基于支持向量机的步态识别新方法[J]. 天津大学学报(自然科学与工程技术版), 2007, 40(1):78-82.
[24]LU J , ZHANG E. Gait recognition for human identification based on ICA and fuzzy SVM through multiple views fusion[J].Pattern Recognition Letters,2007,28(16):2401-2411.
[25]夏懿, 马祖长, 姚志明,等. 基于足底压力分布时空HOG特征的步态识别方法[J]. 模式识别与人工智能, 2013, 26(6):529-536.
[26]赵永伟, 张二虎, 鲁继文,等. 多特征和多视角信息融合的步态识别[J]. 中国图象图形学报, 2009, 14(3):388-393.
ReviewonGaitRecognitionTechnology
ZHEN Qianqian1, ZHANG Tingliang2
(1.SchoolofSoftware,AnyangNormalUniversity,Anyang455000,China; 2.SchoolofElectronicInformationandElectricalEngineering,AnyangInstituteofTechnology,Anyang455000,China)
Gait recognition is one of the important research topics in the field of biometrics, which is a way of recognizing human identity through human walking. Firstly, introduces the background and significance of gait recognition. Secondly, introduces the present research situation of gait division, feature extraction and gait recognition. Finally, analyzes the research difficulties and future development trend of gait recognition.
biometrics recognition; gait recognition; feature extraction; classifier
2017-04-19
甄倩倩(1988—),女,河南开封人,安阳师范学院软件学院教师.
10.3969/j.issn.1007-0834.2017.02.005
TP391
:A
:1007-0834(2017)02-0016-04