基于特征融合的步态识别研究

陈心浩,黄正华,高智勇,朱小祥

(1中南民族大学电子信息工程学院,武汉430074;2武汉软件工程职业学院电子系,武汉430205)

基于特征融合的步态识别研究

陈心浩1,黄正华1,高智勇1,朱小祥2

(1中南民族大学电子信息工程学院,武汉430074;2武汉软件工程职业学院电子系,武汉430205)

提取了膝关节的速度距和路径距,膝关节到脚踝关节的距离作为步态特征,这些特征分别描述了步态的动态信息和静态信息.将这些特征融合得到了较全面的步态信息,利用融合特征进行步态识别,提高了步态的识别率.

步态识别;特征融合;速度距;路径距

生物特征识别技术是利用人自身所具有的生理或行为特征进行身份鉴别.步态作为一种生物特征,它具有非侵犯性、远距离识别、对系统分辨率要求低、难以隐藏性等特性.它不仅克服了传统的生物特征的缺陷,而且对设备的要求相对较低,从而使得它在各个领域(比如人机接口、视频监控以及医疗诊断等)的应用更为广泛.

步态识别是通过人走路的方式来识别人的身份.它的过程主要包括3个部分:步态轮廓的提取、步态特征的提取和分类器设计.其中影响步态识别率的最主要的环节是步态的特征提取.因此,提取出有效而可靠的步态特征是步态识别中至关重要的.

目前,所提取有效的步态特征有很多种,大致可以分为几何特征和代数特征.几何特征是根据轮廓直接提取或者对局部提取具有代表性的特征,而对步态特征所提取的方式又可以把步态的几何特征划分为步态的非模型化特征和步态的模型化特征.(1)非模型化特征是通过人体轮廓本身的变化而直接提取描述轮廓整体变化的特征或者局部特征.主要有:王亮等[1]利用人的二值化图像的中心到轮廓边界的距离作为特征进行了实验.耿磊等[2]利用踝关节轨迹提取特征进行身份识别,等等.非模型化特征的优点在于表征了步态随时间变化的动态信息,即随着时间的变化,步态的某些关节部位是随着时间呈现准周期性变化的.(2)模型化特征是根据人的生理结构特征模拟成相应的模块进行特征提取.主要有:L ee等[3]采用7个椭圆表达人的侧面二值化图像的身体的不同部分,每一个椭圆用质心等四个特征表示加上整个身体图像的质心的高度一共29个特征表示整个人体侧面图像,通过模板匹配方法进行步态识别,等等.模型化特征的提取是从人的生理结构特性进行提取的,主要侧重于步态的静态信息,而步态的动态信息没有明显的表达出来.

代数特征是提取步态的相关信息后,然后根据某种变换或者统计提取特征描述步态.主要有:Huang PS等[4]对于利用不同的时空域模板进行步态识别作了比较.L ittle J和Boyd J[5]利用步态序列图像的光流的频率和相位信息进行步态识别,等等.

综上所述,不管是提取步态的几何特征,还是提取代数特征,都是为了更准确地识别人的身份.两者对比而言,几何特征不仅仅更直观地描述了步态的整个过程,而且避免了代数特征因变换或者统计所带来的误差.而一个完整的步态不仅包含步态本身所特有的特性(静态信息),而且包含步态运动的空间信息.因此,采用步态的静态信息和动态信息相结合可望得出更好的结果.

1 步态识别过程

一个完整的步态识别过程大致可以分为:步态提取、特征提取和识别.本文侧重点是对步态进行特征提取和步态特征融合,因此,对步态的准周期性特征进行了较详细的分析,同时也对本文所提取的动态特征和静态特征进行了分析,文中对步态提取等过程作了简单的描述.

1.1 背景重建与步态提取

采用相邻帧相差法,从图像序列中恢复背景图像.对图像序列{f(k,x,y)}(其中k=1,…,N),可以利用两帧相差提取出k、k+1帧中的共同背景子区域b(k,k+1,x,y),利用同样的方法可以提取出k+1,k+2帧中共同背景子区域b(k+1,k+2,x,y),…,而N-1,N帧的共同背景b(N-1,N,x,y)则可以利用如下的公式来逼近、重建背景.其中“∪”为图像拼接算子,表示将k、k+1帧中共同背景b(k,k+1,x,y)拼接到已估计的背景B(x,y)中.

采用背景减除算法[1],求得人的轮廓图.假定B(x,y)和f(k,x,y)分别是背景图像和当前图像,那么I(k,x,y)=f(k,x,y)-B(x,y).为减除背景后的图像,对其进行二值化处理,并利用形态学算子进一步滤除噪声和填充小的空洞以得到较理想的步态轮廓.图1是背景减除法所得目标二值化图像过程.

1.2 步态的周期性分析

图1 步态二值化图像的过程Fig.1 Gait binary image process

根据步态运动规律可知,人在行走的过程中,肢体的摆动和人体的质心是呈现一定周期性的.众所周知,引起整个轮廓质心变化的根源不在髋关节上部分,在于两腿的不停的摆动引起质心不停的变化.因此,采用髋关节下部分的质心来描述步态的周期性,不仅比较容易实现,而且计算量少,使得误差也降低了.

如果以髋关节下部分的质心来描述步态,以两腿张开最大角度为起始点,此时其质心是最低点;随着肢体的摆动和重心的变化,两腿并合时步态的质心为最高点,并以此并合点步态对称;质心慢慢降低,当下一个两腿张开最大角度最大时,质心又达到最低点,这意味着一个步态结束.这个过程可以称为步态的周期特性.通过对N L PR数据库视频系列进行分析,我们发现该系列同一步态的周期可以用6帧图像来描述,图2是其中一个视频的归一化质心纵坐标随帧变化的情况,尽管曲线值有些波动,但是步态所具有的准周期性还是较为明显的.

图2 步态的准周期性原始数据Fig.2 Gait periodically raw data

1.3 特征提取

步态特征在步态识别过程中起着至关重要的作用,步态特征的有效性与可靠性直接影响整个工程的可信度.因此,选取什么样的步态特征来描述步态的整个过程是很关键的.

目前,步态周期性的描述主要有:步态的高宽比、步态整个轮廓的质心和步态的脚间距.本文采用髋关节以下部分的质心来描述步态的准周期性,它是一种新颖的步态准周期性描述方法,不仅计算量少,而且具有比较好的鲁棒性,周期性也较明显,具体如图2所示.而步态作为研究对象,根据其生理结构特性,其因人而异,采用步态的踝关节到膝关节的距离描述步态的静态信息反映了步态的这一特性.一个完整的步态过程是一个动态的过程,提取出步态的动态特征是一个步态过程得到完整描述的关键.膝关节作为步态的运动支点,用其运动轨迹信息(速度距和路径距)描述步态的动态信息是可行的.这样,一个步态的动静信息结合能准确的描述步态,使得步态特征更具有可靠性.

本文是对髋关节以下部分进行研究,对于怎样精确划分确定髋关节以下部分,目前还没有一个很好的方法,一般是根据统计的方法划分,文献[6]很形象的划分了一个步态的生理结构特性.我们采用同样的方法来确定髋关节以下部分:根据解剖学特点计算单帧步态的高度h,然后提取步态高度的43%(即0.43h)作为研究对象.结合步态周期性分析,提取反映步态静态信息的特征和动态信息的特征.其具体步骤如下.

(1)确定每个步态序列的踝关节到膝关节的距离L0.一般情况下,每个人的踝关节到膝关节的距离是不相同的,而每个人的生理结构基本是不会发生变化的,因此选择它作为静态特征具有很强的说服力.

(2)求对象的质心.对于一个步态序列,人体的髋关节上部分所包含的运动信息相对较少,这样,对于本实验而言研究意义相对较小.因此,文章将求取整个步态轮廓的质心转移到求取髋关节下部分的质心,不仅减小了计算量,避免误差的同时,而且描述更精确.

其中,(Xc,Yc)是对象的质心坐标,N是前景图像像素总数,(Xi,Yi)是前景图像的像素点.

(3)求取膝关节的位置坐标P(x,y).根据前面求取的踝关节到膝关节的距离L0判定膝关节的大概位置.若有多个点,则取其平均值.该方法对裤子的影响具有鲁棒性,原因是裤子对膝关节弯曲部位影响不大.

(4)求取第幅图像脚踝的位置坐标相对于均值的偏移:

其中,N是一个序列的帧数,P(i)x是序列第i幅图像膝关节的x坐标(注:坐标系选取图像的左上角为原点,x轴向下,y轴向右),D(i)x是序列中第i幅图像膝关节的x坐标相对于均值的偏移,即膝关节运动的幅度.

(5)归一化.

归一化处理是为了消除图像尺度、信号长度对训练和识别过程的影响.

(6)一个周期内的膝关节的2个归一化的幅度向量D(i)x、D(i)y.则描述步态动态信息的2个特征表示如下:

1)速度距Sm.

2)路径距L.

其中M为一个周期的步态帧数.路径的距离可以用于度量路径的一致性.

这样就得到了作为识别的两个度量Sm和L,它们从时空方面反映膝关节的运动轨迹.

综上所述,对于每个步态我们可以将单帧步态的静态特征和动态特征融合成一个矩阵c′=[L0,Sm,L],然后将一个步态序列融合成一个以列代表单帧步态的矩阵,其中矩阵的最大列为步态的周期.

1.4 步态识别算法

步态识别分类算法有很多,如NN 算法[1]、SVM算法[3]等,不同的算法对识别效果有一定的影响.本文的侧重点是研究融合特征的有效性,因此采用简单易用的NN分类器算法进行了实验.

2 实验结果分析

本文在文献[2]的基础上进行改进,利用NN算法在NL PR数据库上面进行了实验验证.它包含20个人,每人3个视角(侧面视角0°,倾斜视角45°,正面视角90°),每视角4个序列,共240个步态序列.本实验选取了其中的15个人,采用侧面视角序列做实验,在数据库上进行了大量的实验.得到了如表1所示结果.

表1 不同类的识别率(0视角)Tab.1 Recognition rate of different classification(zero angle)

表中类别表示的是人数.从表1可以看出,所提取的步态特征对于不同的步态识别任务都取得了比较好的识别率,这说明了步态的静态特征和动态特征的融合在识别过程中是有效的.而随着类别的增加,识别率有所下降,这可能是由于分类的影响,对于多类别识别问题,需要要选择更合适、更复杂的分类器进行识别.

与其他文献步态识别算法的比较结果如表2所示.从表2可以看出,采用特征融合可以提高步态识别率.文献[1]采用整个轮廓为研究对象提取特征,虽然也包含了步态的动态信息和静态信息,但是混入了在步态运动中的不变区域,这些区域在不同类别之间差异性不大,这样不仅在提取步态特征增加了计算量,而且使得分类器在进行类别分类时误差加大,从而影响识了别率;文献[2]在文献[1]的基础上有所改进,它从步态运动过程中所特有的特性出来,去除了识别过程中不相干的区域,提取描述步态的运动轨迹的特征,但这些特征只包含了步态的动态信息,虽然识别率相比文献[1]有所提高,但是仍待提高.而本文从人的生理特性出发,引入步态的静态信息,在文献[2]的基础上进行改进,并且得到了比较好的识别率,如表2.

表2 不同算法的结果比较Tab.2 Results of different algorithm s

在特征抽取时间上,本实验所抽取的特征相比于文献[1]和文献[3]等少得多.因此,特征抽取时间也相应减少,识别时间也小.

3 结束语

在不考虑光照、阴影等的影响下,研究了静止背景下人体步态的检测以及基于步态的人的身份识别.通过对步态的分析,可以得到以周期性描述的步态特征.以髋关节以下部分的特征进行步态识别不仅可以降低计算量,而且可以减少特征提取处理带来的累积误差.采用反映步态静态信息的膝关节到踝关节距离和反映动态信息的速度距和路径距相结合所得到的融合特征对步态识别效果有明显的提高,可以取得较好的识别效果.

由于实验主要针对在0角度方向的识别,对其他角度的步态识别需要进行更深入的研究,同时对于影响步态识别的遮挡、光线、速度以及角度等问题,也需要寻找更具代表性的步态融合特征,以提高复杂条件下步态识别的准确率.

[1]王 亮,胡卫明,谭铁牛.基于步态的身份识别[J].计算机学报,2003(3):2-4.

[2]耿 磊,吴晓娟,张 恒.基于踝关节轨迹的身份识别算法[J].电子技术应用,2006,32(5):3-5.

[3]Lee Lily.Gait analysis for classification[R].Massachusetts: A Technical Report 2003-014,Massachusetts Institute of Technology-artificial Intelligence Laboratory,2003:83-84.

[4]Huang P S,N ixon M S,Harris C J.Recognition humans by gait via parametric canonical space[J].A rtificial Intelligence in Engineering,1999,13(4):359-366.

[5]Little J,Boyd J.Recognizing people by their gait:the shape of motion[J].Journal of Computer Vision Research,the MIT Press,1998,1(2):5-7.

[6]刘玉栋,苏开娜,马 丽.一种基于模型的步态识别方法[J].计算机应用,2005(9):1-2.

The Research of Gait Recogn ition Based on Feature Fusion

Chen Xinhao1,Huang Zhenghua1,Gao Zhiyong1,Zhu X iao xiang2
(1 College of Electronics and Information Engineering,South-CentralU niversity for Nationalities,Wuhan 430074,China;2 Dept of Electronics,Wuhan Vocational College of Software Engineering,Wuhan Hubei 430205,China)

In this paper,the spped-torque and distance-torque of knee and the distance from knee to ankle,which represent the motion information and the static properties of gait,respectively,were extracted and merged.Consequently,overall information of gait was obtained and could be used for gait recognition,and this method increases the recognition rate and is better than other methods.

gait recognition;feature fusion;speed-torque;distance-torque

TP391

A

1672-4321(2010)01-0088-04

2010-02-01

陈心浩(1968-),男,副教授,硕士,研究方向:微弱信号检测,E-mail:xinhaochen@189.cn

国家民委自然科学基金资助项目(M ZZ04004)