基于频谱分析的Procrustes统计步态识别算法

杨静，阮秋琦，李小利

(1.北京交通大学信息科学研究所，北京 100044;2.北京交通大学现代信息科学与网络技术北京市重点实验室，北京 100044)

基于频谱分析的Procrustes统计步态识别算法

杨静1，2，阮秋琦1，李小利1，2

(1.北京交通大学信息科学研究所，北京 100044;2.北京交通大学现代信息科学与网络技术北京市重点实验室，北京 100044)

在信息安全越加重要的现代社会，步态识别以其特有的优势作为一种身份识别手段，得到了很多关注.提出一种基于Procrustes均值形状的傅里叶频谱分析(FSAOPMS)的适用于多视角的步态识别方法.利用Procrustes统计形状分析方法将步态序列中人体轮廓的连续步态变化表示成一个紧致的Procrustes均值形状(PMS)，将PMS作为原始步态特征，对PMS进行傅里叶频谱分析(FSA).计算不同步态序列的PMS幅度谱的欧式距离，利用最近邻(NN)分类器进行识别.在中国科学院自动化所的CASIA Gait Database数据库上进行了实验，与其他3种方法进行了比较，新方法具有很高的识别率，证明了该算法的有效性.

步态识别;Procrustes统计形状分析;Procrustes均值形状(PMS);傅里叶频谱分析(FSA);多视角识别

生物特征识别技术作为一种身份识别手段，已成为国际上的研究热点，对信息安全有重要研究意义.步态识别就是根据人走路的姿态进行识别，步态识别以其固有的优势受到越来越多的关注，其中优势有:非入侵性、难以隐藏性、用户接受程度高，因此也涌现了大量的步态识别算法.算法大概可以分为2种:基于模型和非模型的方法.其中基于模型的方法，首先要建立模型，将模型和图像序列进行匹配来获得模型参数，使用这些参数作为步态特征进行分类，如 Cunado 等［1］的钟摆模型，Lee 等［2］的椭圆模型，Yoo［3］的摆角模型等;非模型的方法，主要是根据人体目标移动时所产生时空模式的各类统计值来提取特征，如Yang等［4］提出的步态能量图算法，王亮等［5］提出的 Procrustes均值形状(Procrustes mean shape，PMS)分析法，韩［6］提出的傅里叶算子分析法.

基于模型的方法计算复杂，而基于非模型的方法通常局限于一种特定的特征表示方法，且不能实现多视角的步态识别.受王亮［5］和韩［6］的启发，本文先利用Procrustes统计形状分析获得步态序列的均值形状(PMS)作为初级步态特征.然后，对PMS进行傅里叶频谱分析，将PMS的幅度谱做为最终的特征，通过欧式距离来表征2个序列之间的相似性.在CASIA DataBase B数据库上进行了实验，并与王亮的 PMS［5］、张元元的 PMS+TAF［7］、高海燕的关键帧傅里叶变换(FFT of key frames)［8］3种方法进行比较，证明了提出的算法能够实现多视角下的高识别率.

1 预处理

在进行特征提取之前需要做一些预处理工作.预处理阶段需要进行人体运动目标的提取，常用的方法有背景减除法、时间差分法、光流法等.基于算法复杂性和检测有效性的考虑，采用背景减除的方法进行运动区域分割.首先，利用背景减除算法，取合适的阈值得到二值化的运动目标区域，通常，二值化后的运动区域可能会出现空洞、噪声点，如图1(c).然后，采用图像形态学的方法和单连通分量分析可以得到单连通的运动目标，如图1(d).

图1 预处理结果Fig.1 The results of the preprocessing

2 新步态识别算法

运动轮廓随时间的变化，是决定人运动特征的一个重要线索.因此采用了轮廓这一特征来表征人体步态运动特征，为了保留序列中多帧图像的轮廓信息，需要有一种统计表达方法来表示.Procrustes形状分析法［9］是方向统计学中一种特别流行的方法，它非常适用于编码2维形状，并且提供了一种很好的工具来寻找一组形状的紧致表达——均值形状.

Wang［5］定义了PMS的相似度测量，实验证明，此度量方法不能很好地区分PMS之间的相似度.为了更好地测量，需要得到有关PMS的更多信息，包括PMS的整体轮廓信息和一些细节信息，这就需要有一种方法，能够同时表示这2种信息.傅里叶频谱分析正是这样一个非常有利的工具，频谱的低频部分包含了轮廓的整体信息，而高频部分则包含了细节信息.

根据以上的理论基础，因此采用Procrustes均值形状的傅里叶频谱分析(Fourier spectrum analysis of Procrustes mean shape，FSAOPMS)，来研究步态识别.

CASIA数据库B提供了以下11个(0°～180°)运动视角的步态数据库，如图2.利用此数据库来研究多视角的步态识别.

图2 11个视角下的图像Fig.2 The images of 11 different views

2.1 提取轮廓线并采样

2.1.1 轮廓的提取——Canny算子

Canny算子［10］是一种比较新的边缘检测算子，具有很好的边缘检测性能，不容易受噪声干扰，能够检测到真正的弱边缘，而且使用2种不同的阈值能分别检测强边缘和弱边缘，并且当弱边缘和强边缘相连时，才将弱边缘包含在输出图像中.Canny边缘检测算子的基本算法分为3个步骤:1)对图像选择一定的高斯滤波器进行平滑滤波.2)采用非极值抑制(non－maxima suppression)技术对平滑后的图像进行处理.非极值抑制技术就是:计算平滑后图像的每个像素处的梯度幅值和方向，梯度方向用来细化边缘，如果像素响应高于梯度方向上它的两相邻点的像素，其值则保留，否则抑制该像素.3)选择跟踪具有高幅值的轮廓，最后选择满足高阈值和低阈值的像素点做为初始点，按顺序跟踪连续的轮廓段.从本质上讲，Canny边缘检测算子属于具有平滑功能的一阶微分算子，采样结果如图3(b)所示.

2.1.2 轮廓采样

为了对提取的轮廓线进行Procrustes统计形状分析，需要将二维的轮廓图像表示成一个一维的向量，鉴于轮廓的像素点数都不一致，所以本文采用轮廓采样法，提取边缘上的256个点.本文开始采用等角度采样的方法，结果如图3(c)，但是效果不理想，因此采用分区域定点采样的方法［8］.分区域定点采样方法的基本思想，就是先计算出轮廓的质心，以此质心作为直角坐标系的原点，边缘上的像素点也就有了相应的直角坐标;然后，将边缘上的像素点进行坐标变换，变成在极坐标下的形式;最后，对轮廓进行分区域等间隔采样.其中，将人体分成头肩区(72°～108°)、腿脚区(252°～288°)和躯干区(其余的部分)3个区域，如图3(a)所示.

理论上质心计算方法如式(1):

式中:N是边缘像素点的个数;(xm，ym)是边缘点的坐标.由于这种计算质心的方法有时候不能准确地表现质心，所以，本文提出一种新的计算质心的方法，取轮廓的外接矩形的中心作为轮廓的质心，如式(2):

式中:l、r、t、b是轮廓的外接矩形的左、右、上、下边在直角坐标系中的位置.

采样间隔如式(3)～(5)所示，头肩区采样间隔为

腿脚区采样间隔为

躯干区采样间隔为

本文根据经验知识取N1=N2=80，N3=48，采样结果如图3(d).

图3 采样图像Fig.3 The images of sampling results

2.2 Procrustes均值形状

一帧目标图像在提取轮廓和进行采样后，就得到了这个轮廓的一维向量表示.由于在采样的过程中，是从x轴逆时针开始的，于是每帧图像的一维向量的每个元素都是基本对应的，这样就做到了采样点匹配.将向量的元素进行逆变换——极坐标到直角坐标的转换，再将每个形状表示成一个复数向量，称为配置向量:

式中:ui=xi+jyi，(xi，yi)是采样后的轮廓坐标，如图3(d).当给定的一个步态序列含有n帧图像时，就可以得到n个这样的复数向量.

得到这n个配置向量之后，就可以利用Procrustes形状分析来得到序列的均值形状为了计算¯U，首先计算配置矩阵:

综上所述，计算 PMS［5］的步骤如下.

1)得到运动目标的轮廓之后，进行分区域定点采样［8］，本文采256个点，用这些采样点将每个轮廓表示成一个复数向量Ui(i=1，2，…，n)，n是一个步态序列中的有效帧数.

2)计算配置矩阵S.

3)计算配置矩阵S的最大特征值对应的特征向量，即为均值形状

图4 所示 5 个视角 (0°、54°、90°、144°、180°)下的PMS，从图4可以看出，在相同视角下，同一个运动目标的3个样本(3种不同线型所示)对应的PMS是非常相近的，不同运动目标的PMS则有很大的区别，因此，实验结果证明，可以用PMS来描述人体步态特征.

图4 序列的PMS图，以及PMS的幅度频谱图Fig.4 The PMS of different sequences，and their spectrum

2.3 特征提取——PMS的傅里叶频谱分析(FSAOPMS)

在 Wang的算法［5］中，配置向量 U1、U2之间的Procrustes距离定义为

式中:0≤d(U1，U2)≤1，以此来作为2个序列PMS之间的差别，此值越小表明这2个序列中的目标越相似，反之则越不相似.

由于这种计算相似性的方法不是那么准确，所以，本文提出了利用傅里叶频谱分析来计算配置向量之间的相似性.

离散傅里叶变换为［11］

逆变换为［12］

离散傅里叶变换是可逆线性变换，其相位代表旋转等信息，幅度分量代表形状信息，且高频分量对应一些细节，低频分量对应整体形状信息.所以可以通过分析PMS的频谱分量，来确定2个PMS的相似程度，相似程度以幅度谱的欧式距离来表征.

从图4可以看到，同一个目标的不同样本的PMS频谱中，低频和高频几乎完全一致;但是不同目标样本的PMS频谱中，低频和高频则有很大的区别.因此，本文提出的以PMS作为一种初级特征，再将对PMS进行傅里叶频谱分析的结果作为序列的最终特征，是一种非常可行的办法.

3 步态识别实验

3.1 步态识别试验设计

中国科学院自动化所的CASIA步态数据库中，有3个数据集:Dataset A(小规模库 NLPR)、Dataset B(多视角库)和Dataset C(红外库).其中Dataset B是一个大规模的，有多个视角的步态数据库，共有124 个人，每个人有 11 个视角(0°，18°，36°，…，180°)，分别在3种运动条件下(普通条件、穿大衣、携带包裹条件)采集，相同视角下，每个人在普通条件下有6个图像序列，其他条件下各2个序列，每个视频序列包含2～3个步态周期，这些彩色视频序列的帧率是25帧/s，图像尺寸为320×240像素，长度也都在100帧左右.

本文选用Dataset B(多视角库)作为原始实验数据，从中选取20个人，每个人有11个视角，在每个视角下选取普通运动条件下的6个图像序列.11个视角分别单独进行实验，在每个视角下，将20个人在普通运动条件下的6个图像序列分成6组，每组中包含20个图像序列.每次实验都让其中5组作为训练数据，另1组作为待识别的数据，每个视角下共进行6次实验，取6次实验的平均值，作为当前视角下的识别率，共要进行11×6=66次实验.

识别的整个过程主要分为3个步骤:预处理、特征提取、识别，如图5所示.

图5 步态识别算法流程Fig.5 Gait recognition algorithm flow chart

为了证明提出算法的有效性，又与另外3种方法进行了对比，分别是 PMS［5］、PMS+TAF［7］、关键帧 FFT［8］，所以实验次数为 4 ×66=264.值得说明的是，要得到关键帧，必须先要得到步态周期，为了让周期检测方法适合所有的视角，在进行实验时，采用的是图像的宽高比［12］，然后进行了自相关运算，这与文献［8］的方法不一样.本文采用了最近邻法(NN)这个分类器进行最后的识别，以识别的正确率来表征算法的优略性.

3.2 步态识别实验结果及分析

3.2.1 实验结果

实验结果如表1和图6所示.从中可以看到，本文提出的方法有很高的识别率，在11个视角下的平均识别率是91.97%，大于90%，而且其在所有视角下有比较稳定的识别率，对正面、侧面、背面的识别率都很高.PMS的平均正确识别率是76.59%，在11个视角下的识别率不稳定，最高的识别率是85.83%，最低的只有69.17%，其在侧面的识别率比正面和背面的识别率要高，不适合多视角步态识别.PMS+TAF的平均正确识别率是85.38%，在11个视角下的识别率也不稳定，最高的识别率是95%，最低的只有74.17%.关键帧的傅里叶分析的平均正确识别率最低，只有69.92%，在11个视角下的识别率也是不稳定的，最高的识别率是83.30%，最低的只有50.83%，其在侧面的识别率要比正面和背面的识别率要高，但对正面和背面的识别率很低，同样不适合多视角步态识别.

图6 在11个视角下4种算法的正确识别率Fig.6 The correct recognition rate of four different methods at 11 angles

表1 在11个视角下4种算法的正确识别率Table 1 The correct recognition of four different algorithms on 11angles

3.2.2 实验分析

从表1和图6中可以看到，本文提出的方法有很高的识别率，相比于其他3种算法有更好的优势.其原因在于:1)PMS是统计特性，是一段视频中运动人体的紧致平均表示，PMS的傅里叶频谱中，低频部分表示了整个轮廓的信息，高频部分主要表现了一些运动的细节信息，这样一来特征包括得比较完整，识别率就相应地提高了;2)PMS进行步态识别只考虑到了整体的信息，忽略了局部的信息;而PMS+TAF只考虑了形状的局部轮廓信息，没有考虑整体信息;关键帧进行傅里叶变换只考虑了关键帧的信息，对一个周期中的其他帧没有考虑.因此，这3种方法的识别率都没有新提出方法的识别率高.

4 结束语

本文提出了一种利用FSAOPMS来表征人的步态特征信息的算法.其创新点就是将Procrustes统计分析方法和傅里叶频谱分析方法有效地结合在一起.Procrustes统计分析方法是基于统计学的方法，此法可以得到一段视频中的多帧图像的有效信息，信息遗漏相对来说更少，利用Procrustes统计分析方法得到PMS.PMS的相似性在时域度量比较困难，但是傅里叶频谱分析非常善于分析在时域中不明显的一些特征;所以，可以利用傅里叶频谱分析PMS，所得幅度谱中的低频部分包含了PMS的整体轮廓信息，高频部分包含了PMS的细节信息，以其幅度谱之间的欧式距离作为PMS的相似度测量进行识别.在CASIA Database B上进行了实验，与其他3种方法进行了对比，证明了提出的方法在多视角步态识别中的优越性.

针对未来步态识别的研究，重点是发掘更本质的特征，同时采用多特征融合技术，从而使提取的步态特征能够更完整地表达运动本质.

［1］CUNADO D，NIXON M S，CARTER J N.Using gait as a biometric，via phase－weighted magnitude spectra［C］//Proceedings of the International Conference on Audio and Video－based Biometric Person Authentication.Crans－Montana，Switzerland，1997:95－102.

［2］LEE L.Gait analysis for recognition and classification［C］//Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition.Washington，DC，USA，2002:148－155.

［3］YOO J H，NIXON M，HARRIS C J.Extracting human gait signatures by body segment properties［C］//IEEE Southwest Symposium on Image Analysis and Interpretation.Sante Fe，USA，2002:35－39.

［4］YANG X，ZHOU Y，ZHANG T，et al.Gabor phase based gait recognition［J］.Electronics Letters，2008:44(10):620－621.

［5］WANG Liang，TAN Tieniu，HU Weiming，et al.Automatic gait recognition based on statistical shape analysis［J］.IEEE Transactions on Image Processing，2003，12(9):1120－1131.

［6］韩鸿哲，李彬，王志良，等.基于傅立叶描述子的步态识别［J］.计算机工程，2005，31(2):48－49，162.

HAN Hongzhe，LI Bin，WANG Zhiliang，et al.Gait recognition based on Fourier descriptors［J］.Computer Engineering，2005，31(2):48－49，162.

［7］张元元，吴晓娟，阮秋琦.基于切向角特征的统计步态识别［J］.模式识别与人工智能，2010，23(4):539－545.

ZHANG Yuanyuan，WU Xiaojuan，RUAN Qiuqi.Statistical gait recognition based on tangent angle features［J］.Pattern Recognition and Artificial Intelligence，2010，23(4):539－545.

［8］高海燕.正面步态特征提取方法研究［D］.北京:北京交通大学，2009:57－63.

GAO Haiyan.Researches on front－view gait feature extraction［D］.Beijing:Beijing Jiaotong University，2009:57－63.

［9］赵永伟，张二虎.多特征和多视角信息融合的步态识别［J］.中国图象图形学报，2009，14(3):388－393.

ZHAO Yongwei，ZHANG Erhu.Gait recognition via multiple features and views information fusion［J］.Journal of Image and Graphics，2009，14(3):388－393.

［10］阮秋琦.数字图像处理［M］.北京:电子工业出版社，2007:204－209.

RUAN Qiuqi.Digital image processing［M］.Beijing:E－lectronic Industry Press，2007:204－209.

［11］程佩青.数字信号处理［M］.北京:清华大学出版社，2009:98－193.

CHENG Peiqing.Digital signal processing［M］.Beijing:Tsinghua University Press，2009:98－193.

［12］KUSAKUNNIRAN W，WU Qiang，ZHANG Jian，et al.Multi－view gait recognition based on motion regression using multilayer perceptron［C］//Proceedings of the IEEE International Conference on Pattern Recognition.Washington，DC，USA:IEEE Computer Society，2010:2186－2189.

杨静，女，1987年生，硕士研究生，主要研究方向为图像处理与模式识别.

阮秋琦，男，1944年生，教授，博士生导师，北京交通大学信息科学研究所所长，国务院学位委员会学科评议组成员，IEEE高级会员.主要研究方向为图像处理、计算机视觉、模式识别、虚拟现实.曾承担国家自然科学基金重大项目，国家自然科学基金项目，国家“863”项目，铁道部、省、市级科研项目50余项.曾获国家教委科技进步二等奖、铁道部科技进步二等奖和三等奖等.发表学术论文350余篇，出版著作3部，获国家专利1项.

李小利，女，1986年生，博士研究生，主要研究方向为图像处理与模式识别.

A Procrustes statistical gait recognition algorithm based on spectrum analysis

YANG Jing1，2，RUAN Qiuqi1，LI Xiaoli1，2

(1.Institute of Information Science，Beijing Jiaotong University，Beijing 100044，China;2.Beijing Key Laboratory of Advanced Information Science and Network Technology，Beijing Jiaotong University，Beijing 100044，China)

As a special means of identification，gait recognition has acquired a lot of attention in a modern society in which information security has become increasingly important.A multi－view gait recognition algorithm based on the Fourier spectrum analysis of Procrustes mean shape(FSAOPMS)was proposed in this paper.Procrustes shape analysis was used to produce a compact Procrustes mean shape(PMS)from the continuous gesture variation of human body contours in gait sequences.The spectrum of the PMS was analyzed using the Fourier transformation，and the Euclidean distance of the amplitude spectrum of the PMS from various sequences was computed.The classifier was the nearest neighbor(NN).The results of comparison with the other three methods in the CASIA database show that the proposed algorithm is more effective in terms of the recognition accuracy.

gait recognition;Procrustes statistical shape analysis;Procrustes mean shape(PMS);Fourier spectrum analysis(FSA);multi－view recognition

TP391.4

A

1673－4785(2011)05－0432－08

10.3969/j.issn.1673－4785.2011.05.007

2011－02－28.

国家自然科学基金资助项目(60973060).

杨静.E－mail:jingyangsxh@gmail.com.