基于随机森林和RankSVM优化的行人识别方法

王 迪,陈岳林,蔡晓东,王丽娟

(桂林电子科技大学 机械工程学院，广西 桂林541004)

基于随机森林和RankSVM优化的行人识别方法

王 迪,陈岳林,蔡晓东,王丽娟

(桂林电子科技大学 机械工程学院，广西 桂林541004)

针对卡口环境及大样本情况下，基于样本数据量大时对测试图像使用RankSVM排名结果会很靠后，提出了一种新的基于随机森林和RankSVM的行人识别方法RF-SVM(RondomForest SVM)。首先，单个训练样本提取多维特征向量，经K-means算法将所有训练样本的特征向量聚类，根据随机森林得到测试目标的预测类别，在此类范围内采用RankSVM算法，将相似度排名顺序作为行人识别结果。与传统方法相比，引用了随机森林预测分类的方法，避免了测试图像与全体样本进行相似度匹配，仅在预测到的类别中使用RankSVM，这样得到的既准确又相对单一的RankSVM排名结果更靠前，聚类算法结合随机森林起到一个对样本数据初筛的作用。基于VIPeR样本库的实验证明，该方法对行人姿态变化具有鲁棒性，相比MCC与RankSVM等文中实验列举的传统算法识别准确率高。

随机森林;RankSVM;RF-SVM;K-means算法

1 行人识别方法

行人识别是模式识别领域中活跃的研究方向之一。在行人检索和识别中，随着样本库的加大，检索识别一幅图像的速度和准确率都受到较大影响[1]。行人特征提取方面，RGB、HSV等颜色直方图信息被广泛使用，但易受到环境影响[2]。Gabor小波提取行人纹理特征，但是当提取不到准确的边界曲线时候，最终得到的纹理特征会有很大变化[3]。LBP提取纹理特征对光照有鲁棒性但是在行人姿态发生很大变化时[4]，仅从LBP提取到的纹理特征识别行人目标准确率会很低。此外，在相似度计算方面随着样本库的加大，测试图像面对的负样本加大，与测试图像具有相仿特征的样本出现概率加大，这都会影响到测试结果的准确性，即使RankSVM计算相似度排名顺序，并未给出相似度绝对值，而是排序结果供使用者自己判断，可随着样本加大，干扰样本出现概率大，正样本的排名顺序也会靠后，基于以上这些行人识别算法中存在的问题，本文提出了一种新的基于随机森林与RankSVM优化的行人识别方法，综合上述特征提取算法，采用多特征融合，利用同一行人存在特征间的潜在联系，使用聚类算法挖掘综合特征之间的潜在联系，将样本们聚类，再使用随机森林预测测试目标的分类号，这样正样本和测试目标就会分到同一类，之后仅在此类中使用RankSVM对相似度排名。这样的话，在计算相似度的时候会排除来自其他几类样本的干扰，同时也充分利用了同一行人的多个特征间的潜在联系，RankSVM的排名结果也会靠前，综合多特征实现将正样本和测试目标归到同一类的目的。在此基础上进行相似度计算，会使得识别准确率提升。整体算法流程如图1所示。

图1 本文算法流程图

首先，每个训练样本提取多维特征向量，经聚类后作为输入训练出决策树群；再提取测试图像的特征带入到决策树中，得到测试图像的预测类别，在此类范围内采用RankSVM算法，将相似度排名顺序作为行人识别结果。

2 获取决策树群的输入向量

首先要获取行人样本的特征，单一的特征无法满足要求，本文提取行人的颜色信息以及纹理特征。对于单个行人，每种特征都化作特征向量的形式表示出来，最后按序组合成一个多维特征向量，即每个行人都由一个多维特征向量表示。

2.1 颜色特征

基于颜色直方图特征的图像检索方法简单、高效，本文提取图像的RGB，HSV，YCBCR 3个空间颜色信息作为行人的颜色特征。

2.2 纹理特征

采用Gabor小波提取行人上衣纹理特征，利用其基函数的正交性，还可以消除冗余信息。Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似，构建的滤波器频率和方向表示接近人类视觉系统对于频率和方向的表示，通过修改参数，可以在频域的不同尺度和方向上提取相关特征，所以常用于纹理表示。

Gabor小波函数公式如下

(1)

x′=x·cosθ+y·sinθ

y′=-x·sinθ+y·cosθ

(2)

式中：λ为正弦函数的波长;θ为核函数的方向;φ为相位偏移;σ为高斯标准差;γ为x，y两个方向的纵横比(指定了Gabor函数的椭圆率);exp表示以自然对数e为底的指数函数

LBP(Local Binary Pattern)用来描述图像局部纹理特征，局部二值模式是一种灰度范围内的纹理度量。 LBP 最初定义于像素的 8 邻域中，以中心像素的灰度值为阈值， 将周围 8 个像素的值与其比较， 如果周围的像素值小于中心像素的灰度值， 该像素位置就被标记为 0， 否则标记为 1；将阈值化后的值 (即0或者l) 分别与对应位置像素的权重相乘， 8 个乘积的和即为该邻域的 LBP 值[4]。如图2所示。

图2 LBP计算

如图2所示，图2a的example中以中心点6为阈值，其他邻域中的值与阈值比较，大于阈值则该邻域中的值被替换为1，小于阈值则该邻域中的值被替换为0，就得到了图2b的thresholded，从第二行第一列的数字开始围绕中间元素逆时针转一圈儿得到二值数“11110001”；再与图2c weights中对应位置的权重相乘求和，即得到example的LBP值。计算公式如下

LBP= 1×128+1×64+1×32+1×16+

0×8+0×4+0×2+1×1=241

(3)

2.3 将决策树群的输入向量聚类

采用K-means算法对提取到的多维特征向量们进行聚类。K-means算法的思想是：首先随机选取几个数据点作为聚类中心点，其次将每个数据都聚类到最近的聚类中心点，最后计算每个类的重心，如果重心到聚类中心点的距离大于给定阈值，就以重心为此类的聚类中心点继续聚类，直至类的重心到聚类中心点的距离小于阈值[5]。

本节旨在提取行人的特征信息，将特征向量以及聚类结果作为输入传递到下一节的决策树群中去。

3 决策树群预测类别

将上节获取到的行人特征向量放入一个矩阵作为training_data，表示每个样本的特征信息，搭建决策树群的时候，从中随机选取若干行向量存入决策树的根节点；而聚类结果放入另一个矩阵作为training_classification，决定了决策树群的分类结果。这两个矩阵作为决策树群的两个输入矩阵被调用。

3.1 搭建决策树群的作用

随机森林自动创建决策树群，但是大部分的决策树对于分类没有意义，以图2为例，每个节点用了不相关的特征作出判断，最终一棵决策树分出了两类，那建立1 000个没有意义的决策树有什么作用呢？

当要做预测的时候，新观察到的特征随着决策树自上而下走下来，这样一组观察到的特征将会被贴上一个预测值。一旦森林中的每棵树都给出了预测值，所有的预测结果将被汇总到一起，所有树的模式投票被返回作为最终的预测结果。这些看似没有意义的决策树做出的预测结果涵盖所有情况，这些预测结果将会彼此抵消，而占少数的那些优秀的树的预测结果将会脱颖而出，做出一个好的预测[6]。

3.2 建立决策树群，挖掘特征间的潜在联系

搭建决策树群有若干参数极为重要，它们决定了决策树群的聚类结果以及预测准确性。

1)决策树深度：即每棵决策树的层数，定值过低会使得聚类结果过于集中。

2)节点成为叶子的临界值：即节点中样本数据少于一定值时，该节点就停止二插分。

3)每棵决策树最终可分成多少类：这由输入矩阵 training_classification中的类别个数决定。

4)决策树群中树的个数：越多信息越完备，但是损失的是训练时间。

5)建立过程如下：

(1)初始化

① 读入样本数据集S。

② 定义决策树群的若干参数。

a.每课决策树深度D；

b.节点成为叶子的下限MIN_NUM；

c.每棵树最大分类数目；

d.树的每个节点选取的特征变量个数NUM_OF_VAR;

e.存在的决策树最大数量NUM_OF_TREES；

f.设定变量i表示单棵决策树，j为决策树当前深度。

(2)建立随机森林，伪码如下

for i =0，…，NUM_OF_TREES

for j=0，…，D

从S中有放回的随机抽取固定量的样本数据存入一棵决策树的根节点；

随机抽取NUM_OF_VAR个特征变量作为二叉树判断依据；

当节点个数低于MIN_NUM，此节点视为叶子，不再往下分叉；

当树的深度达到D则决策树生成；

endfor；

继续产生决策树，直至达到NUM_OF_TREES棵树，决策树群生成；

endfor；

3.3 预测行人目标的类别

预测行人目标类别的伪码如下：

for i =0，…，NUM_OF_TREES

for j=0，…，D

从当前节点开始，根据节点阈值判断进入左节点还是右节点；

直到达到某个叶子节点，并输出预测值；

endfor；每棵决策树都给出一个预测值，所有树中预测概率总和最大的那一个类就是随机森林对于输入测试图像的预测类别结果；

endfor；

本节旨在使用样本数据搭建决策树群，并将测试数据带入搭建好的决策树群，得到一个预测类别，作为测试数据的输出值。后面的工作是在此类中比较该类中所有样本和测试数据的相似度，这就是下面RankSVM的工作。

4 RankSVM排名结果

由上一节得到预测类别，将该类中的所有样本和测试数据带入RankSVM中去计算相似度排名。

首先把数据分为训练集、验证集、测试集，都进行特征提取和量化。其中，训练集就是指原始数据，每一列都是特征信息，提取的是原始特征，训练出多个基分类器。验证集是结合多个基分类器对每种类别的得分，训练集成分类器。测试集就是用来最后做测试用的数据集。

4.1 训练集

样本的原始数据，用于训练多个基分类器，每个基分类器都对验证集数据进行预测，对验证集的每一个数据，不同基分类器对应不同的类别有不同的得分。

图3中，表示有3类(#1，#2，#3)数据，随机森林的输入矩阵中保存着样本们的正确分类，这些正确的分类就来源于之前的K-means聚类结果。正确的类标记为 1,其他类标记为 0;qid表示这是对同一个样本的数据；后面是指5个特征，即5个基分类器对于此类数据的不同预测得分[7]。

1qid:1 1:0.8 2:0.2 3:0.2 4:0.1 5:0.5 #11
0qid:1 1:0.1 2:0.7 3:0.2 4:0.4 5:0.3 #12
0qid:1 1:0.1 2:0.1 3:0.6 4:0.5 5:0.2 #13

图3 RankSVM示例

4.2 验证集和测试集

使用RankSVM对验证集数据进行训练，得到集成分类器。对测试集同样构建图3中的数据格式，带入分类器中进行测试，得到对测试数据所属类别的得分。

5 实验及结果分析

5.1 实验目标

实验用VIPeR数据库，因为本文是行人识别，所以要有正负样本和测试图像，且是实际路况下的行人图像，VIPeR库中包括2个摄像头角度拍摄到的画面，每个角度下都拍摄到了一群行人，且这些行人在2个摄像头拍摄结果中的顺序是一一对应的，而且这个样本库的图像清晰度满足提取行人特征的要求，适合用来做实验。如图4所示。

图4 VIPeR数据库的cam_a和cam_b

本文选取cam_a中的532张图像作为样本，cam_b中的100张图像作为测试图像，分别与LMNN[8]，ITM[9]，MCC[10]，L1-norm的效果进行比较，以期本文提出的RF-SVM行人识别方法的准确率能高于上述这些传统识别方法5%以上。

5.2 实验过程

识别过程：1)分别用RGB、HSV、YCBCR、Gabor、LBP提取样本特征，每个样本由这5个特征组成的一个多维特征向量表示； 2)用K-means算法将所有样本的特征向量聚类，用一个矩阵存储聚类结果； 3)利用CvRTree类中的train函数建立随机森林； 4)输入一个测试图像到建立好的随机森林中，CvRTree类中的predict函数会返回一个预测类别号； 5)确定这个预测类别中的全部样本，之后的RankSVM只在这些样本中进行； 6)给定测试图像和正样本，带入RankSVM就会返回一个矩阵，矩阵中的元素数值就是测试图像们与正样本的相似度，数值越小表示越接近正样本。

5.3 实验结论

上述各识别算法的识别准确率如图5所示。

图5 各算法在VIPeR数据库上的准确率

图5中RF-SVM的识别率要高于其他传统算法的识别率，在Rank=20的位置上的准确率也高过其次准确的MCC算法约10%，达到实验目标。实验结果证明，基于随机森林和RankSVM的行人识别方法对行人姿态变化有一定的鲁棒性，且相较MCC，ITM，LMNN，L1-norm算法与单一的RankSVM结合的方法识别准确率高。

6 结束语

本文采用随机森林与RankSVM的行人识别方法，该识别方法： 1)用相似度排名方式代替了以往的相似度绝对值得比较，无需划定阈值，便于使用者自己判断； 2)建立随机森林需要多特征，仅从表观特征无法人工将样本们分类完善，采用 K-means 聚类算法代替人工给出样本类别，可以挖掘出样本间的潜在联系。3)避免了测试图像与全体样本进行相似度匹配，仅在预测到的类别中使用RankSVM，这样得到的既准确又相对单一的RankSVM排名结果更靠前，聚类算法结合随机森林起到一个对样本数据初筛的作用。未来进一步的工作可以考虑对提取到的特征降维，减少计算量，也可以考虑加入一些行人的其他表观特征。

[1] HU W，HU M，ZHOU X， et al. Principal axis-based correspondence between multiple cameras for people tracking[J]. PAML，2006，28(4)：663-671.

[2] SWAIN M J，BALLARD D H.Color indexing[J].International Journal of Computer Vision，1991，7(1)：11-32.

[3] 吕翊，林贺宇，赵辉.基于sym8小波和部分hadmard矩阵的深空图像压缩编码[J].重庆邮电大学学报：自然科学版，2012，24(5)：646-651.

[4] 王映辉. 人脸识别——原理、方法与技术[M].北京：科学出版社，2010.

[5] ESCALANTE H J，MONTES-Y-GOMEZ M，SUCAR L E.An energy based model for region-labeling[J].Computer Vision and Image Understanding，2011(115)：787-803.

[6] AMIT Y，GEMAN D. Shape quantization and recognition with randomized tree[J].Neural Computation，1997(9)：1545-1588.

[7] FREUND Y，IYER R，SCHAPIRE R E，et al.An efficient boosting algorithm for combining preferences[J].Journal of Machine Learning Research，2003(4)：933-969.

[8] CRAMMER K，SINGER Y. On the algorithmic implementation of multiclass kernel based vector machines[J]. Journal of Machine Learning Research，2001(2)：265-292.

[9] LEBANON G. Metric learning for text documents[J]. Patern Analysis and Machine Intelligence，2006(28)：497-508.

[10]BERTSEKAS D P. On the goldstein-levitin-polyak gradient projection method[J]. IEEE Trans. Automatic Control，1976，21(2)：174-184.

王 迪(1988— )，硕士生，主研智能视频分析与行人识别；

陈岳林(1968— )，硕士生导师，主要研究方向为机制、机电等；

蔡晓东(1971— )，硕士生导师，主要研究方向为并行化图像和视频处理、模式识别与智能系统、基于云构架的智能传感器网络；

王丽娟(1991— )，女，硕士生，主研智能视频分析与行人识别。

责任编辑：闫雯雯

Person Re-identification Based on Optimize Random Forest and RankSVM

WANG Di, CHEN Yuelin, CAI Xiaodong, WANG Lijuan

(Schoolofinformationandcommunication,GuilinUniversityofElectronicTechnology,Guangxi541004,China)

Pedestrian re-identification is a challenging problem in computer vision due to big data. An novel method RF-SVM(RondomForest SVM) is proposed on the basis of the RandomForest and RankSVM . Firstly, extracted multiple features and then classified using the clustering algorithm K-means. The class label of an input data is predicted by aggregating the votes of multiple tree classifiers. Finally, RankSVM predicts a score from the features of pedestrian. Comparing traditional method, this paper quotes the random-forest classifier predicts the class label of an input data so that can use RankSVM in the class avoid do it in the whole training data. The effectiveness of the presented approach is validated on the VIPeR dataset. The experiments have shown there is robustness to the person posture changes and this method has higher person re-identify accuracy compared with MCC .

random forest; RankSVM; RF-SVM;K-means

广西自然科学基金项目(2013GXNSFAA019326)；国家科技支撑计划课题(2014BAK11B02)

TP391.4

A

10.16280/j.videoe.2015.18.021

2015-02-03

【本文献信息】王迪,陈岳林,蔡晓东，等.基于随机森林和RankSVM优化的行人识别方法[J].电视技术,2015，39(18).