基于多特征融合的行人检测

胡 彬， 赵春霞， 孙 玲

（1. 南京理工大学计算机科学与工程学院，江苏 南京 210094；2. 北方导航控制技术股份有限公司，北京 100176）

基于多特征融合的行人检测

胡 彬1， 赵春霞1， 孙 玲2

（1. 南京理工大学计算机科学与工程学院，江苏 南京 210094；2. 北方导航控制技术股份有限公司，北京 100176）

研究了3种不同类型的特征算子：梯度直方图（HOG），基于Gabor变换的局部二值特征直方图（LGBPHS）和基于剪切波变换的直方图（HSC）在基于图像的行人检测中的应用。提出了基于多特征融合的检测算子，对单一特征进行 L1范式规格化之后，将3个特征融合为一个高维的拥有大量信息的新特征，之后引入偏最小二乘法（PLS）进行特征降维，得到最终的人体特征。利用线性SVM作为分类器，在INRIA人体库上进行了实验，结果表明，融合后的特征极大的提高了检测率，在FPPW=10-5时，检测率达到了95.6%。

行人检测；梯度直方图（HOG）；LGBPHS；HSC；偏最小二乘法；SVM

基于图像的行人检测在视频监控、主动安全等领域有着广泛的应用，同时也是模式识别和机器视觉领域的重要研究方向。由于不同的行人在身材、姿势、衣着和光照方面有着极大的变化，加之背景的变化，如何在图像中快速而准确的检测出行人仍然是一个难点。

随着近几年的研究发展，针对行人检测，主要形成了两类方法：一种方法是将人体分为头部、躯干、四肢等部分，通过模板匹配的方法检测各个部分从而找到行人；另一种是基于统计分类的方法，也是近几年的主流方法。该方法通过统计提取行人的特征，然后利用模式识别的方法进行分类，图1描述了这种方法的主要流程。

图1 基于统计分类方法的流程

在特征选取方面，包括边缘特征、纹理特征和小波特征都被用来描述人体，如Papageorgiou等提出的基于 Haar小波的行人检测[1]。2005年DALAL等在 CVPR上梯度方向直方图(Histogram of Oriented Gradient)[2]是最具影响力的一组描述行人的特征集，HOG特征很好的描述了图像的局部梯度信息，具有良好的行人检测性能，已成为当前主流的行人检测方法。随后学者们对DALAL的方法进行了改进，使其不断完善。比较著名的有2006年Zhu[3]等提出的变长的HOG特征提高了检测速度；2009年Wang[4]等将人脸识别领域中的局部二值特征(LBP)结合HOG特征，提出了基于HOG-LBP特征的行人检测，克服了HOG特征的一些缺陷，较大的提高了检测正确率。在分类器选取方面，包括Adaboost[5]、线性 SVM[6]、各种核函数的 SVM[7]用来进行分类训练。由于现有的一些特征提取方法都是基于单一特征的，或者进行融合的特征之间相关性比较小，因此识别率较低。本文研究了3种的特征算子：HOG特征、基于Gabor变换的LBP特征直方图(LGBPHS)[8]和基于剪切波变换的的直方图特征(HSC)[9]，提出一种新的基于多特征融合的特征。并引入偏最小二乘法(PLS)[10]对融合后的特征进行降维，最后利用线性SVM进行训练分类。这3种特征算子虽然应用于不同领域，但都采用了基于直方图的提取方法，因此，具有一定的相通性，而且HOG描述了图像的局部梯度信息，是一种局部特征；LGBP先对图像进行了全局Gabor变换后进行局部二值处理，因此也具有一定的全局特征性质；HSC是基于剪切波变换的特征，剪切波变换是一种多尺度的几何分析方法，所以，融合后特征能够极大的提高目标识别率。

1 特征提取

获取的信息越多，检测结果越好，结合多种特征可以提高检测精度。本文将3种特征结合得到一种新的融合的特征，用来描述行人。

1.1 HOG特征

HOG特征是一种局部区域描述符，它通过统计图像局部方向梯度来构成人体特征。在计算梯度值时，DALAL等比较了不同的梯度掩码，发现一维梯度算子[1-, 0, 1]计算得到的效果最好。对于图像中一点(X,Y)，其梯度值定义为：

首先，把图像划分成若干个单元格(Cell)，将梯度方向划分为若干个区间(Bin)，在每个cell 内对所有像素的梯度幅值在各个方向 Bin 区间进行直方图统计。若干个Cell形成一个块(Block)，把块中的单元格的梯度直方图连起来得到块内特征。用Block对样本图像进行扫描，最后，将每个 Block的特征串联得到最终的描述符。DALAL在他的文章中比较了不同的Cell、Bin、Block大小对检测结果的影响，发现最好是采用6*6像素的Cell，Block由3*3个Cell组成，[0，π]的方向划分为9个区间。本文提取HOG特征时采用了这个参数。

1.2 LGBPHS特征

LGBPHS特征是一种非统计的描述符，它经由如下过程计算得到：（1）将输入图像进行Gabor变换，得到Gabor图；（2）将Gabor图进行局部二值处理；（3）将第二步得到的图分割成若干区域，在每个区域统计其直方图；（4）统计整幅图像的直方图，得到最终的描述算子。首先对输入图像进行 Gabor变换，定义Gabor

滤波器ψu,v(z)如下：

第二步对 Gabor图进行 LBP运算，得到LGBP图，LBP算子定义如下：

第三步在LGBP图上计算直方图，将LGBP图分为若干个不重叠的区域，统计每个区域的直方图，最后所有区域的直方图串联起来得到最终的描述符。

1.3 HSC特征

诸如小波变换和Gabor变换等信号处理方法近几年在图像处理界得到广泛应用，但是，这些方法对方向不敏感的缺点，使得它们在描述一些方向特征时显得力不从心，而近几年新提出的多尺度几何分析方法——剪切波变换(Shearlet Transforms)正可以克服传统的小波变换的这些缺点。

剪切波变换为具有多方向和多尺度信息的数据提供了一种处理框架，因此，对于图像中的边缘特征，它能够提供更精确的描述，并能进行更好的检测。对于一幅图像f的连续剪切波变换定义如下：

其中ψ是母函数，a是尺度参数，a＞0；s是剪切参数，s∈R；t是平移参数，t∈R2；剪切波基本方程ψa,s,t定义如下：

连续剪切波变换可以通过正确采样尺度参数、剪切参数和平移参数来离散化。

在每个尺度层面，通过剪切波变换，统计每个具有相同方向的剪切波系数，定义如下直方图：

其中 )(sHl表示在l尺度层上第s方向的直方图大小，s指方向角度。最后，所有尺度上的直方图被合并形成最终的HSC特征。

2 偏最小二乘降维方法

偏最小二乘法(PLS)是一种新型的对多组变量进行建模的多元统计数据分析方法，其研究的焦点是通过抽取潜在成分(Latent Component,Latent Variable)，它的核心假设就是认为观测到的数据是由这些少量的潜在成分驱动的系统或进程产生的[10]。作为一种有监督的特征抽取方法，PLS明显优于常规的无监督的主成分分析(PCA)降维方法。Herman Wold等研究了如何使用PLS方法将观测值降维到潜在成分，并提出了NIPALS算法[11]。下面对PLS的降维方法进行简要介绍。

定义x⊂Rm是m维的样本特征向量，y⊂R表示一维的分类标记，令样本的数量为n。PLS将矩阵 X(n×m)和向量 y(n×1)分解为

3 实 验

实验环境为英特尔双核处理器，3G内存，操作系统为Windows XP中文系统。

数据库选择 INRIA人体库，其中包含了64*128大小的正图像集和负图像集。该样本库中行人的服饰、姿态、光照和视角等因素的变化很大，是一个难度非常高的数据库。实验使用2416个正样本和 5000个负样本作为训练集，负样本从负图像集中随机抽取 64*128大小的窗口。使用不同于训练集的1126个正样本和5000个负样本作为测试集。SVM使用OpenCV提供的接口，核函数为线性，在比较单一特征和融合特征的结果时，为了使结果具有可比性，SVM 的最大迭代次数和阈值等参数都是一样的，实验结果使用错检率(False Negative, FN)和漏检率(False Positive，FP)来描述特征的分类性能。其中 FN为FalseNeg/(FalseNeg+TruePos)，FP为FalsePos/(TrueNeg+FalsePos)。

之后对于融合后降维的特征，通过调节分类器阈值得到 DET(Detection Error Tradeoff)曲线图，其中X轴代表误报率(False Positive Per window, FPPW)，由 FalsePos/(TrueNeg+FalsePos)计算得到，Y轴为漏检率(Miss Rate)，由FalseNeg/(FalseNeg+TruePos)计算得到。

首先我们测试HOG的分类效果，HOG的参数如 1.1中所述，Cell大小为 6*6像素，Block由3*3个Cell组成，[0，π]方向内平均划分9个Bin，最终得到的分类结果为 FN=4.09%，FP=3.02%。

对于HSC特征，我们比较了不同尺度和不同方向下的分类效果，结果如表1所示。

表1 不同尺度和方向下HSC特性分类结果

从表1可以看出，随着尺度和方向的提高，HSC的分类精度随着提高，当尺度达到2、方向达到8时，HSC的分类结果基本上接近HOG特征了。

表2比较了3种特征的分类性能，其中HSC特征取尺度数2、方向数为8时的结果，可以看出，使用单一特征时，错检率和漏检率都比较高。

表2 3种特征的分类结果

接下来我们将3种特征串联起来，首先对各个特征向量进行归一化处理，使用L1范式：ε取0.01防止除数为0。使用PLS对融合的特征进行降维，之后用线性SVM进行训练和分类测试。

我们分别将HOG特征与另两个特征进行融合，测试其分类效果，最后将3个特征进行融合，测试结果。对所融合的特征，使用PLS进行降维，分别测试了2维到20维这19种情况下的分类结果。

如图 2所示，图 2描述了 HOG特征和LGBPHS特征融合后的分类效果，其中纵轴为错误率，横轴为维数。从图2可以发现，当维数为9时，错误率达到最低点 1.35%，此时 FN为0.46%，FP为0.89%。

如图3所示，图3是HOG特征和HSC特征融合后的分类结果，从图3可以看出，当维数降到9时，错误率达到最低点1.38%，此时FN为0.40%，FP为0.98%，

如图4所示，图4为3个特征融合后的测试结果，当维数降到10时，错误率达到最低点0.72%，此时FN为0.44%，FP为0.27%。

从实验结果可以看过，融合后的特征错误率得到了明显的下降，两个特征融合的错误率比单个特征的错误率至少降低了80%，3个特征全部都使用时，错误率得到了进一步的降低。实验数据说明我们的融合特征取得了良好的效果。

图2 HOG-LGBPHS融合特征不同维数下的分类结果

图3 HOG-HSC融合特征不同维数下的分类结果

图4 HOG-HSC-LGBP融合特征不同维数的分类结果

图5 3种特征的DET图比较

接下来我们调节分类器阈值，得到融合特征的DET曲线图，并将其与HOG特征、文献[4]中的HOG-LBP特征的DET图进行比较。如图5所示，融合特征的效果要明显优于单一的 HOG特征，相较于文献[4]中采用的两种特征的方法也有一定的提高。

在计算复杂度方面，本算法主要包含3个步骤，特征提取、降维和分类。由于特征提取部分采用了特征叠加的融合方式，所以，特征提取过程虽然有多个特征，但可以同步处理，不会因为特征的增加而造成计算复杂度的增加。PLS降维过程处理时间也在毫秒级，而对于低维特征的分类，其耗时是要明显低于高维特征的分类的。因此，本文虽然使用了融合了多种特征，但时间复杂度并没有明显增加。

4 结 束 语

研究分析了HOG、LGBPHS和HSC这3种用于不同目标识别的具有类似特性的特征算子在行人检测上的应用，并把这些特征进行了融合，提出了一种新的特征算子。由于融合后的特征维数较高，引入了PLS对特征进行了降维。在INRIA样本库上的实验结果表明了本方法有效的提高了识别率。

[1]Papageorgiou C, Poggio T. A trainable system for object detection [J]. International Journal of Computer Vision, 2000, 38(1)：15-33.

[2]Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, San Diego,CA, USA, 2005：886-893.

[3]Zhu Q, Yeh M C, Cheng K T, et al. Fast human detection using a cascade of histograms of oriented gradients[C]//IEEE Conference on Computer Vision and Pattern Recognition, New York, USA, 2006：1491-1498.

[4]Wang Xiaoyu, Han Tony X, Yan Shuicheng. An HOG-LBP human detector with partial occlusion handling[C]//IEEE International Conference on Computer Vision, Kyoto, Japan, 2009：32-39.

[5]Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//IEEE Conference on Computer Vision and Pattern Recognition, USA, 2001：511-518.

[6]Mu Yadong, Yan Shuicheng, Liu Yi, et al.Discriminative local binary patterns for human detection in personal album[C]//IEEE Conference on Computer Vision and Pattern Recognition, Anchorage,AK, USA, 2008：1-8.

[7]Mohan A, Papageorgiou C, Poggio T. Example-based object detection in images by components[C]//IEEE Transactions on PAMI, 2001：349-360.

[8]Zhang Wenchao, Shan Shiguang, Gao Wen, et al.Local Gabor binary pattern histogram sequence(LGBPHS)：a novel non-statistical model for face representation and recognition[C]//IEEE International Conference on Computer Vision, Beijing, China, 2005：786-791.

[9]Schwartz W R, da Silva R D, Davis L S, et al. A novel feature descriptor based on the Shearlet transform[C]//IEEE International Conference on Image Processing, Brussels, Belguim, 2011：1053-1056.

[10]Rosipal R, Kramer N. Overview and recent advances in partial least squares [J]. Lecture Notes in Computer Science, 2006, (3940)：34-51.

[11]WOLD H. Path models with latent variables：the NIPALS approach [M]. Quantitative Sociology：International perspectives on mathematical and statistical model building, Academic Press, 1975：307-357.

Human Detection based on Multi Features Fusion

Hu Bin1, Zhao Chunxia1, Sun Ling2
( 1. School of Computer Science and Technology, NUST, Nanjing Jiangsu 210094, China;2. China North Optical-Electrical Technology Co., Ltd, Beijing 100176, China )

Based on the study of the applications of three different types of feature operators in human detection, which are Histogram of Oriented Gradient (HOG), Local Gabor Binary Pattern Histogram Sequence (LGBPHS) and Histogram of Shearlet Coefficients (HSC), we combine them together and propose a new human detection feature operator. We employ Partial Least Squares (PLS) analysis, an efficient dimensionality reduction technique, to project the feature onto a much lower dimensional subspace. Using a linear SVM as the classifier, we compare the fusion feature with the three single features in INRIA person dataset. Experiments results shows we achieve a detection rate of 95.6% with FPPW=10-5.

human detection; HOG; LGBPHS; HSC; PLS; SVM

TP 391

A

2095-302X (2013)04-0029-06

2012-11-06；定稿日期：2012-12-26

国家自然科学基金重大研究计划重点资助项目（90820306）；青年科学基金基础（61101197）；江苏省青年基金（BK2012399）

胡 彬（1985-），男，江苏南通人，博士研究生，主要研究方向为模式识别与智能系统。E-mail：nj_chris@126.com