改进型WLD与LBP特征融合的行人检测

谭飞刚，殷苌茗，周书仁



改进型WLD与LBP特征融合的行人检测

谭飞刚，殷苌茗，周书仁

(长沙理工大学计算机与通信工程学院，长沙 410004)

为提高行人检测的识别率，提出一种基于改进型韦伯局部描述子(WLD)和局部二元模式(LBP)的特征融合方法进行行人检测。对图像进行二维离散Haar小波变换得到4个不同频率的子图像，对其中1个低频部分提取WLD特征，对3个高频部分提取LBP特征，并将各个子图像的特征串接为1个向量，得到WLD-LBP特征。在INRIA Person数据集上利用SVM作为分类器进行测试，实验结果表明，与单独WLD特征、梯度方向直方图(HOG)特征、PHOG特征以及HOG-LBP特征融合方法相比，该方法的识别率最高，可达98.1%，并且对光照和噪声也有较好的鲁棒性。

二维离散小波变换；特征融合；行人检测；WLD特征；LBP特征

1 概述

行人检测的主要任务是检测图像或者图像序列中是否包含行人，并根据检测出的行人给出其大小和位置信息。它在车辆辅助驾驶、航拍图像和受害者营救等领域中具有广泛的应用需求和经济价值[1]。由于背景的复杂性、拍摄视角与尺度的变化、行人姿态与衣着的多样性等因素，使得行人检测具有极大的挑战性。近些年，随着研究不断深入，研究人员提出了各种行人检测方法，包括基于梯度方向的HOG检测子[2]、基于部件的检测方法[3]、多特征融合的行人检测方法[4]等，以上方法都是基于图像的静态行人检测方法，虽然取得了不错的检测效果，但是在减少误差、检测定位准确率以及检测效率等方面还有待进一步提高。因此，行人检测问题仍是机器视觉领域的研究难点和热点。

陈杰等人用韦伯定律来对图像进行描述，提出了韦伯局部描述子(Weber Local Descriptor, WLD)[5-6]，该特征具有很强的区分性，对噪声和光照变化鲁棒好并在人脸检测中取得了较好的效果。Ojala T等人提出LBP[7-8]描述子用来刻画图像的纹理信息，该特征具有计算速度快的优点，但是LBP算子在图像比较模糊或者光照变化强烈等成像条件较差时，不能有效地刻画出图像的纹理特征。

近年来，小波变换被广泛应用于图像处理、计算机分类与识别等领域。本文在对图像进行二维离散Harr小波变换[9-10]的基础上，提出一种结合改进型WLD和LBP特征的WLD-LBP特征提取方法。

2 二维离散小波变换

原始图像经过二维离散小波变换后，可得到低频部分分解系数(LL)、水平方向分解系数(LH)、垂直方向分解系数(HL)和对角线方向分解系数(HH)4个不同分辨率的子图像，如图1所示。从图中可以看出，经过分解后的每幅子图都是原图的1/4大小，并且图像的大部分信息集中在低频部分(LL)，而其他3幅子图像仅保留着一些高频轮廓信息。二维离散haar分解图如图1(b)所示，其中左上为LL子图，右上为LH子图、左下为HL子图、右下为HH子图。

图1 二维离散haar小波分解示例，

3 特征提取

3.1 WLD算子

WLD算子由2个分量组成：差异激励(Differential Excitation, DE)和方向()[5-6]，具体计算公式如下：

(2)

在提取图像的WLD特征时，将图像水平方向和垂直方向各分成3个块，每个块之间重叠50%，如图2所示，但该示意图中只画出几个示意块。

3.2 改进的WLD特征提取方法

传统的WLD特征提取方法是先求各个块对应像素的差异激励和方向，然后形成WLD特征向量。从图2中可以发现图像所有像素的差异激励和方向信息都是在重复计算，特别是中间重叠部分进行了多次重复计算。而WLD特征提取的计算量主要集中在计算像素差异激励和方向信息。因此，本文对WLD特征提取方法进行了改进，首先求取整幅图像的差异激励和方向信息，并将其保存在一个大小与图像一致的二维矩阵中()，其表现形式如式(3)所示。其次根据图像划分块的起始坐标信息，从中取出第个块对应的数据，然后统计中具有相同方向的像素点个数，并且根据这些像素的差异激励统计成一个子直方图，最后将各个方向的子直方图串接在一起形成该块的WLD特征。与传统的提取方法相比，不难发现，本文改进的WLD特征提取方法只需要对整幅图像计算一次差异激励和方向信息，从而避免了对重叠部分像素重复计算差异激励和方向信息，进而提升了提取图像WLD特征的速度。

由式(1)可知，当前像素的差异激励是在该像素点的邻域中计算，那么图像的4个边界处(即图像的像素矩阵中第1行和最后1行，第1列和最后1列)是无法计算其差异激励，本文把边界处的差异激励设置为1。而图像的其他像素点的差异激励通过计算得到，这样保证了得到的差异激励矩阵与图像的像素矩阵一样大小。

3.3 LBP算子

LBP特征[7-8]是由Ojala T等人提出用来刻画图像的纹理信息，最基本的LBP算子的计算公式为：

LBP算子的计算过程如图3所示，若中间像素点值为8，其余各点值分别为6、4、3、2、7、5、4、9，则LBP算子为1。

4 基于小波变换的WLD-LBP特征融合方法

从图1中不难发现，图像经过二维离散Haar小波变换后得到4部分子图像，其中，LL部分保留着原始图像的大部分信息，而其他3部分则只保留了高频轮廓信息。高频部分子图可以过滤掉光照和其他一些噪声的影响。基于此，本文提出了基于小波变换的WLD-LBP特征融合算法。图像经过Haar变换后的子图像如图4所示。

图4 图像经过Haar变换后的子图像

该算法首先对图像进行二维离散Haar小波变换，然后对LL部分子图提取WLD特征，对其他3个部分子图提取LBP特征，各部分对应的特征直方图如图5所示。

图5 各子图对应的特征直方图

然后再将这4个特征串接形成WLD-LBP特征，其直方图如图6所示。

图6 WLD-LBP融合特征直方图

最后的特征如式(5)所示，这样可以弥补LBP对光照和模糊图像鲁棒性差的缺点，同时利用小波变换对图像进行降维，加快了提取特征的速度。

行人检测流程如图7所示。其中，SVM[11-12]是一种基于分类边界的方法，在将低维空间中的曲线(曲面)映射为高维空间中的直线或平面时，由于其计算量要比在低维空间中大得多，因此引入核函数。它解决了计算高维空间中数据时，使计算量回归到低维空间的计算量级。不同的核函数对SVM在分类效果和时间上都有很大的影响。当前常用的SVM核函数有线性核函数、多项式核函数、径向基核函数和Sigmoid内积函数，本文通过实验发现使用线性核函数分类效果最好。

5 实验与结果分析

本文分别设计对特征提取方法和检测算法进行性能对比。实验的样本均采集于INRIA Person行人检测样本库。其中，训练正样本2 416幅行人图像，负样本3 142幅非行人图像。测试正样本1 126幅图像，负样本1 059幅图像。分类器采用的是SVM。INRIA Person行人样本库中的部分训练正样本如图8所示。

图8 INRIA Person检测样本库中的部分训练正样本

5.1 特征提取方法对比

为证明本文改进的WLD特征提取方法在提取速度上的改进，设计了与传统提取方法的对比实验。利用提取所有的训练样本(5 558幅)的时间来计算平均每一幅图像的提取时间，实验结果如表1所示。可以看出，在相同的运行环境下提取WLD特征，本文提出的WLD-LBP提取方法比传统的WLD特征提取方法快4.6倍。

表1 本文方法与传统方法的对比结果

5.2 检测性能对比

本文设计了5组实验，分别是WLD特征、文献[2]的HOG特征、PHOG特征、文献[4]的HOG-LBP特征、本文方法。在相同的实验环境下，将各个特征经过SVM进行训练识别。实验结果如表2所示。可以看出，本文提出的WLD-LBP特征融合算法具有较好的识别率，并且其识别率明显高出其他4组实验的效果。由这5组实验得到的识别率可以看出，WLD-LBP融合特征可以有效地描述图像的纹理用于行人检测。这也证明了本文算法在提取图像纹理特征中具有较好的性能。

表2 不同特征算子的实验对比

为了更好地了解算法的性能，本文以TP(True Positive)、FP(False Positive)、TN(True Negative)、FN(False Negative)为衡量标准，对上述5组实验进行分析，其实验结果如图9所示。TP越大或FN越小，说明其方法识别效果越好。从图9中可以看出，本文算法的TP最高，FN最低。

图9 不同方法的实验性能对比

笔者在Detect Human行人样本测试库里进行了行人检测实验，其部分效果如图10所示。

图10 Detect Human行人样本测试效果

6 结束语

本文对WLD特征提取方法进行了改进，其提取速度明显提高，通过WLD与LBP特征进行融合，在SVM线性分类器下得到了较好的分类效果，但是由于受行人的衣着、姿态、拍摄角度等因素的影响，在进行行人检测时的正确性还有待进一步的研究与改进。

[1] 苏松志, 李绍滋, 陈淑媛, 等. 行人检测技术综述[J].电子学报, 2012, 40(4): 814-820.

[2] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition. [S. l.]: IEEE Computer Society, 2005: 886-893.

[3] Dollar P, Babenko B, Belongie S, et al. Multiple Component Learning for Object Detection[C]//Proceedings of the 10th European Conference on Computer Vision. Marseille, France: [s. n.], 2008: 211-224.

[4] Gan Guolong, Cheng Jian. Pedestrian Detection Based on HOG-LBP Feature[C]//Proceedings of the 7th International Conference on Computational Intelligence and Security. Sanya, China: [s. n.], 2011: 1184-1187.

[5] Chen Jie, Shan Shiguang, He Chu, et al. WLD: A Robust Local Image Descriptor[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1705-1720.

[6] 陈 杰. 人脸检测中的训练集优化[D]. 哈尔滨: 哈尔滨工业大学, 2007.

[7] Ojala T, Pietikinen M, Harwood D, et al. A Comparative Study of Texture Measures with Classification Based on Feature Distribution[J]. Pattern Recognition, 1996, 29(1): 51-59.

[8] Zhao Guoying, Ahonen T, Matas J. Rotation-Invariant Image and Video Description with Local Binary Pattern Features[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1465- 1477.

[9] Zhang Xinyang, Zhang Renjin. The Technology Research in Decomposition and Reconstruction of Image Based on Two-dimensional Wavelet Transform[C]//Proceedings of International Conference on Fuzzy Systems and Knowledge Discovery. Chongqing, China: [s. n.], 2012: 1998-2000.

[10] 殷 明, 刘 卫. 基于四元数小波变换HMT模型的图像去噪[J]. 计算机工程, 2012, 38(5): 213-215.

[11] Roncancio H, Hernandes A C, Becker M, et al. Vision-based System for Pedestrian Recognition Using a Tuned SVM Classifier[C]//Proceedings of 2012 Workshop on Engineering Applications. [S. l.]: IEEE Press, 2012: 1-6.

[12] 张学工. 关于统计学习理论与支持向量机[J]. 自动化学报, 2000, 26(1): 32-42.

编辑 金胡考

Pedestrian Detection Fused with Improved WLD and LBP Feature

TAN Fei-gang, YIN Chang-ming, ZHOU Shu-ren

(Computer & Communication Engineering School, Changsha University of Science & Technology, Changsha 410004, China)

This paper presents a feature fusion method(WLD-LBP) based on an improved Weber Local Descriptor(WLD) and Local Binary Pattern(LBP) through a two-dimensional discrete haar wavelet transform. The algorithm starts with a two-dimensional discrete haar wavelet for the image so as to obtain the subimages of four different frequencies. Making full use of the WLD and LBP, we extract the WLD characteristics of the low frequency part, and LBP features of the other three high-frequency portion, and then a vector consisted with the characteristics of the image is produced which we called WLD-LBP characteristics. Five groups of test experiments were conducted on INRIA Person databases using SVM as classifier,comparing with the characristics of WLD, Histogam of Oriented Gradient(HOG), PHOG and feature fusion of HOG-LBP,respectively. The results demonstrate the effectiveness with the highest recofnition rate up to 98.1% and robustness to illumination and noise of the proposed method.

2-D discrete wavelet transform; feature fusion; pedestrian detection; Weber Local Descriptor(WLD); Local Binary Pattern(LBP)

1000-3428(2014)03-0201-04

A

TP391

国家自然科学基金资助项目(60973113)；湖南省自然科学基金资助项目(12JJ6057)；湖南省标准化战略基金资助项目(2011031)；长沙市科技计划基金资助项目(K1203015-11)。

谭飞刚(1987－)，男，硕士研究生，主研方向：模式识别，图像处理；殷苌茗，教授、博士；周书仁，博士。

2012-12-27

2013-03-06 E-mail：suiyuan001@126.com

10.3969/j.issn.1000-3428.2014.03.042