多特征融合和交叉核SVM的车辆检测方法

胡庆新，焦　伟，顾爱华（合肥工业大学计算机与信息学院，安徽合肥　230009）



多特征融合和交叉核SVM的车辆检测方法

胡庆新，焦伟，顾爱华
（合肥工业大学计算机与信息学院，安徽合肥230009）

摘要：为了能够提高车辆检测的准确率和效率，利用不同分辨率下图像中的信息，文章提出一种多分辨率下的方向梯度直方图特征（multi-resolution histograms of oriented gradients）和局部二值模式算子（local binary pattern）相融合的车辆检测算法。由于融合后的特征维数明显高于单一特征，使得检测的实时性较差，通过主元分析（principal component analysis）来实现对融合后特征降维，并采用直方图交叉核支持向量机（HIK-SVM）对特征进行分类，完成车辆的检测。实验结果表明，该检测方法有较高的车辆检测率，且实时性较好。

关键词：车辆检测；多特征融合；方向梯度直方图；局部二值模式算子；主元分析；直方图交叉核SVM

车辆检测技术是当今计算机视觉、图像处理和模式识别等技术在车辆安全辅助驾驶系统中的一个重要研究课题［1-4］。车辆检测要求具有较高的准确性、实时性和鲁棒性，同时具有较低的误判率。基于视觉的车辆检测方法具有探测范围宽、目标信息完整、价格便宜等优点，主要有基于立体视觉、基于运动分析、基于模型、基于特征等方法。基于立体视觉［5］的方法定位准确，但特征匹配难度大，对硬件要求高，成本大，对车辆自身的运动很敏感；基于模型［6］的方法鲁棒性好，但是实时性较差；基于运动分析［7］的方法实时性好，但对外部环境的变化敏感，准确性差；基于特征的方法算法简洁，处理速度快，实时性和鲁棒性都好，是车辆检测中常用的算法。

车辆是一种人造刚体，它含有丰富的特征信息，主要包括：①车辆边缘特征，该特征很明显，其方向近似垂直或者水平；②车辆的纹理特征，该特征和道路的纹理有较大的差异；③车辆底部的阴影特征；④车辆轮廓特征，车辆的轮廓大体为矩形，且符合一定的宽高比；⑤车辆的对称性特征，该特征主要使用灰度对称特征、竖直边缘对称特征、车尾灯对称特征。基于车辆的上述特征，可以用对称性［8］、形状［9］、阴影［10］、方向梯度直方图（histograms of oriented gradients，HOG）［1，11］，Shift［12］，Haar-like［13］，Haar［14］等特征检测车辆。但单一的特征所含信息有限，因此使用多种特征融合的算法，才能取得更好的效果。本文选用多分辨率的方向梯度直方图（HOG）特征［1，11］和局部二值模式算子（local binary pattern，LBP）相融合的算法，将训练样本放大和缩小形成3个不同的分辨率，分别提取其HOG特征，然后再叠加，提取训练样本的LBP特征，将叠加后的HOG特征和LBP特征进行融合得到特征向量，相比于单一特征的车辆检测方法，其检测率有明显的提高。本文采用直方图交叉核支持向量机对特征进行训练和分类，该方法具有分类速度快、效率高等优点。

实验图像来自GTI数据集［15］，实验表明本文算法有更好的鲁棒性和实时性，提高了车辆检测的准确率和效率。为了验证算法的有效性，将本文的算法与HOG＋SVM算法在检测率和实时性上进行了比较，实验表明多特征融合的算法效果更好。

1　车辆检测方法概述

本文选择车辆的局部二值模式算子和多分辨率的方向梯度直方图特征来检测图像中的车辆。

（1）本文使用的正、负训练样本的分辨率为64×64，将正、负样本的分辨率进行放大和缩小，缩小为40×40的分辨率和放大为128×128的分辨率，对3个不同分辨率的图片分别提取V-HOG特征，再将其叠加，得到图片的M-V-HOG特征。再提取正、负样本的LBP特征，将LBP特征和叠加后的V-HOG特征融合生成车辆的训练特征。

（2）因为特征融合后的维数比单特征高，本文用主元分析（principal component analysis PCA）对融合后的特征降维。

（3）用直方图交叉核支持向量机（HIK-SVM）对特征向量进行训练，生成训练模型。对要检测车辆的图片进行分割，再对分割图片进行分类，把图片中含有车辆的区域框出来，得到检测结果。

车辆检测算法流程图如图1所示。

2　特征提取

2.1局部二值模式算子

局部二值模式算子（local binary pattern，LBP）是一种用来描述图像局部结构特征的无参数算子，具有计算简单、特征分类能力强、旋转不变性和灰度不变性等优点。

LBP算子定义在3×3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。

这样的LBP二值模式共有256种，为了减少二值模式，Ojala提出了采用一种等价模式（uniform pattern）对LBP算子的模式种类进行降维。Ojala对各类图像进行统计后发现，在8个邻域点的情况下，有58种模式所占比例超过90%，也就是等价模式（uniform pattern）。等价模式的LBP纹理描述方法定义如下：

其中，P、R表示半径为R的圆形区域内含有P个采样点；U（LBPP，R）表示LBP二进制码所对应的二进制数从0到1或从1到0的跳变次数。当某个局部二值模式所对应的二进制数的U（LBPP，R）不超过2时，该局部二进制模式所对应的二进制就称为一个等价模式，对于那些非等价模式，用某个特定的模式表示，称为混合模式。这样有效降低了LBP特征的特征维数，因此本文使用这种等价模式。

2.2HOG特征

方向梯度直方图（histogram of oriented gradient，HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的方向梯度直方图来构成特征。获得HOG特征的具体方法是将图像分成小的连通区域，本文称其为细胞单元（cell），采集cell中的各个像素点的梯度的或者边缘的方向直方图，最后把这些直方图组合起来构成特征描述器。为了提高性能，把这些局部直方图在图像的更大的范围内，即由若干个cell构成的范围（block），进行对比度归一化（contrast-normalized），通过归一化，能够对光照变化和阴影获得更好的效果。

提取HOG特征需要决定将梯度方向180°分成多少个方向块、每个cell的尺寸以及每个block中包含的cell数。

（1）V-HOG。车辆整体的显著外形特征是车辆所固有的近似矩形的特征，其外形有近似矩形的特征，其组成部分如车辆的牌照、后窗玻璃也是近似矩形，因此车辆中最主要的方向梯度是水平的或者垂直的。为实现有效地提取车辆水平和垂直的方向梯度直方图特征，使用水平细胞单元或者垂直细胞单元。经典的HOG算法、V-HOG算法、H-HOG算法的cell和block如图2所示。

图2　经典HOG、V-HOG、H-HOG的cell和block

图2a为经典的HOG算法，图中显示cell的大小为s1×s2，一个block里包含4个cell。图2b 为V-HOG算法，图中cell的大小为h×s1（h为图片的高度，本文的值是64），一个block里包含2 个cell。图2c为H-HOG算法，图中cell的大小为c×s1（c为图片的宽度，本文的值是64），一个block里包含2个cell。

本文的正、负样本是64×64的图像，经过实验，V-HOG特征和H-HOG特征的特征维数为1 152维，与经典的HOG特征的特征维数1 764维相比，其特征维数有明显的下降，检测率却相差不大，检测速度更快，提高了实时性。实验结果显示使用V-HOG特征的检测率略高于H-HOG特征，因此本文使用V-HOG特征。

（2）梯度的计算。计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值。求导操作不仅能够捕获轮廓和一些纹理信息，还能进一步弱化光照的影响。

图像中像素点I（x，y）的梯度为：

其中，Gx（x，y）、Gy（x，y）、H（x，y）分别表示输入图像中像素点（x，y）处的水平方向梯度、垂直方向梯度、像素点（x，y）处的灰度值。像素点（x，y）的梯度幅值和梯度方向分别为：

（3）每个cell构建方向梯度直方图及重叠块归一化。本文采用9个bin的直方图，也就是将cell的梯度方向180°分成9个方向块来统计每个cell里的梯度信息。选取GTI数据库中的图像做实验，实验表明随着梯度方向数目的增加，分类效果也在逐步提升，但当方向数目超过9个方向块时，检测效果就不再有明显改进了。按像素的梯度方向，将cell中的所有像素的梯度投影到9个区间，选用梯度幅值或者幅值的函数作为投票的权重，形成每个cell各自的梯度方向直方图。实验测试表明，使用幅值来表示权值能获得最佳的分类效果。

在提取特征时，把若干个cell组合成大的、空间上连通的块block，且block之间根据block步长的取值不同有一定程度的重叠，重叠部分会被计算多次。多次计算意味着会以不同的结果多次出现在最后的特征向量中，为改善最终的检测结果，在每个block块内做归一化处理。通常使用的归一化函数有L1-范式（L1-norm）、L1-开方根式（L1-sqrt）和L2-范式（L2-norm）。

其中，ξ是一个大于零的、很小的数，是为了防止分母为零而存在的；v是一个特征向量，‖v‖是特征向量的模值。实验证明，L2-norm对车辆检测的效果最好。

2.3主元分析（PCA）

PCA是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个成分之间互不相关。因此，主元分析正是研究如何通过原来变量少数几个线性组合来解释原来变量绝大多数信息的一种多元统计方法。

主成分的计算步骤：首先根据特征矩阵X，计算出其协方差矩阵Q；其次计算出协方差矩阵Q的非零特征根及其对应的特征向量，取较大的n个特征根对应的特征向量将其单位化组成矩阵W；最后根据Y＝WTX，可将特征矩阵X变成Y，且Y的维数小于X的维数。降维后的特征向量仍然保留了样本的主要信息，但数据量有较好的压缩。

2.5 敲低 lncRNA-8439 能降低 nanog 表达水平和肿瘤细胞悬浮球数量 使用 siRNA-2 在 Huh7和 Hep3B 细胞中敲低 lncRNA-8439 的表达后，分别收集细胞利用实时荧光定量 PCR 和蛋白质印迹法检测 nanog 的表达量，结果显示干扰组中的 nanog 表达量在 RNA（图5A）和蛋白水平（Huh7 细胞：40.57±1.19 vs 435.81±6.75，Hep3B：18.50±0.75 vs 470.13±2.18；图5B）均降低，与对照组相比差异均有统计学意义（P 均＜0.01）。同时，干扰组的肿瘤细胞悬浮球数量明显少于对照组（图5C）。

3　直方图交叉核支持向量机

SVM分类器分为线性SVM和非线性SVM，其基本思想是通过定义一个线性最优超平面，从而将分类问题转化为确定该超平面的最优化问题。线性SVM分类器训练分类速度快，实时性好；非线性核SVM分类器检测精度高，但运算复杂度较高，实时性较差；AdaBoost分类器分类速度快，但训练时间长，训练复杂度随支持向量的数量增加呈现指数型增长。综合上述分析，本文选择直方图交叉核核函数。实验结果表明，HIK-SVM比一般的非线性核SVM速度快约2 000倍［16］。直方图交叉核核函数表达式如下：

根据C-SVM可知，分类函数公式如下：

其中，αl、βl为指标l的权重；b为常数；x为特征向量，维数为n；xl为支持向量，l∈{ 1，2，…，m}。交叉核为：

其中，x、z为2个特征向量；x（i）、z（i）分别为x、z 第i维的特征值；n为特征向量的维度。

由（11）式和（12）式可得分类函数：

（13）式中hi（μ）为μ跟每个样本的第i维的数值xl，i比较然后累加。首先对xl，i先排序，然后与μ进行比较，可以减小计算量。由此可见直方图交叉核函数具有计算复杂性低的特点，这有助于SVM将低维空间中线性不可分问题迅速转化成高维空间中的线性可分问题。

4　实验结果与分析

本文的实验程序是在Matlab R2008a下实现的，性能测试实验在Intel（R）Core（TM）i3 CPU、2 G内存，32位Windows7操作系统的计算机上运行。样本图片使用GTI数据库中的图片，大小都是64×64，训练正样本包含针对所设摄像头位置的4个区域远、左、右、中近各800张，训练负样本也是针对4个区域每个区域各800张，测试正、负样本是4个区域每个区域各400张。

对大小为64×64的图片先进行图片的缩小和放大，缩小成40×40的图片和放大成128×128的图片，分别对3个分辨率的图片提取V-HOG特征，将每幅图片在3个分辨率下的V-HOG特征相加得到多分辨率下的V-HOG（M-V-HOG）特征。对64×64的正、负样本提取LBP特征，将M-V-HOG特征和LBP特征串联起来形成融合的特征，再使用主元分析对融合后的特征降维得到降维后的特征，即训练使用的特征向量，再用HIK-SVM对特征向量进行训练。

为了说明本文方法的优越性，采用本文的算法、经典的HOG特征算法、V-HOG、M-V-HOG算法分别对训练样本和测试样本的4个区域做实验，对4种算法均使用HIK-SVM分类器分类，4种方法的检测结果见表1所列。

表1　不同算法的检测率　%

对M-V-HOG特征和LBP特征融合后的特征进行降维。降为不同维数的检测结果见表2所列。

表2　PCA降为不同维数的检测率　%

通过比较，当降为1 600维时，检测率和直接融合时的检测率相同，因此本文选择将特征降为1 600维。为了更直观地比较本文方法的优劣，用ROC曲线来评估系统的性能，分别定义正确检测的车辆数、非车辆数、错检数和漏检数。

DTP（True Positive，TP）为正确检测到车辆。DFP（False Positive，FP）为误把别的物体当成车辆，错检。DFN（False Negative，FN）为误把车辆当成别的物体，漏检。DTN（True Negative，TN）为正确检测到非车辆。

虚警率（False Positives Rate，用RF表示）定义为：

对测试集进行测试时，记录正、负样本在分类器下的输出，通过改变分类器的模型的阈值得到ROC曲线。本文只选择经典的HOG特征和降为1 600维的M-V-HOG＋LBP特征作比较。不同区域的ROC曲线如图3所示。

检测率（Detection Rate，用RD表示）定义为：

图3　不同区域的ROC曲线

由图3可见，在检测率相同的情况下，HOG算法的虚警率高于本文的算法，本文算法的检测效果较好。

本文使用HIK-SVM分类器对降维后的特征进行分类，分类速度快，与经典的SVM分类器相比较的结果见表3所列。

表3　SVM和HIK-SVM检测800张测试图片时间　s

由表3可知使用HIK-SVM分类器分类速度快，更加满足实时性的要求。

使用本文算法和经典的HOG＋SVM算法部分实验结果如图4所示。

图4　本文算法和HOG算法部分实验结果

图4a为HOG算法实验结果，图4b为本文算法实验结果，由检测结果比较可知，对于图中部分重叠但是重叠不严重的车辆和图中远处的车辆，本文算法都可以检测出来，然而经典的HOG算法却不能，说明本文算法较好。

5　结束语

在实际应用中对车辆检测的检测效率和实时性要求越来越高，本文的特征在轮廓梯度特征的基础上加以改进，并和纹理特征相融合，经过实验证明，本文的特征比单一特征含有更多的信息，检测精度有明显提高，同时系统的实时性也得到了提高，使车辆检测系统在总体性能上有较大的提升。但本文方法对车辆高峰期拥堵和重叠严重的情况下检测效果不是很好，这将作为后续的研究重点，以进一步提高车辆检测系统的性能。

［参考文献］

［1］Li Xing，Guo Xiaosong.A HOG feature and SVM based method for forward vehicle detection with single camera［C］//IEEE International Conference on Intelligent Human-Machine Systems and Cybernetics，2013：263-266.

［2］Lee C，Kim J，Park E，et al.Multi-feature vehicle detection using feature selection［C］//IEEE International Conference on Systems，Man，and Cybernetics，2013：234-238.

［3］杨强，齐美彬，蒋建国.一种用于车辆检测的选择性背景更新方法［J］.合肥工业大学学报：自然科学版，2011，34 （4）：509-514.

［4］蒋建国，刘扬，詹曙，等.灰度视频序列中驾驶员疲劳实时检测方法［J］.合肥工业大学学报：自然科学版，2008，31 （9）：1424-1427，1442.

［5］Chiu C C，Chung M L，Chen W C.Real-time front vehicle detection algorithm for an asynchronous binocular system［J］.Journal of Information Science and Engineering，2010，26 （3）：735-752.

［6］Gepperth A R T.Co-training of context models for real-time vehicle detection［C］//2012 IEEE Intelligent Vehicles Symposium，2012：814-820.

［7］Huang J Y，Hu H Z，Liu X J，et al.Research on recognition of motional vehicle based on second-difference algorithm［C］//IEEE International Symposium on Industrial Electronics，2009：292-296.

［8］雷美琳，肖志涛，崔琴.基于双特征的前方车辆实时检测［J］.天津师范大学学报：自然科学版，2010，30（1）：23-26.

［9］慕永云，王荣本，赵一兵，等.基于多特征融合的前方车辆检测方法研究［J］.计算机应用研究，2011，28（9）：3572-3575.

［10］Aytekin B，Altug E.Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information［C］//IEEE International Conference on Systems，Man，and Cybernetics，2010：3650-3656.

［11］张全发，蒲宝明，李天然，等.基于HOG特征和机器学习的工程车辆检测［J］.计算机系统应用，2013，22（7）：104-107.

［12］王云建，孙志梅，张桦.基于SIFT特征的前方车辆检测算法［J］.杭州电子科技大学学报，2013，33（3）：33-36.

［13］蔡益红.多特征融合的道路车辆检测方法［J］.计算机技术与自动化，2013，32（1）：98-102.

［14］李文波，王立研.一种基于Adaboost算法的车辆检测方法［J］.长春理工大学学报：自然科学版，2009，32（2）：292-295.

［15］Arrospide J，Salgado L，Marinas J.HOG-like gradient-based descriptor for visual vehicle detection［C］//2012 IEEE Intelligent Vehicles Symposium，2012：223-228.

［16］Maji S，Berg A，Malik J.Classification using intersection kernel SVMs is efficient［C］//2008 IEEE Conference on Computer Vision and Pattern Recognition，Anchorage，AK，USA，2008：1-8.

（责任编辑张淑艳）

Vehicle detection method based on multi-features fusion and intersection kernel SVM

HU Qing-xin，JIAO Wei，GU Ai-hua
（School of Computer and Information，Hefei University of Technology，Hefei 230009，China）

Abstract：In this paper，a vehicle detection method which combines multi-resolution histograms of oriented gradients（HOG）features and local binary pattern（LBP）features as mixed features is proposed by using the image information under different resolutions to improve the accuracy and efficiency of detection.Because the dimension of the mixed features is greater than any single feature and causes the poor real-time performance，the principal component analysis（PCA）is used to decrease the dimension of the mixed features，and the histogram intersection kernel support vector machine（HIK-SVM）is used for the features classification.The experimental results show that the proposed method can detect vehicles with higher detection rate and less calculating time.

Key words：vehicle detection；multi-features fusion；histograms of oriented gradients（HOG）；local binary pattern（LBP）；principal component analysis（PCA）；histogram intersection kernel support vector machine （HIK-SVM）

作者简介：胡庆新（1965-），男，安徽淮南人，合肥工业大学副教授，硕士生导师.

基金项目：高等学校博士学科点专项科研基金资助项目（20120111110001）

收稿日期：2014-12-12；修回日期：2015-01-07

Doi：10.3969/j.issn.1003-5060.2016.01.016

中图分类号：TP391.413

文献标识码：A

文章编号：1003-5060（2016）01-0084-06