一种Haar-like和HOG特征结合的交通视频车辆识别方法研究

一种Haar-like和HOG特征结合的交通视频车辆识别方法研究

董天阳，阮体洪，吴佳敏，范菁

(浙江工业大学 计算机科学与技术学院，浙江 杭州 310023)

摘要：由于前向和后向车辆的表观特征不同，单纯使用主流的HOG或者Haar-like特征来识别车辆会存在对某一方向行驶的车辆识别率低或者误识率高的问题.针对上述问题，提出了一种Haar-like和HOG特征结合的交通视频车辆识别方法.在训练阶段，对前后向车辆分别采用Haar-like和HOG特征来提取车辆特征，引入反馈式的AdaBoost算法训练车辆分类器，提高车辆识别的速度以及准确率；在识别阶段，根据车辆运行状态确定前后向车辆，再利用对应的车辆分类器进行多尺度遍历识别.在不同光照强度的高速公路视频中进行车辆识别实验，前后车辆的平均识别率达到93%，误识别为9%.

关键词：特征结合；前后向车辆识别；HOG；Haar-like；AdaBoost

收稿日期：2015-04-02

基金项目：浙江省重大科技专项项目(2013C01112,2012C01SA160034)；杭州市重大科技创新专项(20132011A16)

作者简介：董天阳(1977—)，男，浙江东阳人，副教授，研究方向为计算机图形学和虚拟现实，E-mail:dty@zjut.edu.cn.

中图分类号：391.4

文献标志码：A

文章编号：1006-4303(2015)05-0503-05

Abstract:Since apparent characteristics of forward and backward moving vehicle are different, only using HOG or Haar-like features to recognize vehicle will result in lower recognition rate or higher error rate in one direction. This paper presents a vehicle recognition method based on Haar-like and HOG feature combination in order to improve the recognition rate. During training phase, the Haar-like for the frontward vehicle and HOG for the backward vehicle are used to extract vehicle features respectively. The feedback AdaBoost algorithm is used to train vehicle classification. In recognition phase, the direction of vehicle is judged by the vehicle moving status and corresponding vehicle classification is used to traverse and identify vehicle in multiscale. The vehicle identification experiment is tested in the highway video at different light intensities.. The average recognition rate reaches 93% and error rate is 9%.

Keywords:characteristic combination; frontward and backward vehicle recognition; HOG; Haar-like; AdaBoost

Vehicle recognition method based on Haar-like and HOG

feature combination in traffic video

DONG Tianyang, RUAN Tihong, WU Jiamin, FAN Jing

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

基于特征信息的车辆识别，是结合机器学习理论的车辆识别，就是通过对车辆目标大量样本的学习获取针对车辆目标的分类器，从而使用分类器可以在图像或视频中识别出目标，所以选取合适的车辆表观特征是关键.近年来，车辆特征从单一的边缘和对称性等特征向更具鲁棒性的车辆特征集转变.在车辆特征集中，方向梯度直方图(HOG)特征和Haar-like特征是车辆识别中主流的两种特征[1]，其次局部二值模式(LBP)特征也有不错的表现.其中HOG特征联合SVM分类器来实现车辆识别[2]，HOG特征表现出良好的识别性能，但是计算复杂度高.CHANG等[3]利用Haar特征和AdaBoost分类器从侧面识别车辆的前轮和后轮，也有学者分别采用车载的前置和后置摄像头拍摄，提取车尾和车头的Haar-like特征来识别车辆[4-5].Chang等[6]提出了一种利用级联Adaboost分类器进行车辆检测的方法，WANG等[7]采用了对LBP特征进行统计的方法进行车辆识别取得了较好的效果.然而针对高速公路的固定摄像机采集的视频，仅仅用LBP特征或Haar-like特征来识别前后向车辆，存在后向车辆的识别率较低的问题；而用HOG特征来识别前向车辆，存在前向车辆误识率较高的问题.

在分析前向和后向车辆特征的基础上，借鉴类Haar特征结合AdaBoost分类在人脸检测中的成功应用[8-9]，提出了一种Haar-like和HOG特征结合的交通视频车辆识别方法，以解决前向车辆和后向车辆的表观特征不同带来的识别率较低或误识率较高的问题.为了验证该方法的有效性，在不同光照强度的高速公路视频中进行了车辆识别实验，实验结果表明该方法能实现高速公路前后向车辆的快速和有效识别.

1Haar-like和HOG特征结合的交通视频车辆识别方法

1.1算法结构

Haar-like和HOG特征结合的交通视频车辆识别方法分为离线训练和在线识别两个过程.

在离线训练过程中，首先对所有训练的车辆图像正负样本进行灰度化和图像归一化(尺度为20×20 pixel)；接着分别对前向和后向车辆正样本图像进行遍历，提取前向车辆的Haar-like特征和后向车辆的HOG特征；然后用提取到的所有特征信息训练每一级的分类器，最终得到前向车辆AdaBoost分类器和后向车辆AdaBoost分类器.

在线识别过程中，首先根据车辆的行驶状态(利用运动检测方法确定运动区域，根据运动区域的面积变化来判断车辆远离或者靠近摄像头)判断是前向还是后向车辆(来选定相应的车辆分类器)；接着采用不同尺度窗口并行遍历待识别图像，将车辆候选区中的特征输入到级联分类器中来识别.如果该候选区内的所有特征通过所有级的分类器，则认为该区域为车辆的位置所在；最后通过所有级分类器的候选区进行合并，确定车辆的最终位置和尺寸.为了进一步提高分类器的识别率，提出了一种基于反馈式的AdaBoost训练算法，即把在线识别过程中误识别的样本加入到负样本中，迭代训练来提高识别率.算法的流程如图1所示.

1.2特征提取

1.2.1Haar-like特征

Haar-like特征是一种简单的矩阵特征，最先由VIOLA等在人脸识别系统中使用.矩阵特征是用来描述图像像素灰度值在相邻区域内总和的差，能够良好地体现目标局部特征的灰度变化[10].为了加快Haar-like特征计算的速度，将积分图的思想用于特征计算.后来，在上述基础上，许庆等[11]提出了扩展的Haar-like特征.该特征采用了水平、垂直、水平旋转45度、垂直旋转45度等作为特征，并针对45度旋转的矩阵提出了快速计算方法，在满足速度不受影响的情况下，系统的识别性能得到了明显改善[11].因此，笔者采用扩展的Haar-like特征来提取车辆特征.

1.2.2HOG特征及误识别分析

HOG特征是计算局部图像梯度的方向信息的统计值，将直方图作为特征向量.HOG特征在各种不同的计算机视觉的任务(包括车辆识别)中表现出良好的识别性能.法国国家计算机技术和控制研究所(INRIA)的研究员Navneet Dalal和Bill Triggs在2005年的CVPR会议上首次发表了描述HOG特征的论文，用于行人检测[12].

HOG特征计算的详细流程如下:

1) 将交通图像进行灰度化处理，并将灰度图看成x，y，z构成的三维图像.

2) 利用Gamma方法对灰度图进行校正和归一化.

3) 遍历图像中的每个像素，计算其像素对应的梯度大小和方向.

4) 将图像划分成小的细胞单元cell(一般取6×6pixel/cell)，并对梯度直方图的每个cell进行统计，就得到每个cell的特征向量.

5) 将一个block(一般取3×3个cell/block)中所有cell的特征向量串联起来，并对梯度强度做归一化处理，就得到了该block的HOG特征向量.

6) 将所有的block的HOG特征向量组合起来，就得到该交通图像的HOG特征向量，即基于HOG特征的分类器.

表1　HOG特征在不同前车视频中误识别分析

在车辆识别中，HOG特征表现出良好的性能，几乎能够识别出视频中所有的车辆(即召回率很高)，但前向车辆识别中仍然存在较多的误识别.从表1可以看出：同一视频误识别的图像逆变换后得到的图像和真正车辆逆变换后的图像很接近，当用该HOG特征进行识别时，就会出现误识别；同时，两者HOG特征的可视化结果也极其相似的，因此HOG特征本身存在局限性.

1.3AdaBoost级联分类器

AdaBoost训练出来的强分类器只能对特征明显的物体加以分类，但耗时较长.由于有些简单的特征就能排除大量的负子窗口，而用更复杂的特征来识别较难分辨的子窗口.根据“先重后轻”的想法，VIOLA等[10]提出了级联分类器方法，去除大部分负样本，提高了识别速度.级联的结构体现在图像中绝大多数识别的子窗口不是目标，所以级联在早期就尽可能地将负子窗口都丢弃.基于特征的车辆识别的目的是用尽可能少的时间将非车辆的大部分子窗口去除掉，因此级联的AdaBoost的分类器很适用于车辆识别的过程.

AdaBoost(Adaptive boosting)算法[13]是Schapire等在1996年提出的，该算法的核心思想是对同一个训练集训练不同的弱分类器，再根据不同弱分类器的分类错误情况，赋予不同的权重，最后将带权重的弱分类线性组合形成强分类器.

AdaBoost算法的详细步骤如下：

1) 依据样本分布Dt，对训练集合S进行有放回的抽样产生新的训练集合St，并在此训练集合上训练弱分类器ht，对训练集合S所有样本分类，确定本轮的分类器ht，弱分类器存在误差εt可表示为

εt=Pri～Di[ht(xi)≠yi]

(1)

(2)

其中Zt为正规因子，用来确保∑iDt+1(i)=1.

2) 重复迭代步骤2的过程T次，最终的强分类器的输出为

(3)

每次用一个特征，训练得到T个弱分类器，将这些弱分类器按权值线性组合得到最终的强分类器，其中权值与训练错误成反比关系.

2实验与结果分析

目前，实验收集了1 200张车辆图片作为正样本和4 800张非车辆图片作为负样本构建成车辆图片数据库.其中正样本我们只考虑车辆的前向和后向，所以在不同光照强度下选取样本图片，且只是车头和车尾图片，不考虑其他侧面，如图2所示.为了增加负样本的针对性，除了不含车辆的负样本图片外，特别考虑加入了高速公路中的背景图片以及与交通场景相关图片，如图3所示.

图2　前后向车辆正样本 Fig.2　The positive samples of front and rear vehicle

图3　车辆负样本 Fig.3　The negative samples of vehicle

在我们构建的车辆特征样本训练数据库上，采用Visual Studio 2010和OpenCV2.4.6库进行编程，验证算法的有效性.实验中分别提取前后向车辆的HOG，Haar-like，LBP[14]特征来检测车辆，并与笔者方法的检测结果进行比较.对是否存在明显阴影、是否是前向车辆或后向车辆，共4种不同情况下的视频进行车辆识别实验.其中4个视频依次为HighwayI(存在大量阴影，前向车辆，共440帧，有103辆车)，HighwayII(存在少量阴影，前向车辆，共1 700帧，有32辆车)，VideoI(亮度较暗，后向车辆，共500帧，有51辆车)，VideoII(亮度较强，既有前向车辆，又有后向车辆，共750帧，有50辆车)，分辨率都是320×240.

表2是在4个视频下识别结果的例图，从表2可以直观地看出：在前向车辆识别中，Haar-like和LBP车辆特征的识别效果较好，且速度较快；HOG车辆特征存在相对较多的误识别.而后向车辆识别中，HOG车辆特征的识别结果明显优于Haar-like和LBP车辆特征，在不同的光照强度下都有不错的识别效果，但速度较慢；而LBP和Haar-like车辆特征存在大量漏检.因此，笔者方法在不同场景下依然保持良好的识别效果.

表2　不同场景下车辆识别结果比较

从图4时间消耗上分析：在相同图像分辨率(320×240)的情况下，在不同的交通视频中，车辆特征识别的时间基本保持一致；而HOG特征识别的平均时间为63 ms/frame明显高于LBP的34 ms/frame和Haar-like的32 ms/frame，而笔者方法的平均时间为46 ms/frame.

图4　车辆识别中时间消耗的比较 Fig.4　The Compare of time consumption of the vehicle recognition

从表3的识别性能分析可以看出：笔者方法的平均识别率与利用HOG特征进行车辆识别的结果很接近，但是平均误识率比HOG特征低近10%；从图4的时间消耗来看：笔者方法的平均时间比HOG特征少20 ms.综合考虑来说，笔者提出的Haar-like和HOG特征结合的前后向车辆识别方法比Haar-like，HOG和LBP特征的前后车辆识别方法更有效.

表3　不同特征在前后向车辆识别性能分析

3结论

对前后车辆的不同表观特征进行研究，提出了一种Haar-like和HOG特征结合的前后向车辆识别方法.在训练阶段，在训练数据库上分别提取前向车辆Haar-like特征和后向车辆HOG特征，引用反馈式AdaBoost算法训练得到相应分类器；在识别阶段，依据车辆的行驶状态(即远离或者靠近摄像头)判断是前向还是后向车辆，再选用相应的分类器来进行车辆识别.在不同光照强度的高速公路视频上实验，从时间消耗、识别率和误识率上综合分析，证明了提出的方法的有效性.

参考文献：

[1]SIVARAMAN S, TRIVEDI M M. Looking at vehicles on the road: a survey of vision-based vehicle detection, tracking, and behavior analysis[J]. IEEE Transactions on Intelligent Transportation Systems,2013,14(4):1773-1795.

[2]SIVARAMAN S, TRIVEDI M M. Active learning for on-road vehicle detection: a comparative study[J]. Machine Vision and Applications,2014,25(3):599-611.

[3]CHANG W C, CHO C W. Real-time side vehicle tracking using parts-based boosting[C]// IEEE International Conference on System, Man, and Cybernetic. Singapore: IEEE,2008:3370-3375.

[4]LIU W, WEN X, DUAN B, et al. Rear vehicle detection and tracking for lane change assist[C]//IEEE Intelligent Vehicles Symposium. Istanbul, Turkey: IEEE,2007:252-257.

[5]SIVARAMAN S, TRIVEDI M M. A general active-learning framework for on-road vehicle recognition and tracking[J]. IEEE Transactions on Intelligent Transportation Systems,2010,11(2):267-276.

[6]CHANG Wenchuang, CHO Chihwei. Online boosting for vehicle detection[J]. Institute of Electrical and Electronics Engineers,2010,40(3):892-902.

[7]WANG C C R, LIEN J J J. Automatic vehicle detection using local features-a statistical approach[J]. IEEE Transactions on Intelligent Transportation Systems,2008(1):83-96.

[8]VIOLA P, JONES M. Robust real-time face detection[J]. International Journal of Computer Vision,2004,57(2):137-154.

[9]LIENHART R, MAYDT J. An extended set of Haar-like features for rapid object detection[C]//The IEEE International Conference on Image Processing. New York: University of Texas Press,2002:900-903.

[10]VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[C] //Conference on Computer Vision and Pattern Recognition. Kauai, HI: IEEE Computer Society,2001:511-518.

[11]许庆,高峰,徐国艳.基于Haar特征的前车识别算法[J].汽车工程,2013,35(4):381-384.

[12]李星,郭晓松,郭君斌.基于HOG特征和SVM的前向车辆识别方法[J].计算机科学,2013,40(11A):329-332.

[13]RAHIM N A, PAULRAJ M P, ADOM A H. Adaptive boosting with SVM classifier for moving vehicle classification[J]. Procedia Engineering,2013,53(7):411-419.

[14]杨先凤,杨燕.一种基于HOG-LBP的高效车辆检测方法[J].计算机工程,2014,40(9):210-214.

(责任编辑：刘岩)