基于双车辆可变形部件模型的车辆检测方法*

蔡英凤，刘泽，孙晓强，陈龙，王海

(1.江苏大学汽车工程研究院，镇江212013;2.江苏大学汽车与交通工程学院，镇江212013)

基于双车辆可变形部件模型的车辆检测方法*

蔡英凤1，刘泽2，孙晓强1，陈龙1，王海2

(1.江苏大学汽车工程研究院，镇江212013;2.江苏大学汽车与交通工程学院，镇江212013)

针对被部分遮挡车辆的漏检率高这一难点，在深入分析可变形部件模型的基础上，提出了基于双车辆可变形部件模型的车辆检测算法。该算法采用对图像分区域匹配和对匹配结果进行融合的方法来减少多车辆检测中被部分遮挡车辆检测的漏检情况。实验结果表明:该算法在部分遮挡车辆的检测中要优于已有算法，它明显地降低了漏检率，满足安全驾驶辅助技术应用中的实时性要求。

汽车工程;驾驶辅助技术;多车辆检测;可变形部件模型;遮挡车辆检测

前言

全世界每年车辆交通事故都会导致约1 200万的人员伤亡和占全球GDP总数1%～3%的社会财产损失。其中，绝大部分的车辆交通事故都因驾驶者的主观因素造成。提高道路行驶安全和帮助驾驶者预见并避免交通事故的发生已刻不容缓。近些年越来越多的学者投入到车辆检测相关的驾驶辅助技术研发上来。基于机器视觉的车辆检测是计算机视觉领域和安全驾驶辅助技术领域的研究热点。目前，已有许多学者将模式识别、图像处理和机器学习等方法应用于车辆检测领域并取得了良好效果，在基础研究和工程应用方面都发挥着重要作用［1－5］。

当前科研人员采用更通用并具有鲁棒性的特征，如HOG特征、Haar特征来对车辆进行检测。HOG特征是一种解释型的图像特征，可用来确定车辆的姿态。但其提取过程冗长且维度较大，导致训练时间较长且检测速度较慢。针对这个问题，文献［6］和文献［7］中提出的积分图HOG算法和文献［8］中提出的金字塔HOG算法有效降低了HOG特征维度，加快了检测速度。文献［9］中在HOG特征的分类器改进方面进行了研究，提出了附加核支持向量机(additive kernel support vector machine，AKSVM)，检测效果优于线性核SVM。2000年，文献［10］中提出Haar小波概念，Haar特征不仅非常适用于检测水平、垂直、对称的结构，还通过使用积分图加快特征提取，因而可用CPU进行实时计算。文献［11］中引入积分图概念加快了Haar特征的提取速度，文献［12］中提出首先用Haar+AdaBoost进行预测然后采用HOG+libSVM进行再检测的算法，在保证相同准确率的条件下加快了检测速率。文献［13］中设计的Haar-like特征对遮挡具有较好的鲁棒性。2008年，文献［14］中提出可变形部件模型(deformable part model，DPM)，使多类目标的检测达到最优效果，并利用隐含变量支持向量机(Latent variable SVM，LSVM)进行模型的训练，而后又引进级联思想，极大提高了算法检测速度。2010年，文献［15］中提出多分辨率模型，取得较传统DPM更好的检测效果。2012年，文献［16］中提出了能同时检测两个人体目标的滤波器，在一定程度上降低了目标漏检率。2013年，文献［17］中提出检测多分辨率目标的算法。文献［18－19］中利用尺度特征不变转换(scale invariant feature transform，SIFT)来检测车辆尾部，包括有遮挡情况，用加速鲁棒特征(speeded-up robust features，SURF)和边缘特征进行盲区中车辆的检测等。这些特征可被直接用来对图像中的目标进行分类和检测。其过程为:把样本图像分割为若干像素的单元，每相邻的4个单元组成1个检测方块，用检测方块对样本图像进行从左到右、从上至下依次滑动扫描，扫描的步长为1个单元，从而得到车辆的特征描述，并将此特征描述反馈给分类器，分类器将判定样本图像中是否含有车辆。但现有的包括HOG特征、Haar-like特征和DPM特征等提取算法使用检测方块滑动扫描的方法都存在一个难点，即对部分遮挡的车辆检测效果差。因为车辆在样本图像中被遮挡，扫描窗口得不到完整的车辆特征，这使分类器不可避免地产生漏检。针对这个难点，本文中在可变形部件模型的基础上，提出了单车辆和双车辆可变形部件模型，对样本图像中的完整车辆和被部分遮挡车辆进行综合分析，可以有效避免某个部分的缺失对整体检测结果的影响。

1 检测算法概述

可变形部件模型是包含整个目标的全局根模板和几个表示目标部件的部件模板［14］。通过单个车辆的样本集训练出来的包含一个车辆的可变形部件模型称为单车辆可变形部件模型;通过两个互相遮挡车辆的样本集训练出来的包含两个车辆的可变形部件模型称为双车辆可变形部件模型。

本文中提出一种双车辆可变形部件模型的车辆检测算法。所设计算法包含模型训练和模型匹配与融合两个阶段。算法整体流程图如图1所示。模型训练同样采用和训练可变形部件模型相同的训练方法来训练双车辆可变形部件模型。具体过程是:首先通过图像灰度化、颜色空间标准化和单元格尺寸归一化等预处理后的双车辆训练集得到初始全局根模板，然后通过新的训练集更新全局根模板，并在新的全局根模板上初始化部件模板，随后采用多次更新双车辆训练集和模型的过程得到最终的双车辆可变形部件模型。

图1 算法整体流程图

双车辆可变形部件模型的匹配过程与可变形部件模型类似，不同的是可变形部件模型采用1个描述车辆特征的全局根模板和8个描述车辆局部特征的部件模板进行匹配，而双车辆可变形部件模型则采用1个描述2个车辆的整体特征的全局根模板和2个描述单个车辆特征的部件模板进行匹配，再对可变形部件模型和双车辆可变形部件模型的匹配结果进行分析并融合在一起，最后得到根位置的响应值。

1.1 模型训练

用LSVM来训练双车辆可变形部件模型［20－21］，其步骤如下。

(1)人工裁剪一个图像尺寸大小相同的训练集。训练集中包括包含双车辆的正样本和不包含车辆的任意负样本，其中正样本7 300张，负样本24 000张。

(2)初始化全局根模板。根据训练数据集中目标矩形框大小的统计值，自动选择全局根模板的尺寸，使用不含隐藏变量的SVM训练得到一个初始的根滤波器F0。

(3)更新全局根模板。通过第2步得到的初始全局根模板，在训练集原始的、未经缩放处理的正样本图像上使用该全局根模板在与原始正样本的矩形框显著重叠50%以上的条件下，找到滤波器得分最高的一个位置，并根据以上结果更新训练集正样本。用更新后正样本和原始负样本重新训练，更新全局根模板，如图2所示，图中白色框为原始正样本。

图2 原始、更新后正样本

(4)初始化部件模板。在第3步得到的全局根模板上使用贪心算法找出矩形框内对应的所有权值的范数最大的位置作为第一个部件的位置，随后将此矩形框内的权值清零，然后继续搜索下一个部件的位置，直到选出6个部件的位置，最终这6个部件的面积相同且面积和能达到全局根模板总面积的4/5以上。

(5)更新模型。重新构建正负样本，并在新的样本集上进行训练，得到新的模型参数。对于新的正样本，在能保证与初始正样本至少1/2重叠的情况下用现有全局根模板在所有可能的位置和尺度上进行滑动扫描。在滑动扫描过程中选出具有最高得分的位置作为此矩形框的新正样本，并放入样本图像缓冲区中。对于新的负样本，则选择全局根模板在原始负样本滑动扫描时得分最高的位置作为新的负样本，即检测难度很大的负样本难例，如图3中黑色实线框所示。同时去掉检测难度很小的常规负样本，如图3中白色实线框所示。重复样本更新过程不断向样本图像缓冲区输送新的正负样本，并利用样本图像缓冲区中的正负样本进行训练，更新模型参数。

图3 难例、常规负样本

以上5个步骤每个步骤都将训练数据存储，若某一步骤出现错误，下次重新运行时可自动加载上次保存的数据。模型训练流程图如图4所示。

图4 训练过程流程图

训练完成后，训练出的可视化双车辆可变形部件模型如图5所示。

1.2 模型匹配与融合

用双车辆可变形部件模型在图像中对车辆进行匹配时，用根位置来表示图像中已经被判定为包含车辆目标的检测窗口所在位置，即每个根位置都表示有车辆目标被检测到。在图像金字塔的每一层根据各个部件的最佳位置计算每个根位置的综合得分，综合得分可表示为该层全局根模板响应值与经过变换和降采样的部件模板响应值之和。设

图5 可视化双车辆可变形部件模型

式中:Ri，1(x，y)为存放第i个模板在特征金字塔第li层卷积后的响应值的数组;F'i为滤波器F0的权值向量;φ为变形特征;H为特征金字塔;(x，y，1)为第i个滤波器在特征金字塔第1层图像的(x，y)的位置;i=0时，表示全局根模板，i＞0时，表示部件模板。

然后对其进行转换来允许具有空间不确定性，将第i个部件在特征金字塔1层的最优位置的响应值表示为

经过变换后的的Di，1(x，y)数组表示对根综合得分中第i个部件模板的贡献值。di为一个4维向量。将全局根模板响应值与各个部件模板的贡献值相加而得到1i层的根位置综合得分，即

式中:(x0，y0)为根模板的位置;λ为为获得某一层的两倍分辨率需要在图像金字塔中向下搜索的层数。

在模型训练过程中通过训练得到单车辆可变形部件模型和双车辆可变形部件模型后，即可使用模型对输入图像进行匹配。

通过匹配得到所有模板的响应值［22］，然后将所有的响应值进行融合［23－24］。首先使用单车辆可变形部件模型对输入图像进行匹配得到包含车辆目标的矩形框，然后对输入图像进行分区域处理，由于可变形部件模型检测车辆目标时存在周边区域漏检率大的问题，所以在不同的区域赋予双车辆可变形部件模型响应值不同的权值。设权值为I，目标矩形框大小为hw。通过选用不同大小矩形框实验的结果，最终框出一个1.5h·3w的矩形区域效果最佳。在这个矩形区域内，令I=1，将双车辆可变形部件模型响应值与权值的乘积加上单车辆可变形部件模型响应值作为融合结果。同样地，在这个矩形区域外，令I=0.6，将双车辆可变形部件模型响应值与权值的乘积加上单车辆可变形部件模型响应值作为融合结果。这样，既限制了双车辆可变形部件模型响应值对根位置响应值的影响，继而降低误检率，又对双车辆可变形部件模型检测被漏检的两个车辆目标的情况无影响，继而降低了漏检率。单车辆可变形部件模型响应值作为根位置响应值的主要贡献者，双车辆可变形部件模型作为根位置响应值的辅助贡献者。匹配与融合过程如图6所示。

图6 模型匹配及融合流程图

2 实验结果与分析

将训练得到的双车辆可变形部件模型进行有效性实验。实验图片来自于KITTI标准数据集［25］。KITTI训练集含有图片7 481张，含有车辆约35 000辆;KITTI测试集含有图片7 518张，含有车辆约27 000辆。实验分为两组:第一组实验为传统车辆检测算法、单车辆可变形部件模型、双车辆可变形部件模型对样本库中不含遮挡车辆的单个车辆进行检测效果的对比;第二组实验为传统车辆检测算法、单车辆可变形部件模型、双车辆可变形部件模型对样本库中含有遮挡车辆的多车辆进行检测效果的对比。本文中用来做对比的传统车辆检测算法为文献［13］中使用的Haar+Adaboost分类器、文献［14］中所提的HOG+LSVM分类器和文献［18］中所提的Haaris+SIFT算法。实验平台为Intel酷睿2双核2.67G处理器，4G内存，操作系统为Windows 7，编程软件为Microsoft Visual 2013、MATLAB 2015b。

此外，受试者工作特征曲线(receiver operating character-istic curve，ROC)被用来作为各车辆检测方法的性能评价指标。以上两组实验均以每幅图像的误检率(false positive per image，FPPI)作为横坐标，以真正类率(ture positive rate，TPR)作为纵坐标。

在实验1中，本文中所设计的双车辆可变形部件模型与单车辆可变形部件模型和传统的车辆检测算法在KITTI标准数据集下对样本库中的单个车辆的检测率进行综合比较。实验结果如图7所示，当FPPI取1时，双车辆可变形部件模型、单车辆可变形部件模型、Haat+Adaboost［12］、HOG+LSVM［14］和Harris－SIFT［18］的检测率分别为91.58%，94.75%，90.87%，89.62%和84.37%。

在实验2中，本文中所设计的双车辆可变形部件模型与传统的单车辆可变形部件模型和传统车辆检测算法在KITTI标准数据集下对含有被部分遮挡的多车辆检测情况进行综合比较。实验结果如图8所示，当FPPI取1时，双车辆可变形部件模型、单车辆可变形部件模型、Haar+Adaboost［12］、HOG+LSVM［14］和Haarist SIFT［18］的检测率分别为86.37%，61.30%，71.34%，67.45%和72.78%。

图7 多种车辆检测算法在样本库下的ROC曲线图

图8 多种车辆检测算法在样本库下的ROC曲线图

此外，为方便直观对比，给出实验过程中各算法在KITTI标准数据集下对遮挡车辆的检测实例，5组实例如图9所示。

从以上实验结果可以看出，单车辆可变形部件模型虽然在检测单个车辆时有较高的检测率，但在对车辆被遮挡情况下和传统分类器一样存在较高的漏检率和误检率;总的来说，双车辆可变形部件模型则表现较好，能在多车辆路况下多个视角地将被遮挡车辆有效地检测出来，使被遮挡车辆的漏检率大幅降低。

3 结论

针对传统车辆检测算法在检测靠得很近或相互遮挡的多车辆目标时容易出现漏检的问题，提出了基于双车辆可变形部件模型的车辆检测算法。该算法包含模型训练和模型匹配与融合过程，获取双车辆可变形部件模型，同时提出一种对图像进行分区域匹配加融合的新方法。实验结果表明，本文中的算法相比其他算法对检测靠得很近和相互遮挡的多车辆目标时容易出现的漏检情况有较大的改善，在误检率一定的情况下有效降低了漏检率，验证了本文中的算法的有效性。在实验过程中还发现，双车辆可变形部件模型在检测遮挡比较严重的车辆时无论怎样调节参数仍然存在漏检问题，后续将从提升特征提取方法进行进一步研究。

图9 多种算法对遮挡车辆检测实例

［1］王海，蔡英凤，林国余，等．基于几何与粗糙深度信息的候选车辆生成方法［J］．汽车工程，2015，37(5):593－598．

［2］王海，蔡英凤，袁朝春．基于多模式弱分类器的AdaBoost-Bagging车辆检测算法［J］．交通运输工程学报，2015，15(2):118－126．

［3］GUANGYING G．Algorithm of vehicle detection and pattern recognition using SVM［J］．Computer Engineering，2007，6:6－10．

［4］CAI Y，WANG H，ZHANG W．Video-based urban expressway traffic measurement and performance monitoring［J］．Journal of Southeast University，2011，27(2):164－168．

［5］XU H，ZHOU Z，SHENG B，et al．Fast vehicle detection based on feature and real-time prediction［C］．2013 IEEE International Symposium on Circuits and Systems(ISCAS2013)．IEEE，2013: 2860－2863．

［6］PORIKLI F．Integral histogram:A fast way to extract histograms in cartesian spaces［C］．2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'05)．IEEE，2005，1:829－836．

［7］ZHU Q，YEH M C，CHENG K T，et al．Fast human detection using a cascade of histograms of oriented gradients［C］．2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'06)．IEEE，2006，2:1491－1498．

［8］BOSCH A，ZISSERMAN A，MUNOZ X．Representing shape with a spatial pyramid kernel［C］．Proceedings of the 6th ACM international conference on Image and video retrieval．ACM，2007:401－408．

［9］MAJI S，BERG A C，MALIK J．Efficient classification for additive kernel SVMs［J］．IEEE transactions on pattern analysis and machine intelligence，2013，35(1):66－77．

［10］PAPAGEORGIOU C，POGGIO T．A trainable system for object detection［J］．International Journal of Computer Vision，2000，38 (1):15－33．

［11］VIOLA P，JONES M．Rapid object detection using a boosted cascade of simple features［C］．Computer Vision and Pattern Recognition，2001．CVPR 2001．Proceedings of the 2001 IEEE Computer Society Conference on．IEEE，2001，1:I－511－I－518 vol．1．

［12］VIOLA P，JONES M J，SNOW D．Detecting pedestrians using patterns of motion and appearance［J］．International Journal of Computer Vision，2005，63(2):153－161．

［13］ZHANG S，BAUCKHAGE C，CREMERS A B．Informed haarlike features improve pedestrian detection［C］．Proceedings of the IEEE conference on computer vision and pattern recognition，2014:947－954．

［14］FELZENSZWALB P，MCALLESTER D，RAMANAN D．A discriminatively trained，multiscale，deformable part model［C］．Computer Vision and Pattern Recognition，2008．CVPR 2008．IEEE Conference on．IEEE，2008:1－8．

［15］PARK D，RAMANAN D，FOWLKES C．Multiresolution models for object detection［C］．European Conference on Computer Vision，Springer Berlin Heidelberg，2010:241－254．

［16］OUYANG W，WANG X．Single-pedestrian detection aided by multi-pedestrian detection［C］．Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013:3198－3205．

［17］YAN J，LEI Z，WEN L，et al．The fastest deformable part model for object detection［C］．Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014:2497－2504．

［18］CHOI J Y，SUNG K S，YANG Y K．Multiple vehicles detection and tracking based on scale-invariant feature transform［C］．2007 IEEE Intelligent Transportation Systems Conference．IEEE，2007: 528－533．［19］TERRIBERRY T B，FRENCH L M，HELMSEN J．GPU accelerating speeded-up robust features［C］．Proc．Int．Symp．on 3D Data Processing，Visualization and Transmission(3DPVT)，2008: 355－362．

［20］FELZENSZWALB P，MCALLESTER D，RAMANAN D．A discriminatively trained，multiscale，deformable part model［C］．Computer Vision and Pattern Recognition，2008．CVPR 2008．IEEE Conference on．IEEE，2008:1－8．

［21］FELZENSZWALB P F，GIRSHICK R B，MCALLESTER D，et al．Object detection with discriminatively trained part-based models［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(9):1627－1645．

［22］LEN L C，HIRATA R．Car detection in sequences of images of urban environments using mixture of deformable part models［J］．Pattern Recognition Letters，2014，39:39－51．

［23］TIAN B，TANG M，WANG F Y．Vehicle detection grammars with partial occlusion handling for traffic surveillance［J］．Transportation Research Part C:Emerging Technologies，2015，56:80－93．

［24］CARDARELLI E，SABATTINI L，SECCHI C，et al．Multisensor data fusion for obstacle detection in automated factory logistics［C］．Intelligent Computer Communication and Processing(ICCP)，2014 IEEE International Conference on．IEEE，2014:221－226．

［25］GEIGER A，LENZ P，STILLER C，et al．Vision meets robotics: The KITTI dataset［J］．The International Journal of Robotics Research，2013:0278364913491297．

Vehicle Detection Method Based on Double Vehicle Deformable Part Model

Cai Yingfeng1，Liu Ze2，Sun Xiaoqiang1，Chen Long1＆Wang Hai2
1.Institute of Automotive Engineering，Jiangsu University，Zhenjiang212013; 2.School of Automotive and Traffic Engineering，Jiangsu University，Zhenjiang212013

In view of the difficult issue of high miss detection rate in detecting partially obscured vehicles，on the basis of in-depth analysis on deformable part model，a vehicle detection algorithm based on double-vehicle deformable part model is proposed．In the algorithm a method of image segmentation matching and matching results fusion is adopted to reduce the miss detection rate of partially obscured vehicles in multi-vehicle detection．Experimental results show that the algorithm proposed is superior to the existing algorithms in partially obscured vehicle detection，obviously lowering the miss detection rate，meeting the real-time requirements in the application of safe driving assistance technology．

automotive engineering;driving assistance technology;multi-vehicle detection;deformable part model;obscured vehicle detection

Ri，1(x，y)=F'i·φ(H，(x，y，1))(1)

10．19562/j．chinasae．qcgc．2017．06．016

*国家自然科学基金(61403172，61601203，U1564201)、中国博士后基金(2014M561592，2015T80511)、江苏省六大人才高峰项目(2015－JXQC－012，2014－DZXX－040)和江苏省自然科学基金(BK20140555)资助。

原稿收到日期为2017年1月9日，修改稿收到日期为2017年2月21日。

王海，副教授，博士，E-mail:wanghai1019@163．com。