周莹+晓艳
摘 要
针对传统车辆检测方法计算复杂和误检率高的问题,提出了一种基于类Haar图像特征描述的车辆检测方法。首先,建立特征向量库,利用类Haar特征对训练样本进行特征提取。然后,提取待检测图像的子图像特征信息。最后,最近邻分类器利用特征向量库对待识别的子图像进行车辆存在性检测。利用积分图像的概念对图像进行描述,大幅度提高了特征提取速度。此外,分析了不同数量的类Haar特征对检测效果的影响。实验结果表明,该方法能大幅降低误检率,获得较高的查准率,对日间自然光条件下的车辆有较好的检测效果。
【关键词】Haar-like 积分图像 最近邻 车辆检测
1 引言
车辆检测在智能交通系统中至关重要,旨在预测车辆的潜在危险,以便及时地警告司机。当前的车辆检测方法主要分成三种:基于感应线圈的检测,基于波频检测和基于图像视频的检测。基于感应线圈的检测方法是通过感应线圈的电磁感应现象,当车辆经过时有电流变化,从而实现检测。但线圈随着年限的增加会出现老化损耗等,导致检测失效。基于波频的检测方法主要依赖微波、红外线、超声波或者雷达等有源传感器检测车辆。尽管该方法适用于不同的工作环境 ,但是其却无法区分障碍物的种类(汽车、行人和自行车等)。与前两种方法不同, 图像视频检测方法利用与人类视觉相似的相机系统,能够向模式识别系统提供丰富信息,所以其更适用于车辆检测。
目前,基于视觉的常用车辆检测方法主要包括基于模板匹配的检测方法 、基于学习的检测方法和基于特征的检测方法 。其中,基于学习的检测方法主要是利用大量的车辆图片来训练分类器.常用的分类器主要包括SVM、AdaBoost、神经网络等。文献[18、19]介绍了一种基于类Haar 和AdaBoost 分类器的车辆识别算法。该算法虽然检测速度快,检测率高,且误检率低,但训练样本规模非常大时,训练分类器耗时较长。文献[20]HOG 特征和SVM的车辆检测算法, 此算法适应性强, 但其计算复杂度高。
鉴于此,本文提出了一种计算简单且能大幅度降低误检率的车辆检测方法,即类Haar特征结合KNN算法。KNN算法简单,易于实现,并且利用积分图像的概念对图像进行描述,可以顯著提高特征提取速度。该方法由两部分组成:特征提取阶段和检测阶段。特征提取阶段,使用类Haar特征对训练集图像进行特征提取,获取特征信息,组建特征数据库;检测阶段,统一测试图像尺寸,用滑动窗口对其进行分割,并对子图像进行特征提取。利用最近邻分类器将每幅子图像的特征信息与特征信息库进行对比,从而检测是否有车辆存在,并确定车辆位置。
2 算法结构
本文算法可以分为两个主要阶段:特征库建立和车辆检测。特征库建立阶段,首先选取对分类识别起关键作用的类Haar 特征, 并利用其对训练样本进行特征提取,然后建立特征向量库。车辆检测阶段,首先提取待检测图像的类Haar 特征, 然后将特征输入到KNN分类器中进行车辆存在性检测. 算法结构如图1 所示, 文章后续部分将对这两个主要阶段进行详述。
3 特征库建立阶段
特征库建立阶段主要包括图像预处理、计算积分图、提取类Haar 特征三部分。这个阶段建立的特征向量库将为检测阶段提供类Haar特征信息。
3.1 图像预处理及积分图计算
将训练集中所有图像的尺寸统一设置为24x24的RGB图像,如图2所示,训练集样本包含积极样本和消极样本。然后根据文献[22] 介绍的方法计算每个图像的积分图, 为后续阶段快速计算类Haar 特征做准备。
当计算类Haar特征时,仅以Viola等人提出的四个基本矩形特征为例,在一个24×24窗口图像 中任意排列至少可以产生数以十万计的特征,求解这些特征值的计算量很大。为提高类Haar特征计算速度,在特征提取阶段引入积分图的概念,从而可以大幅度提高检测速度。
积分图的主要思想是将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存在内存中,当要计算某个区域的像素和时可以直接索引数组的元素,不用重新计算这个区域的像素和,即只遍历一次图像就可以求出图像中所有区域像素和的快速算法,从而提高了图像特征值计算的效率。
图3(a)点(x,y)处的积分值为该点左上方的像素和,图3(b)矩形区域D内的像素总和由四个参量得到。
图4类Haar特征。(a)、(b)边界特征;(c)、(d)线性特征;(e)对角特征;(f)中心特征。
积分图是一种能够描述全局信息的矩阵表示方法。积分图ii(x,y)表示位置(x,y)处左上方像素值的总和 (如图3(a)所示),见公式(1)。
其中,i(x,y)是原始图像,i(x',y')为位置(x,y)左上方的像素点。通过以下两个方程的循环计算即可得到积分图像:
其中,s(x,y)表示行方向的累加和,s(x,-1)=ii(-1,y)=0。当扫描到图像右下角像素时,积分图像ii就构造好了。
积分图构造好后,图像中任何矩阵区域的像素累加和都可以通过简单运算得到(如图3(b)所示)。设D的四个顶点分别为1、2、3、4,则D的像素和可以表示为公式3所示,即用四个参量即可得到。
相似地,不同的两个矩形区域的像素和可以由八个参量得到。由于定义的特征矩形都是相邻的,所以用六个参量表示即可。同理,三个矩形区域的特征由八个参量即可得出,四个矩形区域的特征由九个参量即可得出。
3.2 类Haar特征提取
类Haar 特征是由Viola 等人[22、23] 在其人脸检测系统中引入的一种简单矩形特征, 因类似于Haar 小波(Haar wavelet)而得名,。类Haar特征又称为矩形滤波器, 每个类Haar特性描述模板由黑白两种矩形组成,其提供了一幅图像中两个相邻区域的灰度级信息,即该模板的特征值为白色矩形像素和减去黑色矩形像素和。 如图4所示,其中图(a)和(b)为边界特征,(c)和(d)为线性特征,(e)为对角特征,(f)为中心特征。endprint
图5为用于描述车辆特征的类Haar 特征示例。基于3.1中的积分图,计算每个样本图像的6种类Haar 特征, 每个样本总共可得到1909个类Haar 特征。
4 检测阶段
检测阶段用于对待识别的子图像进行车辆的存在性检测,主要包括:
(1)图像预处理;
(2)计算积分图;
(3)提取类Haar特征;
(4)应用KNN分类器进行分类识别四个部分。
首先将测试图像的尺寸统一设置为320x240。然后利用滑动窗口对图像进行分割,得到一系列的子图像,并对其进行特征提取,获得特征向量。3.2节提取的类Haar特征库用于本阶段的特征提取和检测。最后,利用最近邻分类器结合特征向量库对待识别的子图像进行车辆存在性检测, 输出最终的分类识别结果。
最近邻(KNN,K-Nearest Neighbor)分类算法,也叫邻近算法,是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是K个最近的邻居的意思,即每个样本都可以用它最接近的K个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。本文最近邻算法的K值取1。
5 实验结果和讨论
实验结果主要包含两部分:
(1)分别选取不同数量的类Haar特征进行测试,观察不同特征参数对检测结果的影响。
(2)为验证本文提出的车辆检测算法性能,将本文所提出的算法与SVM算法进行对比,并对实验结果比较分析。
所有试验均利用Matlab R2014b完成,实验平台的硬件环境是因特尔i3处理器,2.20GHz,2GB内存,Win7操作系统。用于训练本文检测系统性能的数据集组成如下:
(1)积极样本集:包含2775个示例图像。这些图像由不同种类汽车的正视或后视图组成(如图2(a));
(2)消极样本集:包含4498个示例图像(如图2(b)),这些图像不包含任何车辆信息。在特征提取阶段,将消极图像和积极图像尺寸统一设置为24x24。
首先,由150幅积极图像及275幅消极图像组成的测试图集对系统进行测试。类Haar特征分别选取如图4所示的前两种、前四种和六种矩形特征。测试结果如表1所示。
由表1可以看出特征数量越多检测率越高。其中采用六种类Haar特征时的检测率达到98.00%,明显高于采用二特征和四特征的检测率。采用四种和六种类Haar特征的误检率相同均为1.09%,远低于二特征的误检率。检测结果表明,选取不同数量的类Haar特征对检测结果有较大影响,这是因为选取的特征数量越多,所包含的信息量越大,检测率就越高,同理,误检率越低。本文最终选择具有六个矩形特征的类Haar特征描述。
为了客观地评价该车辆分类器的性能,本文采用了三个道路数据集的图像作为测试集进行测试。测试图像主要来自Daimler Benchmark Dataset和Caltech数据库、KITTI数据库。测试图像尺寸统一设置为320x240,部分检测结果如图6所示,白色框为本文检测结果。
其次,采用文献[29]中Recall查全率、Precision查准率、F-score值等指标对本文方法进行评价。公式4中,TP代表真阳性,即正确检测出车辆;FP代表假阳性,即将非车辆误认为车辆;FN代表假阴性,即将车辆误认为非车辆。
为了评估本文算法的性能,进行了比较测试。本文从常见路面数据集Daimler Benchmark Dataset、Caltech数据库和KITTI数据库中抽取300张车辆图像及300张不包含车辆信息的图像作为测试集,并将尺寸统一设置为24x24。表2为SVM算法与本文算法的车辆检测实验结果。
通过表2可以看出,本文算法与SVM算法相比检测率略低,但大幅降低了误检率,误检率仅为1.33%,而SVM算法的误检率高达95%。比较得出本文算法在省去了大量训练时间的同时降低了误检率,获得了较高的查准率和F值。实验结果表明,本文提出的结合类Haar特征和KNN算法的车辆识别方法有效地降低了静态图像的车辆误检率,具有较高的鲁棒性。
然而,本文算法也存在一定的誤检现象,如图7所示,由红色框标出,图a中较远处的车辆,由于车辆的类Haar特征与路面特征相近,所以未识别出来。图b中的卡车由于被建筑物遮挡住部分车体等原因并未被识别出。
6 结束语
车辆识别是智能交通系统中的关键技术。本文提出且实施了一种基于类Haar特征的车辆检测方法,实现了降低误检率的同时能准确地从图像中识别出目标车辆。本文提出的结合类Haar特征和最近邻分类器的算法复杂度低,且有效地降低了静态图像车辆误检率。
然而,本文算法仍有很多需要改进的地方,如:这类方法容易受环境和光照等因素的影响,如何提高对夜间道路车辆的检测效果;如何将此算法应用到视频车辆检测中,实现实时车辆检测;以及如何提高在道路安全实际应用中的可靠性、检测速度等。这些改进将是未来工作的目标。
参考文献
[1]Negri P,Clady X,Prevost L. Benchmarking haar and histograms of oriented gradients features applied to vehicle detection[J]. ICINCO 2007;Proceedings of the Fourth International Conference on Informatics in Control, Automation and Robotics, Robotics and Automation 1;May 9-12,2007;Angers,France. 2007:359-364.endprint
[2]郭新华,陈锻生.基于机器学习的快速车辆检测方法[D].泉州市,华侨大学,2016.
[3]Autoscope-Video Detection Solutions.http://autoscope.com
[4]Iteris-Innovation for better mobility. http://www.iteris.com
[5]N.Chintalacheruvu and V.Muthukumar, Video Based Vehicle Detection and its Appli-cation in Intelligent Transportation Systems[J].Journal of Transportation Technologies,Vol.2 No.4,2012,pp.305-314.
[6]党宏社,赵广社.汽车巡航控制用传感器进展[J].传感器技术,2002,21(01):1-3.
[7]Ge J,Luo Y,Tei G.Real-time pedestrian detection and tracking at nighttime for driver-assistance systems[J]. Intelligent Transportation Systems, IEEE Transactions on;2009;10(02),283-298.
[8]李乡儒,吴福朝,胡占义.均值漂移算法的收敛性[J].软件学报,2005,16(03):365-374.
[9]N.Dalal.Finding people in images and videos [D].Ph D Thesis,INRIA,2006.
[10]M.Oren,C.Papageorgiou,P.Sinha, et al.Pedestrian detection using wavelet templates[A].In Proc.of IEEE CVPR [C],1997.
[11]B.Günyel, R.Benenson,R.Timofte,and L.Van Gool.Stixels motion estimation without optical flow computation.In ECCV,2012.
[12]Wang H,Zhang H.A Hybrid Method of Vehicle Detection based on Computer Vision for Intelligent Transportation System[J].International Journal of Multimedia & Ubiquitous Engineering, 2014.
[13]代科学,李国辉,涂丹等.监控视频运动目标检测减背景技术的研究现状和展望[J].中国图象图形学报,2006,11(07):919-927.
[14]U.Franke,and I.Kutzbach.Fast stereo based object detection for stop and go traffic[A].In Proc.of IEEE Intelligent Vehicles Symposium [C].1996,339-344.
[15]U.Franke,D.Gavrila,S.Gorzig,etal.Autonomousdrivinggoesdowntown [J].IEEE Intelligent Systems, 1999,13(06):40-48.
[16]D.Gavrila,J.Giebel,and S.Munder. Vision-based pedestrian detection: the protector system[A].In Proc. IEEE Intelligent Vehicles Symposium [C].2004,13-18.
[17]R.Benenson,R.Timofte,andL.VanGool.Stixelsestimationwithoutdepthmap computation. In ICCV,CVVT workshop,2011.
[18]文學志,方巍,郑钰辉.一种基于类Haar 特征和改进AdaBoost 分类器的车辆识别算法[J].电子学报,2011,39(05):1121-1126.
[19]Wen-Chung Chang;Chih-Wei Cho.Online boosting for vehicle detection[J]. IEEE Transa-ctions on Systems,Man, and Cybernetics,Part B:Cybernetics.Published by Institute of Electrical- and Electronics Engineers,Inc.,2010,40(03):892-902.
[20]李修志,吴键,催志明,陈建明.复杂交通场景中采用稀疏表示的车辆识别算法[J].中国图象图形学报,2012,17(03):387-392.
[21]Ertugrul,OF,Tagluk,ME,Anovel version of k nearest neighbor:Dependent nearest neigh-bor[J].APPLIED SOFT COPUTING,2017(55):480-490.
[22]Lienhart R,Maydt J.An extended set of Haar-like features for rapid object detection[C].The IEEE International Conference on Image Processing.New York,USA,2002,1:900-903.endprint
[23]Viola P,Jones M.Robust real-time face detection[J].International Journal of Computer Vision,Published by Springer,2004,57(02):137-154.
[24]Oualla M,Sadiq A,Mbarki S.A survey of Haar-Like feature representation[J].Multimedia Computing and Systems (ICMCS).2014 April; International Conference on;2014(01)1101-1106.
[25]Christianini,N.,and J.C.Shawe-Taylor.An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods. Cambridge[M].UK:Cambridge University Press,2000-03-28.
[26]佚名.Benchmark Dataset http:// www.gavrila.Net/Datasets/Daimler_Pedestrian_Benchmark_D/Daimler_Mono_Ped__Detection_Be/Daimler_mono_ped __detection_be.
[27]佚名.Caltech数据库http://www.vision.caltech.edu/html-files/archive.html.
[28]佚名.KITTI數据库http://www.cvlibs.net/datasets/kitti/eva l_object.php.
[29]D Konstantinidis,T Stathaki,V Argyriou,N Grammalidis,Building Detection Using Enhanced HOG–LBP Features and Region Refinement Processes[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,PP(99):1-18.
作者简介
周莹(1993-),女,黑龙江省哈尔滨市人。硕士学位。现为哈尔滨师范大学硕士三年级在读,学生。主要研究方向为图像处理、智能交通系统。
于晓艳(1975-),女,黑龙江省哈尔滨市人。硕士研究生导师,教授。主要研究领域为图像处理与机器视觉。
作者单位
哈尔滨师范大学物理与电子工程学院 黑龙江省哈尔滨市 150025endprint