彭胜
(1.四川大学视觉合成图形图像技术国防重点学科实验室,成都 610065;2.四川川大智胜软件股份有限公司,成都 610065)
PENG Sheng1,2
(1.State Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610065;2.Wisesoft,Chengdu 610065)
一种基于改进ViBe和级联分类器的车辆检测算法
彭胜1,2
(1.四川大学视觉合成图形图像技术国防重点学科实验室,成都 610065;2.四川川大智胜软件股份有限公司,成都 610065)
针对基于Haar-like和AdaBoost分类器的车辆检测检测速度慢、虚警率较高等问题,提出一种基于改进ViBe算法和Haar-HOG特征级联分类器的车辆检测算法。首先,帧间差分法不会产生鬼影,和ViBe算法结合能够迅速消除鬼影,结合形态学处理获得前景;然后,训练基于Haar和HOG特征的Gentle AdaBoost级联分类器;最后,进行车辆检测实验表明,改进算法识别性能更好,虚警率更低,耗时更少,能够达到实时车辆检测的需求。
AdaBoost算法;ViBe;Haar特征;HOG特征;车辆检测
目前,车辆检测技术是计算机视觉领域的一个重要课题,在视频监视系统、车辆自助驾驶系统等有着广泛且重要的应用价值。车辆检测技术的实质是将图片序列或视频图像中出现的车辆检测出来。传统的车辆检测的方法有背景差分法[1],帧间差分法[2],光流法[3]。
除了上述方法,基于机器学习的车辆检测同样成为了研究热点,机器学习识别算法识别性能高、鲁棒性好。基于机器学习的车辆检测技术分为外形特征提取和分类学习两个部分。外形特征包括Haar小波[4]、方向梯度直方图(HOG)[5]、Gabor滤波器特征[6]、表观特征[7]和颜色特征[8]等。常用的分类方法有AdaBoost集成学习[9]、支持向量机(SVM)[10]、神经网络(NN)[11]等。
基于ViBe[12]前景提取与Gentle AdaBoost分类器[13],结合运动目标检测方法对监控视频中的车辆进行自动识别,本文提出了一种基于改进ViBe算法和Haar-HOG级联分类器的车辆检测算法。从以下两个方面进行了改进:
(1)利用Haar-like和HOG混合特征代替单一特征训练级联分类器,用于车辆检测。
(2)利用改进的ViBe算法提取前景并进行形态学处理,有效剔除大量干扰检测的无用信息,再通过级联分类器进行车辆检测。实验结果表明改进的算法识别性能更好,能够加快检测速度、降低误检测率、提高检测率。
通常用于前景检测的算法有简单高斯模型[14],混合高斯模型(GMM)[15],ViBe前景检测方法等。ViBe是一种像素级的前景检测方法,它通过为图像中的每一个像素建立一个样本集,存储该像素邻域范围内不同时刻像素值的采样。通过比较当前像素值与样本集的相似程度,就可以判断该像素属于前景还是背景。ViBe算法的不足是会引入鬼影(ghost),本文采用帧间差分法和ViBe相结合算法进行前景检测,能够很快地消除掉鬼影,进行形态学处理以更好的保留前景。
1.1 ViBe算法概述
ViBe算法主要由样本集初始化、样本集匹配和样本集更新三部分完成。
(1)样本集初始化
ViBe方法提供了一种单帧初始化技术,可以从图像序列的第二帧起分离运动前景。由于单帧图像没有时间信息,ViBe方法基于像素邻域范围内的时空分布相似性,选择空间邻域内的像素值初始化样本集。对第一帧图像的每一个像素p,随机选择其邻域内的像素值组成该像素的样本集合S。但时间信息的缺失会把运动目标当作背景抽样得到错误的初始化结果,在样本集中引入鬼影,需要使用其他更新策略淡化或消除鬼影。
(2)样本集匹配
对于新一帧图像序列的像素,比较其像素值与样本集的相似性就可以判断该像素属于前景或这背景。显然,当相似度较高时,像素与样本集匹配,该像素属于背景。
记p为当前帧中某像素值,S为p的样本集合,S= {p1,p2,…,pn}。SR是以p为中心R为半径的区域,如图1所示。统计集合S中的值落入SR中的样本数N,若N大于Tmin,则认为该像素p与样本集合成功。即:
图1 ViBe样本集示意图
(3)样本集更新
样本集需要不断更新以适应视频场景的变化。ViBe方法采用保守的更新策略,对于未匹配成功的像素,其像素值将永远不会更新进入样本集。对于匹配成功的像素,ViBe使用以下策略更新样本集:①无记忆更新策略;②空间一致性更新策略;③时间重采样;ViBe方法实现简单,硬件内存占用较少,并且可以很好地抑制噪声和光照。
1.2 ViBe算法的改进
针对ViBe算法会引入了鬼影,而样本集更新只能缓慢去除鬼影。加入帧间差分法加快鬼影消失速度。第t帧时对判定为前景像素的点p进行帧间差分处理,并设置一个计数器top(p)初始化为0,如果该点的像素值Vt(p)与前一帧Vt-1(p)对应的像素值的差分结果小于阈值Tδ之内,则top(p)加1,否则,top(p)清零,即:
式(2)中d(p)为帧上对应像素之间的像素值差分。当top(p)大于阈值Tδ时,可以认为这个像素点为背景,从而快速消除鬼影。
对前景检测的结果进行形态学后处理,即进行形态学开运算和闭运算操作。图2给出了GMM、ViBe和本文算法效果在data2012中highway图像序列(共1700帧)的检测对比图。
图2 前景检测实验效果对比图(第一行为第400帧,第二行为800帧,第三行为1200帧,第四行为1600帧)
根据实验效果对比图可以得出,改进的ViBe算法比GMM和原始ViBe效果更理想,鬼影消失更迅速,前景信息更完整。
2.1 特征提取
(1)Haar-like特征
Haar-like特征[16]提供了一副图像中相邻区域内灰度分布信息。基于Haar-like的检测算法比直接处理像素的算法效果更好,Haar-like特征检测的计算速度远远大于基于像素的检测。Haar-like特征的特征值等于黑色矩域所有像素值的和减去白色矩形所有像素值的和。图3表示了Viola.P使用的最初的Haar-like特征原型。其中的特征由大小相同的矩形所组成。这些特征原型经过平移和缩放,就形成了一个特征集。
图3 haar-like特征类型
(2)积分图像
为了避免特征提取中大量的重复计算,Viola P等人使用了积分图像(Integral image)来计算Haar-like特征。如图4(a)所示,公式(3)给出了积分图像像素点值计算表达式,其中I(x,y)表示图像的像素点值:
进一步,公式(4)利用递归方式来计算积分图像:
积分图像实质上是图像的双重积分。式(5)给出了任何一个矩形的像素和使用四次数组引用来计算公式,如图4(b)中所示。
图4
(3)HOG特征
HOG是一种基于梯度计算的特征描述子,主要通过计算和统计图像局部区域的梯度方向来构成特征向量,通过对梯度分量的分布来描述局部目标的表象和形状特征,HOG特征的本质就是对梯度信息进行计算和统计。HOG特征的提取过程大致可以总结为:①Gamma空间和颜色的标准化;②图像梯度的计算;③统计梯度直方图;④HOG特征统计。
2.2 Gentle AdaBoost分类器
Gentle AdaBoost算法是将多个弱分类器组合而成强分类器,而每个弱分类器又是由一个样本特征训练获得,基于Harr特征和HOG特征的联合特征强分类器,即是用Harr特征和HOG特征构造弱分类器,再由构造的弱分类器进行不断选择和训练,采用AdaBoost算法获取最终的强分类器。Gentle AdaBoost强分类器训练流程如下:
Gentle AdaBoost算法流程
算法流程:
●给定训练样本(x1,y1),…,(xn,yn),对于yi=±1,yi=1表示正样本,yi=-1表示负样本。
其中l为正样本数,m为负样本数。
●对于每一个特征j,得到弱分类器fj∈[-1,1]。
●更新F(x)←F(x)+gi(x)。
●ωi=ωiexp(-yigi(xi)),i=1,2,…,N,并重新归一化。
●强分类器为:
对于任意一个Haar-like特征,弱分类器的数学形式为:
其中f(x)是特征值,θ为弱分类器的阈值,-1≤α,β≤1,其中正值表示车辆,负值表示非车辆。
式中α、β、θ意义同Haar-like特征,d(h(x),m(x))表示HOG特征向量到加权均值的欧氏距离。
2.3 级联分类器设计
级联分类器和退化决策树非常类似,后几层中的分类器往往使用那些己经通过前面所有层的样本来进行训练,用于训练第l级强分类器的负样本仅包括前l-1层分类错误的负样本。对于级联分类器的误检率,可以描述为:
式(8)中F是级联后的分类器的误检率,K是级联分类器的层数,fi是第i个强分类器的误检率。级联分类器的构造流程图如图5。
图5 级联分类器示意图
3.1 算法流程
运动区域检测是本文算法的重要组成部分,它能够提供图片中车辆最可能出现的位置信息,运动区域比浏览整个图片出现车辆的概率更高。因此,本文在利用分类器进行车辆检测之前,先进行前景检测剔除背景信息,减少背景造成的干扰。本文的算法系统图如图6所示。本文算法主要包括:①前景检测,②离线训练分类器进行车辆检测。
图6 车辆检测算法流程图
3.2 实验环境及实验数据库
本文实验硬件平台:Intel Core i5 2.50GHz处理器,4GB内存笔记本,Win8.1 64位操作系统。软件环境为Microsoft Visual Studio 2012和OpenCV视觉库。
实验训练正样本包括1800张车辆图像,负样本包括16000张非车辆图像,正样本需要先进行剪裁到128×96,且样本图像中正好包含不同角度的车身,负样本不限大小,但是其中不能包含车辆图像,正负样本图像示例如图7(a)和(b)所示。
图7 训练样本示例
3.3 实验与结果分析
实验主要包括车辆特征提取、车辆特征学习和车辆检测测试三个阶段。
在车辆特征提阶段,采用积分图技术提取HOG特征和Haar特征,对HOG参数选取评估分析,HOG特征计算过程中取描述块大小为32×16,组成单元大小为8×8。描述块横纵移动间隔为8,梯度投影方向为9,对检测窗口进行HOG特征计算。
在训练过程中,用于训练每级分类器的正样本数为1200,负样本数为4000,每级分类器的最大误检率为0.5,最小检测率为0.995,将提取的Haar-HOG特征按照上述提升方法训练强分类器,并将这些强分类器按照上述级联方法构成最后的级联车辆分类器。
在车辆检测测试阶段使用改进ViBe先提取前景,再利用上述训练的强分类器进行车辆检测。将本文所用方法与单一HOG特征和单一Haar特征检测方法在相同参数下做了实验对比,实验中同样采用实时交通视频作为测试视频,试验中实验中采用评价指标:车辆检测率、虚警率,平均耗时对三种算法在车辆检测中的效果进行评价。其定义如下:
(9)中NTP,NFP,NTN,NFN分别表示测试视频中正确检测车辆数目,非车辆误识为车辆数目,正确识别的非车辆数目,非车辆识为车辆的数目。车辆检测结果如表1所示。
表1 不同算法的车辆检测结果
上表中测试结果表明,基于改进ViBe算法和Haar-HOG级联分类器的车辆检测算法比单一Haar特征、单一HOG特征训练的级联分类器算法更鲁棒,车辆检测率更高,虚警率更低,平均耗时更少。
本文提出了一种基于改进ViBe算法和Haar-HOG级联分类器的车辆检测算法。首先利用帧间差分法和形态学处理对ViBe进行改进,提高了鬼影消失速率及极好的保留了前景信息;然后利用Haar和HOG混合特征,训练级联分类器。实验结果表明,本文提出的算法中鬼影能够迅速消失,同时车辆检测率达到95%以上,误检率低于2%,在道路车辆检测中,取得了良好的效果。
[1]卢章平,孔德飞,李小蕾,等.背景差分与三帧差分结合的运动目标检测算法[J].计算机测量与控制,2013(12):3315-3318.
[2]刘鑫,刘辉,强振平,等.混合高斯模型和帧间差分相融合的自适应背景模型[J].中国图象图形学报,2008(4):729-734.
[3]刘洁.基于光流法的运动目标检测和跟踪算法研究[D].徐州:中国矿业大学,2015.
[4]许庆,高峰,徐国艳.基于Haar特征的前车识别算法[J].汽车工程,2013,35(4):381-384.
[5]吴鑫,王桂英,丛杨.基于颜色和深度信息融合的目标识别方法[J].农业工程学报,2013,29(z1):96-100.
[6]Wang H,Zhang W G,Cai Y F.Design of a Road Vehicle Detection System Based on Monocular Vision[J].Journal of Southeast University(English Edition),2011,27(2):169-173.
[7]郭立君,刘曦,赵杰煜,等.结合运动信息与表观特征的行人检测方法[J].软件学报,2012,23(2):299-309.
[8]Sun Z,Bebis G,Miller R.On-Road Vehicle Detection:A Review[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28:694-711.
[9]李云翀,何克忠,贾培发.基于阴影特征和AdaBoost的前向车辆检测系统[J].清华大学学报(自然科学版),2007,47(10):1713-1716.
[10]周辰雨,张亚岐,李健.基于SVM的车辆识别技术[J].科技导报,2012,30(30):53-57.
[11]Wu C F,Lin C J,Lee C Y.Applying a Functional Neuro Fuzzy Network to Real-Time Lane Detection and Front-Vehicle Distance Measurement[J].IEEE Transactions on Systems,Man and Cybernetics,Part C,2012,42(4):577-589.
[12]Droogenbroeck,M.V,ViBe B.O.:A Powerful Random Technique to Estimate the Background in Video Sequences.IEEE Int.Conf.on Acoustics,Speech&Signal Processing,2009:945-948.
[13]R Lienhart,A Kuranov,V Pisarevsky.Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection.In: Proceedings of the DAGMsymposium.Magdeburg,Germa:IEEE Press,2003,297-304.
[14]T.Bouwmans,F.El Baf,B.Vachon.Statistical Background Modeling for Foreground Detection:A Survey.In Handbook of Pattern Recognition and Computer Vision(volume 4),chapter 3,pages 181-199.World Scientific Publishing,January 2010.
[15]H.-H.Li,J.-H.Chuang,T.-L.Liu.Regularized Background Adaptation:A Novel Learning Rate Control Scheme for Gaussian Mixture Modeling.IEEE Transactions on Image Processing,3(20):822-836,March 2011.
[16]C Papageorgio,T Poggio.A Trainable System for Object Detection.International Journal of Computer Vision,2000,38(1):15-33.
作者简介:
彭胜(1992-),男,贵州仁怀人,硕士研究生,研究方向为图像处理与合成
A Vehicle Detection Algorithm Based on Improved ViBe and Cascade Classifier
Vehicle detection algorithm based on Haar-like features and AdaBoost classifier has two disadvantages:slow detection speed and high false alarm rate.Therefore,proposes a vehicle detection algorithm based on improved ViBe algorithm and Gentle AdaBoost classifier with Haar-HOG mixed features.Firstly,ViBe algorithm can quickly eliminate ghosts by combined with the inter-frame differential method because of not produce ghosts,accompanied by morphological processing,to obtain foregrounds.Then,trains a cascade classifier based on Gentle AdaBoost classifier using Haar and HOG features.Vehicle detection experiments show this algorithm has better recognition performance,lower false alarm rate,less time consuming,and can reach the real-time requirement for vehicles detection.
AdaBoost Algorithm;Vibe;Haar Features;HOG Features;Vehicle Detection
1007-1423(2017)08-0060-06
10.3969/j.issn.1007-1423.2017.08.013
2016-12-22
2017-02-25
PENG Sheng1,2
(1.State Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610065;2.Wisesoft,Chengdu 610065)
科技部重大仪器专项(No.2013YQ49087904)、民航科技项目(No.MHRD20150228)