王海晖,刘 洋,陶 玲
(1.武汉工程大学计算机科学与工程学院,湖北 武汉 430205;2.武汉工程大学智能机器人湖北省重点实验室,湖北 武汉 430205)
近年来,随着汽车行业的兴起,拥有汽车的家庭越来越多,使得原本压力较大的交通状况更加令人堪忧.为缓解交通压力,交通管理部门在各交通路口安装了各式监测卡口来辅助交通的控制.在高清卡口的发展历程中出现过三种检测方式:地感线圈,雷达和纯视频检测.地感线圈和雷达监测精度较高,但是地感线圈的安装和维护较难,需要破坏路面,而雷达监测设备费用昂贵,不适合广泛使用.
尽管视频检测技术容易受到很多因素的干扰,但是拥有安装实施便捷、维护简单、性能直观等优点,使其一出现,便得到客户的认可.然而,由于光照和天气原因,视频卡口检测系统的精度一直制约了它的广泛应用.为了克服光照影响,国内外研究人员提出了很多种光补偿方法.洪汉玉[1-2]等在低对比度和复杂光照条件下的检测和识别做了大量工作.周良[3]将JPEG压缩域图像增强方法应用于低照度图像的车牌检测,取得了一定的效果,但增强算法存在缺陷,实时性也满足不了应用要求.欧志芳[4]检测车辆尾灯进行夜间车辆检测,提取每个明亮块的轮廓,通过计算轮廓点以及轮廓点四邻域的像素偏红度得到轮廓的四邻域偏红度水平来消除干扰,此方法检测的准确度难以保证.O'Malley R[5-6]等提出一种低照度下车尾检测的方法,该方法利用车灯的红色分量较高的特点,进行能随光线变化的自适应阈值处理,从而检测到车辆位置,该方法的检测误差较大.
针对车辆检测系统在低照度情况下的准确度和实时性作了深入研究,提出了一种基于Adaboost(Adaptive Boosting)算法和梯度方向直方图[7](Histogram of Oriented Gradients,简 称HOG)特征的运动车辆检测技术,用于实时地检测车辆.
梯度方向直方图[7]特征,是图像的一种表征形式,它也可以被看成一种描述形式.图像梯度方向直方图的生成步骤如下:
(1)将输入的彩色图像转换为灰度图像.
(2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化);目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰.
将原始图像的均值调为0,方差调为1;根据累计直方图分布特点初步判断当前图像属于高光照还是低光照类型,并根据相应类型做灰度的初步微调,对图像做Gamma校正.由于自然交通环境中较少出现光照强度过强的情况,故本文只考虑过暗情况,过暗时采用如下公式变换:
(3)计算一阶梯度,主要是为了捕获轮廓信息,同时进一步弱化光照的干扰.采用常用的边缘检测算子Sobel获得边缘方向信息.边缘梯度幅值和方向的计算如式(2)~(5)所示.
(4)将图像窗口分为若干可重叠的小区域,每个区域称为一个块,每个块由若干个胞组成,每个胞里面包含一些像素点.将这些像素点的梯度方向映射投影到9个方向(0°~20°,20°~40°,……,140°~160°,160°~180°).则每个胞包含一个9维的特征向量.这样,图像的每个块、胞这些局部区域都有了一个编码,车辆样本中车尾的轮廓和外观特征的弱敏感性得以保持.图1为某个胞的梯度方向直方图:将一个胞内梯度方向映射到9个方向,每个方向像素点统计图.
图1 胞的梯度方向直方图Fig.1 Histogram of oriented gradients in a cell
(5)将所有胞格在块上进行归一化处理;归一化处理能够减小光照、阴影和边缘对图像特征提取的影响;在计算HOG特征时,相邻块之间会有重叠,而归一化是基于不同块的,因此,最后的特征向量中会包含一个胞格的多个不同结果的特征描述,块归一化处理之后的描述符为HOG描述符.
(6)收集得到检测空间所有块的HOG特征;该步骤将检测窗口中所有重叠的块进行HOG特征的收集,并将它们结合成最终的特征向量供分类使用.
HOG表示的是边缘(梯度)的结构特征,因此可以描述局部的形状信息;位置和方向信息的量化一定程度上可以抑制平移和旋转带来的影响;采取在局部区域归一化直方图,可以部分抵消光照变化带来的影响[8].由于一定程度忽略了光照对图像造成的影响,使得图像所需表征数据的维度降低了.而且由于它这种分块分单元的处理方法,也使得图像局部像素点之间的关系可以很好的得到表征.
AdaBoost算法[9]将多个弱分类器通过学习组合为一个分类能力更强的强分类器,在运用过程中不需要知道关于弱学习器的任何先验知识,因而被广泛应用到实际问题当中[10].本文引入汽车样本的HOG特征,训练出一个级联二类分类器,用来检测当前帧中的汽车.
设X = {(x1,y1),(x2,y2),(x3,y3)...,(xn,yn)}为训练样本集,其中n为样本数量,xi为训练样本,yi为样本描述,yi∈ {0,1}.其中0表示不含车尾的负样本,1表示包含车尾的正样本.按照如下规则训练强分类器.
(1)按照式(6)对每个样本的权重进行初始化,其中Np为正样本个数,Nn为负样本个数,qi为样本权重:
(2)设分类器训练总的轮次为T,在整个训练样本集上,对t=1,2,…,T,作如下操作:
1)根据每一轮训练得到的弱分类器的权重,归一化样本权重:
2)对每个特征f,训练一个与之对应的弱分类器hf,计算该特征的弱分类器的加权错误率ef:
3)遍历所有弱分类器的错误率,选取拥有最小错误率et的弱分类器ht,将其作为强分类器一员:
4)根据hf对样本分类的准确率,重新更新调整样本权值,得到:
其中βt=et/(1-et).若样本被正确分类,θi=0;反之,θi=1.
(3)最后得到一个可用于分类的强分类器:
系统主要包含两个部分,系统简图如图2所示.
图2 系统结构简图Fig 2 Simple structure chart of our system
采集不同环境下的训练样本,建立样本库:包含车辆尾部的正样本4 000幅,正样本由小轿车、面包车和公交车、货车及其他特殊车辆的车尾组成;不包含车辆尾部的负样本9 500幅.将样本归一化到32*32大小,便于计算其特征,其中每个胞格包含4*4个像素点,映射到9个方向得到一个9维的数据;每个块包含8*8个像素点,即4个胞格,则每个块内有4*9=36个特征;以4个像素为步长取HOG块,那么,水平方向将有7个扫描窗口,垂直方向将有7个扫描窗口.也就是说,32*32的图片,总共有36*7*7=1 764个特征.
采用Adaboost分类原理,编写程序,训练分类器,最终得到一个可用于分类车和非车的二类分类器.在对视频序列进行车辆检测时,根据当前帧的灰度直方图判断当前帧是否为低照度类型.如果是,则用式(1)对当前帧作Gamma校正,对其进行光补偿;光补偿后滤波,载入分类器,通过一个滑动窗口对待检帧进行多尺度检测,用以检测不同大小的车辆.最后用矩形框将检测到的车辆标示出来,图3显示为部分检测结果:其中(a-1)、(b-1)、(c-1)为正常光照情况下的原始帧和检测结果;(a-2)、(a-3)、(a-4)为夜间路况,车辆辨识度非常低;(b-2)、(b-3)、(b-4)为(a-2)、(a-3)、(a-4)进行Gamma校正后的效果图,车辆辨识度大幅度提升;(c-2)、(c-3)、(c-4)为最终检测结果.
图3 部分检测结果Fig 3 Some detection results
通过实验,在硬件环境为Intel双核2.93 GHz处理器、2G内存环境下,304*256分辨率的帧检测时间低于60ms,为检验本系统的实用性,在上述硬件环境下,使用平均背景差分法、采用Haar特征的Adaboost算法和本算法分别对468帧的某十字路口白天监控视频和1 147帧晚间视频做车流量统计,表1为三种方法在设置的虚拟线圈内的检测结果.
表1 三种算法统计结果Table 1 Detection performance of the three methods
本算法适用于检测交通路口的车辆,其在白天光线条件较好的情况下,检测率较高.夜间检测率较一般算法有了大幅度提升.这是因为:HOG特征对光照敏感,所以在低照度情况下比一般的特征的表征能力更强;Gamma校正法在对低照度情况下对原始帧作的预处理使得图像的分辨度得到大幅度提升,对车辆检测率的提高有很大作用.但在遮挡严重的情况下,检测效果不是很理想.夜间车辆检测率比白天低的主要原因是特殊车辆在夜间的特征难以提取,容易产生漏检.
上述的低照度车辆检测系统采用对光线敏感的HOG特征,在照度较低的情况下依然表现出较高的检测率.采用Adaboost算法能从大量的HOG特征中选取能更好表征车辆的特征作为弱分类器组成一个能分辨车和非车的二值分类器.实验表明:通过该分类器,低照度下车辆的检测率得到了很大程度的提高.然而,由于低照度下车辆样本的引入,算法的误检率也有所提升,特殊车辆也会产生漏检,这是急待解决的问题.
[1]洪汉玉,王澍,朱浩,等.低对比度嵌入型钢坯字符识别方法[J].武汉工程大学学报,2012,34(12):38-43.HONG Han-yu,WANG Shu,ZHU Hao,et al.Recognition method for low-contrast embedded billet characters[J].Journal of Wuhan Institute of Technology,2012,34(12):38-43.(in Chinese)
[2]洪汉玉,俞喆俊,章秀华.复杂光照条件下钢坯字符检测方法[J].武汉工程大学学报,2012,34(6):65-68.HONG Han-yu,YU Zhe-jun,ZHANG Xiu-hua.Detection of billet character in complex illumination conditions[J].Journal of Wuhan Institute of Technology,2012,34(6):65-68.(in Chinese)
[3]周良.低照度图像的车牌检测与识别方法研究[D].合肥:合肥工业大学,2012.ZHOU Liang.The Research on License Plate Detection and Recognition for Low illumination Image[D].Hefei:Hefei University of Technology,2012.(in Chinese)
[4]欧志芳.智能车辆中基于视频的车辆检测算法研究[D].长沙:湖南大学,2011.OU Zhi-fang. Research of Video-Based Vehicle Detection Algorithm for Intelligent Vehicle[D].Changsha:Hunan University,2011.(in Chinese)
[5]O'Malley R,Jones E,Glavin M.Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions [J].Intelligent Transportation Systems IEEE Transactions on,2010,11 (2):453-462.
[6]O'Malley R,Glavin M,Jones E.Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions[J].IET Intelligent Transport Systems,2011,5(1):1-10.
[7]Dalal N,Triggs B.Histograms of oriented gradients for human detection[C].Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005(1):886-893.
[8]闻帆.基于视觉的交通路口车辆智能检测技术研究[D].哈尔滨:哈尔滨工业大学,2010.WEN fan. A Vision-Based Intelligent Algorithm Research For Traffic Intersection Vehicle Detection[D].Harbin:Harbin Institute of Technology,2010.(in Chinese)
[9]Freund Y,Schapire R E.A decision-theoretic Generalization of On-Line Learning and an Application to Boosting.[J]Journal of Computer and System Sciences,1997,55(1):119-139.
[10]杨述斌,金璐,章振保.疲劳驾驶检测中的快速人眼定位方法[J].武汉工程大学学报,2013,35(6):67-72.YANG Shu-bin,JIN Lu,ZHANG Zhen-bao.Fast eye location method in driver fatigue detection[J].Journal of Wuhan Institute of Technology,2013,35(6):67-72.(in Chinese)