赵敏 石雨新 孙棣华
(重庆大学 自动化学院, 重庆 400044)
基于梯度特征的隧道场景车辆灯光干扰抑制方法*
赵敏石雨新孙棣华
(重庆大学 自动化学院, 重庆 400044)
在隧道场景下,车辆灯光的干扰对车辆目标的准确提取产生严重的影响,而现有方法对此尚缺乏针对性的解决方案.为此,文中提出了一种基于灯光梯度特征的灯光干扰抑制方法,根据光照辐射特性以及隧道空间位置关系,建立了车辆光照区域的光强模型并构造其梯度函数,进而利用光照区域梯度方向不变特性,筛选出非车辆灯光区域并构造前景掩膜,最后与运动目标前景叠加,实现光照干扰的抑制.实验结果表明,该方法能有效地抑制车辆灯光干扰,提高车辆目标识别的准确性.
灯光干扰;光照模型;梯度特征;目标提取
车辆目标识别是停车识别、拥堵检测的前提和基础.在隧道场景中,车辆灯光的影响造成了提取的车辆目标区域扩大、多车辆目标区域连通等问题,因而难以准确地获取车辆目标,极大地影响了车辆目标的识别和跟踪等后续处理效果.有效地抑制灯光干扰,是提高车辆目标提取准确性的关键和前提.
目前,对车辆灯光的研究主要集中于车灯的判断、车灯中心的定位及其后续跟踪、测距等研究[1-3],尚不满足干扰抑制的需求.而对于灯光区域的界定,一般通过有监督的光照色度估计方法进行判断[4-8],此类方法是从大量已知光照区域的图像集中,通过学习得到该环境条件下的光照特征,在场景发生变化时需要重新收集大量样本对分类器进行训练,并不能满足场景变换的应用需求.针对上述问题,文中基于灯光的梯度特征,提出了一种不依赖于先验知识的车辆灯光干扰抑制方法.
对于隧道场景的监控视频,摄像头安装于隧洞顶部逆车行方向且俯视角较大,通过背景建模得到的车辆目标前景和车辆灯光照射干扰前景分别具有各自的特征,因而可利用车辆灯光的辐射特性及光强变化特性对车辆灯光干扰区域进行提取,抑制车辆灯光对车辆目标提取的干扰.
在隧道场景中,路面漫反射特性较好且环境光照连续,可做出以下假设:①道路路面为理想漫反射表面,车辆灯光不会产生高光和镜面反射;②环境光强无突变,道路区域路面任意一点在较小邻域内的环境光强保持一致.根据以上假设,光照模型利用传统的Lambert漫反射模型描述,其描述方程为[9]
(1)
式中:I(x,y)为光照表面点(x,y)处的光强;Ia为入射环境光的光强;Ini为点光源i发出的入射光光强;ka为景物表面对环境光的漫反射系数;kd为景物表面的漫反射系数;fi(d)为光源i的强度衰减因子,是光源与物体表面之间距离d的函数;Li为光源i发射方向的单位向量;N为点(x,y)处的表面单位法向量;N为点光源个数.
当无车辆目标经过时,由自然光、道路灯光照射等环境光产生光强,将其定义为背景光强,用Ib(x,y)表示,其只受入射环境光的影响:
Ib(x,y)=kaIa
(2)
而对于车辆光照、车辆目标遮挡等产生的与背景光强的差异值,则定义为前景光强,用Ip(x,y)表示,它与背景光强的比值关系如下:
(3)
车辆灯光是以光照锥的形式照射路面,发光源在一定角度范围内以锥形方向向四周辐射[10-11],如图1所示,P1、P2、P3分别是光源点P的辐射半径为1、2、3 m的球面.根据光辐射的特点,发光强度与辐射距离也存在一定的关系,即光强与光源距离的平方成反比.
图1 车辆灯光辐射模型
对于行驶在道路上的车辆目标,其车灯与道路表面也呈现一定的空间结构关系,如图2所示.其中,Sl为车灯间距,Hl为车灯距离地面高度,θl为车灯照射角度,即以一定角度范围照射路面.
图2 车辆灯光空间结构
结合灯光辐射特性以及车辆灯光空间结构,以车灯中心垂直于地面点为原点、垂直于道路方向为x轴、平行于道路方向为y轴建立坐标系,(x,y)表示坐标系上的点,则根据方程(1)可得到较为理想的单个车辆灯光产生的光照强度:
(4)
设Sl=1.0 m,Hl=0.7 m,θl=65°,光源1 m处的光照强度为1 lx,则得到的路面光照强度如图3所示.
图3 单侧车灯光照强度
在实际情况中,车辆双侧车灯存在一定的间距且光照锥较大,双侧车辆灯光在车辆中轴附近的光照强度相互叠加,如图4所示.
图4 双侧车灯光照强度
可见,车辆的前景光强主要分为两个不同特征的区域:单侧光照区域和双侧灯光叠加区域.由于两个区域的特性会存在差异,故需要分别进行判定.
2.1单侧光照区域的梯度特征
对于单侧光照,不受其他环境条件影响,符合理想点光源辐射特性,即与点光源距离相同的球面上任意点的光强值相同,光强变化的梯度方向为该点到光源点的方向,且在梯度方向具有相同的导数特性,则可选取一组较为特殊的点来表征整个路面上所有点的梯度特性.
由于到坐标轴原点距离相等的圆上各点的梯度特性相同,故选取x=0、y>0的点对路面上所有点进行表征,该系列点的光照前景强度满足方程:
(5)
其中,x=0、y>0的点的梯度方向为l=(0,-1),可通过求取方程(5)在l方向的导数来获得平面上各点在其梯度方向上的导数值.则D(x,y)在l方向的导数为
(6)
但方向导数函数中的比例系数包含变量y,不呈现恒定的比例关系,故再次对∂D(x,y)/∂l的l方向即该点的梯度方向求导,得到方程
(7)
整理方程得到车辆灯光产生的光强值满足:
(8)
2.2双侧光照叠加区域的梯度特征
由于车辆灯光的光照锥具有一定照射范围且双侧车灯间距较小,照射区域产生重叠,其光照强度由双侧车灯共同影响,故以车灯中心垂直于地面点为原点、垂直于道路方向为x轴、平行于道路方向为y轴建立坐标系,则方程(4)中的光照强度值修正为
(9)
根据实际车辆的空间结构,双侧车灯照射重叠区域主要分布在车辆正前方扇形区域,x值较小并且y2≫xSl,则方程可近似为
(10)
而重叠区域的梯度方向由两侧光照共同影响,趋近于y轴负方向,故再次对方程(10)的梯度方向(l=(0,-1)方向)连续求取导数,则车辆灯光前景光强和背景光强间的比值D′(x,y)满足:
综上所述,单侧光照区域和双侧光照叠加区域的光强特征都可以采用具有不变特性的梯度特性公式表征.
根据方程(8)-(11),前景光强和背景光强比值D(x,y)的梯度方向导数在车辆灯光单侧照射区域和双侧照射重叠区域存在一定的关系.在实际图像中,光强值并不能简单地通过公式计算得到,而是需要收集材质信息进行折算[12].但路面上同一点的材质信息在光照和非光照时段不会发生改变,不同光照条件下的光强比值可以由对应环境的像素值之比得到,即D(x,y)可以通过前景像素值和背景像素值的比值得到.
对于隧道场景的实时监控视频图像,提取非连续的视频帧进行背景建模得到背景像素值,而前景像素值可利用当前帧与对应背景图间的像素差值得到,如图5所示,从而求得每个像素点的D(x,y)值.
图5车辆光照帧及对应背景图
Fig.5Current frame and background image of vehicle
对当前帧和背景图的各通道分别计算D(x,y)值,得到各通道D(x,y)的分布图如图6所示.
(a)R通道
(b)G通道
(c)B通道
由于图像是由离散点构成的矩阵,不能获得连续的方向导数值,故选取像素点的8个邻域像素点中最大差值的点方向作为该点的梯度方向.同时,方程(8)、(11)是对D(x,y)梯度方向的连续导数,故在离散图像中采用差分的形式对导数进行表征,以梯度方向为图像左方向的像素值为例,得到方程
p(i,j+1)-2p(i,j)+p(i,j-1)-
(12)
式中,p(i,j)为图像点(i,j)的像素值,M为单侧光照及双侧重叠照射中的恒定值.
根据车辆灯光区域的M值在较小邻域内恒定的特征,可将M作为车辆区域和非车辆区域的判别标准.计算各像素点对应的M值及其梯度值,得到M梯度值分布图,如图7所示.
图7 M梯度值分布
图7中,车辆光照区域的M梯度值接近于0,而非车辆光照区域的M梯度值随机波动.对图中各点的M梯度值进行统计并建立直方图,按照一定比例筛选出梯度值较大的点作为非车辆光照区域,并经过膨胀等操作,获得一个较理想的前景掩膜.
为了验证文中所提方法的有效性,采集重庆市多条高速公路监控视频作为实验数据.测试场景为双洞单线隧道,隧道为单向两车道,照明均匀布设,视频监控采用自动光圈定焦镜头摄像机,逆车行方向布设于隧道顶部,视频数据采集时间为全天24 h,视频数据帧率为25 f/s,视频压缩格式为mp4.基于Matlab 2012b搭建了算法开发平台,计算平台配置为Intel Core i5,处理器主频为2.60 GHz,内存为8 GB DDR3.
采用运动目标提取方法[14]获取运动目标前景图,利用文中方法对前景的干扰进行抑制,对不同隧道场景、同一隧道场景下不同车道的多车辆目标的测试结果如图8所示.
图8文中方法的测试结果
Fig.8Test results of the proposed method
从图8(b)、8(c)可以看出,车辆经过时所提取的运动目标中车辆目标与车辆光照区域相互连通,扩大了车辆目标识别区域.将文中方法获取的前景掩模与运动前景进行叠加,得到干扰抑制后的运动目标区域.从图8(e)可知,车辆目标区域的梯度特征变化不规律,通过掩模得以保留,而大部分车辆光照区域的梯度特征保持不变,前景区域被消除,由此将车辆灯光区域和车辆目标区域分离.再通过形态学处理消除杂点、连通区域,可得到与人工分割中车辆目标更为接近的前景区域,如图8(g)所示.
为了进一步验证文中方法的有效性,文中对9个不同隧道场景中的15辆具有明显车辆灯光干扰的车辆目标进行测试,利用典型的运动目标检测方法(帧差法、背景差法、光流法)[13-16]提取运动目标,再对提取的运动目标采用文中方法进行干扰抑制,获取干扰抑制后的运动目标.分别针对干扰抑制前后的运动目标统计其车辆和非车辆区域的前景像素点个数,结果如表1所示.其中,非车辆区域干扰消除率是指人工分割的非车辆区域中消除的像素点占前景像素点总数的百分比,对非车辆区域像素点的消除有利于车辆目标的精确提取;车辆区域误检率指人工分割的车辆区域中被消除的像素点占前景像素点总数的百分比,车辆区域像素点的消除不利于车辆目标的提取.
表1 几种方法提取的运动目标的统计结果
从统计结果来看,文中方法能有效地抑制运动目标提取中的灯光干扰,而车辆区域内像素点的误检测不会对运动目标轮廓的提取产生明显的影响.实验结果表明,利用文中方法抑制干扰后,运动目标轮廓更接近于人工分割的车辆目标,且不包含灯光干扰区域,提高了车辆目标识别的准确性.
针对隧道场景车辆目标提取中车辆灯光的干扰问题,文中提出了一种基于梯度特征的隧道场景车辆灯光干扰抑制方法.通过车辆灯光的辐射特性和空间结构建立了车辆照射路面光强模型,分析了光强梯度特性并建立梯度方程,构造非灯光区域前景掩模,从而实现运动目标灯光的干扰抑制.实验结果表明,该方法有效地解决了车辆灯光的干扰问题,提高了车辆目标提取的精确性,并能适应不同隧道场景的应用需求.由于文中方法是建立在摄像头安装位置较高、能俯视车辆目标的条件下实现的,今后将针对安装位置低的情况对模型进行完善,提高该方法的适应性.
[1]刘勃,周荷琴,魏铭旭.基于颜色和运动信息的夜间车辆检测方法 [J].中国图象图形学报,2005,10(2):187-191.
LIUBo,ZHOUHe-qin,WEIMing-xu.Vehicledetectionatnightusingcolorandmotioninformation[J].JournalofImageandGraphics,2005,10(2):187-191.
[2]吴海涛,霍宏,方涛,等.复杂环境下的夜间视频车辆检测 [J].计算机应用研究,2007,24(12):386-389.
WUHai-tao,HUOHong,FANGTao,etal.Nighttimevi-deovehicledetectionincomplexenvironment[J].ApplicationResearchofComputers,2007,24(12):386-389.
[3]毕松.交通状态视觉识别方法研究 [D].北京:北京邮电大学,2012.
[4]王宁.计算机视觉中的光照色度估计研究 [D].北京: 北京交通大学,2012.
[5]张志皓,胡文龙.夜晚视频目标检测中的车辆灯光干扰消除方法 [J].计算机工程,2011,37(14):197-199.
ZHANGZhi-hao,HUWen-long.Eliminationmethodofvehiclelightinterferenceinnighttimevideoobjectdetection[J].ComputerEngineering,2011,37(14):197-199.
[6]GEHLERPV,ROTHERC,BLAKEA,etal.Bayesiancolorconstancyrevisited[C]∥ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.Anchorage:IEEE,2008:1-8.
[7]CARDEIVC,FUNTB,BARNARDK.Estimatingthesceneilluminationchromaticitybyusinganeuralnetwork[J].JournaloftheOpticalSocietyofAmericaA,2002,19(12):2374-2386.
[8]SHIL,XIONGW,FUNTB.Illuminationestimationviathin-platesplineinterpolation[J].JournaloftheOpticalSocietyofAmericaA,2011,28(5):940-948.
[9]周雅,晏磊,赵虎.增强现实系统光照模型建立研究 [J].中国图象图形学报,2005,9(8):968-971.
ZHOUYa,YANLei,ZHAOHu.Studyonthelightingmodeloftherealworldinaugmentedreality[J].JournalofImageandGraphics,2005,9(8):968-971.
[10]ROGERSTW.Vehiclelight:6533445 [P].2003-03-18.
[11]CHIGUSAY,OKUMURAK.Lightingdeviceforavehicleandmethodforcontrollinglightdistributionofthelightingdevice:7201501 [P].2007-04-10.
[12]HANRAHANP,KRUEGERW.Reflectionfromlayeredsurfacesduetosubsurfacescattering[C]∥Proceedingsofthe20thAnnualConferenceonComputerGraphicsandInteractiveTechniques.NewYork:ACM,1993:165-174.
[13]薛丽霞,罗艳丽,王佐成.基于帧间差分的自适应运动目标检测方法 [J].计算机应用研究,2011,28(4):1551-1552,1559.
XUELi-xia,LUOYan-li,WANGZuo-cheng.Detectionalgorithmofadaptivemovingobjectsbasedonframedifferencemethod[J].ApplicationResearchofCompu-ters,2011,28(4):1551-1552,1559.
[14]李文斌,周晓敏,王长松.一种基于背景减法的运动目标检测算法 [J].北京科技大学学报,2008,30(2):212-216.
LIWen-bin,ZHOUXiao-min,WANGChang-song.Detectionalgorithmofmovingobjectsbasedonbackgroundsubtractionmethod[J].JournalofUniversityofScienceandTechnologyBeijing,2008,30(2):212-216.
[15]郭玲,李真真,杜明辉.基于单目序列图像的运动目标跟踪 [J].华南理工大学学报(自然科学版),2012,40(3):94-97.
GUOLing,LIZhen-zhen,DUMing-hui.Movingtargettrackingbasedonmonocularsequenceimages[J].JournalofSouthChinaUniversityofTechnology(NaturalScienceEdition),2012,40(3):94-97.
[16]杨叶梅.基于改进光流法的运动目标检测 [J].计算机与数字工程,2011,39(9):108-110.
YANGYe-mei.Movingtargetdetectionusingopticalflowmethod[J].ComputerandDigitalEngineering,2011,39(9):108-110.
s:SupportedbytheNationalNaturalScienceFoundationofChina(61573075)andtheNaturalScienceFoundationofChongqi(cstc2016jcyjA0565)
Gradient-BasedSuppressionMethodofVehicleLightInterferenceinTunnelScenes
ZHAO MinSHI Yu-xinSUN Di-hua
(SchoolofAutomation,ChongqingUniversity,Chongqing400044,China)
Intunnelscenes,theinterferencefromvehiclelighthasastrongimpactontheaccurateextractionofvehicletargets.However,intheexistingmethods,thereisnosolutiontothisproblem.Therefore,asuppressionmethodofvehiclelightinterferenceisproposedonthebasisoflightgradientfeatures,andaccordingtotheopticalradiationandspacestructurefeatures,alightintensitymodelofvehiclelightilluminationonroadsanditsvehiclelightgradientfunctionareconstructed.Furthermore,byutilizingtheinvarianceofgradientdirectionsofvehiclelightilluminationonroads,thenon-vehiclelightilluminationareaisscreenedandaforegroundmaskismade.Finally,theforegroundmaskisoverlaidwiththemovingtargetforeground,thussuppressingthevehiclelightInterfe-rence.Experimentalresultsshowthattheproposedmethodcaneffectivelysuppressthevehiclelightinterference,andthusimprovetheextractionaccuracyofvehicletargets.
lightinterference;illuminationmodel;gradientfeature;targetextraction
1000-565X(2016)09-0094-06
2015-12-31
国家自然科学基金资助项目(61573075);重庆市重点产业共性关键技术创新专项(cstc2015zdcy-ztzx60002);重庆市自然科学基金资助项目(cstc2016jcyjA0565);重庆市教委科学技术项目(KJ1503301);重庆大学中央高校基本科研业务费专项基金资助项目(106112014CDJZR178801)
赵敏(1980-),女,副教授,主要从事智能交通系统、数字图像处理研究.E-mail:min992215@163.com
TP391.41;U495
10.3969/j.issn.1000-565X.2016.09.014