李秦君, 党宏社, 王明伟
(陕西科技大学电气与信息工程学院, 陕西 西安 710021)
视频监控方法通过分析拍摄的交通图像序列,对交通目标进行检测、识别和跟踪,并对其行为进行分析和判断.与其它检测手段相比,视频监控方式可以同时获得多种重要路况状态信息,有利于实现交通管理的智能化,具有很大的发展潜力.
在智能交通视频监控中,无论采用什么解决方案,首先必须能够检测分割出交通场景中的目标.因此,车辆检测与分割方法的研究,在交通视频监控系统中具有重要的意义.背景差分法是当前应用比较广泛的一种方法,该方法是在假定获得理想背景图的基础上,将当前输入各帧图像和理想背景图像相减,得到的像素值非零(实际应用中会设定一个阈值)部分即为运动物体,这样无论什么场景都会比较精确地得到运动区域,但是背景容易受环境、天气和光线变化的影响,因此需要不断地更新.车辆分割的难点主要是场景中存在的阴影以及车辆间的遮挡粘连,针对这种情况,本文提出采用基于自适应背景更新的背景差分方法检测运动目标,并研究了车辆间遮挡粘连的分割方法.
探测车辆的第一步是分割图像从而将车辆从背景中分离出来.分割方法需要精确地从背景中分离出车辆,并且要求速度快,能实时操作,不受光线和天气条件变化的影响,初始化步骤尽可能减少.我们选择采用自适应背景差分法来实现分割,其中我们采用了一种更简单、更可靠的方法来实现背景更新.此外,我们的方法自动地从视频序列提取背景,所以不需要手动初始化.我们的分割技术分为3个任务:(1)分割;(2)背景更新;(3)背景提取[1].
对于每一个视频序列(简称当前图像)帧,我们提取当前图像与当前背景的差异给出差分图像.差分图像是给一个二进制对象模型设定阈值.对象模型是一个二进制图像,其所有对应前景目标的像素值为1,所有其它像素设置为0.
该方法的基本原理是修改从当前图像(被称为当前背景)中减除前景对象所得到的背景图片,以便近似于当前视频帧的背景,我们采用当前背景和当前视频序列帧的加权平均值来更新背景.然而,当前图像也包含前景对象,因此在做更新前,我们需要把像素归类为前景和背景的像素,然后只使用从当前图像得到的背景像素来修改目前的背景.否则,背景图片会被前景中的物体污染.二进制对象的遮罩是用来区分背景像素与前景像素的,对象的遮罩作为选通功能决定哪些图片样本用于更新背景.在遮罩为0的位置(对应于背景像素),当前图像被采样.在遮罩为1的位置(对应前景像素),当前背景被采样.这样做得到的结果就是我们所说的瞬时背景.将当前背景为瞬时,当前背景的加权平均值如式(1) 所示:
CB=αIB+(1-α)CB
(1)
分配给当前和瞬时背景的权重影响更新的速度.我们希望更新的速度足够快,以便能够迅速捕获光照变化,但同时又希望速度相对缓慢足以使瞬时变化(因为所谓的摄像机自动增益控制是被激活的)不需要持续过长时间.根据已有经验,确定权重为0.1,我们发现这样做可以得到更新速度和瞬时变化灵敏度的最好折衷[2].
从当前背景中减除当前图像后,由此而产生差分图像阈值,得到二进制对象的区块.由于背景是动态变化的,因此静态阈值不能用于计算对象的区块.此外,由于对象的遮罩本身是用于更新当前背景的,不良的阈值设定将导致不良的分割,因此我们需要一种在当前背景变化时及时更新阈值的方法,将差分图像用于更新阈值.在我们的图像中,背景是图像的主要组成部分,因此差分图像应该主要由大量低值像素以及少量高值像素构成.我们用这样一个直观现象来确定阈值,在差分图像直方图中低值像素取值高而高值像素取值低.
在公路交通视频序列中,可能无法获取背景图像.一种实用的方法可以自动地从视频图像序列中提取出背景来.这里,我们假设背景是静止的,任何具有显著运动的对象都被认为是前景的一部分.我们所提的方法以视频图像为对象,并逐步建立随时间变化的背景图像.
图1 在照明条件下背景的自适应改变
上述背景和阈值是以周期性的时间间隔定期进行更新的.为了提取背景,我们通过从两个连续更新间隔中减除图像的方法计算二进制运动遮罩,所有在这些更新间隔之间有移动的像素都被认为是前景的一部分.为了计算帧i(MMi)的运动遮罩,使用从一个更新间隔i(OMi)到另一个更新间隔i(OMi)的二进制对象遮罩.运动遮罩由公式(2)计算得到:
MMi=~OMi-1·OMi
(2)
该运动遮罩现在用作选择函数来计算如上所述的瞬时背景.在整个一帧序列中的当前背景等同于在当前图像中的背景.
如图1(a)~(e)所示,说明了上述自适应背景减除法的有效性.图2(a)是白天的图像,这幅图像作为算法的初始背景.图2(b)是在黄昏时的相同图像.图2(c)、(d)和(e)显示背景自适应算法如何更新背景,使得它密切匹配图2(b)的背景[3].
在这里,我们提出粘连检测与分割技术.通过分析运动区块的融合区域及其轨迹,我们可以找出粘连阻塞的发生情况.
运动车辆被视为刚体运动.我们使用块匹配的方法,搜索每个像素的运动矢量.块匹配不能提供精确的运动矢量,尤其是对平滑区域而言.我们补充添加两个约束条件来提高运动矢量精度:(1)只对纹理区块做块匹配,(2)块匹配搜索过程是在某个固定的方向上运行的(因为车辆是向一个固定方向移动的).固定方向块匹配方法需要的计算较少,并产生相对于传统的全搜索方法而言更精确的运动矢量.
由于存在立体投影,运动矢量将同一车辆对象归在相同的图像中是不均匀的,如图2(a)所示.我们设计一种运动矢量变换方法来将非均匀运动区块转换为均匀运动区块,如图2(b)所示.
图2 运动矢量变换
由于运动区块的方向并不随投影而改变,因此我们只需要找到一个转换函数,使同一运动对象区域的运动向量数量相等.在这里,我们校正同一车辆的运动区块使之均匀,取在运动区域质心的运动向量作为参考,并变换位于同一区域的所有运动向量为参考速率.由于车辆是在固定方向上运动的,因此所确定的运动矢量的方向是相同的.要找到每个路径的参考速度,我们将车辆经过第K个图像帧的质心时的速度进行平均.
在每一个位置上,我们通过乘一个比例因子将运动矢量变换为一个常数.对于在同一路径上不同速率的任意两点(i,j)和(i′,j′),我们应用缩放比例并进行运动矢量补偿.在同一个路径上的速率应是一样的,每个运动矢量的比例因子是经离线训练过程而获得的.在训练过程中,为每个路径p及每个图像帧给定一组运动矢量和一组运动矢量常数.在每个位置,我们可以从训练图像序列得到一系列的比例因子,然后通过采取平均值得到最终的比例因子[4,5].
有两种方法来检测阻塞:轨迹不连续检测法和运动区域分析法.运动矢量校准后,如果一个二进制小圆点的运动区块不均匀,则我们就知道发生了闭塞.一个区域的均匀性取决于其对指定区域的运动区块的方差.如果方差较大,且超过一定的阈值,那么该区域是一个可能的闭塞区域.但是,如果二进制小圆形区域尺寸过小,那么就不可能是闭塞了.基于两辆车闭塞区域的运动区块的均匀性,我们可以将闭塞区域分割为两个独立的区域.由于两车的速度是不同的,在运动矢量校准后,我们??可能会在闭塞轮廓中发现两套运动矢量.在确定好阈值以后,我们可以将运动区块划分为两个不同的区块,将相应区域分割为两个分离的区域.
图3 切割区域提取
在这里,我们提出一种分割方法,消除所谓的“切割区”,将闭塞区域分隔成两个独立的区域.为了找到切割区域,我们使用标签标注方法将闭塞区域标注为两个区域.该标记法在侧面剪影中找到两个不同的运动区块,然后我们使用形态学膨胀的方法扩大标记的区域,这两个区块将相互重叠交叉,并生成一个名为“切割区域”的交叉区域,如图3所示.
图4 遮挡区域分离
通过消除切割区域,我们可以将二进制侧面剪影切割成两个对象.分裂的区域可能不够精确,我们用开放操作将两个区域分离开,如图4所示.但是,开放操作将危及分离的二进制剪影,如果操作的对象核心的尺寸太小,则开放操作不能有效地分离两个车辆,因此我们最好的权衡是选择可以分割这两辆车的开放核心.如果这两辆车都是可分离的,那么至少有一辆车可以被识别出,否则如果这两辆车仍然闭合的像一辆车,则这种合并就无法识别了[6,7].
对于来自公路上的视频监控图像,本文提出了一种自适应背景更新的车辆检测法,能够自动提取并自动更新背景,满足车辆检测及背景更新的实时性要求,同时能适应环境变化,此外文中还研究了车辆间粘连遮挡的检测和对象分离的方法.
参考文献
[1] B. L. Tseng, C. Lin,J. R. Smith.Real-Time Video Surveillance for Traffic Monitoring Using Virtual Line Analysis[C]. Proc. of ICME’ 2002,2002:541-544.
[2] 严捷丰.交通视频监控中的车辆检测与分割方法研究[D]. 合肥:中国科学技术大学博士学位论文,2008:48-57.
[3] Surendra Gupte, Osama Masoud, Robert F. K. Martin,etal. Detection and classification of vehicles[J].IEEE Transactions on Intelligent Transportation Systems,2002,3(1), 413-417.
[4] 林海涵, 唐慧明.基于视频的车辆检测和分析算法[J].江南大学学报(自然科学版) ,2007,6(3):323-326.
[5] 张 玲, 陈丽敏,何 伟,等.基于视频的改进帧差法在车流量检测中的应用[J].重庆大学学报, 2004,27(5): 31-34.
[6] 吴 江,宜国荣,郑振东.基于视频动态投影的实时车辆流量检测系统[J].计算机工程,2001 ,27 (11) :25-64.