蒋 明,潘姣丽
(西安电子科技大学 计算机学院,陕西 西安 710071)
在视频序列中,目标区域背景的估计和目标的提取是智能监控领域的关键问题之一,它对于后续的目标分割、跟踪和更高层次的理解等处理非常重要。在解决此问题的方案中,背景差分法是近年来常用的方法,并且其在运动目标检测中也获得了大量的应用[1-3]。但该方法存在着缺陷,如背景中包含的阴影、运动的物体(如摇摆的树枝、移动的电梯以及经历各种变化如光照变化)都会给背景差分带来干扰,所以建立一个好的自适应的背景模型成为一个亟待解决的问题。
目前已经提出很多建立自适应背景模型的方法。Richard等[4]人利用单高斯分布进行背景更新,但不能有效地处理室外频繁变化的场景。Stauffer等[5]人利用混合高斯模型来建立背景模型,在每帧中对各个像素点建立由多个高斯分布组成的背景模型。该方法能鲁棒性地克服光照变化、树枝摆动等造成的影响,但是由于在每帧图片中要对所有的像素点都建立多个固定的高斯分布,在处理时会消耗大量的系统资源。近年来,Zivkovic等[6]人利用最大似然估计提出了一种高斯模型个数的选择方法。该方法由于人为地引入了负的先验系数,使得在更新过程中高斯模型的权重有可能被不合理地负更新。上述自适应背景模型都存在一些问题,不能很好地解决背景估计和目标检测的问题。
为解决背景估计和目标检测问题,本文提出了一种有效的两阶段视频图像处理方法。该方法在第一阶段根据该像素点的优先级来自动调整它的高斯个数,从而有效地降低背景提取的速度;在第二阶段对目标区域和非目标区域采取不同的更新策略,即对目标区域做缓慢更新、非目标区域做快速更新,此阶段可以有效地解决目标提取不完整的问题。
Stauffer等人[7]用由K个高斯分布组成的混合高斯模型表示同一个像素在时间域上的概率分布,即对于图像中的第 n个像素在 1~t不同时刻取值分别为{Xn1,…,Xnt},当前帧图像中的第n个像素值在t时刻的概率分布为:
阈值TB决定了高斯分布在背景选取所占的比例,再取值较小时,背景通常用一个高斯分布表示;取值较大时,背景由多个分布混合表示。
第一阶段,针对传统的混合高斯模型为每个像素点分配了固定的高斯个数,但这样会造成系统资源浪费和降低背景建模的速度问题,因此提出了一种动态调节混合高斯分布个数的方案;第二阶段,针对物体运动缓慢或者长时间停留造成目标像素更新到背景中导致目标提取的不完整问题,提出了一种缓慢或滞留目标问题的解决方案。
根据上述分析,使用如下策略对传统的混合高斯模型的更新过程加以改进:
(1)初始化:初始化对每个像素只选取一个高斯分布(可以用初始的一帧或多帧图像的平均值来初始化背景模型)。
(2)增加新的高斯分布:若新的像素值没有与任何高斯分布匹配,则判断该像素点高斯分布的个数是否达到最大值。若没有达到,则增加一个以当前像素值Xnt为均值、σinit为标准差、ωinit为权值的高斯分布;否则按照传统高斯模型的方法替换优先级最小的那个高斯分布。
(3)处理“重叠的高斯分布”:检测 i、j两个高斯分布均值的差值,如果满足|μni,t-μnj,t| 首先在高斯模型中判别目标区和非目标区,在对当前像素点进行模型匹配时,假设当前像素值与第m个高斯分布相匹配,或没有找到任何相匹配的高斯分布。若m (4)删除“无效的高斯分布”:若满足式(5),则判断该高斯分布为“无效的高斯分布”,将其删除。 然后对生成的二值图像进行形态学处理生成新的二值图像MOM。首先对二值图像进行形态腐蚀运算处理,其目的是消除一些小的、孤立的噪声点,在此基础上,利用形态膨胀运算进行处理,其目的是填充运动区域中可能出现的一些孔洞,即根据式(7)生成新的二值图像MOM。 再对高斯模型实施新的更新策略: 其中,0<αS<αF<1。 为验证本文算法的有效性,根据上述两阶段视频图像处理方法采用VC++6.0编写程序,在Inter 3.0 GHz处理器、1 GB内存的PC机上对多个视频进行了测试。所处理视频的分辨率均为320×240。 首先设置各个变量,选取最大高斯分布个数为3,初始权值 ωinit为 0.05,标准差 σinit为 20,模型学习率 α 为0.1,权值更新率β为0.1。改进算法中高斯分布个数示意图如图1所示。 图1 改进算法中高斯分布个数示意图 图1中第一列为视频某一帧的原始图像,第二列图像为这些帧上每个像素的高斯分布个数,黑色、灰色以及白色区域分别表示该像素由 1个、2个、3个高斯模型。由图可知,对于静态背景下的视频的大多数区域场景比较稳定,使用一个高斯分布便可满足要求,而有行人经过的地方场景会频繁变化,需要2~3个高斯模型。同样当场景状态变化较为复杂时,如图1(a),由于图中灯光照射阴影的存在和图1(c)中树叶的摇摆,也需要较多的高斯分布才能实现背景的建模。此外,由于摄像机抖动的存在,也会造成在纹理丰富区域像素的高斯分布个数增加,如图1(b)中建筑物的边缘等。 利用传统的混合高斯模型方法对这三帧图像的处理时间分别为 27.9 ms、28.1 ms、28.6 ms,而使用两阶段视频图像处理方法的处理时间分别为19.6 ms、20.3 ms、22.7 ms。可以看出,通过动态调节混合高斯分布个数可以显著提高背景建模的速度,从而有效地节约了运算资源。此外,随着背景状态变化复杂程度的增加,每个像素的混合高斯模型需要更多的高斯分布,也就需要更多的处理时间,如对图1(c)的处理时间会相应较长。 首先设置各个变量,选取高斯模型的最大高斯分布个数为 4,初始权值 ωinit为 0.05,标准差 σinit为 20,模型学习率 α 为 0.1,αF为 0.3,αS为 0.03, 权值更新率 β 为0.1,背景权值阈值TB为0.7。滞留目标检测结果对比示意图如图2所示。 图2 滞留目标检测结果对比示意图 图2中第一列从上到下依次为:当前帧视频图像、估计背景和目标二值图像。由图2可以看到,短期滞留的目标没有被更新到背景区域,提取出比较完整的目标,避免了空洞现象。 本文提出了一种有效的两阶段视频图像处理方法,在第一阶段,动态地更新每个像素高斯分布的个数,显著提高了背景建模的速度;第二阶段,在目标区和非目标区采用不同的更新策略,有效地解决了滞留目标像素融入背景的问题,同时也减弱了慢速运动物体对背景模型的影响。通过大量的实验测试证明,即使在光线变化、车辆人流杂乱的场合中,背景生成也是稳定的,具有较好的自适应性。 在实验中发现,与路面颜色相近的人或者车辆可能在背景差分的过程中误判为背景,因此,如何利用色度之外的信息量建立背景模型,从而更有效地区分背景和前景,将是今后需要解决的问题。 [1]KAEW T K P P,BOWDER R.An improved adaptive background mixture modelfor real-time tracking with shadow detection [C].The 2nd European Workshop on Advanced Video-based Surveillance Systems.Kingston:Kluwer Academic Publishers, 2001: 1-5. [2]ELGAMMAL A,DURAISWAMI R,DAVIS L.Efficient non parametric adaptive color modeling using fast gauss transform[C].IEEE Conference on ComputerVision and Patern Recognition, Kauai, Hawaii, December, 2001. [3]COLLINS R,LIPTON A, KANADE T.A system for video surveillance and monitoring[C].Proceeding.Am.Nuclear Soc.(ANS)Eighth Int′l Topical Meeting Robotic and Remote Systems,Apr.1999. [4]WREN C R,AZARBAYE J A,DARRELL T P.Real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(7):780–785. [5]STAUFFER C,GRIMSON W E L.Adaptive background mixture models for real-time tracking[C].Computer Vision and Pattern Recognition.CO, USA: IEEE, 1999: 246-250. [6]ZIVKOVIC Z,HEIJDEN F V D.Efficient adaptive density estimation perimage pixelforthe task ofbackground subtraction[J].Pattern Recognition Letters, 2006, 27(5):827-832. [7]STAUFFER C,GRIMSONW E L.Learningpatternsof activity using real-time tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8):747-757.2.2 对第二阶段的缓慢或滞留目标问题的解决方案
3实验评估
3.1 动态调节高斯分布个数方案性能评估
3.2 缓慢或滞留目标问题的解决方案性能评估