基于分块分类的智能视频监控背景更新算法

李庆武，蔡艳梅，徐立中

(河海大学计算机及信息工程学院，江苏 常州 213022)

随着社会的发展，需要专人值守的传统的视频监控系统的各项缺点逐渐显露，如浪费人力资源、报警不准确不及时甚至错过各种异常情况等等，已经不能适应越来越高的监控要求.基于智能数字图像处理技术的无人值守智能视频监控系统［1-4］，便能很好地解决上述缺点.视频监控系统实现智能化的一个关键问题是如何准确地提取运动目标.目前常见的运动目标检测算法主要有3类:光流法、帧差法和背景差分法［5-7］，其中背景差分法是目前最常用且简单有效的一种运动目标检测方法.

在背景差分法中，首先要做的是背景图像的提取和更新.这是背景差分法中的难点，也是决定运动目标检测成功与否的关键.近年来，人们对如何实现背景图像的自适应更新提出了各种算法，如帧差法［8］、卡尔曼滤波器方法［9］、单高斯模型［10］、混合高斯模型［11］等.帧差法的背景更新时间长，需要资源多，在目标运动较快的情况下，会产生伪目标现象.卡尔曼滤波器方法在递归背景模型出现错误的情况下，对后续背景估计会造成持续较长时间的影响.单高斯模型无法适应复杂背景，且只适合光线变化非常缓慢的情况.混合高斯模型及其改进算法虽然能适应复杂的动态背景更新，但是计算量复杂，建模参数难调，对全局亮度突变敏感.上述几种算法主要是以逐个像素为操作对象，计算量较大，且不能很好地适应光线的变化.本文提出一种将差分图像进行二级分块分类处理的背景更新算法.首先将当前帧图像与参考背景图像之间的差分图像进行初次分块，按照子块均值和标准差特征将初级子块图像分为前景块和背景块，这样可以先把大部分背景子块分离出去.再对前景块进行二次分块，分为二级前景块和背景块.最后对不同类别的子块图像采用不同的策略来实现背景的实时更新.该算法以块为操作对象，提高了运算速度，对全局光照变化具有较强的鲁棒性，且原理简单，容易实现.

1 基于均值特征的分块分类

1.1 分块分类原理

背景更新不仅要很好地适应环境的变化，而且还要考虑处理速度能否达到实时性要求.一般情况下，运动目标往往只占监控画面的小部分，完全采用逐点更新像素的策略，会产生大量的冗余计算.这里采用分块的思想，将相邻的多个像素进行整体处理，可以有效地减少计算量，提高更新速度.

设待处理的视频图像大小为X×Y，当前帧的图像为F，某预设的背景参考图像为B，则根据背景差分法得到其差分图像Fs为

将该差分图像划分为多个互不重叠的M×N大小的子块，子块的数目为，则Fs可以用式(2)所示的块形式表示:

式中:Blij为Fs中的某个子块.如果当前监控场景中没有运动目标出现，则Blij均为背景块.若场景中存在运动目标，则Blij可分为3种:背景块、前景块以及兼有背景和前景像素的子块.本文将后两者均视为前景块处理.

设v(k，l)为Blij中某像素的灰度值，则该子块像素灰度的均值μij和标准差σij分别为

一般情况下，在视频序列中，如果背景区域中没有物体移进或移出的变化时，其相邻像素灰度值之间具有某种稳定的关系.当环境光线发生变化时，背景中的像素将同时变亮或变暗［12］.差分图像Fs中的背景像素灰度值主要代表的是光线对当前帧各背景像素的影响幅度，因此，Fs中的各背景像素灰度值之间的差距将不会太大，各个背景子块的均值μij和标准差σij相差也是比较小的.而前景块由于融合了目标自身的特征和光照等其他信息，它们的均值和标准差将会有比较大的差异.因此，可以将每个子块的均值和标准差作为度量特征来进行子块的分类.

式中:μij为子块均值，μB为参考均值，σij为子块标准差，T1、T2为分类阈值.

1.2 分块大小的讨论

分块的大小应根据具体的视频图像大小和视频监控系统实际使用场合而定.一般来讲，子块尺寸越大，背景更新速度越快，但会影响背景更新的精细程度.当然，子快划分也不是越小越好.太小的子块划分，不仅时间花费较长，而且过分注意细节问题，会将目标中某些灰度与背景灰度接近的像素误判为背景像素，从而导致后续差分处理中出现个别目标边缘缺失或目标内部孔洞的现象.因此要权衡算法的执行效率和更新效果来选择合适的分块大小.

实际应用中，运动目标往往只占监控画面的小部分.如果对图像所有部分采用同样大小子块划分，会影响背景更新效果.本文提出一种二级分块的方法，先将差分图像分为多个较大的初级子块，该初级子块以包含600～800个像素为宜.这样可以先把大部分背景子块分离出去.然后，将被判为前景的初级子块再进行二次分块，利用二级小子块来处理细节，提高精度.为尽量避免将目标部分灰度与背景相似的点误判为背景点，该二级子块的大小也不宜过小，一般包含40～60个像素比较合适.

2 背景更新算法

2.1 背景更新策略

采用上述分块分类的方法分离出背景块和前景块后，便可对这2类子块采取相应的背景更新策略.

1)背景块:它是当前帧中未被目标遮挡的部分，可使用当前帧图像中相应的子块对其进行实时更新.

2)前景块:该类子块包含纯目标块和兼有前景和背景的子块.为提高背景更新的精度，对这样的子块实行逐点扫描，按式(4)的规则判别该像素是属于背景点或前景点.若v(k，l)属于背景点，则用当前帧图像F中的相应点像素值更新;若v(k，l)属于前景点，则用背景参考图像B中的相应点像素值恢复.

2.2 算法的实现步骤

本文提出的背景更新算法流程图如图1所示，分为如下6个主要步骤:

1)首帧背景提取:采用文献［13］中介绍的连续多帧序列图像中取中值的方法提取首帧背景B0，并将B0设为参考背景B.

2)获取差分图像:按照式(1)得到Fs.

3)初级分块分类:根据式(3)的规则对Fs进行初级分块分类操作，得到初级背景块和初级前景块.

4)二级分块分类:根据式(3)的规则对初级前景块进行二级分块分类，得到二级前景块和二级背景块.

5)各类子块处理:上述操作后得到3类子块，分别是初级背景块、二级背景块和二级前景块.分别按照背景块与前景块的更新策略进行背景更新.

6)当所有子块均按上述步骤完成后，背景更新完毕.同时将更新后的背景作为参考背景进行存储.

图1 背景更新流程图Fig.1 Background update flow chart

2.3 算法中几个参数的自适应设置

2.3.1 参考均值μB的自适应获取与更新

参考均值μB是非常重要的参数，它是子块分类的重要判断依据.对于实际的监控场景，运动目标一般只占监控画面的小部分，划分的子块中大部分为背景子块，而且监控视场四角同时出现运动目标的概率几乎为零.因此差分图像Fs的四角子块中均值最小的子块可以视为背景子块，并取其均值和标准差作为初始参考均值μB和初始标准差σB.

在对子块的处理过程中，为使μB和σB体现更多的背景信息，对它们引入学习机制，即处理完每块初级背景子块后，用式(5)、(6)分别更新背景参考均值 μB和 σB.

式中:μB、σB分别为参考均值和标准差;μij、σij分别为属于初级背景块的子块均值和标准差;α为更新率，其值一般在(0.5，1)区间选取，本文α值均设定为 0.8.

2.3.2 几个分类阈值的动态设置

目前大多数算法中阈值都是采用手动选取一个固定的经验值，但此方法不适用具有光线变化等复杂情况的环境.针对这一问题，提出以2幅图像的光线变化来自适应改变阈值.

差分图像的标准差和各子块标准差是反映监控场景变化信息的重要参数，且它们与均值有内在的联系，因此可利用标准差来动态地设定各个阈值.

按照数理统计中的3σ准则［14］，可以认为背景块像素灰度的均值μij基本上都是在参考均值μB的(－3σB，3σB)范围内变化，因此分类阈值 T1设为3σB.

设σs为差分图像Fs的整体标准差，经实验表明，分类阈值T2设为0.5σs对室内室外监控环境均比较适用.

3 实验结果与分析

为了验证本文算法的有效性，分别在室内、室外2种场景情况下进行了背景更新实验，并与单高斯模型更新效果进行了对比.室内视频背景更新处理效果如图2所示，室外交通视频背景更新处理效果如图3所示.实验中，采集的视频图像大小均为240×320.本文算法初级分块大小为24×32，二级分块大小为6×8.

图2 室内视频背景更新处理效果图Fig.2 Results of indoor video background update

图3 室外交通视频背景更新处理效果图Fig.3 Results of outdoor video background update

图2(a1)、(a2)为室内视频序列中开灯前后的2帧图像.图2(b1)、(b2)分别是对这2帧图像采用单高斯模型算法获得的背景更新图像.图2(c1)、(c2)分别是图2(a1)与(b1)、图2(a2)与(b2)的差分图像.图2(d1)、(d2)分别是本文方法得到的背景更新图像.图2(e1)、(e2)分别是本文方法得到的差分图像.

从图2(b2)、(c2)中可以看出，高斯模型无法感应光线变强这一信息，导致差分图像中背景清晰可见，加大了后续目标提取的困难.而本文算法得到的背景更新图像图2(d1)、(d2)则能够适应光线的变化，背景更新效果明显，这从差分图像为图2(e1)、(e2)中也能体现出来，明显比单高斯模型算法获得的差分图像图2(c1)、(c2)效果要好.

在本文方法中，背景更新首先采用二级分块来判断前景块和背景块，对于前景块中的前景点保持背景参考图像中的相应点像素值不变;所以，若当前帧图像光照变化强烈，则参考背景图像与当前帧图像光照会存在明显差异，也正是因此，才保证了最终差分图像较好的去背景效果.

为了进一步检验算法的有效性，图3给出了室外交通视频处理效果图.其中，图3(a1)为上午10点钟采集的视频图像中的某一帧，图3(a2)则是下午4点半钟采集的视频图像中的某一帧.图3(b1)、(b2)和图3(c1)、(c2)分别是对这2帧采用单高斯模型背景更新算法获得的背景图像及其相应的差分图像.图3(d1)、(d2)和图3(e1)、(e2)则分别是本文算法获得的背景图像及其相应的差分图像.从图3(c2)中可以看出背景干扰信息较多，这表明高斯模型获得的背景图像无法完全适应光线变暗的信息.而本文算法很好地感应到光线的变化，使得未被目标遮挡部分基本上得到了实时更新，其相应的差分图像图3(e1)、(e2)中背景干扰信息都非常少，有利于目标的提取.

4 结束语

针对现有智能视频监控中背景更新算法计算量大、对光照变化敏感等问题，提出一种将差分图像进行二级分块分类处理的背景更新算法.该算法以块为操作对象，不需要背景先验知识，对全局光照变化具有较强的鲁棒性，可准确地更新背景图像，为后续的运动目标识别与理解提供了良好的基础条件.

［1］VALERA M，VELASTIN S A.Intelligent distributed surveillance systems:a review［J］.Image and Signal Processing，2005，152(2):192-204.

［2］HARITAOGLU I，HARWOOD D，DAVIS L S.Real-time surveillance of people and their activities［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):809-830.

［3］杜友田，陈峰，徐文立，等.基于视觉的人的运动识别综述［J］.电子学报，2007，35(1):84-90.DU Youtian，CHEN Feng，XU Wenli，et al.A survey on the vision-based human motion recognition［J］.Acta Electronica Sinica，2007，35(1):84-90.

［4］李庆武，许和英，陈小刚，等.基于 USB2.0的智能视频监控系统设计［J］.光学技术，2007，33(S1):22-24.LI Qingwu，XU Heying，CHEN Xiaogang，et al.Design of intelligent video monitoring system based on USB 2.0［J］.Optical Technique，2007，33(S1):22-24.

［5］魏志强，纪筱鹏，冯业伟.基于自适应背景图像更新的运动目标检测方法［J］.电子学报，2005，33(12):2261-2264.WEI Zhiqiang，JI Xiaopeng，FENG Yewei.A moving object detection method based on self-adaptive updating of background［J］.Acta Electronica Sinica，2005，33(12):2261-2264.

［6］张洪斌，黄山.面向实时交通视觉监控的综合动态背景更新方法［J］.计算机应用，2007，27(9):2134-2136.ZHANG Hongbin，HUANG Shan.Comprehensive dynamic background updating method for real-time traffic visual surveillance［J］.Journal of Computer Applications，2007，27(9):2134-2136.

［7］汪冲，席志红，肖春丽.基于背景差分的运动目标检测方法［J］.应用科技，2009，36(10):16-18，30.WANG Chong，XI Zhihong，XIAO Chunli.Moving objects detection based on background subtraction method［J］.Applied Science and Technology，2009，36(10):16-18，30.［8］GUPTE S，MASOUD O，MARTIN R F K，et al.Detection and classification of vehicles［J］.IEEE Transactions on Intelligent Transportation Systems，2002，3(1):37-47.

［9］MESSELODI S，MODENA C M，SEGATA N，et al.A Kalman filter based background updating algorithm robust to sharp illumination changes［J］.Lecture Notes in Computer Science，2005，3167:163-170.

［10］曹丹华，邹伟，吴裕斌.基于背景图像差分的运动人体检测［J］.光电工程，2007，34(6):107-111.CAO Danhua，ZOU Wei，WU Yubin.Motion human detection based on difference background image［J］.Opto-E-lectronic Engineering，2007，34(6):107-111.

［11］STAUFFER C，GRIMSON W E L.Adaptive background mixture models for real-time tracking［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins，USA，1999，2(6):246-252.

［12］杨广林，孔令富.基于图像分块的背景模型构建方法［J］.机器人，2007，29(1):29-34.YANG Guanglin，KONG Lingfu.Approach of constructing background model based on image blocks［J］.Robot，2007，29(1):29-34.

［13］李强，赵亦工，高永晶.基于背景差分的动目标检测算法研究［J］.遥测遥控，2007，28(6):68-72.LI Qiang，ZHAO Yigong，GAO Yongjing.Moving object detection algorithm based on background difference［J］.Journal of Telemetry，Tracking and Command，2007，28(6):68-72.

［14］于学汉.概率论与数理统计教程［M］.北京:兵器工业出版社，1996:149.