陈龙飞 余涛
摘 要: 视频传感器网络在监控过程中会产生大量数据,为此提出一种改进的基于对象的视频压缩方法。首先,运用改进的混合高斯模型进行背景建模;其次,提出宏块分类方法,对视频帧图像进行宏块分类;然后,利用宏块分类结果,实现前景和背景的分离;最后,分别对前景和背景进行压缩,形成各自的编码流。实验结果表明,该方法具有比MPEG-4更强的压缩能力,满足视频传感器网络的视频压缩需求。
关键词: 视频传感器网络; 视频压缩; 混合高斯; 背景减除法; 视频对象
中图分类号:TP391.4 文献标志码:A 文章编号:1006-8228(2015)04-06-03
Abstract: In the monitoring process, the video sensor networks will produce large amounts of data. For this problem, this paper presents an improved method for object-based video compression. Firstly, the improved Gaussian mixture model is used to model background. Secondly, macroblock classification method is proposed to classify the macroblock of video frame image. Thirdly, the results of macroblock classification is used to realize the separation between foreground and background. Finally, foreground and background are separately compressed to form a respective encoded streams. Experimental results show that the method is stronger than the MPEG-4 and meet the needs of video compression in video sensor networks.
Key words: video sensor networks; video compression; GMM; background subtraction; video object
0 引言
视频传感器网络(video sensor network,VSN)作为无线传感器网络的典型应用实例[1],具有重要的研究价值和应用意义。VSN主要应用于视频监控的各个领域,如智能交通、环境监测、公共安全和紧急救援等。VSN在帮助人们获得丰富的视频信息资源的同时,也产生了海量的数据,不利于视频的传输和存储,因此对其进行压缩具有重大意义。文献[2]采用MJPEG2000编码方法,只进行帧内编码,编码简单,但压缩能力有限。文献[3]采用MPEG-4编码方法,利用了运动补偿技术进行帧间编码,进一步提高编码能力。文献[4]考虑到前景与背景间的不同,分别对前景对象和背景采用MPEG-4和JPEG2000进行编码,编码能力得到极大提高,缺点是采用两种不同的编码方案,额外增加了VSN的资源开销。本文提出一种改进的基于对象的视频编码方法,结合背景减除法和改进的混合高斯背景建模方法,对当前帧图像进行宏块分类,实现前景与背景的分离,形成各自独立的编码流。
1 方法概述
从监控目的出发,视频帧图像可以分为有研究价值的监控对象和起参考作用的背景[5]。其中,监控对象是主要研究对象,压缩时要尽量保持不失真;而背景不是主要研究对象,可以进行高比率压缩。本文的视频压缩算法的流程如图1所示。首先利用改进的高斯混合模型进行背景的建模与更新;再运用背景减除法,通过比较当前帧和参考背景之间的不同,对当前帧中的宏块进行分类;然后,根据宏块的分类结果,构建纯背景图像和提取前景对象;最后,根据MPGE-4编码框架,对前景对象进行形状编码、纹理编码和运动编码,而对背景进行高比率的帧内编码。
2 背景减除法
运动目标检测方法一般分为光流法、帧间差分法和背景减除法三种[6]。光流法计算十分复杂,运算量巨大,且抗噪性能比较差,难以满足实时性检测。帧间差分法虽然运算简单,实时性好,但往往不能完整提取运动对象。而背景减除法可以提取出完整的运动目标,运算复杂度不高,且实时性较好,是固定摄像机下运动目标检测最常用的方法。
背景减除法的困难点在于,背景可能是动态变化的,引起背景变化的原因包括背景自然景物的扰动、光照的变化和摄像机的轻微晃动等。因此,如何在背景存在变化的情况下,建立起具有鲁棒性的背景模型是背景减除法的关键所在。
3 基于混合高斯的背景建模
在众多背景建模方法中,混合高斯模型(Gaussian Mixture Model,GMM)能有效地对背景进行建模,并能随着背景的变化而自适应调整。因此,在背景减除法的运动目标检测中经常采用GMM为其背景建模。前期GMM通常采用EM算法估计混合高斯模型参数,但由于EM算法固有的缺陷限制了其应用,目前GMM基本采用在线K均值估计的统计建模方法[7]。本文采用GRIMSON等人提出的混合高斯模型方法对颜色特征进行建模,并针对其学习率α是固定的缺点进行改进。
4 宏块分类
根据当前帧与参考背景帧之间的不同,可以将当前帧中的宏块分为四种类型:含有运动对象像素点的运动对象宏块,记为oMB;与oMB相对应的,被运动对象遮挡的背景宏块,记为pMB;背景区域的变化是由噪声引起的静态背景宏块,记为sMB;由光照和景物干扰(如水面波纹,树枝晃动)等引起变化的动态背景宏块,记为dMB。其中,pMB主要是为了后面构造纯背景图像而提出的。判断准则如下:
⑴ 当SAD=0时,将宏块标记为sMB;
⑵ 当0 ⑶ 当SAD>TH时,将宏块标记为oMB,通过参考背景图像对应位置上的宏块就可以获得pMB。 然后,在确定了集合S1中所有块的状态后,再对集合S0进行处理。由于集合S0中的每一个宏块的上下左右四个相邻块均属于集合S1,这四个相邻宏块的状态已经确定。因此本文采用如下的方法来判定集合S0块的状态:当四个相邻块中有两个或者两个以上的状态为oMB时,则判定这个属oMB,否则判定为sMB。 5 建立纯背景图像和提取运动对象 6 MPEG-4编码的实现 当前,最常用的MPEG-4视频编码器有两种:OpenDivX和Xvid,其中Xvid是从OpenDivX上发展而来的,并且开放源代码。因此,本文在写入视频时采用Xvid编码器来实现。OpenCV是一个开源的跨平台的计算机视觉库,集成了大量的视频编码算法,用于进行视频编码设置,其函数如下: cvCreateVideoWriter(filename,fourcc,fps,frame_size,int is_color=1) ⑻ 其中,filename指明了待存储的视频文件名;fourcc表明压缩格式,本文在此处设为-1,结合Xvid编码器,根据需要设置编码方式和相关参数;fps是被创建视频流的帧率;frame_size是视频流的大小;is_color=1表明写入彩色帧。 7 实验结果与分析 本实验所使用的计算机性能是Intel(R) Core(TM)i5-2400 CPU @ 3.0 GHz 3 GHz,4 GB的内存,windows7操作系统,编程工具采用Microsoft Visual Studio 6.0,视觉库为OpenCV1.0,并调用Xvid编码器。 首先,鲁棒性的背景模型是实现运动对象和背景分离的难点和关键所在。本文采用基于混合高斯的背景建模方法,其改进前后的效果比较如图3所示,改进的方法能更接近真实的场景背景。 其次,基于16×16像素大小的宏块改进方法,减少了计算量,降低了VSN节点资源的消耗,其分类效果如图4所示。 最后,根据MPEG-4的编码框架思想调用Xvid编码器,对纯背景图像和运动对象分别进行压缩,形成各自独立的编码流。在视频格式、分辨率、播放速度和时间都不发生变化的条件下,该方法的实验结果如表1所示。压缩后的视频大小比原文件减小3769KB,与经过MPEG-4压缩的视频相比减小760KB,这表明本文方法具有更高的压缩效果。 8 结束语 本文采用一种基于对象的视频压缩的改进方法。该方法结合背景减除法的思想和高斯混合背景模型,并对运动检测方法进行改进;对视频帧中的宏块进行分类,再利用分类的结果,构建纯背景,分离前景对象和背景;最后对前景对象和背景分别进行压缩,形成各自独立的编码流。实验结果表明,该方法具有较好的压缩效果,适合视频传感器网络上的视频压缩。同时,对于复杂背景的建立和更新具有很好的鲁棒性。然而,仍然存在一些待解决的问题,如对静止宏块和噪声宏块的阈值选取,如何在不增加计算量的情况下,做到阈值的自适应,这也是下一步研究的重点。 参考文献: [1] 蔡康.视频传感器网络应用关键技术研究[D].华南理工大学,2012. [2] J. Meessen, C. Parisot, X. Desurmont, and J.-F. Delaigle, “Sceneanalysis for reducing motion JPEG 2000 video surveillance delivery bandwidth and complexity,” in Proc. IEEE Int. Conf. Image Processing, Genova, Italy, Sep. 2005. [3] A. Vetro, T. Haga, K. Sumi, and H. Sun, “Object-based codingfor long-term archive of surveillance video,” in Proc. IEEE Int. Conf. Multimedia and Expo, Jul. 2003.2:417-420 [4] R. V. Babu and A. Makur, “Object-based surveillance video compression using foreground motion compensation,” in Proc. IEEE Int. Conf. Control, Automation, Robotics and Vision,2006.12:1-6 [5] 刘雪冬,李庆,毛瑞雪.基于增强对象的监控视频编码算法[J].计算机工程,2011.13:224-226 [6] 李鸿.基于混合高斯模型的运动检测及阴影消除算法研究[D].中国民航大学,2013. [7] C. Stauffer and W. Grimson, “Adaptive background mixturemodels for real-time tracking,”in Proc. IEEE Conf. Computer Vision and Pattern Recognition,1999.2:246-252 [8] 熊哲源.无线多媒体传感器网络图像编码算法研究[D].中南大学,2012.