基于背景擦除的视频监控图像超分辨率重建*

俞文静　张明军　王　影

(广州大学华软软件学院　广州　510990)



基于背景擦除的视频监控图像超分辨率重建*

俞文静张明军王影

(广州大学华软软件学院广州510990)

摘要视频图像的超分辨率重建在视频监控领域有非常重要的应用，论文采用背景擦除的方法研究了一种应用于视频监控的视频图像超分辨率重建算法。首先建立了超分辨率重建算法的一般模型，并阐明了视频图像的超分辨率重建的过程，重点研究了视频监控图像重建的优化算法，该算法采用背景差分算法先对视频图像背景进行擦除提取运动目标，再使用改进DS算法对目标进行运动估算，最后使用改进的POCS对图像进行重建。实验表明该文算法与一般的POCS相比能明显地提高视频监控的重建图像的清晰度和效率。

关键词视频监控； 超分辨率重构； 凸集投影法； 背景擦除

Class NumberTP301.6; TP391.9

1　引言

视频图像超分辨率重建[1～2]是利用同一场景下的多幅具有互补信息的模糊、变形以及噪声污染的低分辨率图像来重建一幅较清晰的高分辨率图像的过程。这一技术在安保监控、交通监控检测、卫星遥感、医疗等领域都具有较好的应用前景。

自1984年，Tsai和Huang[1～2]首次提出基于序列或多帧图像的超分辨率重建算法之后，一些先进的思想、算法和技术相继提出，已经形成了一套基本理论，并取得了不错的研究成果。这些研究主要涉及两个关键问题：一个是图像序列运动物体运动估计研究，目的在于得到各帧图像与参考图像帧的运动位移信息；另一个是完成对低分辨率图像序列配准操作后的重建算法研究，即如何恢复出一幅高分辨率图像。

本文主要研究针对视频监控这种特定应用场景下的多帧图像超分辨率重建。基于视频监控画面背景相对固定，而在监控应用中，人们更多关心的是监控画面中移动(运动)的对象的特点，本文提出了在监控视频多帧图像背景分离的基础上，采用背景擦除法及像素相减法对运动物体进行运动估计得到运动位移信息，再利用改进凸集投影法进行图像重建的算法。

2　超分辨率图像重建的数学模型

2.1高分辨率图像和低分辨率图像之间的观测模型

图1　图像的详细观测模型图

(1)

2.2视频监控图像重建模型

由上述观测模型图可以得出，图像的超分辨率重建模型是观测模型的逆过程[3～4]，而视频超分辨率重建过程可以概括为两个方面：图像运动估计、图像插值重建，其流程如图2所示。

图2　视频监控图像重建模型

3　视频监控图像重建的优化算法

3.1背景差分法的运动目标提取

背景差分法[5]是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法。由于监控视频的背景固定，背景建模容易实现，因此本文采用背景差分法进行视频运动目标检测，在检测的基础上擦除背景，提取运动目标。然而，该方法检测运动目标容易受图像采集过程中的误差、背景光线以及环境等因素的干扰，使背景擦除效果受到影响。因此，本文对背景模型的获取采用了多种环境下的动态背景，使用了人工的背景模型选择，根据视频的当时天气环境特点，光亮度(同位置像素HSI模型中的亮度I的差)，通过视频序列的帧间信息，在动态背景里选择相应的背景图像，再做背景擦除。

3.2运动目标的运动估计

视频监控中运动目标提取之后，由于监控摄像机在时间和空间上的分辨能力是有限的，可能会引起运动影像的模糊，就是影像中的尾迹现象，并且考虑到监控视频中的运动对象运动速度的不一致性，本文采用改进的菱形搜索算法(Diamond Search，DS)[6～7]进行运动目标的运动估计，DS被MPEG4标准采用，是目前公认的一种较好的搜索算法。它利用视频序列中运动矢量的中心点偏移的特点，采用了两种搜索模板：如图3所示分别是9个搜索点的大菱形搜索模板(LDSP)和有5个点的搜索模板(SDSP)。本文在运动目标背景擦除的基础上，对菱形搜索算法进行了改进，其初始搜索点由原来的原点(0,0)，变化为除背景外的运动物体上x坐标与左y坐标的左上角交汇点(x0,y0)，如图4所示，这样省去了视频图像背景区域的搜索时间，从而使搜索效率得到了提高。

图3　两种搜索模板：LDSP和SDSP

图4　搜索起始点示意图

在视频搜索中，假设选择M×N的块，且同一块内的像素运动是一致的，则搜索的绝对平均误差函数如式(2)所示，其中fk和fk-1分别为当前帧和上一帧的灰度值，(i,j)为位移量。

-fk-1(m+i,n+f)|

(2)

本文改进的DS算法步骤如下：

步骤1：初始化大菱形LDSP以运动物体上x坐标与左y坐标的左上角交汇点为中心(x0,y0)，用大菱形模块在搜索区域中心和周围8个点处进行匹配，如果最小块误差MBD(MAD值最小的点)位于中心位置，则转到步骤3，否则转到步骤2。

步骤2：以上一次找到的MBD点作为中心，构建新的LDSP并计算其8个搜索点的匹配误差，找到新模板的MBD点。若它位于中心位置，则转到步骤3，否则转到步骤2。

步骤3：以上一次得到的MBD点作为中心，构建小模板SDSP，在其5个搜索点处进行匹配和比较，找出MBD点，该位置即对应最终得到的运动矢量。

3.3基于改进的POCS图像重建算法

凸集投影法(Projection Onto Convex Sets,POCS)是超分辨率重建方法的重要理论方法之一[8]。该方法以其强大的先验知识包含能力，成为近年来图像复原领域中的一种主要方法。由POCS算法运算步骤可知，该算法在实现的过程中，图像超分辨率重建的初始值F的选择将直接影响到后续的重建效果，因此，对初始值F进行优化将对重建后的图像效果有着直接的影响。

f(i+u,j+v)=ABC

(3)

A=[s(1+u)s(u)s(1-u)s(2-u)]

(4)

(5)

C=[S(1+v)S(v)S(1-v)S(2-v)]T

(6)

(7)

(8)

本文改进POCS操作流程如下所示：

Step1：选择图像序列中的一副低分辨率图像g0，对其进行自适应双三次插值放大处理；

Step2：对Step1中放大后的图像依据3.2节中改进菱形搜索得到的运动矢量进行逆滤波复原处理；

Step3：将Step2中的所得图像帧作为基准帧，并作为超分辨率图像的初始估计；

Step4：设置迭代次数，并设置初值为0；

Step5：对每一帧图像进行超分辨率计算：

Step5.1：计算每个序列图像帧相对基准帧的运动估计，并对每帧图像进行运动补偿；

Step5.2：对每帧图像的每个相元进行幅值投影；

Step5.3：计算真实图像与复原图像之间的残差；

Step5.4：根据残差来修正图像像素元；

Step5.5：检查是否达到迭代次数；

Step6：检查是否修正完所有低分辨率图像：

Step7：程序结束。

本文改进的POCS算法依据本文视频监控特殊的应用场景特点，在算法中采用了自适应双三次插值对图像进行放大，比起传统POCS算法使用的双线性插值放大，更能保持边缘细节信息；其次，在基准帧的选择上，除了放大以外，利用逆滤波复原方法对视频监控图像中的模糊尾迹进行了复原，保证了初始估计的准确性。

4　仿真实验与数据分析

本文仿真实验环境为Intel(R) Core(TM) i3 CPU 530,2.93GHz，内存2GB，仿真平台为Matlab R2010。采用道路监控视频下的1组连续3帧的图像作为实验初始图像，如图5所示。图6为人工根据天气情况和亮度I选择的监控的背景图像组，首先，假设监控环境良好，于白天拍摄，利用背景差分法进行运动目标的提取，可以得到如图8所示的擦除了背景的图像序列。在图7的基础上，本文应用改进菱形搜索算法进行运动目标的运动估计，得到视频中运动物体的运动矢量，如图8所示。

图5　视频连续3帧原始图像

图6　视频监控背景图像

图7　运动目标提取后的图像序列

图8　改进菱形搜索算法获得运动物体的运动矢量

实验表明，本文改进的菱形搜索算法初始搜索点由原来的原点(0,0)，变化为除背景外的运动物体上x坐标与左y坐标的左上角交汇点(x0,y0)，省去了视频图像背景区域的搜索步长，如图8中的车辆运动估计，分别用基本菱形搜索算法和本文的改进菱形搜索算法进行运动估计，如下表1统计了实验中两种算法运行时的参数比较，可以看到，改进的菱形算法在监控视频序列图像擦除背景的运动目标的提取之后，在搜索初始点上进行改进，对算法搜索效率有很大的提高，在平均搜索点数，搜索时间以及搜索步数几个方面都有了很大的提高。

表1　本文改进菱形搜索算法与基本菱形搜索算法比较

视频图像运动估计之后，本文利用基本的POCS重建算法和改进POCS算法对三张序列图像进行图像重建，并对两种算法进行比较。实验得到如图9(a)～9(c)以及10(a)～9(c)所示的重建效果，其中图9(a)为基本POCS重建2倍得到的整图效果，图9(b)为基本POCS重建逆向行驶车辆车牌放大8倍效果，图9(c)为基本POCS重建顺向行驶车辆车牌放大8倍效果；图10(a)为改进POCS重建2倍得到的整图效果，图10(b)为改进POCS重建逆向行驶车辆车牌放大8倍效果，图10(c)为改进POCS重建顺向行驶车辆车牌放大8倍效果。

图9　基本的POCS算法对图像序列重建后效果

图10　改进的POCS算法对图像序列重建后效果

从实验结果可以看到，本文提出的改进POCS重建算法与基本的POCS重建算法在视频序列图像重建中，重建效果有很大的提高，图10与图9比较，在图像重建清晰度上有了非常明显的提高，尤其是图像重建倍数增大的时候，效果对比更加明显。

5　结语

本文针对交通视频监控这种特定环境下的视频图像超分辨率重建进行系统研究，在建立视频图像重建模型的基础上，提出了一种采用图像背景擦除后进行视频超分辨图像重建的方法，该方法主要在以下两点进行了改进：

1) 基于背景擦除后的视频图像，对基本DS运动估计算法进行了改进，改变初始搜索点，不搜索背景，只搜索运动物体所在块，实验表明，搜索效率得到了很大的提高。

2) 在运动估计的基础上，对基本POCS算法进行改进，利用自适应双三次插值对图像方法，并利用逆滤波复原方法对视频监控图像中的模糊尾迹进行了复原，并将复原后的图像进行重建，实验表明，在视频图像重建效果上有较大的提高。

然而，在实验中，根据实验完成中出现的问题，该算法需在以下两点进行改进：

1) 背景差分法对背景模型的要求很高，不同光照条件及环境背景的选择不同，如何提高通过视频图像判断背景选择的速度，快速更新适合的背景将是下一步的研究重点。

2) 改进的POCS算法在重建效果上有了明显的提高，然而，由于改进算法加入了较复杂的自适应双三次插值计算以及逆滤波复原计算，在算法的运行效率上需要进一步改进。

参 考 文 献

[1] KANG M, GHAUDHURIS. Super-resolution image reconstruction[J]. IEEE Signal Processing Magazine,2003,20(3).

[2] AN Ouwerkerk J D. Image Super-resolution Survey[J]. Image and Vision Computing,2006,24(10):1039-1052.

[3] 何小海,吴媛媛,陈为龙,等.视频超分辨率重建技术综述[J].信息与电子工程,2011,9(1):2-6.

HE Xiaohai, WU Yuanyuan, CHEN Weilong. A survey of video super-resolution reconstruction technology[J]. Information and Electronic Engineering,2011,9(1):2-6.

[4] Patti A, Sezan M, Tekalp A. Super-Resolution Video Reconstruction with Arbitrary Sampling Lattices and Nonzero Aperture Time[J]. IEEE Transactions on Image Processing,1997,6(8):1064-1076.

[5] 朱明旱,罗大庸.基于帧间差分背景模型的运动物体检测与跟踪[J].计算机测量与控制,2006,14(8):99-101.

ZHU Mingzao, LUO Dayong. Moving objects detection and tracking based On two consecutive frames subtraction background model[J]. Computer Measurement and Control,2006,14(8):99-101.

[6] 刘海峰,郭宝龙,冯宗哲.用于块匹配运动估值的正方形-菱形搜索算法[J].计算机学报,2002,25(7):747-752.

LIU Haifeng, GUO Baolong, FENG Zongzhe. A square-diamond search algorithm for block motion estimation[J]. Journal of Computer Science,2002,25(7):747-752.

[7] 李淳,马力妮.基于菱形搜索的改进运动估计算法研究[J].计算机技术与发展,2008,11(18):117-122.

LI Chun, MA Lini. A study of improved motion estimation algorithms based on diamond search[J]. Computer Technology and Development,2008,11(18):117-122.

[8] Gunturk B K, Altunbasak Y, Mersereau R M. Superresolution Reconstruction of Compressed Video Using Transform-Domain Statistics[J]. IEEE Transactions on Image Processing,2004,13(1): 33-43.

[9] 庞志勇,谭洪舟,陈弟虎.一种改进的低成本自适应双三次插值算法及VLSI实现[J].自动化学报,2013,39(4):407-417.

PANG Zhiyong, TAN Hongzhou, CHEN Dihu. An improved low-cost adaptive bicubicinterpolation arithmetic and VLSI implementation[J]. Automation Journal,2013,39(4):407-417.

[10] 吴雪垠,吴谨,张鹤.逆滤波法在图像复原中的应用[J].信息技术,2011(10):183-185.

WU Xueyin, WU Jin, ZHANG He. Research on restoration techniques based on inverse filtering algotithm[J]. Information Technology,2011(10):183-185.

收稿日期:2015年10月4日,修回日期:2015年11月23日

基金项目:广东高校优秀青年创新人才培养计划项目(编号:2013LYM_0114)；广州大学华软软件学院2014年教学研究、科学研究资助立项项目(编号：ky201410)资助。

作者简介:俞文静，女，硕士，讲师，研究方向：计算机图形图像处理、优化算法研究等。张明军，男，讲师，研究方向：图像处理。王影，女，讲师，研究方向：计算机图形图像，多媒体技术。

中图分类号TP301.6; TP391.9

DOI:10.3969/j.issn.1672-9722.2016.04.037

Super Resolution Reconstruction Algorithm of Video Surveillance Image Based on Background Erasure

YU WenjingZHANG MingjunWANG Ying

(South China Institute of Software Engineering, Guangzhou510990)

AbstractSuper resolution reconstruction of video image has very important application in the field of video surveillance, this paper uses background erasure to research one of super-resolution reconstruction algorithm applications in video surveillance image. Firstly, the model of the super-resolution reconstruction algorithm is established, and the super-resolution reconstruction of the video image is clarified, and the optimized algorithm of the video surveillance image reconstruction is studied. In this algorithm, background subtraction is used to extract the moving target from video image, and the target image is estimated by using the improved DS(Diamond Search) algorithm, and then the improved POCS(Projection Onto Convex Sets) is used to reconstruct the image. Experiments show that the proposed algorithm compared with the general POCS can obviously improve the definition of the video surveillance images and its efficiency.

Key Wordsvideo surveillance, super resolution reconstruction, POCS, background erasure