基于分割和全背景图像的视频修复算法

刘铭　刘雅楠　李靖宇

【摘要】 本文针对处于平行运动中的摄像机所拍摄的视频提出了一种有效地分割、修复方法。通过SURF算法和小波变换分割成前景图像和背景图像并融合得到全背景图像。修复前景时，在具有相似运动特征的图像中搜索最佳样本块填补破损。修复背景时，则是在修复好的全背景中采样填补破损帧的待修复区域。实验表明：本文算法能较为精准的将视频破损处修复，同时采用了全新的分割方法，不但能节省时间，还能将视频处理的更为清晰自然。

【关键词】 视频修复 背景分割融合 全背景 图像修复

一、引言

当今社会正处于多媒体时代，而作为其中的一员，视频的应用也越来越频繁，视频损伤更是层出不穷，其修复技术也越来越受到人们的关注。早在2007年，Patwardhan等人[1]就提出通过建立光流，分别对前景和背景进行修复。但此方法运算量较大，实时性也比较差。紧接着Jia等人[2，3]利用分割技术将视频分割为前景和背景进行修复。近年来，我国许多研究者也相继踏入视频修复的领域。2008年，肖春霞[4]将样本块的修复方法与视频相结合，成功的修复了视频中的大块破损，但却不能对细节进行精确的修复。对于摄像机平行于场景且晃动的情况，梁敏等人[5]在摄像机平行运动前提下，将运动中的摄像机转换成静止状态，此方法提高了视频修复的准确度及速度，有效保持了视频的连续性。

对于目前的视频修复算法来说，背景的分割、融合是一个关键性问题。传统的背景分割方法在建模和更新等方面存在明显的不足；对于处在平行运动中的摄像机来说，一般按照运动估计进行的视频拼接方法所得到的视频会存在误差。针对此等现象，本文提出一种新的分割方法。

二、新的视频修复算法

本文所提出的算法简单有效，但前提是这段视频中必须办含一个完整的运动周期，以便在前景修复进行采样。算法的流程分为以下3步：

（1）通过SURF算法对视频各帧提取特征点、进行匹配，再利用小波变换将每一帧与第一帧进行融合得到全背景图像；（2）利用基于样本块的修复方法，在具有相似运动特征的图像中搜索最佳样本块，填充到前景中的待修复区域；（3）对于破损帧背景的修复，则是在修复好的全背景中采样填补。

2.1 视频帧的分割和全背景图像的融合

本文的分割技术采用的是基于SURF算法和小波变换的方法进行视频全背景的融合。处理的过程为：

（1）利用SURF算法对输入的每帧图像进行特征点的提取；（2）将每帧图像的特征点和第一帧图像的特征点进行匹配，确定图像的重合区域；（3）利用小波变换将配准后的每一帧图像与第一帧融合，构成一幅完整的全背景图像。

2.1.1 基于SURF算法的图像配准

2.1.2 基于小波变换的图像融合

由于小波能从不同层次将图像进行分解并融合，其效果要比普通拼接的效果要好。而在离散小波变换（DWT）中，Mallat提出的金字塔型算法[7]是计算DWT的最快速算法，所以本文在融合技术方面采用的是在小波域内通过金字塔型算法将原始图像在不同尺度、不同方向上分解成模糊分量和细节分量[7]。

将每帧图像的单位阵、融合系数等要素按照Mallat分解公式进行分解，然后通过Mallat重构算法合成融合图像。通过上述方法得到的全背景如图2所示。

2.2 前景修复

对前景的修复方法采用的是基于样本块的图像修复方法逐帧修复。人工标记出前景和背景图像中的待修复区域，在完好的视频帧中搜索与待修复图像运动相似的图像进行最佳样本块的搜索、拷贝，并完成置信度项的更新。

2.3 背景修复

对于破损帧背景的修复则是通过得到的全背景进行采样修复，采样标准需要待修复区域和全背景在时间和空间上具有一致性，背景图像修复结果如图4所示。

三、实验结果与分析

为验证算法的实际修复效果，文本采用Matlab7.11对自己实际拍摄的一段78帧的视频进行处理。计算机的环境是内存1GB，CPU为P7350 2.00GHz。

图5显示了应用本文算法对破损视频进行修复后得到的结果图，从中可以看出，无论是前景还是背景，都没有明显的修补迹象，修补结果令人满意。

为了更加清晰的证明本文所提出的算法，不使文章具有主观色彩，本文通过PSNR计算出对自拍视频完成修复后的第51～59帧图像的客观评价，如表1所示，自拍视频中的第51～59帧的PSNR值均大于36dB（PSNR>36dB可证明修复后的图像视觉质量比较好）。

四、总结

对于传统的背景分割方法在建模和更新等方面存在的不足，本文结合SURF算法、小波变换对背景进行分割、融合得到全背景。

对于前景修复，本文利用基于样本块的修复方法对视频进行处理。对于破损帧的背景修复则在修复好的全背景中进行拷贝填充。实验结果表明，本文的分割融合算法不仅能对各像素点进行精准的匹配分割，融合得到的全背景图像更连续自然，还能快速的对破损视频进行修复并取得理想的实验效果。

作者简介：

刘铭，女，1993年生，本科，学生，主要研究方向：数字图像处理。

刘雅楠，通信作者，女，1987年生，硕士，助教，主要研究方向：数字图像处理。 xiaofeng_6387@126.com。

李靖宇，男，1976年生，硕士，副教授，主要研究方向：数字图像处理。

参 考 文 献

[1] Patwardhan K A， Sapiro G， Bertalmio M. Video inpainting under constrained camera motion[J]. IEEE Trans on Image Processing， 2007， 16（2）： 545-553.

[2] Jia J，Wu T P， Tai Y W， et al. Video repairing： Inference of foreground and background under severe occlusion[C]. IEEE Coference on Computer Vision and Pattern Recognition（CVPR）， 2004， 1： 364-371.

[3] Jia J， Tai Y W， Wu T P， et al. Video repairing under variable illumination using cyclic motions [J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2006， 28（5）： 832-839.

[4]肖春霞，刘舒，林成春，聂勇伟，刘梦，彭群生. 基于时空全局优化的视频修复[J]. 计算机辅助设计与图形学学报， 2008， 20（9）： 1205-1211.

[5]梁敏，王兆仲. 摄像机平行于场景运动且晃动下的视频修复[J]. 计算机工程与应用， 2011， 47（4）： 176-180.

[6]宋延爽，耿楠. 基于SURF算法的全景图拼接技术研究与实现[J]. 计算机工程与设计，2012， 33（12）： 4648-4651.

[7] Mallat S G. Multifrequency channel decomposition of images and wavelet model[J]. IEEE Transact， Speech，Signal Processing， 1989， 37（12）：2091 2110.