基于小波分析的视频图像修复算法

丁 辉，潘 巍，张树东

（首都师范大学 信息工程学院，北京 100048）

0 引言

由于年代久远、保存不当等各种原因，很多历史影像资料存在不同程度的损坏，如何修复这些影像资料，更好地保存和复用这些内容非常重要。此外，有些视频资料由于技术限制，字幕或标志被固化于视频中，成为视频的一部分。但固化的字幕和标志严重阻碍了这些视频资料在后期应用中的复用。针对视频或图像中损坏或者遗失的部分，利用视频段中未被损坏的视频图像信息，按照一定的算法和规则来恢复图像中破损区域的颜色信息或者去除图像中的多余物体，使得整幅图像达到视觉上的连续和完整的技术，被称为视频图像修复技术。待修复区域指视频图像中的受损区域或多余物体，如斑点、文字、褶痕、障碍物等。

视频图像修复在图像处理、视频分析、电影工业、图像传输等中有着广泛的应用。目前，视频图像的修复技术主要集中在两个领域：1）偏微分方程的修复模型[1-3]，最早由Bertalmio等[1]提出的，利用待修补区域的边缘信息，从区域边界各向异性地向边界内扩散，从而确定边缘的扩散信息和扩散方向。这种方法对图像中的线结构具有较好的修复效果，但是无法恢复图像的纹理细节；2）纹理合成的修复模型[4-7]，其主要思想是将图像分解为结构部分和纹理部分，其中纹理部分使用纹理合成方法填充，结构部分用第一类修补算法修补。本文采用基于小波变换的纹理分析方法，并与文本或特征区域检测跟踪算法相结合，提高算法的运算速度。

1 基于小波分析的视频图像修复

1.1 视频图像损坏特征分析

引起视频图像损坏的原因有很多，文献[8]通过对大量被损坏的电影视频资料进行分析，将视频资料的损坏情况大致总结为10个方面：视频图像噪声严重，亮度与对比度失衡，白平衡失衡，锯齿效应，图像闪烁，水平或垂直条带，随机斑点，局部颜色失真，视频图像块效应，完全损坏等。

其中比较难修复的损坏特征是水平和垂直条带，因为损坏的面积比较大，修复过程中易引起块效应。

另一类比较难以修复的特征是视频中的文本或遮挡物，有一些重要和珍贵的材料会经常被多家媒体使用，那些视频图像上无法分割的台标等标志将成为破坏图像完整性的主要区域。因此，首先要定位到待去除特征区域的位置，然后利用视频图像的时间连续性特征进行跟踪和修复。

1.2 图像的小波分析

1.2.1 小波变换

设ψ(t)∈L2(R)，其傅里叶变换为ψˆ(ω)，当ψˆ(ω)满足下述允许条件

时，称ψ(t)为一个基小波或母小波[3]。将ψ(t)经伸缩和平移后就可得到一个小波序列

式中：a和b为伸缩平移因子。这是连续小波的定义，但是在实际应用中通常使用离散化小波，将连续小波的尺度参数a和b进行离散化[7]，即a=aj0,b=kaj0b0，这里 j∈Z ，扩展步长为固定值，且a0≠1，对应的离散化的小波变换系数则可表示为

当尺度参数a和b的大小改变时，可以调节小波时间和频率分辨率，以适应待分析信号的非平稳性。

在实际图像处理过程中，由于图像可以看成是二维信号，利用已有的一维小波函数和尺度函数，采用可分离变量方法来构造所需的二维小波，它们是

由小波函数分离变量性质可知，二维分解过程可以通过2步完成：首先对图像进行行分解，即信号f(x,y)的每一行作为一维信号进行分解；然后再对上一步分解后得到的中间结果进行列分解，即将每一列看成一维函数再作一次分解。这样，二维图像信号被分解为4个不同频率的子波段。因此，二维小波变换具有对图像进行多分辨率分析的特性[9]，分解效果如图1所示。

1.2.2 视频图像修复算法

为了提高修复的正确率，首先要准确找到视频中的受损部分，也就是需要修复的内容。首先，对视频文本等标志区域进行分析，一般台标等标志信息位于视频帧图像的上1/4处，而字幕等文本信息则位于视频帧图像的下1/4左右的位置，具体的文本提取跟踪算法可参考前期的研究工作[10]。对已确定文本区域的视频帧进行3层小波分解，分别对高频子带和低频子带进行修复，最后将修复后的子图像进行重构，从而得到完整的修复后视频图像。视频图像修复流程如图2所示。

2 实验结果及分析

2.1 小波基的选择

小波基ψ(t)的选择不是唯一的，对小波基进行选择应该满足小波定义域紧支撑条件和容许条件。信号t的正则性、小波函数的消失矩阶数和支撑的大小是影响小波基特性的主要因素。实际应用中，如果减小小波函数的支集长度，能够减小高幅值的小波系数的数目。此外，较短的支撑还有利于减小计算量。

因此，综合考虑滤波的实时性和效果，期望所选的小波能同时具有下列性质：1）为避免信号失真，应使小波具有对称性或反对称性；2）为减少运算时间，采用较短的支撑；3）为便于应用Mallat快速算法，小波应具有正交性；4）具有较高的消失矩将有利于更好地匹配待分析的信号。事实上，一个小波基不可能同时具备以上特性，因为这些特性本身存在互相的制约，例如较短的支撑和较高的消失矩是一对矛盾。Haar小波是所有正交紧支撑小波中唯一具有对称（反对称）性小波，但由于其过于简单而不实用。从综合角度出发，Daubechies系列小波是实际使用中的较好选择。

2.2 实验结果分析

本文选择db4小波对视频图像进行多分辨率分解，分解层数为4，利用实验室环境自行录制的视频和网上的视频段进行测试。由于自行录制的图像无文本等要去除区域，首先人为加入损坏区域，然后利用本文算法进行修复，修复结果如图3所示。

对于网上的视频段检测视频中台标文本区域的去除效果，如图4所示。

对于算法效果，目前还没有一个定量的评价标准，仍是用主观的方法来判断修复结果的好坏。本文也只进行了一些简单的实验比较，没有作更多的定量分析。小波分析在水平和垂直方向就有很好的沿边缘特性和多尺度多分辨率分析的优点，实验结果表明该系统能较好地实现视频图像恢复。

[1]CHAN T，SHEN J.Non-texture inpainting by curvature driven diffusions（CCD）[J].Journal of Visual Communication and Image Representation，2003，12（4）：436-449.

[2]赵静，唐晓静.小波变换及骨架提取在图像边缘检测中的应用[J].宁夏大学学报：自然科学版，2004，25（4）：328-331.

[3]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//AKELEY K.Proc.ACM Conf.Comp.Graphics（SIGGRAPH 2000）.New Orleas，LA：ACM Press，2000，417-422.

[4]刘志成，陈祥光，李宇峰，等.传感器输出时间序列的实时小波滤波方法[J].北京化工大学学报：自然科学版，2007，34（1）：71-75.

[5]CRMNISIA，PEREZ P，TOYAMA K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Trans.Image Processing，2004，13（9）：1200-1212.

[6]IDDO D，DANIEL C，HEZY Y.Fragment based image completion[J].ACM Trans.Graphics，2003，22（3）：303-312.

[7]魏琳，陈秀宏.基于纹理方向的图像修复算法[J].计算机应用，2008，28（9）：2315-2317.

[8]韩军，闵有刚，宋海华，等.视频图像修复算法研究[J].电视技术，2007，32（7）：72-74.

[9]MALLAT S G.A theory for multiresolution signal decomposition：The wavelet representation[C].IEEE Trans.Pattern Anlysis and Machine Intelligenc，1989，674-683.

[10]DING Hui，DING Xiaoqing，WANG Shenjin.Texture fusion based wavelet transform applied to video text enhancement[J].Journal of Information and Computational Science，2008，5（3）：2083-2090.