基于BSCB模型改进的马赛克修复研究

文丨王丽萍

（浙江传媒学院，杭州 310018）

视频马赛克现象的出现会直接影响对于视频内容的理解和分析。为了恢复视频帧信息的“合理”和“完整”性以便观察者识别和理解，需要对这些受损的视频帧进行填充修复。目前，基于偏微分方程的修复模型和基于纹理合成的修复模型，各自取得了一定发展。前者对裂缝、污点、划痕、文字覆盖等小尺度破损区域的修复取得了良好的效果，后者适用于修复大尺度的破损区域，但在结构信息方面具有弱势，容易造成人工边界。综合两者的优缺点，本文采用基于偏微分方程与纹理合成的修复模型。

1 设计思路

通过了解视频基本结构，提取含有马赛克缺陷的视频帧，以人工标识的方式对视频的马赛克缺陷区域进行定位，再根据当前帧受损区域与其外边界的区域自相似性来完成马赛克消除后的空白块。用像素亮度梯度表示亮度变化方向，二次微分表示像素变化的速率，通过解基于马赛克附近区域像素的偏微分方程，获取修复最大适应概率，再通过纹理合成技术填补马赛克消除后所残留的空白块。为了提高处理速度和修复质量，可以通过降维并迭代求精等方式来优化处理空间，从而减少解搜索范围。在对每一马赛克缺陷视频帧完成修复后，再合成为视频序列，从而实现对视频马赛克缺陷的修复。

总体设计流程如图1所示。

图1 总体设计流程图

2 本文算法的改进

自然图像一般都具有多种纹理区域，修补目标块应与图像中某种纹理区域相似而与其它纹理区域差距较大，而基于BSCB模型的算法不对图像纹理信息进行区分，一视同仁地采用全搜索策略在全局范围内“盲目”搜索并进行修补，运算速度较慢，不仅有可能导致错误的匹配块的出现继而产生恶性繁衍而且会影响算法的整体性能。因而，本文从以下几个方面对算法进行了改进。

2.1 二阶导数

二阶导数表示待修复边界梯度值的变化量，如果变化量较小时，说明该像素与领近像素的相关性较大，宏观统计来说，即待修复区域与领域差异性很小，所以采用待修复区域邻近的纹理信息进行替代填充，以缩小匹配块的游走范围，避免穷尽搜索，从而达到减少搜索范围的目的，提高了匹配搜索效率。

匹配块的变化速度计算流程：计算窗口块中各像素一阶导数，获得匹配块各像素的变化情况；并根据各像素权重统计获得匹配块变化值；对各匹配窗的变化值求导，获得各匹配块的变化速度。

2.2 置信度

置信度反映了待修复块中正确接收像素所占的百分比，比值越高表示该待修复块中已知像素越多。利用纹理的相关性原理，待修复块的置信度越高，说明它与附近区域的纹理相关性越强，因而可减少匹配窗的游走范围来提高匹配搜索效率。对匹配窗的游走处理流程如图2所示。

图2 匹配窗游走处理流程

2.3 匹配窗大小的选择

匹配窗的尺寸决定了输出的纹理能否较好的保持输入纹理的局部纹理特征。如果尺寸过小，则接近于基于像素点的合成，对于纹理的局部统计特性描述较弱；反之，则容易产生视觉上的拼贴效应。因而，本文是通过对度量纹理块的特征包容性来考察所选的匹配窗的尺寸是否合适。纹理块的特征包容性是指复制块所包含的纹理特征与样本纹理所包含的纹理特征之间的差距。它们之间的差距越小，合成的纹理对样本的全局特征保持的就越好。其算法的处理流程如图3所示。

图3 匹配窗大小选择处理流程

3 实验结果分析

本实验采用MATLAB平台对BSCB算法和本文算法进行实现，从修复效果和用时两方面进行比较。

3.1 修复效果比较

在图4中，(a)为BSCB算法的修复结果，(b)为本文算法的修复结果。仔细观察和对比，可以发现(a)图的黑色框内，屋顶和水面上出现了草地，这不符合人们一般的认识，属于修复错误，产生的原因是BSCB算法未进行针对图像纹理特征的合适匹配窗大小的选择，引发了一系列错误，最终导致不好的修复结果。本文改进算法通过对待修复视频帧的匹配窗口大小的合理选择，从而更好地保证了纹理的局部特征，修复结果更加符合人们的视觉期望，提高了算法的性能。

图4 修复效果比较

图5 修复时间统计图

3.2 用时比较

本文改进算法通过对匹配窗二阶导数和置信度的计算来对匹配窗的游走范围进行了处理，避免了在整帧图像范围内的全局搜索，从而提高了匹配效率，减少了算法修复时间。图5为采用BSCB算法和本文算法对相同的马赛克缺陷视频帧进行修复所需时间的统计图（横坐标为马赛克缺陷视频帧，纵坐标为算法修复所需的时间，单位为S）。

4 结语

本文通过对BSCB模型的改进，提出了一种基于PDE与纹理合成的图像修复模型，实现了以MATLAB作为研究环境的马赛克修复设计。但也存在不足之处，本文设计的马赛克视频修复采用的是半自动的方法，因为在对图像修复前，需要由用户给出待修复区域。希望在后续的研究中，能够改进该算法的性能。

[1] 陈刚等.基于偏微分方程的图像处理[M].北京：高等教育出版社，2004.

[2] 张红英，彭启琮.数字图像修复技术综述[A].中国图象图形学报，2007.

[3] 朱霞.基于纹理合成的数字图像和视频修复研究 [D].南京：中南大学，2008.