一种改进的Criminisi新算法的图像复原技术

陈美玲 朱铝芬 张云 石瑶

摘  要：本文针对Criminisi算法及其现阶段存在的不足，提出一种基于图像样本块的图像复原算法。通过在Criminisi算法中加入模块的自适应算子，使原来的9*9模块在适当情况下自适应变化为其余模块大小，来降低修复误差。实验结果在主观上修复部分更加清晰自然，修复边缘没有太大的瑕疵;从客观评价指标上分析：图像峰值信噪比PSNR变大，图像模糊程度变小;修复运行时间更长，图像修复效果更好。结果表明改进后的Criminisi算法从主观层面和客观层面都具有更好的图像修复效果，即污染区域图像断层更少，过渡更加平滑，纹理丰富、结构复杂区域的修复也更加自然。

关键词：自适应;Criminisi算法;图像修复

中图分类号：TP317.4       文献标识码：A 文章编号：2096-4706（2019）18-0043-04

Abstract：To overcome the shortcomings of Criminisi algorithm and its present stage，a new improved image restoration algorithm based on sample blocks is proposed. In Criminisi algorithm，the adaptive operator of the module is added to reduce the repair error by adaptively changing the size of the other modules from the original 9*9 module in appropriate cases. The experimental results show that the repair part is more clear and natural in subjective analysis，and the repair edge is not too defective. From the objective evaluation index，the peak signal-to-noise ratio （PSNR） of the image becomes larger，and the image blurring degree becomes smaller. The repair operation time is longer，and the image restoration effect is better. The experimental results show that the improved Criminisi algorithm has a better image restoration effect both in subjective and objective aspects，that is，the contaminated area has fewer image slices，more smoother，and the texture-rich and complex areas are more natural.

Keywords：adaptive operator;Criminisi algorithm;image restoration

0  引  言

圖像修复[1]是指用于恢复或重建由于损坏而丢失的图像或从图像中移除冗余对象的技术，它采取特定的原理和算法，并利用破损图像中待修复区域的领域信息来修复未知区域，主要目的是让观察者不易觉察出图像已经被损坏或者被修复过[2]。图像修复已经被人们广泛应用于数字图像处理、计算机绘图、数据压缩、电脑卡通制作及虚拟现实等领域中[3]。

图像修复过程包含一系列消除噪声和干扰的繁琐步骤，如纠正几何失真和对比度损失以及反卷积;现今的图像修复技术的发展已经愈发成熟，修复方法也极为丰富，包含：维纳滤波、逆滤波、第一滤波、几何失真校正等手段。数字图像修复技术有两个主要分支：一个是基于纹理结构的图像恢复，非常适合大型图像损伤区域;另一个分支是基于非纹理图像恢复，主要用于小图像恢复。

虽然基于非纹理结构的图像复原技术可以广泛应用于小面积污染的图像复原，但是这种技术不适用于大面积的图像复原。因此，一些学者提出了基于纹理结构的图像复原。最近，最流行的方法是基于快速操作的图像修复算法。匹配完整的图像区域，将最近和相似的区域复制到要修复的区域，然后重复更新边界信息，一直到获取到修复结果图为止。其中最典型的算法是Criminisi等人提出的Criminisi算法，大量学者针对此类算法做出了研讨[4]。

起初，Cheng等人在Criminisi算法的优先权函数上进行了改进，让这类算法可以对不同特性的图像进行处理，大大提升了此类算法的实用性，JinHai把图像分解成了结构和纹理两部分，然后把结构信息加入到了优先权判断中，研究表明这类方法可以在结构边缘处提升修复效果;在相似性度量上，Xue依照颜色比率梯度直方图搭建了一种新的相似度量规则，提高了匹配块搜索的精确度;接着Zhang提出了一种自适应的修复算法，针对样本块大小的选取，提高获取各种尺度的图像特征的效率，来提高修复质量[5]。

本文针对Criminisi算法存在的问题进行了改进，在同一幅图像中，不同模块间达到最佳修复效果的模块大小会自适应改变。

1  Criminisi算法

Criminisi算法的原理是找到图像I的整个已知区域I-Ω与未知损伤区域Ω之间的边缘δΩ，并在边缘域内选取样本块，样本块与邻接样本块之间存在像素点的重叠，形成样本块集合P={P（x1），P（x2），…，P（xN）}，其中p（xi）包含于I/Ω，N是样本块的总个数，xi是样本块的中心像素。首先，根据特定原理确定要修复的像素的优先级，并且以具有最高优先级的点为中心建立目标块（即样本块）。然后在P中寻找与目标块最相似的模板，并将获得的最佳匹配模板块的像素值填充到目标块的对应位置。这样，经过多次迭代，最终完成整个受损区域的修复问题。

（3）将最优匹配块中的信息复制到待匹配块中。

（4）重复上述步骤。

（5）直到全部破损区域修复完成为止。

基于样本块修复算法的原理如图1所示，其中Φ（Source region）为原区域，Ω（Target region）为目标区域。

2  基于样本块大小的自适应算法

在基于纹理合成的图像算法中，样本块的大小对最终的修复效果是影响极大的，同时对修复速度还有影响。在大多数的纹理合成算法中，块大小一般为9*9，但是并不合理，不能应对所有的情况。比如：当处理纹理结构复杂和色彩丰富的图像时，如果样本块大，则会导致修复误差变大，虽然修复的运行时间很短，但是对于修复结果而言不够理想[6]。

对于Criminisi算法，该算法以步行模式运行。如果最后一个修复结果有错误，它将继续导致下一个匹配修复偏差，直到修复结果错误，因此匹配修复的正确性非常重要。模块大小对于匹配修复的正确性至关重要。针对Criminisi算法固定模块尺寸的不足，提出了一种适应模块尺寸的方法。也就是说，在同一图像中，将自适应地改变在不同模块之间实现最佳修复效果的模块尺寸。如上所述，当纹理更丰富，图像的信息变化更快时，如果模板更大，则更可能发生错误。因此，当纹理改变时，模板大小不再能够继续增加。本文使用的自适应模板的大小，中心思想是从内到外传播信息。从初始模板大小开始（本文使用5*5），然后缩小一个像素，在扩展前后，如果信息变化平稳，判断模板中的信息变化是否平缓或跳跃，然后继续扩展一个像素点，否则，返回到先前的模板大小并停止扩展。如图2所示。

在图2中，曲线是要修复的边界，它是具有最高优先级的点，并且居中以形成初始模板（最里面的矩形）。然后向外扩展以计算扩展后信息的变化，信息的变化是平稳的或强烈的，主要通过信息的变化率来反映，变化率是通过颜色值的变化来衡量的。这与像素处的梯度有关，因此通过在扩展之前和之后两个模块之间的每个像素的梯度的差异是否超过特定阈值来测量。具体实现过程如下：

令第一次扩展后的模板边界为矩形框的四边与图像的已知区域的交点。然后对于边界上的任何已知像素，即假设它是扩展后的对应点，在使用中心差分方法的情况下设梯度。当点向外扩展时，梯度也由中心差计算，则扩散条件为：

3  新算法图像修复的对比结果

如图3蹦极，图3（a）是一张蹦极照片，其图像信息非常丰富，纹理结构也很复杂，将其处理后得到图3（b）掩码图像，通过照片观察可看出来掩码图像跨越了河流、房屋、草地三片区域，其修复的复杂程度很高。通过MATLAB工具采用改进前的原始Criminisi算法得到图3（c），紧接着用改进后的算法获得图3（d）。

由图3可以看出，改进前的修复效果图3（c）掩码图像基本被修复，但是很明显其河流、房屋、草地三片区域的交界处都出现不同程度的断层，这明显不合理;改进后的模块自适应算法得到的图3（d）修复图可发现图像信息断层情况大大改善，提升了视觉感受[7]。

客观评价指标主要从三项指标来进行对比，分别是時间（单位：s）、PSRN值（峰值信噪比）和MSE值（均方差），如表1所示。

由表1可知：改进后的新算法PSNR值更高且MSE值更低[8]，可知即其图像修复的效果更好，具体表现在新算法修复后的失真率更低，与原图的相似度更高。并且可发现新算法的修复时间更长，这也是一项对于算法运行效率的评价指标，时间是数字形式可以量化，所以可以客观比较。一般而言，图像修复的时间越长，修复效果越好，时间和修复效果之间成正比关系，也就是说修复效果较好的算法，其耗费时间相对而言更长。

以下进行两组图像对比再次验证上述结论，对比结果如图4、图5、表2、表3所示。

由图4卡通图像，图5向日葵两组图像修复前后的对比图以及其表2、表3评价指标表明：改进后的新算法从主观上而言修复后的图像连通性更好，修复痕迹更小;客观上而言新算法PSNR指标数值更大，即失真率更小，图像更接近原图，MSE数值更小，即图像降噪率更好;并且新算法修复时间更长，即因为修复效果与时间成正比，所以修复效果要比改进前更加优越。

4  结  论

本文主要分析了Criminisi算法的两大缺陷：其一是修复模块单一，应对纹理结构单一且简单的缺损图像可以适用，一旦待修复图像纹理结构复杂后将难以应对;其二是原算法的优先权问题，当置信度和等照度线强度处于两个极端时，那么他们的乘积也就是优先权将会变小，也就是最应该被优先修复的区域却没有被修复，导至后面的修复都产生错误。本文针对两大缺陷其一的单一模块问题，提出了自适应模块大小的新算法改进。即加入模块大小自适应扩展的算法让其可以根据带修复区域的复杂程度来自动识别模块大小并进行同步改变，这样既能改善修复结果，也能提升修复效率。三组图像恢复数据表明：新算法修复效果从主观评价和客观评价两方面都较好于原算法。

参考文献：

[1] GUILLEMOT C，LE M O. Image Inpainting：Overview and Recent Advances [J].IEEE Signal Processing Magazine，2014，31（1）：127-144.

[2] 张斐.大区域图像修复算法研究 [D].南京：南京邮电大学，2013.

[3] BERTALMIO M，SAPIRO G，CASELLES V，et al. Image Inpainting [C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. Proceedings of the SIGGRAPH. New York：ACM Press/Addison-Wesley Publishing Co.，2000：417-424.

[4] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by examplar-based inpainting [J].IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

[5] 彭坤杨，董兰芳.一种基于图像平均灰度值的快速图像修复算法 [J].中国图象图形学报，2010，15（1）：50-55.

[6] 沈峘，李舜酩，毛建国，等.数字图像复原技术综述 [J].中国图象图形学报，2009，14（9）：1764-1775.

[7] 孟春芝，何凯，焦青兰.自适应样本块大小的图像修复方法 [J].中国图象图形学报，2012，17（3）：337-341.

[8] WEXLER Y，SHECHTMAN E，IRANI M. Space-Time Completion of Video [J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2007，29（3）：463-476.

作者简介：陈美玲（1984-），女，满族，吉林长春人，讲师，硕士，研究方向：控制工程，图像处理。