基于曲率驱动的p-harmonic模型图像修复算法

王艳琴，吴爱弟

（天津职业技术师范大学理学院，天津300222）

基于曲率驱动的p-harmonic模型图像修复算法

王艳琴，吴爱弟

（天津职业技术师范大学理学院，天津300222）

在p-harmonic模型的基础上，引入曲率诱导项，提出一种新的图像修复模型，建立了与之对应的扩散方程，利用有限差分法对所建立的扩散方程进行数值求解，给出该修补模型的离散格式和具体的算法步骤，得到修复的图像。实验结果表明：该算法能提高修复的速度，并且具有较好的修补效果。

图像修复；曲率；p-harmonic模型；扩散方程；梯度

图像修复是指利用已知的图像信息填充图像中丢失或破损的区域。该技术是近年来国内外计算机视觉领域研究的热门课题之一，已被广泛应用于文物保护、影视特技制作、视频信息的错误隐匿等领域中［1-2］。传统的图像修复算法是在像素域进行的，主要分为2大类：一类是针对破损区域较小的图像，研究者多采用基于高阶偏微分方程模型的修补方法［3］；另一类是针对图像信息丢失较大的图像，常采用基于纹理结构的图像修复技术［4］。这2类方法都取得了较好的修复效果。在图像修复中，由Bertalmio等［5］首先提出了基于偏微分方程的模型，后来Rudin等［6］将变分法思想引入到图像修复中。Chan和Shen等［7］提出了一种基于整体变分（total variation，TV）的修补模型；但是他们发现TV方法破坏了连通原理，不能满足人类视觉需要，进而引入了曲率项，提出了曲率驱动扩散（curvature driven diffusion，CDD）修补模型［8］。文献［9］将p-Laplace算子引入图像修补，建立了模型。受到CDD模型的启发，本文将曲率引入p-harmonic模型，得到一个新的基于曲率驱动的p-harmonic模型，然后利用有限差分法对所建立的扩散方程进行数值求解，最后给出该修补模型的离散格式和具体的算法步骤，并进行图像的修复。

1　基于曲率驱动的p-harmonic模型的建立

一般在获取图像的过程中，难免会受到一些因素的干扰，导致图像质量退化。在图像修复过程中，常用的退化模型［10］为：

式中：u0为观察到的损坏图像；k为退化函数；u为原始图像；n为随机噪声，可以假定它为高斯噪声；“*”表示卷积。修复模型如图1所示。图1中，Ω表示观察到的整个图像，D表示损坏的区域，ΩD表示未损坏的区域。

图1　图像修补示意图

在TV模型中，引入了曲率，得到CDD模型［8］，即

此处，g的定义为：

该模型引入曲率使扩散系数由梯度和曲率2个变量控制，这种改变使扩散强度在大曲率处变强、小曲率处逐渐变弱。但是该模型的收敛性差、修复时间长，并且会产生一些不好的视觉效果。

用p-Laplace算子代替TV，得到p-harmonic模型［9］，即

该模型同时向梯度方向和梯度的正交方向扩散，扩散方向一般由p值（1＜p＜2）来控制，各方向的扩散速度由各自的扩散系数控制。该模型修复速度较快，但其扩散系数只由梯度控制。

受到CDD模型的启发，将曲率引入p-harmonic模型，针对待修补图像是否含有噪声，提出了2个混合修补模型：

模型1（对不含噪声图像）

模型2（对含噪声图像）

2　图像修复算法

采用半点中心差分的方法进行离散化。首先对图像进行等间隔采样，h为采样步长，一般取1；设待修复点为u（i，j）、（i，j+1）、（i-1，j）、（i，j-1）、（i+1，j），其中后4个点分别为u（i，j）的邻域点坐标，目标像素位与它的邻域如图2所示。

图2　目标像素位置与它的邻域

可以看出，在整个运算过程中，需要求得半点像素的梯度值和曲率值。研究以）为例，其离散格式如下。

按照上述的离散方法可得到Δ·V的值，进而得出混合模型的修复式为：

在数值仿真时，一般先确定掩码图像，然后确定待修补区域，具体的修复算法步骤：①读入图像u和掩码信息uD，确Δ定待修复区域；②设置参数λ、ε、a、b、p的值；③计算·V；④对于所有的（i，j），代入式（12）进行迭代修复；⑤设置迭代次数进行迭代；⑥输出修复好的图像，并读取待修补区域边界点的像素大小，与原图像的对应点进行比较，计算误差ε。

3　仿真结果

式中：f（i，j）和f0（i，j）分别表示原始图像和修复好的图像；N1和N2为图像的维数；MSE表示均方误差值。

本实验采用Barbara和Lena图作为测试图像。Barbara图有2块破损区域，分别在围巾上和桌子上方；Lena图的帽子边缘破损。用p-harmonic方法和本文方法对损坏的无噪声图像和有噪声图像进行修复，2种方法的修复结果比较如图3和图4所示，图像修复的峰值信噪比如表1所示。

将曲率引入p-harmonic模型，用较少的迭代次数就能达到更好的修复效果，迭代效率高，修复的效果优于p-harmonic算法。在目标边界区域，选取了边界区域上的110个像素点，将修复好的图像与原始未损坏的图像进行比较。通过计算，对应点的像素大小误差小于10的像素点有75个，占像素点总数的70%。可以看出，在目标边界区修复也达到很好的效果。

图3　图像修复结果比较（无噪声情形）

图4　图像修复结果比较（有噪声情形）

表1　图像修复的峰值信噪比

4　结束语

本文将曲率项引入p-harmonic模型中，得到一种新的扩散方程，利用有限差分法对所得到的扩散方程进行数值求解，并给出该修补模型的离散格式和具体的算法步骤。利用该算法对破损图像进行修复，结果表明：该方法在使用较少迭代次数的同时，能达到更好的修复效果和视觉效果。

［1］SHIH T K，CHANG R C.Digital inpainting-survey and multilayerimageinpaintingalgorithm［C］//ProceedingoftheThird International Conference on Information Technology and Application.Taipei，China：IEEE Press，2005：15-24.

［2］RANE S D，SAPIRO G，BERTALMIO M.Structure and texture filling-in of missing blocks in wireless transmission and compression applications［J］.IEEE Transactions on Image Processing，2003，12（3）：296-303.

［3］王丽丽.数字图像修复算法研究［D］.兰州：兰州大学，2012.

［4］魏欣，蒋华伟.基于纹理和结构的图像修复算法研究［J］.计算机技术与发展，2010，20（11）：80-83.

［5］BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting［C］//Proceedings of ACM SIGGRAPH.New York，USA：ACM Press，2000：417-424.

［6］RUDIN L，MORE J M.Nonlinear total variation based noise removal algorithms［J］.Physica D：Nonlinear Phenomena，1992，60（1/2/3/4）：259-268.

［7］CHAN T F，SHEN J H.Mathematical models for local nontexture inpainting［J］.Society for Industrial and Applied Mathematics Journal on Applied Mathematics，2001，62（3）：1019-1043.

［8］CHAN T F，SHEN J H.Non-texture inpainting by curvaturedriven diffusions（CDD）［J］.Journal of Visual Communication and Image Representation，2001，12（4）：436-449.

［9］吴亚东，张红英，吴斌.数字图像修复技术［M］.北京：科学出版社，2010.

［10］ZHANG H Y，WU B，PENG Q C.An improved algorithm for image edge detection based on lifting scheme［J］.Journal of Electronic Science and Technology of China，2005，3（2）：113-116.

P-harmonic model of image inpainting algorithm based on curvature driven

WANG Yan-qin，WU Ai-di
（School of Science，Tianjin University of Technology and Education，Tianjin 300222，China）

A new image inpainting algorithm based on p-harmonic model is proposed in this paper by introducing the curvature driven term，corresponding diffusion equation is established，finite difference method is adopted for the established diffusion equation，and the discrete format of the inpainting model and the algorithm of specific steps is given to obtain the inpainted image.Experiment results show that the proposed algorithm can improve the inpainting speed and has better inpainting results.

image inpainting；curvature；p-harmonic model；diffusion equation；gradient

TP391.41

A

2095－0926（2015）04－0018－04

2015-06-25

天津市应用基础及前沿技术研究计划项目（12JCYBJC10600）.

王艳琴（1990—），女，硕士研究生；吴爱弟（1963—），男，教授，硕士生导师，研究方向为小波分析及图像处理.