基于简化的TV模型修复图像

贺文熙，叶坤涛

（江西理工大学理学院，江西赣州341000）

基于简化的TV模型修复图像

贺文熙，叶坤涛

（江西理工大学理学院，江西赣州341000）

基于修复受损灰度图像的整体变分法，提出了一种简化的TV模型.该模型根据待修复区域的实际情况对TV模型方程进行不同程度的简化，得到更容易实现的复杂度更低的偏微分方程.文中选择了四幅受损区域不同的待修复图像进行修复实验.实验表明：不论是需要去除不必要的文字还是修复不希望出现的划痕，对于不同的修复区域采用不同的修复方程在保证修复主观效果相当的情况下，可以使得修复速度明显加快，修复后的图像不易察觉修复痕迹，看上去自然.

图像修复；TV模型；偏微分方程

0 引言

所谓图像修复是指利用已知区域的信息来推测未知区域（即待修复区域）的信息.通常认为未知区域附近和未知区域高度相关.以前图像修复完全依靠有经验的艺术家进行人工修复，费时费力，而且很难做到不露痕迹.考虑到图像修复在影视特技表演、珍贵文史资料复原、多余物体去除等方面有非常大的应用价值，有必要对图像修复领域进行深入研究.2000年Bertalmio、Sapiro、Caselles与Ballester等科学家[1-5]首先把三阶偏微分方程引进图像修复领域（此即BSCB模型），该算法强调沿梯度垂直方向把信息渗透进待修复区域，这种算法比较费时.后来不断有人提出新的算法，如Oliveira等研究者[6]利用高斯卷积核进行滤波，这种算法能提高修复速度，但修复效果仍然不够理想.另外，代表人物Criminisi与Efros[7-11]关于样图与纹理的图像修复思想对后来的图像修复工作者也起了积极影响.和Criminisi与Efros一样杰出的科技工作者Chan与Shen[12-14]等人提出了曲率驱动扩散模型（curvature-drive diffusion,简称为CDD模型）和整体变分模型（total variationl,简称为TV模型），这两种模型修复效果很好，但修复速度仍然较慢.当然目前的修复模型还有很多，比如利用径向基函数[15]（RBF）进行高维插值修复图像，利用小波系数相关性修复图像等[16].

文中提出一种简化的TV模型.该模型根据待修复区域的实际情况对修复方程进行简化.使得运算复杂度有所降低，进而提高修复速度.这种方法也可用于近红外图像的修复.实验表明，利用该模型修复数字图像不仅速度更快，而且修复效果不错.

1 TV方程的导出

修复过程原理见图1，图中Ω是信息缺损的区域，Ω为缺损区域与信息完好区域之边界，G代表包含Ω的相邻区域.这个原理图说明了修复过程是从外向里一层一层修复.

图1 修复区域和边界

所谓基于TV模型的图像修复就是要使得泛函R（u）最小化.这Δ里u是图像任一像素的灰度值，是u的梯度，r（u）是一个取正值的函数，R（u）的表达式为：

我们还可把条件加进去，再用拉格朗日乘子法得到满足一定条件的泛函：

最后得到如下包含去噪的修复方程：

2 TV方程的简化

文中对以上模型进行改进.首先，不讨论去噪，第二项为零.方程为：

该方程可展开为：

众所周知：利用计算机编程进行迭代时，时间开销主要是乘法或除法运算，因此减少乘法或除法的的运算次数就能节约时间.而图像修复问题主要是考虑两个方面.一是主观修复效果好，另外就是修复速度要快，这有利于实时修复图像.基于这样的考虑，有必要根据待修复区域像素分布情况简化模型，从而达到节约时间的目的.

比如待修复区域以及邻域为G，（α，β）是G内任意一个像素的位置，亦即G＝{（α，β∈[c，d]}.对α∈[a，b]，β∈[c，d]，若（α，β）点的像素灰度值f的梯度的倒数大，但梯度的倒数变化小，这时只须取第一项.方程变为如下简单的形式：

当然如果区域G={（α，β）α∈[a，b]，β∈[c，d]}内像素梯度大，散度小，这时第一项较小，方程成为：

3 实验过程与分析

方程的离散在发表的论文[17]上已有讨论，这里不再重复.试验以Matlab7.0为平台，在PC机（Pentium 4,2.94GHz,内存在512MB）上实现，离散时间步长取0.01.对于均匀区域（见图2（b）），可用式（7）修复（c取为1），修复结果如图2（d）.

图2 均匀区域图像修复

若梯度的倒数比较大，但变化较小（见图3（a）），可用式（8）修复，修复结果如图3（c）.

图3 梯度倒数变化小的区域图像修复

若两项作用相当（见图4（b）），则可用式（9）进行修复，修复结果如果4（d）.

图4 两项相当区域图像修复

一般情况（见图5（b）），可用式（5）或式（4）修复，修复结果见图5（c）

图5 一般情况图像修复

为了比较修复效果，引进客观评价标准ISNR.ISNR的定义是：

式中I（i，j）、J（i，j）和Iˆ（i，j）分别表示原图像、受损图像和修复后的图像的灰度.图3（a）无原图，故不能计算INSR，其余图像修复时，INSR可达到19.文中方法修复时间更快.

4 实验结果

综合图2（b）、图3（a）、图4（b）的修复结果可以得到如下结论：若只考虑修复后的主观感受，文中提出的改进TV模型和chan与Shen等人提出的TV模型修复效果没有特别大的区别，如果限定较少的迭代次数，则TV模型稍好.但是图像修复强调的不是修复次数而是修复速度.今后的工作主要是建立像素间的影射关系，从而可以并行修复待修复区域的各个像素.终极目标为：架构一个快速修复的人工神经网络，能够对缺损图像进行实时修复.

[1]Bertamio M,Sapiro G,Caselles V,et al.Image inpainting[C]//Internationalconference on Computer Graphics and Interactive Techniques,New York:ACM Press,2000:417-424.

[2]M Bertalmio,A L Bertozzi,G Sapiro.Navier-stokes,fluid dynamics,and image and video inpainting.Computer Vision andPattern Recognition,2001:355-362.

[3]M Bertalmio,L Vese,G Sapiro,et al.Simutanneous strcture image inpainting[J].IEEE Transactions on Image Processing,2003,12(8):882-889.

[4]C Ballester,V Caselles,J Verdera.A variational model for fillingin gray level and color images[J].In Proc.ICCV,2001:10-16.

[5]Ballester C,Bertalmio M,Caselles V,et al.Filling in by Joint Interpolation of Vector Field and Gray Levels[J].IEEE Trans.Image Process,2001,10(8):1200-1211.

[6]M M Oliveira,B Bowen,R Mckenna.Fast digital image inpainting[J].International Conference on Visualization,Imaging and Image processing,2001:261-266.

[7]A Criminissi,P Pérez,K Toyama.Region filling and removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[8]A Criminissi,P Pérez,K.Toyama.Object removal by exemplarbased inpainting[C]//Proceedings of Conference on Computer Vision Pattern Recognition,USA,2003.

[9]Efoseung T.Texture synthesis by non-parametric sampling[C].Intl.Conf.Computer Vision,1999:1033-1038.

[10]A A Efros,W T Freeman.Image quilting for texture synthesis and transfer[C].Proceedings of SIGGRAPH,2001:341-346.

[11]D J Heeger,J R Bergen.Pyramid-based texture analysis/synthesis[C].SIGGRAPH 95,1995:229-238.

[12]Tony F Chan,Shen J H.Mathematic models for local nonmtexture imprinting by Curvature-Driven Diffusion(CDD)[J].J.Visual Comm.Image Rep.,2001,12(4):436-449.

[13]Tony F Chan,Shen J H.Image processing and analysis:variational,PDE,wavelet,and stochastic methods[M].SIAM Philadelphia,2005.

[14]Shen J H,Tony F Chan.Variational restoration of nonflat image features:models and algorithms[J].SIAM J.Appl.Math,2000,61(4):338-1361.

[15]周廷方，汤锋，王进，等.基于径向基函数的图像修复技术[J].中国图像图形学报，2004，9(10)：1190-1196.

[16]何凯，梁然，张涛.基于小波系数相关性的纹理图像快速修复算法[J].天津大学学报，2010，43(12)：1093-1097.

[17]廉小丽，徐中宇，冯丽丽，等.一种新的基于偏微分方程的图像修复[J].计算机工程，2009，35(6)：34-236.

Image impainting based on simplified TV model

HE Wen-xi,YE Kun-tao

（Facuty of Science,Jiangxi University of Science and Technology,Ganzhou 34100,China）

An simplified TV model based on impainting images is proposed in this paper.This model adopts different equations with special inpainting area to achieve much more simplified partial differential equations.Four damaged pictures are selected for image impainting experiments.The experiment results prove that this simplified model would need less time for different requirements of image impainting and make impainted images more natural.

image impainting;TV model;partial differential equation

TP319.41

A

2012-06-17

江西省教育厅科技项目（GJJ11468）

贺文熙（1963-），男，副教授，主要从事图像处理和磁性材料制备等方面研究，E-mal:hwxhhd@126.com.

2095-3046（2012）05-0066-03