李世银,冯 瑾,陈 燕,卢兆林
(中国矿业大学 a.信息与电气工程学院;b.现代计算与分析中心,江苏 徐州 221008)
基于曲率驱动模型的图像修复算法
李世银a,冯 瑾a,陈 燕a,卢兆林b
(中国矿业大学 a.信息与电气工程学院;b.现代计算与分析中心,江苏 徐州 221008)
针对图像无线传输缺损严重的问题,提出一种基于曲率驱动模型的图像修复算法,该算法首先在梯度域中利用曲率驱动的改进模型对图像缺损区域的梯度进行重建,然后通过求解泊松方程得到修复后的图像。实验结果表明,该算法能对图像进行有效修复。
图像修复;自适应曲率驱动;梯度域;泊松方程
无线传输的图像一般被压缩为JPEG格式,在JPEG格式中,图像被分为8×8像素的图像块。在无线传输中,图像一般按照块的顺序进行传输,由于衰落严重,无线传输时通常会丢失图像块。目前常使用前向纠错机制(FEC)和自动查询重传协议(ARQ)来提高信道的鲁棒性。但FEC在信道传输中需要增加纠错的数据包, ARQ降低了数据传输的速率,这就导致更为严重的网络拥塞[1]。为了克服这些缺点,许多学者通过丢失块周围的可用信息对丢失块进行重构,这种由周围像素信息来填充丢失块的思想被称为图像修复。
在计算机视觉和计算机图形学中已经出现了一系列图像修复相关的算法[2-10]。Bertalmio等人提出了一种使用基于偏微分方程(PDE)的图像修复模型,其思想是在满足连续性要求的情况下,由图像缺损区域边界向缺损区域中心进行结构性地扩散,修复后的图像很光滑,但此方法只适用于修复缺损区域较小的图像,当图像的缺损区域较大时,修复后的图像会就很模糊、缺少纹理特征[6]。Chan等人提出了基于曲率驱动(CDD)的全变分扩散模型(TV),该模型将等照度线的几何信息添加到扩散的强度中,使得该模型能用于修复缺损区域较大的图像[7]。Zhang等人在全变分模型和各向同性扩散模型的基础上提出了p-harmonic 模型,此模型调整了正则项中p的取值,而p的值决定了扩散的方向和强度,但此模由于p值的给定导致不能根据图像的特性进行扩散[8]。Chen等人在P-M模型和全变分模型中引入了新的边缘检测算子——差分曲率算子,引入差分曲率算子的全变分模型被称为自适应全变分模型(ATV)[9-10]。
本文提出了一种自适应曲率驱动的图像修复模型,首先使用自适应的曲率驱动算法对图像梯度域中的缺损区域进行重建,然后利用获得的最终的梯度域,通过求解泊松方程完成图像修复。
基于曲率驱动的扩散模型(CDD)是在全变分模型(TV)的基础上提出来的,并对全变分模型的阶梯效应进行了改进。经典全变分模型的能量泛函为
(1)
(2)
式中:Ω为包含缺损的原图像域;D为需修复的图像域;u0为原图像;u为修复后的图像;λD为拉格朗日乘子。
Jr(u)的欧拉-拉格朗日方程为
(3)
根据最陡降速梯度法
(4)
(5)
但是,全变分的扩散强度并不取决于等照度线的几何信息,对于平面曲线,其几何信息用曲率κ表示。因而全变分模型违背了连接性的原则。
Chan等人对全变分扩散模型的扩散强度系数进行改进
(6)
式中:g(s)=sp,s>0,p≥1。在某点的曲率κ由经过该点的等照度线的曲率得到
(7)
因此,CDD修复模型如下
κ=
(8)
CDD修复模型在TV模型的基础上加入了曲率项在曲率较大的地方扩散强度也大,满足了连接性原则,但其在扩散中会导致明显的扩散错误比如:图像模糊和阶梯效应。为了方便,提出了一种新的图像修复模型
(9)
模型的扩散性能是图像修复的关键,首先分析TV模型和CDD模型产生阶梯效应和图像模糊的原因。
2.1 产生阶梯效应和图像模糊的原因
在图像处理中,通常使用笛卡尔坐标系来表示一幅图像u(x,y):R2→R,其中u(x,y)表示图像中(x,y)像素点的灰度值函数,u=(ux,uy)为u(x,y)的梯度,其中ux=∂u/∂x,uy=∂u/∂y。ξ轴是等照度线上某点的切线方向,垂直于该点的梯度方向η,x-y坐标系仅仅反映了图像中的像素位置信息,而ξ-η坐标系反映了图像的等照度线这一重要几何信息。所以采用ξ-η坐标系来分析模型的扩散信息,ξ轴和η轴的方向为
(10)
(11)
ξ-η坐标系中图像的二阶方向导数为
(12)
(13)
φ·(uxx+uyy)+(uxφx+uyφy)
(14)
(15)
2.2 新的扩散函数
(16)
(17)
很显然,式(17)中的两个条件是矛盾的,因而采用一种折中的方法
(18)
(19)
根据以上分析,可以得出p值越大,修复后的图像越平滑,相反p值越小,修复后的图像阶梯效应越明显。所以p值的确定对图像的修复起着至关重要的作用。在本文中,采用差分曲率算子d来代表p
(20)
所以最终的ACDD模型为
(21)
采用MATLAB 2008Ra对本文提出的ACDD模型和其他几种模型进行仿真对比,设置参数如下:TV模型和CDD模型中ε=0.01,p-harmonic模型中p=1.3,ACDD模型中各参数自动设置。
在仿真中,将经典的TV模型、CDD修复模型、p-harmonic模型、改进的ATV模型和本文提出的ACDD模型进行对比,并引入信噪比(SNR)作为客观评价指标。
采用1幅大小为256×256像素的Lena图像作为原始测试图,如图1a所示,图1b为损坏后的Lena图像,可以看出图像丢失了很多块状信息,图1c~图1g为不同模型修复后的结果,图1d中标记的白区域表示CDD模型会在修复后的图像中产生明显的模糊现象。表1为不同模型进行修复的信噪比和迭代次数,可以看出ACDD模型修复后的图像信噪比最高,且完成修复所需的迭代次数最少。将图1a中的白色区域放大,即得到图像的细节对比图,如图2所示。其中图2c、图2e、图2f中的白条未修复好,而图2d修复模糊,图2g中ACDD则很好地对细节进行了修复。
图1 Lena图像修复结果对比
图像SNR迭代次数缺损图像979—TV模型280360000CDD模型311950000P-harmonic模型295810000ATV模型30485000ACDD模型34374000
图2 lena图像细节修复效果对比图
本文提出了一种自适应曲率驱动的图像修复算法,用来修复图像在无线传输中的缺损,当图像在衰落信道中传输时,信道中的噪声会损坏图像的整个块。仿真结果表明本文提出的ACDD模型能有效地对受损图像进行重建、保护了图像的细节信息,避免了图像模糊与阶梯效应的产生,为以后图像修复奠定了良好的基础。
[1] SHEILA S H. Digital image coding for robust multimedia transmission[J]. Multimedia Communications and Video Coding,1995(10):525-530.
[2] 张红英,彭启宗,吴亚东,等. 数字破损图像的非线性各向异性扩散修补算法[J].计算机辅助设计与图形学学报,2006,18(10):1541-1546.
[3] 李波,苏志勋,刘秀平.基于Lp范数的局部自适应偏微分方程图像恢复[J].自动化学报,2008,34(8):849-853.
[4] 郑精灵,王树根.整体变分算法在图像修补中的应用研究[J].计算机辅助设计与图形学学报,2003,15(10):1218-1223.
[5] LU Zhaolin,HU Xiaojuan,QIAN Jiansheng. A novel image denoising algorithm used for coal mine[J]. Journal of Information & Computational Science,2012,5(9):1312-1327.
[6] BERTALMIO M, SAPIRO G, CASELLES V,et al. Image inpainting[C]//Proc. ACM SIGGRAPH.New York: ACM,2000:417-424.
[7] CHAN T,SHEN J. Non-texture inpainting by Curvature-Driven Diffusions(CCD)[J]. Vis Commun Image Represent,2001,12(4): 436-449.
[8] ZHANG H Y,WU B,PENG Q C. Digital image inpainting based on p-harmonic energy minimization[J]. Chinese Journal of Electronics,2007,16(3):525-530.
[9] CHEN Q,MONTESINOS P,SUN Q S, et al. Ramp preserving Perona-Malik model[J]. Signal Processing, 2010,90(6):196-197.
[10]CHEN Q,PHILIPPE M,SUN Q S,et al. Adaptive total variation denoising based on difference curvature[J].Image and Vision Computing, 2010, 28(3):298-306.
责任编辑:时 雯
Restoring Algorithm for Image Based on Curvature-driven Diffusion Mode
LI Shiyina,FENG Jina,CHEN Yana,LU Zhaolinb
(a.SchoolofInformationandElectricalEngineering;b.AdvancedAnalysisandComputationCenter,ChinaUniversityofMiningandTechnology,JiangsuXuzhou221008,China)
In view of problem that the entire blocks of the image are often destoryed in wireless transmission, a image restoration algorithm based on the curvature-driven diffusion (CDD)is proposed. The algorithm firstly reconstructs the lost data in the gradient domain using improved curvature-driven model, and then obtains the reconstructed image by solving a Poisson equation. The simulation result shows that the algorithm can restore the image effectively.
image restoration;adaptive curvature-driven;gradient domain;Poisson equation
江苏省科技支撑计划项目(BE2014045)
TN911;TD672
A
10.16280/j.videoe.2015.19.004
李世银(1971— ),博士生导师,主要研究方向为煤矿通信与信息化;
冯 瑾(1991— ),女,硕士生,主要研究方向为图像处理与模式识别;
陈 燕(1991— ),女,硕士生,主要研究方向为图像处理与模式识别。
2014-09-08
【本文献信息】李世银,冯瑾,陈燕,等.基于曲率驱动模型的图像修复算法[J].电视技术,2015,39(19).