一种基于TV模型结合MRF的图像修复算法

李旭健 魏 彭

(山东科技大学计算机科学与工程学院 山东 青岛 266590)

0 引 言

图像在采集、传输和处理的各个过程中,都可能发生部分区域缺损或损失,像素灰度急剧改变,使图像不完整的情况[17]。图像修复是基于不完整的图像和对原始图像的先验知识,通过采用相应的方法纠正前述区域破损问题,以达到恢复图像原貌的目的[5]。目前对图像进行修复的思路有两种:针对图像结构性较强的部分所使用的扩散方法;针对纹理明显的部分使用纹理合成的样本填充方法[3]。

基于扩散的修复方法是将缺失区域周围未损坏的像素信息向缺失区域扩散,常用于去除划痕或尺寸较小的区域的修复技术[9],如文献[1]提出的将全变分(TV)模型应用于图像修复[2],其是一种非各向同性的扩散算法,可在修复的同时保持边缘的连续性和尖锐性[15]。但TV模型没有考虑缺失区域的纹理特性,对于边缘细节处和纹理区域修复效果不理想[10]。目前,对于TV模型修复图像时所存在的问题,很多学者提出了将分数阶引入TV模型的解决方法,如文献[7]将分数阶微分与TV模型相结合,相对于原始TV模型,该算法能够在修复时保留图像的部分纹理信息,提高了修复图像的精度;但该方法对纹理细节和边缘区域信息的保持仍不够理想。文献[8]则对文献[7]算法进行进一步的改良,提出一种将分数阶TV模型与纹理合成相结合的模型修复算法。该算法进行修复时先利用纹理合成技术获取待修复图像的纹理信息,以纹理信息为先验再使用分数阶TV模型对破损图像进行修复,因此能够更有效地保持图像中的纹理细节和边缘信息[8]。将分数阶引入TV模型,在一定程度上提高了TV模型的修复性能,但该类型算法对于纹理细节和边缘区域的修复精度仍未达到预期水平,且由于引入了分数阶,使得算法的复杂程度进一步加深,加大了修复图像所需的时间和精力[7]。

马尔可夫随机场是建立在马尔可夫模型和贝叶斯理论基础之上的一个描述随机过程的数学模型,其在计算机视觉方面被广泛应用[4]。文献[2]中的FOE模型是一种高阶马尔可夫随机场模型,自Roth等[1]提出以来,由于其基于先验的邻域系统对图像纹理以及细节区域有着出色的处理效果,在图像去噪、光流(Optical Flow)、超分辨率、图像修补方面都有着优异的表现。

故本文在文献[1]和文献[2]的基础上提出了基于TV模型结合马尔可夫随机场模型的改进修复算法,通过引进混合比例参数,提出一种TV-FOE模型用于对图像的修复,既能在保证对图像结构层次的修复效果,又能对图像纹理方面拥有很好的复原效果。

1 相关理论

1.1 全变分(TV)模型

TV模型是一种非各向同性的扩散算法,如图1所示一般是利用未破损的边缘E周围的像素信息向缺失区域D扩散的过程[14]。

图1 图像修补各区域示意

全变分TV模型为:

(1)

转化可得能量泛函方程:

(2)

式中:第一项中的Ω是图像未破损区域E与破损区域D的并集,第二项则是起到数据保真的作用[6]。u是图像中的像素点,为初始图像值,λ为设定的参数。

使用E-L方程,利用梯度法将式(2)转化成为一个求极值的方程,可得到如下方程:

(3)

如图2所示,将待修复图像中点邻域进行离散化。其中:原点O为污染点,邻域B=(N,S,W,E),半像素邻域B′=(n,s,w,e)。

图2 中点领域像素示意图

由上述可对式(3)进行离散化得出表达式为:

(4)

式中:λe(O)为中心O处的λ参数,与式(3)中λe一致;uO为O点修复后的像素,另一个为O点修复前的原始像素。

对离散化的式(4)进行有限差分,求出u的近似解为:

(5)

使用迭代算法对式(5)进行迭代,在新旧图像的变化小于闭值时迭代停止[16],以当前得到的图像作为最终的修复结果[7]。

1.2 FOE模型

马尔可夫过程是指下一个时间点的值只与当前值有关系,与以前没有关系,未来决定于现在而不是过去,即马尔可夫随机过程是一类随机过程。具体定义如下:

设δ为S上的邻域系统,若随机场X={Xs,s∈S}满足如下条件:

P={X=x}>0 ∀x∈A

(6)

P={Xs=xs,r≠s,∀r∈δ(s)}=

P{Xs=xr,Xr=xr,∀r∈δ(s)}

(7)

则称X为以δ为邻域系统的马尔可夫随机场,式(7)称为马尔可夫随机场的局部特性[11]。

FOE模型是Roth等通过结合稀疏矩阵与马尔可夫随机场提出的一种用于图像处理模型。首先,以节点V表示图像中的像素,即G={V,E},其中E是连接节点的边,并由此定义了一个邻域系统,它将m×n矩形区域内的所有节点连接起来,每个以节点(像素)为中心的邻域k=1,2,…,K定义图中的最大邻域团,通过哈默斯利-克利福德(Hammersley-Clifford)定理可以把这个图形模型的概率密度写成吉布斯分布:

(8)

式中:x为图像;Vk(x(k))为邻域团x(k)的势函数。不需要定义势能函数V,而是从训练图像中学习它。另设MRF是齐次的,即势函数对于所有派系都是一样(Vk(x(k))=V(x(k)))。在不失一般性的前提下,假设MRF中的最大群是固定大小的正方形像素块。由此即可定义一个完整的图像的概率密度下先验模型:

(9)

式中:Φi()表示专家;Ji表示线性滤波器;αi是专家的参数。

将式(9)代入式(8)得出最终的FOE模型:

(10)

2 基于TV-FOE模型的图像修复算法

2.1 TV-FOE模型

TV模型是基于各向扩散的图像修复方法,正如式(2)所展示的泛函方程,该模型是基于扩散系数的异性扩散,扩散修复时特别是边缘纹理和细节区域会造成一定的模糊,并且在实际处理图像的过程中,沿着边缘方向扩散会形成虚假边缘,出现阶梯效应,影响修复效果。

马尔可夫随机场中的FOE模型则是基于邻域系统,利用图像先验信息进行图像修复的算法模型,如式(11)所示。通常,用户提供一个像素掩码,这些像素将被用于修复。不同于TV模型使用一种扩散形式来填充掩模像素,该算法只修改掩码指定的像素子集,因此,在这些像素处没有使用观察似然项。

(11)

式中:N表示迭代次数;M表示掩模图像;η表示学习率;*表示卷积;Ji表示线性滤波器;ψi=logφi即专家的对数。

为了使TV模型算法修复图像能对边缘细节处有更好的效果,鉴于FOE模型在图像细节纹理处修复的优异效果,故将二者模型结合,提出一种TV-FOE模型:

Rh[f]=hpFOE+(1-h)J[f]

(12)

式中:h表示混合比例参数;f为待修复图像。

通过引入混合比例参数h,使两者模型结合起来,形成h·FOE+(1-h)·TV新的图像修复模型,在此模型中,既能利用变分模型基于扩散的方法对结构性区域图像进行填充修复,又利用了马尔可夫随机场基于先验概率的性质对细节边缘和纹理区域进行有效修复。当h=0时,式(12)的模型即为文献[1]的TV模型,实际上TV-FOE模型是TV模型的一个扩展和延伸。式中的参数h为引入的混合比例参数,其大小选择应根据不同的修复图像做出不同的选择,当h比较大时可保持锐利的边缘,发挥FOE模型对细节纹理区域的修复特性;当h较大时可充分利用TV模型的扩散效果。

2.2 参数设置

针对本文提出的TV-FOE模型图像修复算法,需要设置相应的实验参数,包括式(2)中λ、式(11)中滤波器尺寸J、式(12)混合比例参数h。

对于保真项系数λ,平衡正则项和数据项之间的误差,起着保真的作用。其值变大时,解趋于光滑,反之则解的边缘锐化。故结合此前经验,将其值设为。在进行图像修复时为了减少纹理区域的过度平滑问题,对细节区域拥有更好的修复效果,故滤波器尺寸选用处理平滑性更优异5×5像素,共使用24个专家。TV-FOE模型目的在于保证TV模型原有修复效果的前提之下,优化其修复边缘和细节纹理区域的能力。故混合比例参数h的取值在0～1之间。

2.3 算法流程

本文提出的TV-FOE算法针对图像的修复算法流程可以分为三部分,如图3所示。第一部分:使用FOE模型对图像细节纹理、边缘处进行修复;第二部分:利用TV模型算法的扩散特性对图像结构性区域进行修复;第三部分:利用混合比例参数,使用TV-FOE模型进行后续处理。

图3 功能流程图

由图3可知,本文算法的核心编程在于利用各个模型对图像进行修复。

其中TV模型的具体实现为:

1) 获取保真项系数λ、待修复图像I、掩模图像M。

2) 使用nidm()函数获取待修复图像I的维度,若为灰度图像,则继续执行后续过程。若为彩色图像,则以图像矩阵维度为变量循环执行过程3)、4)。

3) 按图2和式(4)所示,遍历待修复图像I的数组矩阵,计算离散化的每一像素矩阵的各方向的梯度,并求和。

4) 按式(5)所示,计算上述所求数据,输出修复后的图像I。

5) 按给出次数,迭代执行上述步骤,输出修复图像U。

TV-FOE模型具体实现:

1) 分别获取TV和FOE模型修复后的图像U、V。

2) 获取混合比例参数h。

3) 按式(12)所示,计算上述所得数据,输出最终修复图像。

本文算法具体流程如下:

1) 读取受损图像,获取掩模图像以及算法相关参数如滤波器尺寸、迭代次数。

2) 使用FOE算法选用指定的滤波器尺寸使用梯度上升法对图像进行修复。

3) 以大步长按指定次数迭代执行步骤2),使其快速收敛,输出修复后的图像V。

4) 读取受损图像,确定受损区域,获取相应参数如正则项系数、迭代次数。

5) 使用TV模型算法利用梯度下降法修复图像。

6) 按照指定次数迭代执行步骤5),输出图像U。

7) 读取混合比例参数,使用TV-FOE算法对步骤3)和步骤5)输出图像进行处理,输出最终修复图像。

3 实验及结果分析

本文实验是以64位操作系统Windows 10.0下的MATLAB R2018b为平台,在Dell Inspiron 1500,配置为Intel core i5-6200U CPU,2.30 GHz,内存8 GB的PC机上进行验证的。

为证明本文算法对结构部分和纹理部分都拥有更佳的修复能力,实验图像选择南加州大学的USI-SIPC image datebase中经典且含有纹理信息较为明显的Lena(图4(a))512×512灰度图像,此外为了凸显本文算法更拥有信服力,另外选择了两幅纹理信息较为丰富的512×512灰度动物图像(图4(b))以及512×512灰度岩石图像(图4(c))。图4中还包含人为破损的待修复图像以及相应的掩模图像。

(a) Lena

(b) 动物

(c) 岩石图4 实验图像

(a) 实验1(lena)

(b) 实验2(动物)

(c) 实验3(岩石)图5 不同混合比例参数修复后的图像

本文算法实验从混合比例参数以及模型对图像的修复性能这两个角度进行验证,之后再对实验结果进行论证和比较。为了验证本文所提出模型算法的有效性,从视觉角度和数值角度两个方面来评价修复效果。视觉角度即人眼感觉出的算法对于破损图像的修复效果,比较算法修复后的图像和原始实验图像的差异,通过比对二者差别图像中黑色区域所占大小来分析,数值角度则通过修复后图像和原始图像的灰度均方误差MSE和峰值信噪比PSNR来评价。

均方误差MSE计算公式为:

(13)

式中:w×h为像素个数;Iv为原始图像像素点;Ig为修复后图像的像素点。

峰值信噪比PSNR计算公式为:

(14)

均方误差MSE值越小代表修复效果越好,在完美情况下,其值应为0,这意味着修复后的图像和原始图像两幅图像在同一位置上点的灰度值相同。峰值信噪比PNSR的值越大越表明算法修复性能好,其值越大代表修复后的图像还原效果优良。

3.1 模型参数的影响实验

本实验选用图4所示的三幅实验图像作为参考图像进行实验,为了验证本文所提出的算法模型的准确性、合理性,对实验图像进行修复时选择不同的混合比例参数进行实验,图5是本文算法选用不同混合比例参数值所对应的修复结果,表1、表2则是实验图像选用不同混合比例参数值得出的均方误差和峰值信噪比的对比结果。

表1 修复图像均方误差比较(MSE)

表2 修复图像峰值信噪比比较(PNSR)

从表1和表2可以得出,均方差值(MSE)和峰值信噪比(PNSR)的取值随着混合比例参数的不同而变化。当混合比例参数h在0.25～0.35之间取值时,MSE会取到最小值,PNSR则会获得其最大值,此时对图像拥有最佳的修复效果;当h不在此范围时,MSE的值会随着h取值范围的远离逐渐增多,PNSR则会随着h取值范围逐渐减小,图像的修复效果则会变差。并且本文算法实验选择了3种包含不同程度纹理细节和边缘区域的图片,实验结果表明不同的照片,使其能取到最佳修复效果的h值也不同,其能达到的最佳修复效果也不同。对于实验图像lena和岩石,其在h取值0.25时拥有最佳的修复效果,而对于实验图像动物,其在h值为0.35时拥有着最佳的复原性能;并且实验图像中lena拥有最好的修复效果。即对于拥有着不同结构和纹理的图像,混合比例参数h同样需要人为选择并进行多次实验。

3.2 实验效果

为了验证本文所提出模型的实际效果,将TV-FOE模型算法分别与全变分TV模型、FOE模型、文献[8]进行修复能力比较,通过视觉和数值上进行分析。本次实验仍然选择图4的3幅实验图像,实验结果如图6-图8所示。由上一小节实验结果可知本文算法所拥有的最好修复结果,本节实验即选择该实验结果和其他算法进行比较,实验结果如图6(d)、图7(d)以及图8(d)所示;图6-图8的(a)-(c)图分别是使用全变分TV模型、FOE模型、文献[8]算法得到的修复效果图像以及差别图像。通过视觉观察可以得出,利用本文模型算法进行修复后得到的差别图像,其所包含白色像素区域最少,这证明和其他算法相比较,本文算法对于实验图像拥有着更优秀的修复能力。

(a) TV模型 (b) FOE模型 (c) 文献[8]算法 (d) 本文算法图6 lena图像修复效果对比

(a) TV模型 (b) FOE模型 (c) 文献[8]算法 (d) 本文算法图7 动物图像修复效果对比

(a) TV模型 (b) FOE模型 (c) 文献[8]算法 (d) 本文算法图8 岩石图像修复效果对比

表3和表4即是分别通过将本文算法和其他图像修复算法进行定量数值分析,从而得出的结果。从表3和表4中数据可以得出,和其他算法相比,本文所提出的TV-FOE模型算法对破损图像拥有较为优秀的修复效果。

表3 实验图像修复算法均方误差(MSE)比较

表4 实验图像修复算法峰值信噪比(PNSR)比较

4 结 语

通过引入混合比例参数,将FOE模型与TV模型结合形成TV-FOE这一新的图像修复模型,该模型算法一方面利用TV模型基于扩散的方法对图像结构性区域进行填充修复,另一方面又利用了FOE模型基于先验概率的特点对细节边缘区域进行有效修复,从而提高了修复效果。经过理论推理以及实验数据均证实,本文所提出的TV-FOE模型算法对图像的结构部分和纹理部分都拥有更佳的修复能力,是全变分TV模型和马尔可夫随机场模型在图像修复领域的一个重要延伸和扩展。在图像修复的应用领域,古文物的修补与复原占据了相当重要的比重,如古代字画,经过时间的侵蚀,其结构和纹理区域或多或少会有破损。鉴

于本文算法在此方面拥有较佳的修复效果,下一步工作要继续对本算法优化,将其应用于古代字画方面的修复。