基于结构相似度的图像去噪新方法

余 婷

(西安电子科技大学数学与统计学院，陕西西安 710071)

图像在形成和传输过程中由于噪声的干扰而导致质量下降，严重影响了人们对图像正确信息的获取，所以对图像进行后续处理前，必须先对图像进行去噪、减弱干扰。传统图像去噪方法，如中值滤波、高斯滤波等，在去噪的过程中，丢失了图像较多的重要细节，因此寻找一些新的图像去噪方法是必要的。

近年来，变分、偏微分方法在图像处理中得到了广泛应用［1－3，11－16］。其中，全变差模型 (Rudin，Osher，Fatemi，ROF)［1］是较为典型的代表。ROF 模型因其具有良好的保边性能而倍受青睐，但该模型在图像恢复过程中常常会出现阶梯效应。因此，继ROF模型后，众多改进的新模型［2－3］被提出。但这些改进的焦点主要是针对模型的正则项，而对于模型忠诚项改进的研究则是有限的。ROF模型的忠诚项实际使用L2空间对图像的“振荡”成分进行建模，并用L2度量进行刻画。事实上，L2度量反映的是图像均方误差(MSE)，而MSE在度量图像相似性方面经常与视觉效果有较大反差［4－7］，用其作为忠诚项会给恢复图像的视觉效果带来较大影响。其中，文献［4］对MSE的缺陷作了详细分析。因此，需寻找一种新的刻画忠诚项的度量来代替L2度量。

为亮度、对比度和结构3个不同因素的组合，用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似度的估计。因此，SSIM不仅可较好地度量图像间的相似性，并与人眼对结构信息敏感的特点相符。从视觉效果上看，尽管SSIM获得了众多图像研究者的认可，但其应用一直被限制在图像评估领域。最近，王舟等用SSIM代替MSE作为图像信号的稀疏表示与近似的优化准则［8－11］，并取得了良好的效果，这将SSIM的应用领域进一步推广。

本文从提高恢复图像视觉效果的角度出发，将SSIM作为一种忠诚项的度量用于图像去噪模型中。针对ROF模型中刻画忠诚项的L2度量并未考虑图像空间结构性导致去噪后图像视觉效果差的缺陷，提出两种改进的去噪模型。模型1在ROF模型忠诚项中引入SSIM，提高恢复图像的视觉效果，模型2是在模型1的基础上，为更好地保护图像的边缘，用非凸正则项［12－14］代替TV正则项所得到的。通过数值实验验证了本文提出新模型的有效性。

1 基于结构相似度的图像去噪模型及算法

1.1 预备知识

结构相似度(SSIM)作为图像质量评估的一种方法，在图像质量评估领域获得了广泛应用。该方法将原始图像和失真图像划分为重叠或不重叠的子块，计算失真图像与原始图像对应图像块的结构相似度的公式为

其中，x、y分别为原始图像和失真图像的子块;μx、μy分别表示x和y的均值;σx、σy分别表示x和y的标准差;σxy表示x和y的协方差;C1、C2是较小的常数，用于防止分母过小而接近于零时产生的不合理计算结果。在此基础上，整幅图像的结构相似度定义为

式中，X、Y分别为原始图像和失真图像;N为图像字块的数目;Xi和Yi是对应的第i个图像子块。

1.2 模型的建立及其算法

设u(x)为要恢复的图像，f(x)为噪声污染的图像。经典的ROF去噪模型为

其中，λ是正则项参数，其在正则项和忠诚项之间起着重要的平衡作用。

ROF模型的忠诚项(L2度量)刻画的是图像的均方误差(MSE)。而MSE只反映图像单像素点间的差异，忽视了图像的空间结构。事实上，自然图像是高度结构化的，即像素间有较强的相关性，尤其是空域中较接近的像素，这种相关性蕴含着视觉场景中物体结构的重要信息。王舟提出的结构相似度(SSIM)从图像组成的角度将结构信息定义为独立于亮度、对比度，并反映图像中物体结构的属性。在此基础上，将失真建模为亮度、对比度和结构3个不同因素的组合，再用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似度的估计，用其作为忠诚项的度量，能克服L2度量未考虑图像结构性导致恢复图像视觉效果差的缺点，使恢复的图像尽量保持原有结构，从而提高了恢复图像的视觉效果。为进一步理解用SSIM作为图像忠诚项的度量优于MSE，本文通过以下举例进行说明。

图1 “爱因斯坦”图像

表1 “爱因斯坦”图的MSE值和SSIM值

从该例可看出，虽图1中的4幅图像视觉效果有较大差异，但其MSE值几乎相同，这说明MSE作为一种刻画图像质量的指标不能真实反映图像的视觉效果，即用L2度量作为去噪模型的忠城项可能会导致恢复的图像视觉效果差。而SSIM度量能如实反映图像的视觉效果，因此用其代替L2度量应当会有更好的效果。

基于以上分析，本文引入SSIM到ROF模型中以弥补L2度量的缺陷。由结构相似度的定义可看出，SSIM(f，u)介于 －1～1之间，且 SSIM(f，u)的值越大越好。为此，用1－SSIM(f，u)代替L2度量，得到模型1

模型1与ROF模型的主要区别是:L2度量只计算两幅图像对应像素灰度值的绝对差，并将所有误差的绝对值相加求和，若将图像空间的像素位置任意排列组合后计算L2度量值基本无变化，但图像的视觉效果则会有较大改变，这是由于自然图像具有高度的结构性，像素点的排列次序携带大量结构信息，而L2度量未考虑图像的位置信息和像素之间的相关性，导致恢复图像的视觉效果差。而由SSIM的定义可看出，其将亮度、对比度和结构信息相结合，使新的去噪算法能尽量保持原图像的结构信息，使滤出的噪声更接近于理想的随机分布噪声，从而达到了更好的去噪效果。此外，SSIM不但可较好地度量图像之间的相似性，还与人眼对结构信息敏感的特点相符。因此，用其来刻画去噪模型的忠诚项可提高恢复图像的视觉效果。

模型1对应的Euler－Lagrange方程为

其中，x、y分别表示图像 f与 u的相应子块。A1=2μxμy+C1，A2=2σxy+C2，B1= μ2x+μ2y+C1，B2= σ2x+σ2+C，M表示局部图像块的像素个数，1表示各元素y2均为1的向量。

根据式(5)并由梯度下降法可得到

求解模型1的完整算法描述如下:

算法1

步骤1 初始化:给定参数 λ、τ，设定 u0=f，并令n=0。

步骤2 由式(7)计算un+1。

1.3 模型的改进及算法

文献［12～13］中指出，非凸正则项在保护图像边缘方面的性能优于TV正则项。因此，考虑到图像边缘的保护，引入非凸正则项可将模型1推广到模型2

相比于ROF模型，该模型主要有两个优点:(1)忠诚项的优点如模型的分析。(2)正则项采用非凸正则项可较好地保护图像的边缘和纹理。这是由于在光滑区域→α▽u，此时非凸正则项相当于TV正则项，模型主要特点是对图像进行光滑，从而能较好地去除噪声;在边缘及纹理区域，模型的主要特点是对图像结构信息的保持，而几乎不再进行光滑，进而较好地保护了图像边缘。

为求解模型2，引入辅助变量v，式(8)转化为

其中，μ为调节参数;μ常取作一个充分大的数以保证u≈v。式(9)中包含两个变量u和v，采用交替迭代的策略将其转化成下面两个简单的子模型

式(10)的Euler－Lagrange方程为

根据式(12)并利用梯度下降法可得到式(10)的迭代求解公式。式(11)的求解，采用迭代重加权方法，引入变量式(11)可转化为

最终求解式(13)的迭代公式如下

式(15)中，p0=0，当n≥1时，求解p的迭代公式为

其中，τ为时间步长。

综上，求解模型2的算法如下:

算法2

步骤1 初始化:给定参数 λ，μ，τ＞0，设定u0=f，v0=f，p0=0，并令 k=1。

步骤2 利用式(14)计算bk－1。

步骤3 根据式(12)并利用梯度下降法计算uk。

步骤4 利用式(15)计算vk。

2 数值实验

为验证新方法的有效性，本文分别对4幅大小为256×256的带噪图像进行实验，并将新模型的去噪效果和ROF模型进行比较。本文将从视觉效果和定量指标两方面对恢复图像质量进行考察。采用的定量指标为结构相似度(SSIM)和峰值信噪比(PSNR)。其中，PSNR的定义为

式中，P为原始无噪图像;P'为恢复后的图像;M和N为图像尺寸大小;i，j为图像像素下标。

2.1 参数的选择

算法1 中涉及的参数有λ、τ。试验发现，τ=0.01时可在算法的去噪效果和收敛速度之间取得较好的平衡。参数λ对实验的结果影响较大，大量的数值仿真结果表明，以0.01为步长，λ在0.02～0.1之间取值时实验结果较优。

算法2 中包含参数μ，τ，λ和α。试验发现，算法对参数μ并不敏感(本文实验选取μ=10)，对参数τ、λ和α则较为敏感，大量数值结果表明τ=0.01时能在算法的收敛速度和去噪效果之间取得平衡。参数对去噪效果影响比较大，它们的取值不仅依赖于噪声的强度，还与带噪图像有关，所以如何很好地选择这两个参数是本实验的难点。由于其均是作用在正则项上的，可采用固定其中一个参数，调整另一个参数的策略。大量数值仿真结果表明，固定α=0.05，以0.01为步长，λ在0.05～0.2之间取值，可获得较好的实验效果。

为便于比较，算法1和算法2的停止标准中参数ε均取10－4。在选取图像子块时，为防止“块效应”现象，本文实验均采用11×11高斯窗对图像进行逐点滑动来选取图像子块。式(6)中μx、σ2x和σxy的计算公式如下

其中，N表示每个子块中元素的个数;xi、yi分别表示子块x和y的第i个元素;ωi(i=1，2，…，N)表示每个子块中第i个元素的权重且。式(20)中，大量的数值试验表明参数K1=0.01，K2=0.03，L=255实验结果较优。

2.2 实验结果分析

图2选取“House”图像作为实验对象，实验中加入标准差σ=20的高斯白噪声。图2给出了模型1、模型2及ROF模型的去噪结果。其中，图2(a)为噪声图像，图2(b)为ROF模型去噪结果，图2(c)为模型1去噪结果，图2(d)为模型2的去噪结果，图2(e)、图2(f)和图2(g)分别为图1(b)，图2(c)和图2(d)的局部放大。比较3种方法的去噪结果，ROF模型结果有明显块效应，恢复图像的视觉效果较模糊，而模型1和模型2的去噪结果则较光滑、自然，图像的视觉效果也较好，尤其是模型2的去噪结果对图像的细节部分保持的更为清晰，从局部放大的图像中可清楚地看到这一点。

图3选取细节丰富的结构图“Lena”图像作为实验对象，实验中加入的高斯白噪声的标准差为σ=20。

表2 不同方法的恢复图像SSIM值比较 dB

表3 不同方法的恢复图像PSNR值比较 dB

图2 House图像实验结果

图3给出了模型1、模型2及ROF模型的去噪结果。其中，图3(a)为噪声图像;图3(b)为ROF模型去噪结果;图3(c)为模型1去噪结果;图3(d)为模型的去噪结果;图3(e)、图3(f)、图3(g)分别为图2(b)、图2(c)、图2(d)的局部放大。从3种模型去噪结果的局部放大图中可看出，图3(e)中Lena的脸颊、鼻梁、下巴等均较为模糊，而图3(f)和图3(g)中以上细节均得到了较好地保持，尤其是图3(g)中图像的细节等处理得更好，由此说明了模型2的去噪结果要优于模型1。

图3 Lena图像去噪结果

表2和表3给出了各种方法去噪结果的实验数据比较。其中，表2是SSIM值比较，表3是PSNR值比较。由表中数据可看出，模型1和模型2获得了较高的SSIM值和PSNR值，从客观上表明了这两种方法的优越性。此外，可看出模型2比模型1的去噪效果有了进一步的提高，这说明用非凸正则项代替TV正则项可获得更好的去噪效果。

4 结束语

在研究图像结构相似度(SSIM)的基础上，基于经典的ROF去噪模型，提出了两种新的图像去噪模型。模型1将SSIM这一符合人眼视觉效果的图像质量评估指标作为刻画忠诚项的度量引入到ROF模型中，克服了原有模型的L2度量未考虑图像空间结构性而导致恢复图像视觉效果差的缺陷。在模型1的基础上，为更好地保护图像边缘，用非凸正则项代替TV正则项，得到改进的模型2。数值实验表明，相比于ROF模型，模型1及模型2在去噪过程中能更好地保持图像的结构信息，提高了恢复图像的视觉效果，且模型2在图像边缘保护方面优于模型1。值得说明的是，本文将SSIM作为忠诚项的度量应用到图像去噪模型中，并取得了较好的效果。因此，本文提出SSIM的应用不仅局限于图像质量评估领域，将其作为一种忠诚项的度量应用到图像去噪等领域将有更广阔的应用空间。

［1］Rudin L I，Osher S，Fatemi E.Nonlinear total variation bases noise removal algorithms［J］.Physica D，1992，60(1 － 4):259－268.

［2］Aubert G，Kornprobst P.Mathematical problems in image processing:partial differential equations and the calculus of variations(second edition)［M］.USA:Applied Mathematical Sciences，2006.

［3］Lebrun M，Colom M，Buades A，et al.Secrets of image denoise cuisine［J］.Acta Nummerica，2012，21(2):475 －576.

［4］Wang Z，Bovik A C.Mean square error:love it or leave it?A new look at signal fidelity measures［J］.IEEE Signal Processing Magazine，2009，26(1):98 －117.

［5］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:From error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600 －612.

［6］Brunet D，Vrscay E R，Wang Z.Structural similarity based approximation of signals and images using orthogonal bases［C］.Povoa de Varzim，Portugnal:Internationnal Conference on Image Analysis and Recognition(ICAR10)，2010:11－22.

［7］Brunet D，Vrsca E R，Wang Z.A class of image metric based on the structural similarity quality index［J］.Image Analysis and Recognition，2011，65(7):264 －275.

［8］Rehman A，Wang Z，Brunet D，et al.SSIM － inspired image denoising using sparse representations［C］.Prague，Czech:IEEE International Conference on Acoustics，Specch＆Signal Processing(ICASSP11)，2011:1121 －1124.

［9］Wang Z，Simoncelli E P.Maximum differentiation(MAD)competition:A methodology for comparing computational models of perceptual quantities［J］.Journal of Vision，2008，8(12):1－13.

［10］Brunet D，Vrscay E R，Wang Z.On the mathematical properties of the structural similarity index［J］.IEEE Transactions on image processing，2012，21(4):1488 －1498.

［11］Chambolle A.An algorithm for variation minimization and applications［J］.Journal of Mathematical Imaging and Vision，2004，20(1 －2):89 －97.

［12］Han Yu，Feng Xianghu，George Baciu，et al.Nonconvex sparse regularIzer based speckle noise removal［J］.Pattern Recognition，2013，46(3):989 －1001.

［13］Nikolova M，Ng M K，Tam C P.Fast nonconvex nonsmoth minimization method for image restoration and reconstruction［J］.IEEE Transactions on Image Processing，2010，19(12):3073－3078.

［14］Nikolova M，Ng M K，Zhang S，et al.Efficient reconstruction of piecewise constant image using nonsmooth nonvex minimization［J］.SIAM Journal on Imaging Sciences，2008，1(1):2－25.

［15］郝岩，冯象初，徐建楼.一种新的去噪模型的分裂Bregma算法［J］.电子与信息学报，2012，34(3):557 －563.

［16］张伟斌，冯象初，王卫卫.带Besove忠诚项的图像去噪变分模型［J］.西安电子科技大学学报，2011，38(3):155－158.