基于余弦相似度的非局部均值滤波方法

刘传义，王世峰，王开鑫，陈森，孙琪

（长春理工大学 光电工程学院，长春 130022）

图像在生成和传输的过程当中，经常会受到各种噪声的干扰和影响，从而造成图像降质。这对后续的图像处理和图像的视觉效果产生不利的影响，所以、必须对图像进行去噪预处理。图像去噪效果的好坏，会直接影响到后续工作的进行。如：图像分割、边缘检测和目标识别等。因此、对于图像去噪以及去噪效果的评价方法，一直是图像处理领域中重要的研究课题。由于简单的线性滤波器会造成图像模糊，图像的细节将会大量丢失。所以近年来产生了很多非线性滤波器，如小波阈值算法、各向异性扩散方程算法、总变分最小算法等。Buades等人[1]结合之前的算法，提出了一种利用结构相似的算法，即非局部均值滤波（NLM）算法。此算法在去除高斯白噪声时取得了明显的效果，并且证明了在去除周期性的噪声上好于高斯滤波、各向异性滤波、双边滤波等滤波方法。但是此算法也同样存在一些不足之处，例如算法的复杂度较高，导致算法速度比较慢，参数选取复杂，算法自适应能力差，过度滤波等。因此，很多学者针对此算法的不足之处，提出了各种各样的改进。研究主要集中在了两个方面：（1）对算法速度的提升，因其在计算欧氏距离过程中，是点与点的计算与平移，存在大量的计算，时间较长。为了优化加速，引入积分图的思想，先将含噪图像偏移，并与原图做差分平方，作为图像的欧氏距离矩阵[2-4]；（2）对算法去噪效果的提升，主要是中心点权重、邻域框尺寸、滤波平滑参数等的优化及自适应。文献[5]中提出根据噪声方差和图像方差估计最优滤波h参数。文献[6-7]根据图像纹理结构不同，选择使用不同大小的邻域框。文献[8]中Mahalanobis距离改进了传统的基于欧氏距离块相似性度量方法，使之对图像中不同复杂程度的区域进行自适应，较好地去除条纹与随机混合噪声。文献[9]通过假设检验来估计两组子视数据集是否同质，并以此为依据估计图像块之间的相似。以上算法仅在相对平坦区域有较好的去噪效果，而在细节信息丰富的边缘区域去噪效果很弱。造成这个现象的原因是在整幅图像中容易找到很多相似的平坦区域的小块，用它们作加权平均可以达到较好的去噪效果；而边缘区域的小块很难找到与之相似性很高的小块，故加权平均效果不明显。由此说明仅用高斯加权的欧氏距离作为小块的相似性度量有一定局限性。本文定义了新的结构相似性指标：余弦相似度与高斯加权的欧氏距离乘积作为相似性度量指标，以达到在滤波器中引入结构信息的目的。

余弦相似度是一种评价图像相似性的度量标准，可以用来很好地评价图像邻域的相似性。将其与经典NLM算法中的欧式距离相结合，以更好地反映图像中的邻域相似性，并且能减小光照不均带来的影响。实验表明，提出的改进算法能更好的保留细节，同时减小光照不均带来的影响。并优于很多常用去噪声算法。

常用图像评价指标方面，往往不能在反映去噪声程度的同时反映去噪后边缘建构保持的程度，误差的均方误差MSE和峰值信噪比PSNR往往只能说明去噪的多少[11]，无法说明细节的边缘保持程度。结构相似性指标（SSIM）比MSE和PSNR通过对比和原图像比，更符合人的主观感受。但是也无法反应去噪时的边缘保持程度[12]，针对以上问题，实验表明方法噪声差指标相比误差的均方差能更好地评价图像的去噪声程度和细节的保持程度。

1 基本理论：非局部均值滤波

设：噪声图像为{v(a)|a∈I}，去除噪声后图像为NL[v]，对每个像素a的值通过下式加权得到：

式中，w代表权重。衡量相似度的方法有很多，最常用的是根据两个像素亮度差值的平方来估计。由于取噪声单独的一个像素并不可靠，所以使用它们的邻域。只有邻域相似度高才能说明这两个像素的相似度高。衡量两个图像块的相似度最常用的方法是计算它们之间的欧氏距离：

2 改进的非局部均值滤波算法

NLM去噪声是根据高斯加权欧式距离来度量邻域间的距离，从而度量邻域间的相似性。而加权欧式距离不能完全反应图像的相似性，容易导致滤波不足，或者过度滤波使得图像的细节结构模糊，为了解决以上问题，本文引入图像间的余弦相似度系数，加大相似性较高子块的权值，减小相似度较低子块的权值，以解决以上题。

余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。其定义如下：两个向量间的余弦值可以通过使用欧几里得点积公式求出：

给定两个属性向量A和B，其余弦相似性θ由点积和向量长度给出，如下所示：

式中，Ai，Bi分别代表向量A和B的各分量。给出的相似性范围从-1到1，-1意味着两个向量指向的方向正好截然相反，1表示它们的指向是完全相同的，0通常表示它们之间是独立的，而在这之间的值则表示中间的相似性或相异性。

计算余弦相似性：对于一幅分辨率是M×N的灰度图像，可将其灰度转化为M×N维欧氏空间中的一个向量。用aiN+j表示对应于图像中（i，j）点的灰度值，一幅灰度图像在欧氏空间中可表示为向量X=（x0，x1,…,xN-1）。按照之前描述的方法把两个判断相似的子块，将子块A表示为向量将子块B表示为，则两个子块的余弦相似度计算公式为：

从上式可以看出，余弦相似度计算的是两个向量在高维空间中夹角的余弦值。夹角越小余弦值越大，角度越大余弦值越小。由于灰度图像取得向量值都是正向的，所以算法中余弦相似性的取值范围在[0，1]，其值与向量的模长（即图片的整体亮度）无关，而取决于各个维度上分量的大小差异（即：图片上各个点的灰度值差异），所以图片的整体的明暗程度对余弦相似度影响不大，这就屏蔽了工作环境明暗程度对结果的影响。

经典非局部均值算法中，各邻域灰度矩阵间的相似度由它们的高斯加权欧氏距离d（a，b）来决定，当d（a，b）越趋近于0，则表示邻域灰度矩阵间的相似度越高。式（7）中 cos（a，b）的取值介于[0，1]之间，为了保持与经典NLM算法中高斯加权欧氏距离的一致性，将邻域灰度矩阵间的相似参数定义为：

其取值区间为[0，1]，当两个小块完全相同时，该参数取值为 0，当 cosin（a，b）越大时，两个小块相似性越低，即与高斯加权的欧氏距离有相同的单调性。本文便将该基于结构相似性的参数与原高斯加权的欧氏距离相乘，作为子块相似性度量的改进，增强算法在边界保持的作用，也增加对不相似区域的去噪效果。

其中，E(cosin(a,b))为针对像素a的一个归一化常数。

经过上述改进后，将式（9）替代式（2）代入式（3），负指数加权得到非均值滤波的结果。

3 方法噪声差评价标准

Buades等人[1]在提出非局部均值算法（NLM）的同时提出了方法噪声，方法噪声是一种新的图像去噪性能评价指标它的定义为噪声图像（imgA）与降噪后的图像（imgB）的差即：imgAimgB。

由于去噪法都有一定的不足之处，所以方法噪声中往往会包含残余的图像信号，也就是说，在去除噪声的同时去除了图像本身的信号。方法噪声含有更多的高斯白噪声为好，它含有更少的细节信息。

方法噪声差（NC）是一种在方法噪声基础上提出的一种图像去噪评价的方法，它的定义为：

std2imgC表示方法噪声图像的标准差（理论上为去除掉噪声的标准差），stdimgN表示原来图像噪声的标准差，NC表示“方法噪声差”。方法噪声差的值越小说明降噪及细节成分保留越好。

4 实验与分析

本节分为两个部分。第一部分实验对方法噪声差（CB）的去噪评价指标与误差的均方差指标（MSE）进行对比分析。第二部分对cosin-NLM与经典NLM和积分图像NLM进行对比分析，然后再与多种现有主流算法进行性能比较。

4.1 方法噪声差实验分析

对 6幅典型图像（Lena256×256，Man512×512，House512×512， Bridge512×512， Peppers512×512，Barara512×512）分别叠加均值为μ=0且方差σ不同的高斯白噪声，用均值滤波和经典NLM分别对其滤波，用误差的均方差（MSE）和方法噪声差（CB）按照[10]给出的方法设置滤波参数h，用均值滤波使用3×3的滤波窗口具体数据如表1所示。

表1 两项图像评价指标对比分析表

结果发现MSE指标和CB对图像的评价得到了不同的结果，MSE指标显示均值滤波后的图像的效果较好，而CB显示经典-NLM去噪效果更好。为了验证哪种指标更符合人主观的视觉，所以继续用人眼主观视觉评价对滤波后的图像进行进一步评价。

不管图像经过何种处理后，最终还是要从视觉效果上尽量逼近原始图像，其逼近程度主要决定于人的主观感觉。那么人的主观感觉对图像的直接评价，理应对最终图像质量优劣的决定起着至关重要的作用。

受测试者要求在同一个房间，距离显示器约40 cm，依次观察同一个CRT显示器（RADEON，9 550，1 024×768）上呈现的图片对。该测试分白天和晚上两次进行，即：受测试者分别在日光充足的室内和白炽灯下对相同的图片对进行感觉并判断评分。评分的具体事项和标准具体如表2所示。

表2 各项评价指标细节及打分

受测试者：该实验中随机邀请10名非专业观察者，其中有5名男性，这些观察者的年龄段为20岁至30岁，其文化程度为在读大学生和研究生。且视力、色觉均正常，并皆具备正常的判断、领悟能力。测试对象：为上面采用NLM和均值滤波后的12对图像测试环境：白天，室外日光充足，10位被测试者在室内按要求观看18对图片对并进行主观评判，为稳定被测试者的主观判断力，在正式评判打分前，适当引入几对样本图片以供被测试者观察，不同图片对在时间上均匀间隔显示。被测试者至少观察3 s，便可以从图片的淸晰度、去噪效果、细节保持程度的好坏进行比较打分。详见表2。表3为10位测试者的评价汇总（在不同标准差下的测试记录并对结构进行[-1，+1]的归一化对数据保留到小数点后两位。表4为测试者1在σ=5时的评测结论表。图1为σ=10时经典NLM和均值滤波在σ=10时‘lena’去噪效果的方法噪声对比图。图1（a）为均值滤波后的图像；图1（b）为NLM滤波后的图像；图1（c）为均值滤波后的方法噪声图；图1（d）为NLM的方法噪声图像。可以看出NLM滤波效果更好，含有更多高斯白噪声和更少的边缘细节成分。

图1 σ=10的滤波效果对比图

表3 各个测试者的评价汇总

表4 测试者1在σ=5时的评测结论表

从表3中可以看出测试者们认同经典-NLM比均值滤波的效果更符合人的视觉感官，同时说明方法噪声差（CB）比误差的均方差指标更符合人的主观感受。图2为不同方法噪声差（CB）的图像对比图，从左到右可以看出去噪后方法噪声差（CB）越小的图像，边缘结构越明显图像越清晰。

图2 不同的方法噪声差（CB）对比图

4.2 cosin-NLM算法的实验分析

分三个部分给出实验结果：在滤波参数h变化的时候与其他算法进行比较，用不同的图片与其他算法进行比较，以及与其他典型去噪算法进行比较。

NLM算法中参数h是一个控制指数滤波程度的参数，通过影响权重w(a，b)的大小而决定算法的滤波程度，h较大的时候算法滤波程度较大，h较小的时候去噪程度较小。三个算法，经典NLM滤波算法、积分图像NLM滤波算法、cosin—NLM对一幅典型图像（‘Lena’256×256），对其添加均值μ=0，方差σ=10的高斯白噪声用四种参数峰值信噪比（PSNR）、相关系数（SSIM）、方法噪声差（CB），以及结构相似性指标的四个指标。关键滤波参数h从2取到47，先对三种算法每一种进行单独分析，然后再对三种算法进行组合分析。如图3所示。

图3 三种算法，4种评价指标分析图

经典 NLM 算法，从图3（a）中可以看出：（1）去噪的峰值信噪比确实存在着最大值，是一个由小变大再减小的过程，在h取22的时候去噪程度越明显；（2）相关系数与结构相似系数和峰值信噪比有一定的相关性，都是在h取得22的时候取得最大值。说明在这个时候去噪后的图像和原图像最相似；（3）方法噪声差参数的数值较大，但是没有最大值，随着参数h的增加在缓慢增加，说明随着h的增加图像的细节部分在慢慢减少。

积分图像NLM从图3（b）中可以看出：（1）从峰值信噪比、相似系数、相关系数都可以得出：去噪确实存在着最大值，它是一个由小变大再减小的过程。h取22的时候去噪程度越明显；（2）相关系数与结构相似系数和峰值信噪比有一定的相关性，都是在参数h取得22的时候得到最大值；（3）方法噪声差参数的数值较大，但没有最大值，在随着参数h的增加而缓慢增加。

cosin-NLM从图3（c）可以看出，cosin-NLM与前两种算法本质上有所不同：（1）峰值信噪比、相似系数、相关系数没有最大值；（2）虽然没有最大值，但在大于某个数值的时候降噪效果没有变化。例如：上图在参数值大于27的时候趋于稳定；（3）方法噪声差有最大值，没有呈现上升趋势。

为了对比三个算法，把三种算法的四个指标、峰值信噪比、相似系数、相关系数以及方法噪声差放到一张图里进行对比分析如图4所示。得到如下结论：

图4 种算法4种指标对比分析图

（1）从峰值信噪比参数上得到结论；在滤波参数h小于22的时候积分图像NLM的去噪程度最大，但是随着参数h的逐渐增大，在滤波参数h大于32的时候，曲线发生了交叉，cosin-NLM的去噪程度最大，相似系数和结构性相似指标得到大致相似的作用；（2）从总体上来讲cosin-NLM的去噪效果优于其它两个算法，其它两个算法总体相当，特别是在滤波参数h较大的时候更能保持细节成分，说明cosin-NLM算法能在去除噪声的同时保留细节。

使用经典NLM算法和cosin-NLM对6幅典型图 像（‘lena’256×256，‘Man’512×512，‘Bridge’512×512，‘house’512×512，‘Peppers’512×512，‘Barara’512×512）分别叠加均值 μ=0，方差 σ=5，10，15高斯噪声滤波参数h的选取使用文献[13]中的方法，去噪算法均采用小块大小为7×7，将搜索窗口的大小限定为21×21。评价方法使用误差的均方差（MSE）和方法噪声差（CB）。实验结果如表5所示。从表5中可以看出：（1）方法噪声差（CB）指标说明cosin-NLM相比于经典NLM有更好边缘结构保持效果，尤其是在噪声较大的情况，图像的边缘细节保持效果优势更加明显；（2）从误差的均方差指标（MSE）指标得出，在σ=5去噪性能两种算法去噪程度大致相当，在σ=10，15时cosin-NLM去除噪声的程度有要比经典NLM更为明显，综合两种图像质量评价指标co⁃sin-NLM在噪声较大的情况下有较好的滤波效果。

表5 经典非局部均值与Cosin-非局部均值去噪性能比较

表6给出本文算法与几个比较典型的去噪算法在标准图像‘Lena’（256×256）上的性能比较。为了更好比较算法之间的性能，同时给出误差的均方差（MSE）和方法噪声差（CB）两个评价标准。从表6中可以看出cosin-NLM算法的去噪性能优于绝大多数的现有算法。只有文献[10]基于复小波变换（CWT）性能优于cosin-NLM算法。但文献[10]算法参数设置比较复杂，作者指出其算法参数设置要根据大量的实验经验。

表6 去噪性能比较

图5给出了cosin-NLM算法在几个典型图像上的处理的结果。从上到下各行依次为图像（a）‘House’、（b）‘Lena’、（c）‘cameraman’，叠加了（σ=10、σ=20、σ=30）的高斯白噪声。从左到右依次是原始图像、加噪图像和cosin-NLM去噪后的图像，可以看出cosin-NLM在不同图像，不同噪声水平都有很好的去噪效果，能够在很好的滤除噪声的情况下，很好的保持图像的边缘细节。

图5 cosin-非局部均值算法在不同图像和不同噪声水平下的去噪效果

5 结论

研究了非局部图像去噪算法中用高斯加权欧式距离判断相似度，会出现过度去噪和去噪评价标准难以在评价去噪多少的同时反映图像的细节保持程度的问题。提出了一种能更好的保持边缘细节的算法（cosin-NLM）和一种图像去噪评价指标方法噪声差（CB）。cosin-NLM通过利用余弦相似性加大相似性较高子块的权值，减小相似度较低子块的权值提高边缘结构保持度，方法噪声差（CB）能同时反应去噪程度和图像细节保持程度，因此能很好的反应去噪算法的性能。同时本文还与很多经典去噪算法进行了比较。

最后实验表明，cosin-NLM能够在去噪的同时更好的保持细节优于目前很多主流算法，尤其在噪声较大的情况下。方法噪声差指标比误差的均方差指标更符合人的视觉主观感受，能够在反应去噪程度的同时反应出图像的细节保持程度。

关于滤波参数h的全局最优解问题是很多学者研究的重点，之前h选取的方法都是根据误差的均方差（MSE）来确定的，能否根据方法噪声差（CB）选取滤波参数h的全局最优解以达到更好的边缘细节保持效果，值得今后的研究者继续研究。