一种改进的非局部均值去脉冲噪声方法*

王泽励 张志豪 刘晓婷 任建新 张晓梅 中国刑事警察学院

引言

在图像的获取、传输和接收的过程中，由于采集设备、传输设备、处理设备的系统内部或者环境外部等因素影响，不可避免会形成噪声，脉冲噪声就是常见的一种。脉冲噪声污染会导致图像质量下降，模式识别误差增高，尤其是在指纹识别领域。指纹由乳突纹线、小犁沟、屈肌褶纹、皱纹、伤疤、脱皮、汗孔、细点线组成，而脉冲噪声呈现二值的黑白点状随机分布，会填充小犁沟间隙，阻塞小眼，干预纹线流向、断续、分歧结合，损害指纹的系统形态，严重影响机器视觉和特征识别。关于脉冲噪声的去除，很多学者做了研究。Justusson[1]提出了经典中值滤波，但由于遍历全局，对非噪声点也进行了操作，这会导致图像一定程度的失真。此外，滤波窗口过大，噪声密度过高都会造成很大影响，甚至顺序统计的过程中会出现用噪声点代替中值的现象。Brownrigg和Lee分别提出了加权中值滤波[2]和中心加权中值滤波[3]。加权中值滤波给窗口内的每一个像素给予权重，按照权重结果顺序统计。中心加权中值滤波则用不同加权系数体现和邻域的关系。二者去除噪声效果虽有改进但是存在着盲目性，仍然没有避免无差别全局处理的弊端。后来，有学者提出结合开关滤波噪声检测，对噪声和信号进行区别对待的开关中值滤波[4]， 开关自适应中值滤波[5]等的脉冲噪声去除的方式。当然，也有学者做过其他方面尝试，比如基于决策的DBA（Decision-Based Algorithm）[6]去噪算法，结合NLM（Non-Local Means）[7,8]的迭代去噪方法。经过大量的实验和综合考量指纹纹路特性，脉冲噪声的特性和以上的方式方法，设计了一种结合开关滤波，边缘滤波，自适应中值滤波，非局部均值去噪相结合的去噪方法。

一、实验设计的方法和原理

实验采取了一种基于开关机制的滤波算法，首先通过极值判定区分开指纹图像中的噪点和信号，然后对噪点连通简易通边缘滤波器和自适应中值滤波器做灰度新值估计和噪点滤除，最后用非局部均值算法进一步降噪。

（一）简易边缘滤波

指纹图像基本是由密集的纹线组成的，纹理边缘结构占据绝大多数，边缘提取的效果就基本决定了指纹图像的后续处理的效果。合适的边缘滤波器用于边缘提取，在指纹图像中尤为重要。考虑到常见的双边滤波，引导滤波运算量大，卷积过程复杂，小波变换小波选取，尺度分解难以选择把握，新算法从图像的邻域出发，采用方向上均值滤波获取边缘值。这种简易形式的边缘滤波方法能够简化计算过程，并且实现指纹纹线的提取。

如图1所示，目标像素(i,j)的8个邻域灰度值为a-h。简易边缘滤波就是基于目标像素的8个邻域的灰度值从水平竖直对角四方向进行滤波。一般认为在某个方向上像素差值较小时，像素值更加接近真实情况，即存在min(|a-b|,|cd|,|e-f|,|g-h|)时，此刻该方向上像素灰度均值是有效的边缘灰度值。如果方向上存在噪声点，则该方向失去比较和判断的意义。

（二）自适应中值滤波

中值滤波是指纹图像处理基础滤波领域中对脉冲噪声应用效果最好的滤波方法。但是，中值滤波存在着这样的一个缺点，即小窗口滤波由于统计有限像素值会导致指纹图像去噪不彻底，大窗口滤波则统计像素值过多，新值表示不充分，会丢失了图像信息，导致指纹图像模糊失真。此外，在高密度噪声情况下，由于脉冲噪声占据滤波窗口大部分，甚至会出现用噪声代替原有指纹图像像素的情况。基于这样的图像处理状况，使用了一种具备窗口自适应大小的中值滤波处理方法，该方法能够有效获得合适的窗口大小和中值，不仅仅具备传统中值滤波的低密度噪声图像恢复效果，对于高密度脉冲噪声的指纹图像也有很好的适用性。自适应中值滤波算法流程如图2所示。

在简易边缘滤波的基础上适用自适应中值滤波，是为了有效的滤除噪点和保护图像边缘。自适应中值滤波依据滤波窗口内噪点和信号的分布情况进行滤波，当检测到滤波器窗口内目标像素邻域在四个方向上不存在边缘信息，即四个方向上至少都有一个脉冲噪点存在时，此时采用信号点灰度中值替代，当脉冲噪声占据8个邻域时，则自动扩大滤波窗口半径，并采用继续非噪点中值替代，直至达到终止条件。

（三）非局部均值

Buades 在2005年提出了一种图像的非局部均值去噪算法。该算法是基于图像自相似性的思想，在任何一幅图片中，像素不仅在它的邻域内存在着相似性，同样在与之相似的像素的邻域内也存在相似性。因此可以通过图像块之间的相似性来描述像素重构图像。指纹图像由于有着特殊的纹理结构和流向关系，在整体和局部纹线上存在大量的相似关系，很好的贴合了非局部均值的适用要求，因此非局部均值算法对重构噪声污染的指纹图像有着重要意义。非局部均值的公式定义如下：

其中w(i,j)是归一化之后的像素权重，0≤w(i,j)≤1,∑J w(i,j)=1，它描述了像素块之间的关系。z(j)表示图像的原始像素值，NLz(i)代表经过加权平均之后的图像像素值。

NLM算法是通过高斯加权来表示图像块之间的相似性的：

其中，h是平滑参数，z(Ni) ，z(Nj)代表图像块。

二、实验设计与质量评价

（一）实验步骤

为了方便表述，用f(i,j)表示当前的像素(i,j)的像素值，表示n×n窗口大小内所有非噪声像素。M-n×n表示当前n×n窗口内的图像邻域像素值集合，L-n×n表示n×n窗口内非噪声点像素值集合。

（1）遍历像素，噪声判断，如果f(i,j)=255或0，G(i,j)=0，否则G(i,j)=1；

（2）G(i,j)=1时，保留像素信号；

（3）G(i,j)=0时，原始3×3滤波窗口内，四方向有一个完全不存在脉冲噪声，在方向差值最小处，取f(i,j)=mean，否则f(i,j)=mean(L-3×3)；（4）G(i,j)=0时，如果0，扩充滤波窗口大小至5×5，如果＞0，顺序统计非噪声点像素值，f(i,j)=Median(L-5×5)；（5）G(i,j)=0时，如果0, 扩充滤波窗口大小至7×7，如果＞0顺序统计非噪声点像素值，f(i,j)=Median(L-7×7)；

（6）G(i,j)=0时，如果0，f(i,j)=Median(M-3×3)；

（7）执行NLM；

（8）输出结果。

（二）图像质量评价

根据图像的视觉效果和MAE（Mean Absolute Error），MSE（Mean Squared Error），PSNR（Peak Signal-to-Noise Ratio），SSIM（Structural Similarit y），MSSIM（Mean Structural Similarity）指标公式，以及算法的运行时间t，给予图像的主客观评价。其中相关公式如下：

视觉效果主要考量指纹的整体清晰程度、纹线的流线稳态、纹线系统的形态和分布状况，指纹细节特征是否畸变。

三、实验仿真和数据分析

本次实验基于Huawei荣耀Magic book，AMD Ryzen 5 2500U with Radeno Vega Mobile Gfx 2.00Ghz CPU，8.00G RAM，Windows 10家庭中文版操作系统，实验采用matlab 2018a仿真实验，实验素材来源于FVC2004。实验过程分两部分，第一部分验证不同算法对不同噪声概率密度sigma的处理效果，第二部分验证新算法在高密度脉冲状况下的优越情况。第三部分，对于高倍率脉冲噪声条件下，具体评价新算法的优越性。本次仿真实验总共采取了六种不同算法，中值滤波（Median Filtering，MF）[1]，利用中心加权中值滤波器进行自适应脉冲检测算法（Adaptive Impulse Detection Using Center-Weighted Median Filters，ACWMF）[10]，基于决策的算法（Decision-Based Algorithm，DBA）[6]，噪声自适应模糊切换中值滤波器（Noise Adaptive Fuzzy Switching Median Filter，NAFSWMF）[11]，噪声自适应边缘滤波器（Noise Adaptive Edge-Preserving Filter，NAEPF）[12]，混合的新算法（Mixed Method）。实验过程中平滑参数h取50*sigma，邻域半径取1，搜索窗口半径取3。

（一）不同密度条件下算法的处理效果

脉冲噪声概率密度从上到下依次为0.1～0.9，图片从左到右依次为原图、噪声图、MF、ACWMF、DBA、NAFSWMF、NAEPF、Mixed Method处理结果图。

从图3中可以发现随着脉冲噪声的概率密度的逐渐增加，滤波窗口内顺序统计不了有效的像素值，中值滤波算法逐渐失去其作用，无法看清指纹纹线流向、犁沟间隙、纹型系统等，这种变化在sigma=0.1时就开始出现，sigma=0.4时较为明显，sigma=0.6时，基本看不出具体的勾眼桥棒点等特征，sigma在0.6以上时中值滤波算法基本丧失作用。ACWMF算法稳定性虽然在中低概率密度时表现良好，但是从sigma=0.4时，已经出现纹型的紊乱模糊，纹线的缺失，对比度显著下降，并且对于高概率密度丧失效果。DBA算法对于sigma=0.8以下有着较好的适用性，且相比较中值滤波和ACWMF算法，处理效果更加突出，信息保留全面。NAFSWMF、NAEPF、Mixed Method在脉冲噪声中低密度条件下效果总体出入不大，稳定性良好，处理效果比中值滤波、ACWMF、DBA优越。视觉上看，这三种方法的指纹纹线的纹理随概率密度提升有正常缺失，在经验性的合理范围之内。但是，当sigma从0.7开始时，NAFSWMF、NAEPF、算法处理的指纹图片开始有较为清楚明显的扭曲模糊，纹线断续不一。为了进一步论述和比较算法之间的区别，实验仿真对图像做了数据上的参考和评价。

（二）不同噪声概率密度下算法的数据参考比较

从MAE和MSE来看，MF、ACWMF算法的误差结果随噪声概率密度出现大幅度的跃迁上升，DBA、 NAFSWMF、NAEPF算法相比较前二者的误差变化较为稳定，新算法的误差变化则最小，取值也最低，鲁棒性最佳。从PSNR、MSSIM上来看，高倍率噪声（sigma>0.7）条件下，新算法的综合优越性也最高，信号保真度强，结构失真率低。当然新算法较为冗杂，时间效率不高。

（三）高倍率脉冲噪声条件下的具体数据参考

随机抽取FVC2004的三幅图片，添加高倍率脉冲加性噪声，sigma取值0.8和0.9。为方便指纹的处理结果表述，采用sigma+指纹＋N的形式表示，如0.8+ 指纹a+3表示噪声概率密度为80%时指纹a的第三个图片，即MF的处理结果。

?

?

从图6和图7的0.8/0.9+指纹a/b/c+3/4来看，MF、ACWMF算法在高倍率脉冲噪声条件下，已经失去效果，被密集的噪声覆盖，图像失去进一步的评判和使用意义。从0.8/0.9+指纹a/b/c+5来看，DBA算法在高概率密度脉冲噪声下，指纹图像明显扭曲模糊，纹线紊乱，细节特征丧失，形如指纹油墨捺印时，按压和单方向拉伸的效果。NAFSWMF、NAEPF算法的处理效果相对前三者整体良好，图像整体比较新算法，灰度较为浅淡，细节保留少。新算法和NAFSWMF、NAEPF算法的处理结果指纹系统整体表现完整，均存在细节丢失，噪声造成的细节丢失在经验性范围之内。

由于MF、ACWMF、DBA算法在处理上已经失去了视觉意义，指标数据包含着大量的噪声，有虚高的计算结果。所以，算法的比较主要在新算法和NAFSWMF、NAEPF算法之间展开。综合评断，新算法的指纹数据指标整体最为优越，部分与其他存在出入，但是较为接近。

四、结语

为了克服指纹的脉冲噪声干扰，依据指纹边缘为主的图像特征和脉冲噪声二值特征，设计了一种新的脉冲噪声去除算法。新算法结合了开关滤波、边缘滤波、自适应中值滤波和非局部均值滤波，有效的实现了脉冲噪声区别、指纹图像边缘提取、图像去噪声和增强。实验仿真结果表明，新算法对于高密度的脉冲噪声去除效果良好，图像恢复的可视化程度高，MAE、MSE比较其他算法低，PSNR比较其他算法高。

该项工作的展开对于应对公安实践过程中受到器件耦合、环境干扰、传感器故障、系统窜流等因素造成的脉冲干扰图像失真有着很好的应用价值。从实验的仿真结果可知，该方法能够极大程度的恢复脉冲噪声干扰下的指纹图像，复原出部分或者整体的纹线流向和特征构造，于司法鉴定有借鉴意义。