基于图像金字塔与NLM的冷冻电镜图像增强方法

何 睦， 李 军， 郑新科， 钮 焱

（湖北工业大学计算机学院，武汉 430068）

0 引 言

由于成像技术与样本制备等原因，冷冻电镜成像的质量极差，图像信噪比极低。人工从极低信噪比的图像中挑选定位所有的颗粒图像（生物大分子投影区域）费时费力，也会引入人为的偏见，因此大量自动化或半自动挑选方法逐渐被开发出来用于颗粒挑选。

目前常见的颗粒挑选方法有模板匹配法、图像分割法、深度学习方法等。模板匹配法有ApplePicker［1］、KLT picker［2］等，模板匹配法通过计算模板与图像待检测窗口之间的相关分数，来判断区域是否为颗粒或背景噪声，其模板可以是人工挑选或者模拟的颗粒和噪声。图像分割法有AutoCryoPicker［3］、SuperCryoPicker［4］等，一般使用图像分割技术从经过图像增强处理的冷冻电镜图像中分割背景与颗粒。由于近年来深度学习的卓越表现，大量深度学习方法被用于颗粒挑选，有SPHIRE-crYOLO［5］、基于UNet的方法［6］等等，深度学习方法通过训练深度学习网络或模型，使其具有区分背景与颗粒的能力，实现颗粒挑选。

由于冷冻电镜图像信噪比极低，一些冷冻电镜图像的增强方法被提出来以提高图像信噪比，如协方差维纳滤波（Covariance Wiener Filtering，CWF）［7］、基于NECM的聚类方法［8］等，但这些方法大都用于对已经挑选出的单颗粒图像去噪，并不适用于含有众多颗粒与背景的整幅冷冻电镜图像。此外，基于CNN的去噪［9］、基于测地距离的去噪［10］等方法可用于去除整幅冷冻电镜图像的噪声，前者需要构建复杂的模型与庞大的训练数据集，后者去噪所需时间极长，难以在颗粒挑选阶段得到有效的使用。

本文提出一种基于图像金字塔与非局部均值（Non-Local Means，NLM）去噪的方法，用于增强冷冻电镜图像中颗粒与背景的特征，提高颗粒区域与背景区域的区分度，以便于后续的颗粒挑选流程。

1 图像增强原理与方法

本文提出的基于图像金字塔与非局部均值去噪的方法用于增强冷冻电镜图像，总体流程如图1所示。

本文在对电镜图像使用非局部均值去噪的方法去除图像噪声后，使用离散余弦变换（Discrete Cosine Transform，DCT）矫正图像背景，并对图像下采样获得下级图像。对下级图像再次使用上述的去噪、背景矫正、下采样获得下级图像，循环此过程直至图像尺寸至设定值。上述循环过程中得到的尺度逐次减小的背景矫正后图像，形成图像金字塔中分辨率逐步降低的每一级。对金字塔每一级图像进行直方图变换和上采样后获得相同尺寸图像，最后将上采样结果图像融合，即获得最终的增强图像。

1.1 非局部均值（NLM）去噪算法

自然图像中存在大量相似区域，冷冻电镜图像也是如此，图像中的颗粒区域之间、背景区域之间都存在相似性，非局部均值去噪算法基于图像的这种特性，充分利用图像的冗余信息，对相似区域进行加权求和，达到去除图像噪声的目的［11］。设含噪声的图像为f（x，y），对图像中的每个像素点使用非局部均值去噪算法如下式：

式中：D/2为像素点f（x，y）领域搜索半径；w（x，y，u，v）为邻域内像素点f（x，y）与像素点f（u，v）之间的相似度权重；g（x，y）为去噪后的图像中像素点f（x，y）的像素值。w（x，y，u，v）的计算式为

式中：h为一个基于噪声的标准差的滤波平滑参数；V（x，y）、V（u，v）分别为像素点f（x，y）与像素点f（u，v）的邻域相似度计算块；V（x，y）-V（u，v）2为2个邻域图像块的欧氏距离，其计算如下式：

式中：d为相似度计算块的直径，V（x，y，i，j）、V（u，v，i，j）分别为2个相似块对应位置的像素值。

1.2 离散余弦变换（DCT）与背景矫正

在处理冷冻电镜图像过程中，图像经过多次处理后，冷冻电镜图像中的亮度不均会变得更加明显并影响到后续处理，因此需要对图像做背景矫正处理。Jin等［12］将基于离散余弦变换的背景矫正方法应用于液晶显示面板缺陷检测领域，而冷冻电镜图像与显示面板缺陷类似，目标区域与背景区域之间的差异较小，因此也可将离散余弦变换应用于冷冻电镜图像的背景矫正过程：

（1）二维离散余弦变换。对于尺寸为m×n图像f（x，y），二维离散余弦变换如下：

式中：C（u，v）为DCT变换后的DCT系数矩阵；（x，y）、（u，v）为图像f像素的坐标，x与u的范围为0至m-1，y与v的范围为0至n-1。

（2）系数矩阵滤波。在DCT的系数矩阵C（u，v）中，低频部分为图像能量集中的部分，图像比较平坦，一般为背景；高频部分为图像变化比较剧烈的区域，一般为边界。因此，对系数矩阵C（u，v）使用一个低通滤波器，再经过离散余弦变换的逆变换过程即可得到图像的近似背景。低通滤波器如下：

式中：uth、vth分别为u、v方向的阈值，本文中2个阈值均取3；CLP（u，v）为低通滤波后的DCT系数矩阵。

（3）逆变换获取背景。使用二维离散余弦变换的逆变换（Inverse Discrete Cosine Transform，IDCT）获得近似背景图像

（4）背景图像矫正。原始图像f（x，y）与背景图像fBx，( )

y矫正图像式如下：

式中：fsub（x，y）为原始图像减去背景后获得的矫正图像，fnorm（x，y）是对矫正图像进行归一化处理后的图像。背景矫正前后对比如图2（a）和（c）所示，通过对比，可以发现经过背景矫正后，图像整体背景亮度变得更为均衡，使得图像中各个区域中颗粒与背景的分布状态相近，便于后续统一地处理。

1.3 图像直方图变换

冷冻电镜图像经过图像非局部均值去噪和背景矫正后，背景中仍然存在部分区域亮度过高，或者部分背景区域与颗粒区域区分度较差，如图2（a）所示。本文采用直方图变换法矫正图像，抑制亮度过高区域，提高整体背景亮度，同时使颗粒区域的亮度降低，增加颗粒与背景之间的区分度。通过对冷冻电镜图像的观察统计分析，本文提出的直方图变换公式如下：

式中：f（x，y）为变换前图像；fHT（x，y）为变换后图像；smax为变换后亮度的最高值；μ为变换前背景像素分布的均值；k为控制变换函数图像的坡度的系数。经实验得出，设置smax＝230、μ＝110、k＝20较为合适，变换函数的曲线如图2（b）所示。背景矫正后图像用于构建图像金字塔，故直方图变换前图像与背景矫正后图像相同，直方图变换前后图像对比如图2（c）和（e）所示，图像直方图对比如图2（d）和（f）所示。由图可知，变换后图像背景像素值更加集中，颗粒像素值也趋于一致。

1.4 图像金字塔

对图像循环去噪、背景矫正和下采样等处理，目的是为了构建多尺度图像的金字塔。图像金字塔是由一系列不同尺度不同分辨率的图像依次堆叠形成的金字塔形结构，可以表示图像在多个尺度下的信息。

本文用于冷冻电镜图像中颗粒挑选的图像增强方法，更注重颗粒在整个图像中的位置信息，即关注于颗粒整体部分，而非颗粒详细结构。所使用的图像金字塔主要是利用不同分辨率下，图像包含的信息侧重有所不同，高分辨率图像包含图像的细节信息，低分辨率图像则侧重于整体信息。对于一些尺寸较小的颗粒而言，结构的细节部分与整体难以区分，经过多次处理后的图像丢失细节过多而造成颗粒投影图像过于模糊。因此，本文方法保留了图像金字塔中高分辨率的图像。

对于有t层图像组成的图像金字塔形成图像集合fΩ＝｛fz（x，y）｜z＝1，2，…，t｝，对每一层使用的图像上采样后，上采样结果图像与原始图像具有相同的尺寸，图像最终融合式如下：

式中，upsampling（fz（x，y））表示对图像fz（x，y）的上采样。

图像金字塔、上采样、融合过程如图3所示。其中图3（a）为冷冻电镜图像，图3（b）为构建的图像金字塔结构，图3（c）为金字塔中每层图像上采样形成的图像集，图3（d）为叠加融合的最终增强图像。

2 实验图像与评价方式

2.1 冷冻电镜图像数据

本文使用的图像数据源有2类：①利用生物大分子三维结构投影得到的模拟电镜图像；②冷冻电镜拍摄的原始电镜图像。使用的三维结构文件为生物大分子的断层扫描图像，所有的数据文件都来自于存放冷冻电镜图像与断层扫描图像的公开存储库EMDB［13］，使用的4个代表性断层扫描图像文件编号为EMD-2660［14］、EMD-2824［15］、EMD-3137［16］、EMD-3645［17］。原始的冷冻电镜图像数据来自于存放冷冻电镜原始数据的公开存储库EMPIAR［18］，使用的原始冷冻电镜图像数据集编号为EMPIAR-10028［14］、EMPIAR-10017［15］、EMPIAR-10033［16］、EMPIAR-10089［17］，断层扫描图像文件是由上述原始电镜像数据集经过颗粒挑选和三维重构形成的，原始电镜编号顺序与上述断层扫描图像文件编号顺序对应。

由于没有无噪图像为参照，直接使用原始冷冻电镜图像做图像增强处理，使得客观评价图像增强质量难以进行。利用生物大分子的三维结构文件合成模拟电镜图可以获得清晰的无噪声图像，便于客观上对比图像增强效果。本文生成模拟电镜图像过程分为3步：①对三维结构进行随机投影获得生物大分子不同角度的投影图像；②在空白图上生成随机生成间距大于分子平均直径的点，随机选择投影图像放置各点处，从而获得干净的无噪声的冷冻电镜图像；③对干净无噪图像添加噪声，获得最终的模拟电镜图像，如图4所示。

对原始冷冻电镜图像分析可以发现，无颗粒的背景噪声区域与有颗粒的区域之间像素分布差别极小，这是由于原始冷冻电镜图像信噪比极低，可以认为图像基本都是噪声。为了获取更为逼真的冷冻电镜图像噪声，将原始冷冻电镜图像的像素进行随机打乱，形成本文使用的噪声图像，其中未完全打乱的微小粒状区域也可作为对原始图像中杂质的模拟。根据冷冻电镜成像原理，冷冻电镜噪声多为高斯加性噪声，对干净图像IR添加噪声IN的公式如下：

式中：α为噪声比例；IS为合成的带有噪声的模拟电镜图像。最终形成的模拟电镜图像与原始冷冻电镜图像类似，颗粒区域为亮度较低的暗块，背景亮度较高。

2.2 评价参数

冷冻电镜图像的增强处理是为了提高图像中颗粒区域与背景区域的区分度，保留图像的主要特征，使得增强后图像与无噪声图像具有较高的相似度，本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似度（Structural Similarity，SSIM）来衡量经过图像增强的图像与干净无噪声图像之间的相似度。

PSNR是一种基于均方误差（Mean Squared Error，MSE）的评价指标，常用于评估压缩视频或图像信号重建的质量，一般情况下，较高的PSNR值表示重建的信号质量越好。对于尺寸为m×n图像f（x，y）和重建图像g（x，y），均方误差MSE的计算方式如下：

峰值信噪比PSNR的计算如下：

式中：Imax为图像中可能的最大值，本文图像像素数据为8 bit无符号整数，故Imax＝255。

结构相似度SSIM是综合2个图像在亮度、对比度和结构3个因素的相似度参数，SSIM值越大表示2个图像相似度越高。对于图像f（x，y）和图像g（x，y），两者之间的SSIM计算方式如下：

式中：γl、γc、γs分别为3种因素的权重，通常三者均取1；lu（f，g）、co（f，g）、st（f，g）分别为图像f（x，y）和g（x，y）在亮度、对比度和结构上的相似度参数，计算式如下：

式中：μf、μg分别为2个图像的均值，表示图像的亮度信息；σf、σg分别为2个图像的方差，表示图像的对比度；σfg为2个图像的协方差；c1、c2、c3为避免分母为0的常数，对于像素数据为8 bit无符号整数的图像，一般默认c1＝（0.01×8）2，c2＝（0.03×8）2，c3＝c2/2。

3 实验结果与分析

3.1 去噪方法对比

在构建图像金字塔时需要选取合适的去噪方法，以使颗粒区域与背景区域能够快速有效地去除噪声。对冷冻电镜图像使用维纳滤波（Wiener Filter，WF）［7］、K-SVD［19］、BM3D［20］、WNNM和NLM方法进行去噪处理。对1张尺寸为2 048×2 048的冷冻电镜图像去噪结果（局部）与所用时间如图5所示。

上图5可知，WF与K-SVD方法去噪效果不太理想，而NLM、BM3D与WNNM去噪效果较好，但NLM方法消耗时间远小于后2种方法，处理速度是后两者处理速度的10倍以上。对于颗粒挑选步骤而言，重要的是去除噪声并保留颗粒主要形状信息，细节在此阶段并非重点。选用NLM去噪方法能够快速有效的去除图像噪声并保留颗粒区域主要信息。

3.2 不同比例噪声增强对比

在干净的冷冻电镜图像中添加不同比例噪声形成一组模拟电镜图像，使用本文方法对模拟图像进行图像增强处理前后直观对比如图6所示（以EMD-3137的模拟图像为例），图6（a）从上到下、从左到右噪声比例α依次为0、0.1、0.2，…，0.8。图6（b）中左上角图为无噪图，其余为子图（a）对应位置图像经本文图像增强处理后的结果。

由图6可直观看出，经过图像增强处理后，可轻易区分图中颗粒区域均能与背景区域。特别是对于噪声比例0.6、0.7、0.8的图像，从带噪图像中区分颗粒与背景较为困难，而经过处理后颗粒与背景区分很明显。

为了减小图像亮度对评价方法的影响，以更好地评价图像增强效果，这里对无噪图像、带噪图像、增强图像均进行二值化处理。本文使用的二值化方法为基于最大类间方差的Otsu方法，图6（c）为原始图与带噪图像的二值图，图6（d）为原始图与增强图像的二值图。由二值图可直观看出，经过本文图像增强处理后，背景中的噪声大部分得以清除，背景与颗粒更易区分。

对二值图计算的PSNR与SSIM结果对比如图7所示，PSNR和SSIM值越高表示效果越好。由图可知，在噪声比例较大（0.5～0.9）时，处理后的图像PSNR和SSIM均有明显地提升。由于使用了图像金字塔，在多次下采样后图像丢失部分细节结构，在噪声比例较小（0.1～0.3）时，处理后图像的PSNR和SSIM结果比处理前结果更低或相近。而冷冻电镜图像的特点就是信噪比极低，低噪声比例的情况并不影响本文方法对冷冻电镜原始图像的处理。

3.3 原始冷冻电镜图像增强对比

为了验证本文方法在原始冷冻电镜图像上的效果，实验在4种原始冷冻电镜图像数据集各取1张图像为样本。由于冷冻电镜图像尺寸过大，所以此处截取图中部分区域用于展示。原始冷冻电镜图像区域如图8（a）中①所示，从左到右各列依次为EMPIAR-10028、EMPIAR-10017、EMPIAR-10033、EMPIAR-10089图像的部分区域。

使用本文方法处理后图像为图8（a）中④。图8（a）中②为AutoCryoPicker中对冷冻电镜图像增强方法的处理结果，③为SuperCryoEMPicker中增强方法的处理结果，其中③是②的一种改进，在图像增强处理后加入简单线性迭代聚类（Simple Linear Iterative Clustering，SLIC），两者预处理冷冻电镜图像所取得的效果目前最好。

图8（b）为图8（a）各对应图二值化后的结果，其中①和④使用的Otsu方法。由于对比增强处理结果的图像同样使用Otsu方法，二值化的结果非常糟糕，效果远低于本文方法，故增强处理方法二值化结果对比使用文献对应的分割方法。从图8中可以看出，本文方法的增强效果更加明显，二值图像也更加完整。

3.4 模拟冷冻电镜图像增强对比

从模拟的冷冻电镜图像中主观地选取与原始图像噪声水平相近的图像作为样本，使用不同的图像增强方法，计算增强后相应图像的PSNR和SSIM。选取EMD-2660、EMD-2824、EMD-3137、EMD-3645的4种模拟电镜图像噪声比例依次为0.6、0.6、0.7、0.8。截取的模拟图像如图9（a）①所示，从左到右顺序与图8一致，②、③、④分别为AutoCryoPicker法、SuperCryoEMPicker法和本文方法的增强结果对比。图9（b）为（a）中对应位置图像二值化结果。通过观察图8与图9，可以发现本文增强方法与对比方法在处理真实图像与模拟图像时结果类似，本文增强方法效果更为明显，用于颗粒挑选的二值图也更为完整地保留了颗粒图像。

3.5 图像增强结果对比

3.5.1 PSNR与SSIM结果对比

在模拟图像上使用对比方法与本文方法，对增强图像计算PSNR和SSIM结果如表1所示。由于图像亮度的影响，带噪图像的PSNR值比增强图像的更高，不能准确评价准确结果，此处仅对比3种准确图像的PSNR结果也仅做参考。

表1 带噪图像与增强图像PSNR与SSIM结果对比

根据表中PSNR和SSIM对比中，本文方法在EMD-2660、EMD-2824、EMD-3645的模拟图像中取得最高值，在EMD-3137模拟图像中SSIM的结果0.540 3虽不是最高，但与最高值0.546 4差距很小。从对4种图像处理的平均结果来看，本文方法处理后的图像的平均PSNR为12.514 0，平均SSIM为0.605 5，结果在整体上优于对比方法。

由于处理后图像与原图整体亮度相差较大，直接计算处理后图像的PSNR和SSIM并不能完全说明图像增强的效果。对原图和增强图像进行二值化的结果计算PSNR和SSIM，数据如表2所示。

从表2中PSNR的对比可知，本文方法在4种图像处理上均取得最佳结果。在SSIM的对比中，除了在EMD-3137模拟图像中本文方法结果0.852 3略低于SuperCryoEMPicke的0.858 4，在其余3种模拟图像中，本文方法均取得最好结果。在4种图像的平均PSNR和SSIM中，本文方法结果分别为13.168 7和0.857 6，均优于对比方法。

表2 带噪图像与不同增强图像经过二值化后PSNR与SSIM结果对比

3.5.2 颗粒数目对比

对图8中4种原始图像（局部）结果可获得的颗粒数量对比可知，4种原始电镜图像中存在的颗粒数量依次为7、38、18、7，文献［3］中的增强方法结果可辨识颗粒数7、38、18、7，文献［4］中的增强方法结果可获得颗粒数目为6、6、13、1，本文方法结果可辨识颗粒数7、38、18、7。

对图9模拟图像（局部）结果分析，4种模拟电镜图像中存在的颗粒数量依次为8、24、5、11，文献［3］中的增强结果可辨识颗粒数8、24、5、10，文献［4］中的增强方法结果可获得颗粒数目为8、12、5、5，本文方法结果的颗粒数8、24、5、11。

从颗粒数目对比可知，对于大尺寸颗粒图像，3种方法都可以很好地得到保留所有颗粒，对小尺寸颗粒，文献［3］中方法与本文方法可以保留所有颗粒，但文献［3］的增强结果中仍然存在大量噪声，后续需要更为复杂的分割清理方法才能得到较好的结果。文献［4］中方法加入SLIC是为了便于后续分割，但结果并不理想，可能需要较复杂的参数优化才能取得较好的结果。

通过本文方法模拟不同噪声比冷冻电镜图像的处理结果对比，以及与最新相关文献中图像增强方法对原始冷冻电镜图像与模拟电镜图像的对比，本文方法对冷冻电镜图像的增强效果非常显著，在去除图像噪声的同时，突出了图像颗粒的主要形状特征，使图像中颗粒与背景更加容易区分，有助于后续对冷冻电镜图像分割获得颗粒图像。

4 结 语

本文提出的基于图像金字塔与NLM去噪的冷冻电镜图像增强方法，通过图像金字塔中的多尺度多分辨率图像信息与NLM方法高效的去噪效果，实现了冷冻电镜图像进行增强处理。并由冷冻电镜图像增强实验表明：本文使用的图像增强方法较其他方法能够获得更显著的增强效果，更够有效地增强颗粒特征，使颗粒与背景之间的区分度更高。在后续的研究中，可根据图像中颗粒的尺寸对算法参数和流程做进一步优化，以获更好的增强效果。