基于多感受野特征融合与增强的遥感图像去噪算法

管雪元，胡威，付珩

（南京理工大学瞬态物理国家重点实验室，南京 210094）

0 引言

光学遥感技术广泛应用于资源勘探、生态保护、灾害预测和国防军事等领域［1］。但遥感成像设备在光学信息采集、压缩及传输过程中容易受到随机噪声的影响，导致图像质量下降［2］。噪声的存在除了影响遥感图像的视觉效果，还影响图像的处理、分析、传输和存储。因此，图像去噪成为遥感图像处理的重要步骤。

应用于遥感图像去噪的方法主要有基于小波变换的去噪方法［3］、基于字典学习的去噪方法［4］和基于非局部自似性的去噪方法［5］。文献［6］使用了一种基于小波变换的方法完成了遥感图像去噪，该方法可以同时表示频域和空间域的图像信息，但对实际应用中的真实噪声，结果不够理想。基于字典学习的去噪算法依赖于稀疏表示理论［7］的发展，文献［8］使用K-SVD算法［9］完成了对遥感图像的去噪和重建。其原理是用K-SVD字典算法训练，得到自适应冗余字典，完成稀疏表示，从而达到图像去噪的目的，但这种方法忽略了图像的整体结构，导致大量图像细节丢失。非局部自似性方法进一步提升了遥感图像的去噪效果，其中主要包括自适应非局部阈值法（Non-Local Means，NLM）［10］和三维块匹配算法（Block Matching 3D，BM3D）［11］，但两种方法需 要搜索相似的图像结构块，算法复杂，运算时间长。文献［12］提出了一种图像稀疏性与非局部自似性相结合的遥感图像去噪算法，取得了不错的去噪效果，但对不同强度的噪声，算法稳定性不好。

随着深度学习在图像处理领域的快速发展，卷积神经网络（Convolutional Neural Networks，CNN）被应用于图像去噪中。文献［13］提出的DnCNN网络是最早应用于图像去噪中的深度学习算法，相比传统算法，泛化性有很大提升。文献［14］在DnCNN的基础上提出了BRDNet网络，通过引入空洞卷积和双分支结构，使得去噪效果进一步提升。为了更好地去除图像中的真实噪声，文献［15］提出了一种基于特征注意的真实图像去噪网络RIDNet，通过串联多个图像增强模块，能够提取图像的深层特征，有效地完成了真实噪声去噪。但网络中浅层特征与深层特征直接融合，导致图像信息未被充分利用，像素不够高连续，去噪后的图像模糊，对于噪声强度较高的图像处理结果不好。针对遥感图像中的随机噪声，文献［16］提出了一种基于残差编解码和边缘增强的REDJ网络结构，编码模块采用下采样操作，解码模块为上采样操作，提取不同层次的图像特征完成了对高分二号卫星拍摄图像的去噪，但由于其较多的下采样过程，不可避免地会丢失重要特征信息。并且REDJ网络深度不够，对于纹理特征复杂的遥感图像不能够提取深层的图像特征，因此REDJ在不同数据集上的去噪表现结果有明显差异。

针对以上方法的不足，结合遥感图像特点，本文提出了一种基于多感受野特征融合与增强的遥感图像去噪算法MRFENet，能够提取不同感受野下的浅层特征和深层特征，并逐级进行特征融合，以减少信息丢失。通过配置网络的深度与通道数，使得网络在不增加冗余计算的前提下，达到最佳性能。并且引入通道注意力模块（Channel Attention Module，CAM）［17］，实现重要特征增强。为了使去噪后图像更加符合视觉感受，选择MS-SSIM联合损失函数进行训练。在不同数据集进行测试，以验证MRFENet算法的泛化性。

1 方法与理论

1.1 噪声模型

遥感图像噪声可以分为周期性噪声和随机噪声［18］。周期性噪声通过建模可以有效消除［19］。但成像过程中的随机噪声往往由暗电流噪声、电磁波噪声、光电子噪声组成［20］。根据噪声和图像的相关性，随机噪声可以建模为加性高斯噪声［21］，表示为

式中，P表示噪声图像，p表示原始图像，N表示高斯噪声，方差为σ2。

1.2 MRFENet网络结构

提出的MRFENet网络结构如图1所示。该网络主要包含三部分：全局特征提取模块（Global Feature Extraction module，GFE）、多尺度增强残差块（Multi-Scale Enhanced residual Blocks，MSEB）、重构模块（Reconstruction Module，RM）。输入为噪声遥感图像，图像的长为H，宽为W，输出为去噪后的图像。

图1 MRFENet结构Fig.1 MRFENet structure diagram

1.3 全局特征提取模块

输入图像首先进入全局特征提取模块，其结构如图2所示。该模块共包含4条分支，每个分支都由不同空洞率的卷积构成，提出算法分别用空洞率为1、3、5、7的空洞卷积，最后对4条支路进行特征融合，得到中间特征F1，具体过程表示为

图2 全局特征提取模块结构Fig.2 Structure diagram of global feature extraction module

式中，DC为空洞卷积，k为卷积核大小，w为空洞率，c为输出特征图的个数，BN为归一化层，ReLU为非线性层，concate为特征融合层。

与普通卷积运算相比，空洞卷积能够在参数量不变的情况下获取更大的感受野，提取到图像的全局信息。对带有噪声的图像进行全局特征提取后，可以得到不同尺度的浅层信息，所得特征包含了图像的位置信息与局部轮廓信息，使得去噪后的图像不会出现过于平滑的现象，轮廓细节能够较大程度地保留，且在训练过程中，模型可以快速收敛，提升训练效率。

1.4 多尺度增强块

1）多尺度增强块（MSEB）由两部分组成。第一部分是多尺度特征提取层，第二部分为通道注意力模块，两部分构成残差结构。多尺度特征提取层与全局特征提取模块类似，也在4个分支上使用不同空洞率的卷积核，目的是提取由浅至深不同层次的多尺度特征信息，最大程度保留图像信息不丢失。不同之处在于选择了空洞率较小的卷积核，由于浅层特征包含更多的位置与轮廓信息，而深层特征更加专注于图像的纹理特征，选择较小的空洞率既能保证深度特征的提取，又能减少冗余计算，优化算法的训练过程。将多个不同尺度信息进行融合，最后通过一个3×3的卷积模块调整特征图尺寸，具体过程表示为

式中，Dm为不同支路所提取特征，Bi为第i个MSEB的输出结果，Dmid为多尺度特征提取层所得结果。

2）将多尺度特征提取层的所得结果传入通道注意力模块，其作用在于能够对重要通道分配较高权重，完成重要特征增强。具体过程为先利用全局平均池化提取特征图的全局信息，然后经过两个1×1的卷积层学习到权重系数并调整通道数，用ReLU激活函数确保权重为正，再经过Sigmoid函数将输出权重分布于在0到1之间，将输入特征与所得权重相乘得到特征增强后的输出特征图，最后将Dmid与增强后特征相加构成残差结构，目的是防止MSEB增多导致网络太深而出现梯度爆炸。MSEB可表示为

式中，Bn为当前多尺度残差块的输出结果，Bn-1为前一个多尺度残差块的输出结果，Conv表示卷积层，fCA为通道注意力模块。

3）多个串联的MSEB构成了网络的主干，该部分完成了对图像浅层特征到深度特征的多尺度提取。用逐级特征融合的方式对浅层特征与深层特征进行融合。该方法充分利用了图像不同层次的特征，使输出特征包含丰富的信息，还能够保证像素更加连续，降低了深层特征与浅层特征直接融合所造成的波动。具体过程是将深层特征与上一级特征进行融合，再通过一个1×1卷积模块调整通道数后，作为浅层特征与下一级深层特征重复上述步骤。具体过程可表示为

式中，F2为主干部分的输出。

2 实验

2.1 数据集制作

用西北工业大学公开发布的NWPU-RESISC45遥感图像数据集［22］进行训练和测试，数据集的示例图如图3所示。该数据集共包含31500张遥感图像，涵盖45个场景类别，每种类别中有700张图像，每张图的大小为256×256。

图3 NWPU-RESISC45数据集示例Fig.3 Examples of NWPU-RESISC45 dataset

将数据集转换为单通道的灰度图像，在每类场景中随机选择600张用于训练，100张用于测试。最终训练集共有27000张图，测试集共有4500张。为满足训练需要，验证本文算法的稳定性，需要更丰富的数据集进行测试，将数据集分别添加σ=15、σ=20、σ=35、σ=50四种不同方差的高斯噪声，构成被不同等级高斯噪声叠加后的数据集。构建后的数据集示例如图4所示。

图4 不同噪声强度数据集Fig.4 Example of different noise intensity datasets

加入公开数据集RSSCN7［23］用于测试网络对于不同尺寸图像的去噪性能，该数据集共包含7个典型场景，2800张图像，大小为400×400。从中随机抽取100张图，并叠加与NWPU-RESISC45数据集同样强度的高斯噪声，用于测试本文算法对不同尺寸遥感图像的去噪效果。为了更好地测试本文算法对不同噪声强度图像的去噪性能，从制作好的NWPU-RESISC45噪声数据集中随机选取400张不同强度噪声图，从RSSCN7噪声数据集中随机选取80张不同噪声强度图，用于测试算法稳定性。为测试网络对真实噪声的去噪性能，用一幅真实遥感图像Washington DC mall［24］来测试网络，图像大小为1208×307。后续实验中将波段60、27、17合成为伪彩色图片，经过灰度化处理后，从中随机裁剪一张256×256的小图，作为真实噪声图像数据。处理后的RSSCN7数据集示例与真实噪声数据集如图5所示。

图5 RSSCN7数据集示例与真实噪声数据集Fig.5 Example of RSSCN7 datasets and real noise datasets

2.2 实验环境

实验所用的操作系统为Ubuntu，CPU为AMD Ryzen 75800H，内存32 GB，GPU为英伟达GeForce RTX 3060，用来对网络结构和训练过程加速。编程平台为Python3.9，网络结构搭建和测试使用Pytorch 1.11.2。batch size设置为16，epoch设置为80，初始学习率设置为0.001。已有文献说明［25］仅使用均方误差（Mean-Square Error，MSE）作为损失函数会导致图像的视觉效果不好，因此选择多尺度结构相似性损失函数（Multi-Scale Structural Similarity，MS-SSIM）作为损失函数，计算预测图与相应真实图的区别，损失函数可表示为

式中，M表示不同的尺度，μp和μg分别为预测图像和真实图像的均值，σp和σg分别为预测值和真实图像的标准差，σpg为预测图像和真实图像的协方差，βm和γm表示两项之间的相对重要性，c1和c2为常数，防止除数为0。实验采用Adam算法对网络进行优化。

2.3 实验步骤

本文算法中MSEB个数B和输出特征通道数c需要手动设置，随着参数的增大，模型性能会提高。这是由于参数的增加使得网络的深度提高，利用网络能够提取复杂的深层图像特征，但参数过大会使正确率开始饱和甚至下降，并不能提升网络性能。因此，通过比较不同参数下网络的性能，选择最优参数作为后续对比实验的网络架构。使用高斯噪声σ=15的NWPU-RESISC45数据集进行测试后，将不同参数下的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）均值作为本文算法的性能表现，其结果如图6所示。

图6 不同参数下的性能曲线Fig.6 Performance curves under different parameters

由结果可知，随着网络深度的加深，PSNR值不断增加，但当多尺度增强残差块个数B＞8时，网络的正确率逐级饱和，而此时随着通道数的加深，网络并没有明显的性能提升。考虑到GPU算力与算法精确度，在对比实验中，算法的多尺度增强残差块个数设置为8，输出特征通道数设置为64。

2.4 评价指标

为了更加客观地验证本文算法，使用峰值信噪比（PSNR）和结构相似性（SSIM）两个定量指标去评价去噪结果。两种指标分别表示为

式中，MSE为均方误差，MAX为图像中最大像素值，μx和μy分别为两张图像的均值，σx和σy为两张图像的标准差，σxy为两张图像的标准差。

考虑实际应用中，无法得到真实图像与之对应的无噪声标签，因此全参考方法并不适用，所以需要使用无参考图像质量方法对去噪后图像进行评估。选择自然图像质量评估器（Natural Image Quality Evaluator，NIQE），盲参考图像空间质量评估器（Blind/Referenceless Image Spatial QUality Evaluator，BRISQUE）以及基于感知的图像质量评估器（Perception based Image Quality Evaluator，PIQE）作为无参考图像质量评估指标。这三种指标相对全参考图像质量评价算法，不需要任何参考图像的信息，通过图像的自身特征对图像质量进行打分。无参考评价指标在一定程度上说明了图像质量。

3 结果与分析

3.1 训练过程

提出的算法在四种不同噪声训练集上的损失曲线如图7所示。可以看出，经过80轮的训练后，网络逐级收敛，随着迭代次数的增加，参数达到最优，噪声强度越高，收敛速度越慢。

图7损失曲线Fig.7 Loss curve chart

3.2 不同方法的去噪结果

图8 ～11分别为用不同方法对σ为15、20、35、50的噪声数据集的去噪结果示例。观察图8，不难发现，NLM与BM3D的去噪结果非常糟糕，去噪后的图像过于模糊，图像信息丢失严重。深度学习方法相比传统算法能够更好地完成去噪任务，但DnCNN与RIDNet算法并不能有效识别到地面的道路，图像信息部分丢失，而REDJ算法虽然能够识别到图中的道路，但结果的边缘并不清晰。本文算法则能够很好地提取道路图像，并保留大部分的图像细节信息。

图8 不同算法去噪结果示例（σ=15）Fig.8 Example of denoising results of different algorithms（σ=15）

图9 不同算法去噪结果示例（σ=20）Fig.9 Example of denoising results of different algorithms（σ=20）

图10 不同算法去噪结果示例（σ=35）Fig.10 Example of denoising results of different algorithms（σ=35）

图11 不同算法去噪结果示例（σ=50）Fig.11 Example of denoising results of different algorithms（σ=50）

对比四组结果可以看出，随着噪声强度增大，传统算法已经失效，图像存在大量的噪点和模糊的情况，无法从中提取有效信息，而DnCNN、RIDNet以及REDJ虽然可以去除大部分噪声，但灰度等级复杂的区域，噪声滤除不干净，边缘细节不够清晰，重建结果中存在较多的纹理失真。本文提出算法在各个数据集上都有更好的去噪表现，不仅能够有效完成去噪任务，而且重建后的图像纹理细节清晰，更加符合视觉效果。

图12为同一张图片叠加不同强度噪声后，在不同方法下的去噪结果。观察结果可以发现，NLM和BM3D对于噪声强度较低的图片可以完成去噪，但结果过于模糊，而对于噪声强度较高的图像则无法完成去噪。深度学习算法对于低强度噪声能够有效地完成去噪，但随着噪声强度的增强，去噪结果会受到影响。DnCNN算法在强度较高的数据集测试中出现了模糊现象。RIDNet与REDJ在去噪表现上好于DnCNN，没有出现模糊的现象，但对于噪声强度高的图像去噪能力有限，结果中仍然存在噪声，并且重构后的图像纹理细节不够清晰。本文算法随着噪声强度的提升，结果也有影响，但对比其他算法，去噪结果中仅存在少量噪声，图像的纹理细节也最为清晰，视觉效果最好。

图12 不同噪声强度下各方法去噪结果Fig.12 Denoising results of various methods under different noise intensity

不同方法在NWPU-RESISC45数据集和RSSCN7数据集上的定量指标均值结果如表1所示。可以看出，随着噪声强度增大，传统算法去噪性能明显下降。深度学习算法的去噪性能普遍更好。本文算法相比其他深度算法在不同强度噪声的数据集中的峰值信噪比与结构相似性均为最高，从混合噪声数据集的去噪结果来看，本文算法能够适应不同强度的噪声变化，验证了其去噪性能和泛化性。

表1 不同噪声强度在各方法下的定量结果Table 1 Quantitative results of different noise intensities under each method

3.3 真实图像去噪结果

在Washington DC mall的伪彩色图像中随机裁剪出一张256×256的图像后，进行灰度化处理，所得结果为包含真实噪声的遥感图像，使用不同算法进行去噪处理，所得结果如图13所示。可以看出，NLM和BM3D能够有效完成去噪任务，但重建后的图像边缘过于模糊，地面的建筑物细节丢失严重，而DnCNN算法虽然保留了图像边缘细节，但仍然存在大量噪声。RIDNet算法与REDJ算法的效果较好，但也存在少量噪声，图像中也出现了模糊情况。本文算法能够有效去除噪声，并且保留图像细节，重建后的图像有较好的视觉效果。

图13 真实噪声去噪结果示例Fig.13 Example of real noise denoising result

使用无参考图像质量评价指标对各算法的去噪结果进行评估后所得均值结果如表2所示。无参考图像质量评价的结果，部分取决于主观视觉感受和训练样本，所以不如全参考图像质量评价精确，但通过结果对比，本文提出算法仍然有不错的表现。

表2 真实噪声图像在各方法下的定量结果Table 2 Quantitative results of real noise images under each method

3.4 消融实验

为验证不同模块对MRFENet算法的重要性，设计了六个消融实验与本文算法进行对比，实验采用σ为20的RSSCN7数据集，定量指标为PSNR均值和SSIM均值，所得结果如表3所示。可以看出，当具备所有模块时，网络的性能最优，缺失任意模块都会对算法的定量指标产生影响。而通道注意力模块影响最大，若网络不包含通道注意力模块，PSNR均值下降0.471，SSIM均值下降0.0189。

表3 消融实验定量结果Table 3 Quantitative results of ablation experiments

4 结论

遥感图像包含丰富的特征信息，而传统去噪方法在对遥感图像的处理中容易造成边缘细节丢失与图像过度模糊的问题。本文提出了一种基于多感受野融合与增强的遥感图像去噪算法MRFENet。该算法使用全局特征提取模块，得到不同尺度的浅层信息，使得网络能够提取图像的位置与边缘信息，加快网络收敛速度。算法的主干部分由多个逐级融合的多尺度特征增强块构成，该部分能够有效提取不同尺度的深层信息，并与浅层信息进行融合，减少图像的信息丢失。在每个模块中引入通道注意力机制，进一步增强重要特征。与传统算法和其他深度学习去噪算法对比结果表明，本文算法能够在不同等级噪声的遥感图像数据集和真实噪声遥感图像中有较好的去噪表现，并能够保留图像的边缘细节。通过不同图像质量评价指标的定量分析，进一步验证了本文算法相比其他算法在遥感图像去噪方面具备更好的泛化性和有效性。