跨尺度注意力融合的单幅图像去雨

叶宇超，陈 莹

江南大学，轻工过程先进控制教育部重点实验室，江苏 无锡 214222

1 引言

降雨天气获取到的图片存在着细节丢失、纹理模糊、对比度下降等问题，不利于图像特征提取和辨识，影响了后续户外计算机视觉系统的可靠性和准确性。因此，图像去雨算法具有重要的研究意义和广泛的应用前景。现有的图像去雨算法主要分为基于视频的去雨算法和单幅图像去雨算法。单幅图像去雨算法由于缺少时序信息，相比基于视频的算法去雨难度更大。

一些早期的工作大多是基于图像先验的方法实现单幅图像去雨。Kang[1]等人通过字典学习和稀疏编码的方法将高频部分中雨纹和非雨成分分离进行去雨。Kim 等人[2]使用自适应的非均值滤波器来获取无雨图像。Li[3]等人运用高斯混合模型构建先验信息，将背景层和雨纹层通过预先设定的约束进行分离。以上的传统方法受到雨纹复杂性和背景图层多样性的影响，无法彻底去除雨纹并且生成的图片质量较差。

近年来，随着深度学习在计算机视觉领域的发展和应用，基于卷积神经网络的单幅图像去雨算法取得了较大的进展。Eigen 等人[4]的工作首次将卷积神经网络运用到单幅图像去雨中去。Fu 等人[5]提出了一种深度细节网络，图片的高频细节被引导滤波分离，然后利用深度残差网络将其映射到雨纹层，在高层的细节中去除雨纹。Zhang 等人[6]通过设计雨量密度信息获取网络，将雨量密度标签作为指导更加有效地去除图像雨纹。Ren 等人[7]基于残差网络设计了由简单的网络结构组成的渐进循环网络。Qian 等人[8]设计了生成对抗网络，并且在生成器中结合注意力机制，将注意力图和输入图像一起应用生成无雨图像。Wei 等人[9]将CycleGAN 的循环一致性运用到图像去雨领域，通过互补的转换过程增强了模型的一致性和稳定性，并首次实现了无监督去雨任务。Huang 等人[10]提出了一种有效的半监督图像去雨方法，将有监督与无监督数据进行记忆存储，并将其用于迁移学习的过程中，取得了较好的去雨性能。

以上这些方法都将去雨任务放在单尺度的网络中实现。然而，有雨图像的雨纹复杂性和背景多样性导致单尺度网络很难兼顾清雨的彻底性和图片的高质量，因此很多研究者设计了多尺度的网络结构用于图像去雨。Yang 等人[11]运用空洞卷积获取不同尺度的感受野，构造了多通道单幅图像去雨网络，通过闭环反馈的方式多阶段去除雨纹。但该方法使用了固定的权重和简单的融合策略，未考虑不同尺度特征下在不同场景的重要性和贡献度，影响了去雨效果的平衡性和稳定性。Fu 等人[12]利用轻量级拉普拉斯金字塔网络获取不同尺度中的特征信息，构建递归的残差网络快速去除雨纹。该模型虽然在参数量和计算复杂度上具有优势，但是去雨性能一般，无法彻底地去除图像中的雨线。Jiang 等人[13]提出一种多尺度渐进融合网络，通过高斯核进行下采样构建高斯金字塔结构，然后进行特征提取和融合，实现去雨任务。然而该方法并未充分考虑不同尺度之间的信息关联性，导致了特征的重复和冗余，影响了去雨效果的提升。Wang 等人[14]通过将U-Net 中的卷积层用Transformer 代替，提出了Uformer 结构，提升了模型捕获全局依赖关系的能力，首次将Transformer 引入图像去雨领域，展现了其在该任务上的潜力。但由于Transformer 通常基于查询-密匙(query-key)获取标记信息(tokens)来对注意力关系来聚合特征，标记信息不匹配将会干扰后续的图像恢复清晰度[15]。尽管多数多尺度去雨算法都取得了优秀的去雨效果，但是仍存在许多问题：1)直接进行跨尺度之间的信息融合，忽略不同尺度信息之间的联系，会导致背景细节丢失；2)低尺度信息在上采样过程易导致混叠效应[16]，图像会发生失真；3)每个尺度特征的重要性不尽相同，如何将其进行融合，保证信息的利用率的同时防止多余信息冗余，也是研究者们需要关注的问题。

综上，本文提出了一种基于跨尺度注意力融合的单幅图像去雨算法 (multi-scale attention fusion network，MSAFNet)，针对图像中在空中的动态雨线以及附着在物体表面上的雨滴及雨纹有着显著的去除效果。为了获取不同尺度信息，整个去雨网络由多个子网构成。子去雨网络由跨尺度特征提取模块通过稠密连接方式构成，将提取到的浅层特征传递至深层，实现特征的高效利用，防止浅层特征在网络加深的过程中被遗忘。跨尺度特征提取模块利用跨尺度融合注意力，加强了相邻尺度信息之间的联系，并对不同尺度的特征进行权重融合。

2 本文方法

本节主要介绍去雨网络及特征提取子网的结构。跨尺度融合注意力作为不同尺度之间的信息联结模块，其工作原理和结构也会被着重介绍。

2.1 网络结构

本文提出的基于跨尺度注意力融合的单幅图像去雨算法采用并行式的特征提取、融合结构，能够最大程度提取不同尺度上的雨纹信息，保留图片细节的同时对不同程度的雨纹进行去除。该网络基于跨尺度特征提取模块，可以有效地提取三个尺度上的特征信息。针对已有的多尺度去雨网络的不足，进行了如下设计：为了解决忽略尺度相关性而导致的图像退化问题，该模块中用于提取不同分辨率信息的卷积以跨尺度方式连接，增强了在不同分辨率下信息的关联。跨尺度连接中添加的注意力模块用于增强相邻尺度之间的特征传播，通过权重融合的方式实现了跨不同分辨率级别的信息互补，减少冗余信息对去雨结果的影响。为了解决上采样操作所产生的图像退化问题，跨尺度融合注意力以高分辨率信息为主导生成融合特征，防止混叠效应的产生影响图片质量。

所提出的整体网络结构图如图1 所示。以池化层将输入图片进行下采样能够迅速扩大感受野，相较于其他下采样方式网络参数更少。不同分辨率的池化特征送入并行式特征提取子网络，该子网获取不同分辨率下的雨纹以及背景信息。每个相邻子网输出的特征将进入跨尺度融合注意力模块，低分辨率的特征将对高分辨率特征进行细节补偿，将权重系数赋予高分辨率特征，避免了特征之间直接跨尺度融合导致的混叠效应。同时，跨尺度融合注意力模块降低了冗余信息对去雨效果的影响，提高了网络信息流通效率。相邻子网之间的输出将由跨尺度融合注意力模块(multiscale fusion attention，MFA)进行细节补偿，由于跨尺度融合注意力模块输出的信息尺度不一，需要通过上采样将特征统一至统一分辨率，上采样操作采用最近邻插值模式，相比其他上采样模式速度更快，在输入图像中找到最近的像素值并将其作为输出的像素值。跨尺度融合注意力输出的多通道特征将通过矩阵拼接、融合的方式供后续经过卷积层降维成三通道的特征图，获取最终的雨纹图像D，如式(1)所示：

图1 网络结构Fig.1 Network structure

其中：C表示将不同尺度的特征图在通道维度上拼接，F表示将拼接后的特征基于通道维度融合并降维，U2代表系数为2 的上采样，代表在尺度大小上MFA 的输出。

最后的清晰无雨图O由输入的带雨图像X与特征图D通过元素相减的方式获取。操作减去相同分辨率上两个图像对应像素之间的值，O图中原本雨线位置依然存在图像像素值，避免了图像引入额外空洞。

2.2 跨尺度融合注意力(MFA)

通过池化操作扩大感受野可以显著减轻网络负担，降低输入图片的特征尺寸，但是会导致图片信息丢失，提取的特征表征能力变差[17]。为了提升模型对图像信息的理解和利用率以及所提取特征的质量，许多图像处理任务引入了注意力机制[18-19]。在本文所提出的去雨网络中，由相邻的特征提取子网(subnet)输出的特征将通过跨尺度融合注意力模块相连。具有更丰富信息的特征将会被给予更大的权重系数α，可以有效地对不同尺度下的去雨结果进行信息补偿。MFA 的结构如图2 所示。g由 1/(2×k)尺度特征提取子网络输出的特征经过上采样所得到，x代表在 1/k尺度上特征提取子网络输出的特征，k为子网尺度缩放系数，K为网络中子网的数量，k=1,2,4,...,2K-1，以本文的去雨网络为例，三个子网提取的分别为1，1/2 和 1/4尺度上的信息。g与x通过元素相加再线性激活的方式，可以强化特征图对雨纹的检索能力，去除低分辨率通道中的冗余信息，如公式(3)所示：

图2 MFA 结构Fig.2 Structure of MFA

其中：σ1是ReLU 函数，W代表卷积和归一化操作，其卷积核大小由输入MFA 的特征维度决定。bθ为对应卷积Wθ的偏置项，以增强其特征表达能力。Wg和Wx的作用是将输入的特征图g,x进行卷积操作并通过批归一化层进行归一化处理，以增加模型的稳定性和收敛速度。由于经过归一化处理后的特征不需要额外的偏置项，且为保证模型轻量化，Wg和Wx在此处不引用偏置项。Wθ层主要将相加后的特征进行通道降维，将通道数减少为1 之后获取与输入特征图相同尺寸的权重矩阵，并经过Sigmoid 函数将权重值的范围限制在0 到1 之间，这样可以得到一个像素级别的权重矩阵，用于控制不同位置的特征在加权融合中的贡献程度。

经过注意力模块融合了 1/k与 1/(2×k)尺度信息的特征用表示，通过Sigmoid 激活获取权重系数通过与相乘可以得到来自低分辨率特征的信息补偿，优化高分辨率通道上的特征，用公式表示如下：

式中：σ2为 Sigmoid 函数，x为 1/k尺度上特征提取子网络的输出，代表在 1/k尺度上经过了跨尺度融合注意力之后输出的特征，MFA 的伪代码如下。

为了体现多尺度特征融合的必要性，将跨尺度融合注意力中的输入与输出特征进行可视化分析。从图3 中可以看出，输入至MFA 中的高分辨率特征x更关注图片中的雨线部分，注重图片的全局信息；经过上采样后的低分辨率特征g关注图片中物体的轮廓信息，注意图片中的细节表达。不同尺度的信息帮助MFA 强化对图片的上下文理解，更好地构建图像中不同物体与结构之间的关系，提取图片中的语义信息，从而解耦雨纹层与背景层。MFA 中所获取的权重系数作为尺度融合的依据，优化高分辨率特征x进一步提取图片中的雨纹信息，输出最终融合特征。

图3 特征可视化Fig.3 Visualization of features

2.3 特征提取子网络

并行结构子网用于提取不同分辨率下的雨纹信息，子网所提取特征的质量决定了生成图片的去雨效果。本节主要介绍图1 中的特征提取子网络的结构以及其内部组成模块。

2.3.1 网络结构

特征提取子网络以跨尺度特征提取模块(multiscale feature extraction block，MFEB)为核心，以稠密连接方式[20]构成了对称式的编码器-解码器结构，编码器和解码器之间通过跳跃连接完成子网搭建。网络的结构图如图4 所示。

图4 特征提取子网网络结构Fig.4 Feature extraction subnet network structure

稠密连接网络通过将每一层与之前所有层在特征维度上连接，使得特征的复用率最大化，因此不管是在前向传播或者是后向传播，都可以使信息和梯度在整个网络中保持更好的流动性，编码器的数学公式可以表示为

其中：F 和 C的操作含义和上一节中的保持一致，L代表特征提取子网中MFEB 的数量，T代表MFEB中进行的操作，代表在第l层编码器中MFEB 的输出。解码器的结构和编码器完全对称，为的是让它们之间进行一次跳跃连接。编码器和解码器之间采用跳跃连接的方式来融合两个过程中对应的特征图，可以充分利用浅层特征及上下文信息，并对雨纹特征的偏移量进行修正，提升模型的去雨效果。解码器的数学公式可以表示为：

2.3.2 跨尺度特征提取模块(MFEB)

尽管多尺度特征提取的方法被广泛地运用在一系列图像处理问题中[21]，但是大多数方法都忽略了不同尺度特征之间的信息差异，直接进行多尺度的信息融合可能会导致去雨结果存在一系列问题：不同尺度的信息具有不同的重要性和贡献度，忽视差异可能导致部分重要信息被忽略和丢失，影响最终结果的准确性和完整性；不同尺度的信息存在着细节差异或者噪声，直接融合易导致图片质量下降；低分辨率的信息通过上采样与高分辨率信息融合易导致混叠效应的产生，致使图片发生模糊和失真；不平衡的权重分配导致某些尺度的信息被过分强调，而其他尺度的信息却被忽略，最终影响去雨结果。为解决上述问题，本文设计了跨尺度特征提取模块（图5），该模块为上节中特征提取子网的基础组成模块，可更有效地利用深层雨纹特征信息，对特征进行逐尺度的细节补偿，上采样后的特征引导网络获取高分辨率信息，降低混叠效应对图像质量的影响。

图5 跨尺度特征提取模块结构Fig.5 Multi-scale feature extraction block structure

如图5 所示，输入的特征图x分别经过不同尺寸的池化操作，完成了特征在对应尺度上的下采样。

其中：x是输入特征，N表示的是跨尺度特征提取模块中尺度的数量。Pn(·)表示大小为n×n的池化层操作，是指经过了池化层后初始输出的下采样系数为1/n的特征。不同于子网之间将输出端通过MFA相连的方式，不同分辨率通道之间通过MFA 采取递进式连接，加深不同尺度之间关联。

通过从低到高的递进式连接重视了不同尺度特征之间的相互影响，能够引导网络在高分辨率通道提取雨纹特征，对细节信息进行补偿低分辨率的特征会存在噪声，MFA 可以抑制无关区域中的激活，降低噪声对雨纹特征的干扰，减少网络传递过程中信息丢失。低分辨率特征将通过MFA 分配给高分辨率的初始特征权重，和权重系数相乘后的初始特征将会更加具有表征能力，提升特征质量，式(9)所示：

卷积通道中输出的特征将会与初始特征通过残差连接的方式融合在一起，如式(10)所示，Z表示经过跨尺度特征提取模块(MFEB)后最终输出的特征：

2.4 损失函数

混合损失函数常被运用在各类图像去雨任务中，如：MSE+SSIM[22-24]，L1+SSIM[25-26]，L1+L2[27]，然而混合的损失函数提升了网络的参数负担，因此本文采用单一的损失函数训练网络。结构相似度 (structural similarity,SSIM)[28]是用于衡量两张图片相似度的图片衡量指标，两张图片越相似，该值则越接近1。其负值常被作为损失函数被运用在去雨任务中，Ren 等人[7]证明了其有效性。损失函数如式(11)，其中：Xout代表去雨网络最终输出的图像，Xgt代表相对应的真实无雨图像。

3 实验与结果分析

将本文提出的方法MSAFNet 在合成数据集Rain200H[11]，Rain200L[11]，Rain800[29]，DID-MDN[6]以及真实数据集SPA-DATA[25]上进行实验，并与主流方法进行对比验证其有效性。实验对比的去雨方法如基于多尺度特征提取的去雨方法：JORDER[11]，LPNet[12]，MSPFN[13]；递归式去雨网络：BRN[30]，RSGN[31]；多阶段渐进式去雨网络：PReNet[7]，RCDNet[32]，MPRNet[33]；轻量级高效去雨网络EfDeRain[26]。

3.1 实验设置及数据集

本文方法在PyTorch 深度学习框架下使用编程语言Python 实现。实验环境为Ubuntu20.04，CUDA 版本11.4，使用双卡NVIDIA 2080Ti GPU 训练网络。Batchsize 设置为24，训练过程中将输入随机裁剪成64×64 的图像补丁。本文的实验迭代轮数为800，初始学习率为5×10-4，在总迭代次数的3/5 和4/5 时学习率乘以1/10 进行衰减。

本文采用结构相似性(structural similarity,SSIM)和峰值信噪比(peak signal-to-noise ratio,PSNR)作为客观评价指标。PSNR 和SSIM 分别用于计算两张图片之间的像素级误差和内容、纹理相似度，值越大代表两张图片之间越相似，客观去雨效果越好。

现实世界中较难获取干净无雨图像和有雨图像的成对样本对，本文采用Rain200L，Rain200H，Rain800，DID-MDN 四个合成数据集进行训练，测试网络对不同类型及大小雨纹的去除效果。前两个数据集都包含了1800 张训练图像和200 张测试图像。Rain800 包含了700 张训练图像和100 张测试图像。DID-MDN 包含了12000 张训练图像及1200 张测试图像。其中Rain200H 数据集最具挑战，施加的雨水强度最大，且包含了五种不同的方向。图片的纹理背景复杂，难以与雨线彻底分离。图片包含的语义信息多样化，还原成清晰的原始图像较难。具体图例如图6 所示，真实世界数据集SPA-DATA 进行的实验用于验证本文方法对真实雨图去雨效果的鲁棒性。

图6 Rain200H 典型图例Fig.6 Rain200H typical picture examples

3.2 合成数据集实验结果分析

为验证MSAFNet 的去雨效果，本文在Rain200L，Rain200H 和Rain800 三个数据集上对MSAFNet 及其它去雨算法进行实验，实验均在同一环境下进行以确保公平性，采用PSNR 和SSIM 两个客观评价指标评估去雨图像的质量。与其他方法对比的实验结果如表1 所示。最好结果用粗体表示，次优结果用下划线表示。从表1 中可以看出，得益于多尺度特征信息的利用和注意力融合模块，MSAFNet 在不同数据集上的所获取的评价指标基本优于其他方法。其中MSAFNet 在Rain200L 数据集上的优势更明显，与2020 年的BRN 以及2021 年的MPRNet 对比，PSNR分别提升了1.52 dB 和1.88 dB，与同样采样多尺度特征提取方法的去雨网络MSPFN 进行横向对比，平均每个数据集的PSNR 提升了4.1%，SSIM 提升了2.6%。从参数量对比中也可以发现，MSAFNet 以不显著增加模型参数量为前提，极大地提升了模型的性能。

表1 在合成数据集上与其他方法的对比Table 1 Comparison with other methods on synthetic datasets

为验证MSAFNet 的去雨效果与对图像细节的补充，与其他方法结果通过细节放大方式可视化对比。如图7 所示，其中图7(d)至图7(f)展示不同多尺度去雨网络的结果。MSAFNet 在细节复原和清晰度优于其它多尺度去雨网络，其中JORDER 清晰度不够，与原图存在色差；LPNet 作为轻量级网络存在明显的颜色晕染；MSPFN 号码牌数字较为模糊。图7(g)至图7(i)展示不同多阶段渐进式去雨网络的结果，图中可以看出RCDNet 和MPRNet 在评价指标中取得了不错的成绩，但是图片细节的复原程度不如MSAFNet。图7(j)和图7(k)展示了不同递归式去雨网络的结果。BRN 的色彩复原程度较差，对比度偏高；RSGN 存在着晕染问题。图7(l)展示的是轻量级的去雨网络EfDeRain，其模型注重处理图片的效率，但图片质量与评价指标偏低。由图7 可见，与不同类别的去雨网络进行分类对比，MSAFNet生成的图片中保留了很多真实图像的细节。图片的纹理以及色彩相较于其它工作更加真实自然，观感和真实图像接近。

图7 不同算法在数据集Rain200H 上的结果Fig.7 Results of different algorithms on Rain200H dataset

带雨图像形式往往比较复杂，为了验证模型可以同时处理不同大小与方向上的雨滴，将其在人工合成数据集DID-MDN 上进行实验。DID-MDN 数据集可根据图片中的雨线密集程度将其分成大雨、中雨、小雨三组，每一组图片中存在着多种方向的雨线。

从图8 中可以看出，同组图像获得的去雨结果虽然在细节上有着细微的差异：如图8(h)衬衫条纹被抹去，图8(j)中男子头发上残存白色雨线，但模型最大程度上复原了图片信息与细节，可见MSAFNet 对于处理不同密度，不同方向的雨线有着较强的稳定性和可靠性。

图8 MSAFNet 在DID-MDN 数据集上的不同结果Fig.8 Different results of MSAFNet on DID-MDN dataset

图9 显示了MSAFNet 与另外六个先进的去雨模型在数据集Rain200L 和Rain200H 上处理有雨图像时所花费的平均时间与评价指标的对比。为确保实验的公平性，所有实验数据均来自于同一硬件平台。

图9 各模型在Rain200L 和Rain200H 数据集上的评价指标与时间效率对比Fig.9 Comparison of PSNR/SSIM and time efficiency of each model in Rain200L and Rain200H datasets

从图9(a)和9(b)中可以看出，MSAFNet 和RCDNet 在Rain200L 数据集上在评价指标上的表现优于剩余的模型。EfDerain 处理速度大幅领先剩余模型，但是去雨效果不佳。Rain200H 数据集中MSAFNet 与MPRNet 获得了较高的评价指标，优于剩余模型。结合两个数据集以及两个评价指标分析，MSAFNet 相比于剩余的去雨模型在评价指标结果上具有更强的稳定性：MPRNet 在Rain200H 上的表现为次优，但是在Rain200L 数据集上的评价指标低于剩余较多的去雨模型；RCDNet 在Rain200H 数据集中的SSIM 评价指标低于剩余较多去雨模型。

综合来看，MSAFNet 在不显著增加模型处理有雨图像时间的情况下，获得了更为稳定且优秀的去雨结果。

3.3 真实数据集上的实验

为了进一步验证MSAFNet 去雨的鲁棒性以及对自然雨图的泛化性能，将Rain200L 数据集上训练的模型在SPA-DATA 数据集上进行测试，采用自然图像质量评估方法 (natural image quality evaluator,NIQE)[34]和空间-光谱熵质量(spatial-spectral entropybased quality,SSEQ)[35]两项评价指标对本模型以及其他四个优秀去雨模型的输出进行评估，其值越小代表去雨图像的质量越高。不同算法之间的定量分析结果见表2。

表2 在真实数据集上与其它方法的对比Table 2 Comparison with other methods on real dataset

从表2 中可以看到，相比于同样采用多尺度特征提取方法的MSPFN，本文方法在NIQE 以及SSEQ的数值上下降了2.1%和4.3%，存在着较大的提升，并且结果优于近两年先进的去雨方法RCDNet 及MPRNet。

不同算法的自然去雨图可视化分析见图10。图10(d)至图10(f)展示了不同基于多尺度特征提取的去雨网络结果，其中JORDER 及LPNet 的去雨效果较差，存在明显雨滴痕迹残留，MSPFN 存在微量残存雨线。图10(g)至图10(i)展示了不同多阶段式去雨网络的结果，RCDNet 及MPRNet 获得了良好的视觉效果，但是评价指标低于MSAFNet，PReNet 存在明显的雨滴残留。图10(j)至图10(k)为不同递归式去雨网络的结果，BRN 存在透明绿色空洞，RSGN 去雨不彻底。图10(l)为轻量级去雨网络EfDeRain 的结果图，能够看出明显的雨线残留。

图10 不同算法在真实数据集SPA-DATA 上的实验结果Fig.10 Experimental results of different algorithms on real-world dataset SPA-DATA

通过与不同类别的去雨网络进行对比，MSAFNet 凭借其深度多尺度特征提取的优势，对于图像细节的保留和细微雨滴的清除有着较为明显的优势，图片真实度高，对自然图像的泛化性好。

3.4 消融实验

为了证明MFA 对于图像细节的补充效果，以及多尺度特征提取子网在MSAFNet 中的有效性，本文在Rain200H 数据集上进行了消融实验。跨尺度特征提取模块中尺度的数量以及模型中子网的数量对去雨效果有着较大的影响，本文进行了多组实验探究子网数量以及MFEB 中尺度数量对评价指标的影响。

3.4.1 多尺度子网及MFA 对去雨效果的影响

如表3 所示，与单一子网相比，多个子网构成的去雨网络可以有效提取多尺度特征，增强网络的去雨能力。由于子网由多个MFEB 构成，在MFEB 中经由MFA 融合的特征更具有表达能力，可以有效提升网络的评价指标。子网间的MFA 由于数目较少，可以在不显著增加网络负担的前提下，对低分辨率冗余信息进行剔除，优化网络性能。

表3 在Rain200H 数据集上消融实验结果Table 3 Results of ablation experiments on the Rain200H dataset

3.4.2 子网数量及MFEB 中尺度数量的研究

表4 中的K代表子网数量，S代表MFEB 中尺度的数量。为保证公平表中实验都在同一环境使用同一训练参数进行。从表中可以看出，当K=1 和S=1 时，由于失去MFA 对尺度信息的补充，PSNR 值略低。当K、S=2 时，相较K、S=1 时，指标提升量较大。网络在K、S=3 时到达饱和效果，再对其进行尺度上的扩充对网络提升效果不大，再次增加尺度数量甚至出现了负优化。图11 以折线图的形式直观展现了K和S对PSNR 指标的影响。

表4 子网及MFEB 中尺度数量对PSNR 的影响Table 4 The effect of subnet and MFEB scale number on PSNR

图11 尺度数量及子网数量折线图Fig.11 Curve graph about the number of scales and subnets

4 结论

针对多尺度图像去雨网络中存在的混叠效应以及细节丢失等问题，本文提出了一种基于跨尺度注意力融合的图像去雨算法。网络通过多个子网强化对不同尺度信息的提取能力，利用跨尺度融合注意力模块解决细节丢失等问题，根据不同尺度信息之间重要性的不同，利用低分辨率信息提升高分辨率信息的质量，显著提升网络性能。本文在多个数据集上进行了实验，结果表明本文算法能够在去除雨纹的同时保证生成图片的高质量，保留了图片中的细节信息，并在客观指标和视觉观感上优于其他去雨算法。