多尺度注意力密集连接网络的单幅图像去雨算法

李 宏 涛, 李 朋 鹏, 金 桂 月, 金 基 宇

( 大连工业大学 信息科学与工程学院, 辽宁 大连 116034 )

0 引 言

雨水会造成严重的图像模糊和视觉质量下降,特别是雨雾、雨条纹与空气中的雨水颗粒一起叠加在背景上形成的类似面纱的视觉降质,大大降低了场景的对比度和能见度[1]。因此,雨水天气下的图像复原成为一些图像视觉任务中必不可少的前提步骤[2-3]。

近年来,单幅图像去雨为众多研究人员所关注,恶劣天气图像复原已经逐渐从模型驱动过渡到数据驱动。基于模型驱动的传统方法包括基于滤波的方法和基于先验的方法[4]。其中基于滤波的方法是利用物理滤波来恢复干净图像[5-6]。基于先验的方法是将恶劣天气的图像复原视为一个优化问题[7-8]。除此之外,还有高斯混合模型[9]等方法。这些基于模型驱动的方法只能滤除服从特定分布的噪声(高斯噪声等),得到的图像清晰度有限,不能较好地表达恶劣天气图像的主要特征,复原效果受到限制。

与基于模型驱动的方法相比,数据驱动的方法则将恶劣天气图像复原视为学习非线性函数的过程[10]。在深度学习技术的推动下,研究人员使用卷积神经网络(CNN)、生成对抗网络(GAN)、半监督/无监督学习来研究单幅图像去雨。基于CNN的研究方法,联合雨水检测和去除网络(JORDER)[11]专注于去除大雨下重叠的雨条纹,在大雨条件下取得了令人印象深刻的结果,但它可能会错误地删除一些纹理细节。为了避免错误删除纹理细节,深度细节网络(DDN)[12]只将高频细节作为输入以达到更好的效果,但该方法不能处理过多的密集雨条纹。渐进式递归去雨网络(PReNet)[13]缓解了深度网络结构难以复现的问题。轻量金字塔网络(LPNet)[14]由较少的参数组成从而使网络变得简单。然而,大多数现有的单幅图像去雨网络都没有很好地注意到不同尺度下雨条纹的内部联系。RESCAN采用了扩张卷积来获取背景信息,并使用递归神经网络来重塑雨水特征[15]。GCANet采用平滑扩张卷积代替扩张卷积,并融合了上下文信息以提高恢复效果[16]。徐志京等[17]2021年提出了一个多尺度沙漏结构的网络,该网络通过多尺度提取、沙漏结构信息融合和残差密集连接更准确地获得雨条纹特征。

与基于CNN的方法相比,GAN的引入是为了捕捉恶劣天气中一些不能被建模和合成的特性,以减少生成的结果与真实的干净图像之间的差距。Zhang等[18]直接将条件生成对抗网络(CGAN)应用于单幅图像的去雨任务,结果呈现出更好的光照、颜色和对比度分布。多尺度融合生成对抗网络则是更好地保障了有雨图像复原过程中图像的语义信息和纹理结构的一致性[17]。但是,基于GAN的方法不善于捕捉图像的细节信息,因此对于具有多样化雨条纹的图像效果较差。为了进一步提高对真实有雨图像的恢复性能,半监督和无监督的学习方法已经被提出[19-20]。这些方法直接从真实的雨水数据中学习特征,以此提高方法的泛化性和可扩展性,但是相比在合成雨水数据中学习的方法效果较为一般,尤其是在处理大雨图像时。

现有的单幅图像去雨方法并没有完全利用尺度-空间上的图像特征相关性,从而导致存在细节纹理和信息恢复效果差等问题,而基于GAN与半监督和无监督的方法也存在很多局限性。受多尺度特征提取、知识蒸馏、密集连接网络的启发,本文基于CNN设计了一个多尺度注意力密集连接网络以有效地学习更丰富尺度-空间上的图像特征,从而获得良好的去雨效果,同时更好地保留图像原本的纹理细节。

1 多尺度注意力密集连接网络

所提出的单幅图像去雨多尺度注意力密集连接网络如图1所示。整体网络架构主要由多尺度注意力模块(multi-scale attention block,MAB)和并行注意力蒸馏模块(concurrent attention distillation block,CADB)组成,分别用于特征提取和知识蒸馏。原始图像通过多个密集连接的MAB模块进行雨条纹的特征提取,每个MAB的输出又被作为CADB的输入进行蒸馏,以解决多个MAB模块深度较深时图像特征的表征能力减弱和产生大量冗余信息的问题。然后使用相减的方式与主干网络所提取的特征进行交互,将减弱的特征进行加强,冗余的特征进行剔除。

图1 多尺度注意力密集连接网络

1.1 并行注意力知识蒸馏模块

为了更好地获取雨条纹特征并对其表征,以便去除,采用一种简单的注意力蒸馏模块CADB,结构如图2所示。利用并行的通道和子空间注意力机制对特征信息进行重新校准,实现特征提炼。通过结合通道注意力模块[21]和子空间注意力模块[22]实现并行结构,以消除大量冗余的特征并提取更多有用的图像特征。此并行通道和子空间注意机制专注于获取空间和通道特征信息,并只允许包含有用信息的特征进一步传输。

图2 并行注意力蒸馏模块

1.2 多尺度注意力模块

多尺度特征获取方法有效地结合了不同尺度下的图像特征,被广泛应用于提取目标及其周围环境的有用信息。为了进一步提高网络对于雨条纹特征的获取和表征能力,提出了MAB,如图3所示。采用层内多尺度信息融合,实现不同尺度的特征之间的信息融合。这种结构确保了输入信息能够通过所有的参数层进行传播,使原始图像的特征信息得到更好的学习。

图3 多尺度注意力模块

参照多尺度注意力模型(图3),MAB的输入特征图像设为Fin,通过卷积层,卷积核大小为1×1、3×3和5×5,输出表示如式(1)～(3)所示。

(1)

(2)

(3)

(6)

(7)

(8)

(9)

由图3可以发现,MAB在经过多尺度卷积层之后分别通过卷积核大小为1×1、3×3的卷积实现了层内信息融合,最后引入一个CADB来提升图像有用特征信息的表征能力,MAB的最终输出如式(10)所示。

(10)

式中:Fout表示MAB的输出,CADB(·)表示并行注意力蒸馏模块,{δ1;δ2;δ3;δ4}表示MAB输出的超参数。

1.3 损失函数

为了训练多尺度注意力密集连接网络,采用了一个混合损失函数,包括结构相似度指数(structural similarity,SSIM)Ls损失[23]和L1损失[24],如式(11)、(12)所示。SSIM损失被用于评估结构相似性,可以更好地保留高频结构信息。L1损失提供了一种有效的方法来约束颜色和亮度特征之间的差异。

(11)

Ls=1-SSIM(R-GT)

(12)

式中:R为有雨图像,GT为真实无雨图像。

通过对SSIM损失和L1损失的加权和,得到混合损失函数如式(13)所示。

Ltot=L1+λLs

(13)

式中:λ是一个权重参数,根据经验设定为0.2。

2 实验结果和分析

2.1 实验设置

数据集:合成数据集采用Rain100L[11]、Rain100H[11]、Rain800[18]、Rain1400[12]数据集,对应各数据集的训练集和测试集大小分别为200和100、1 800和100、700和100、12 600和400。真实有雨图像数据集为Li等[25-26]提出的两个已有数据集,分别由185张和34张真实图片组成。

评价指标:单幅图像去雨性能通常根据峰值信噪比(peak signal to noise ratio,PSNR)和结构相似度(SSIM)来评估。PSNR越高则从有雨图像中恢复无雨图像的性能就越好。SSIM为两个不同图像的相似度,其范围为0～1,当SSIM越接近1时去雨性能就越好。由于在真实世界中难以获取完全干净的图像,定量地去衡量一个真实有雨图像的恢复质量非常困难。因此除了将PSNR和SSIM作为评价指标,也需要评估网络在真实世界数据集上的视觉效果。

训练配置和参数细节:为了更好地进行特征提取,MAB的数量被设置为6。训练过程中,损失函数权重λ设置为0.2,并将输入的训练图像进行随机裁剪,大小为64×64。实验的优化方法为Adam,参数为初始学习率0.001,批次大小为32,其中β1和β2的默认值分别为0.900和0.999。为了提高性能,对Rain100L/H数据集迭代训练200次,Rain800/1400数据集迭代训练100次。所有的训练和测试实验均是基于Pytorch深度学习框架,其实现的工作站配置为CPU:Core i7-11700k;RAM:32 GB;GPU:NVIDIA Geforce RTX 3080Ti(12 GB)。

2.2 合成数据集的测试结果

在数据集Rain100L、Rain100H、Rain800和Rain1400上的实验结果如表1所示。可以看出所提出的算法PSNR和SSIM均有所提高。这表明所提出的算法具有更好的鲁棒性和泛化性。

表1 测试数据集上的PSNR和SSIM

图4为图像去雨效果的直观比较。在Rain100L和Rain100H中各挑选了一张图像,分别使用不同方法进行测试,并选择了图像中的一些细节将其放大。通过观察放大后的局部区域,可以发现GCANet算法对于雨条纹的去除效果较差,残留了大量雨条纹;JORDER、LPNet、PReNet和RESCAN虽然去除了大量的雨条纹,但是都会引起不同程度上的背景模糊,在保存图像背景细节方面存在缺陷。LPNet在Rain100L/H数据集上的结果存在不同程度上的纹理失真和模糊;PReNet算法则带来了局部细节的丢失和色彩失真。通过与参照的干净图像相比,本文算法取得了良好的效果,能够在多种复杂雨天图像上去掉绝大部分的雨条纹。因此,本文所提出的多尺度注意力密集连接网络可以在有效地去除雨条纹的同时保留合成数据集上的背景细节。

(a) Rain100L

2.3 真实数据集的测试结果

因为真实数据集不存在完全相同背景下的有雨图像和无雨图像对,无法进行训练,所以每个方法均使用从Rain100H数据集上获得的预训练模型的权重,这样也能体现方法的泛化性。真实数据集中有雨图像的近景和远景雨条纹特征信息差异较大,而且由于雨水图像的复杂性,这可能造成对比方法图像恢复后的明显模糊并导致取得较差效果。如图5所示,从放大的局部细节可以看出GCANet有大量的雨条纹残留,不能很好地恢复图像;DDN算法也存在雨条纹残留,并且没有处理好局部特征,导致纹理丢失、图像背景不清晰;JORDER和LPNet也存在图像不清晰和色彩失真问题。本文提出的算法在真实数据集上处理得更自然、效果更好,可以更有效地去除真实世界有雨图像中的雨条纹,并保留更多的纹理细节。

(a) 真实数据集(1)

3 结 论

本文所提出的多尺度注意力密集连接网络采用密集连接来实现特征重用和充分传播。为了更好地获取和表征雨条纹的特征信息,引入了多尺度注意力模块来提取局部和全局特征。应用一个并行注意力蒸馏模块,通过利用通道注意力和子空间注意力机制重新校准层内和层间图像特征以减少无用的特征并保留空间和背景信息。在合成和真实数据集上的定量和视觉直观结果表明,本文所提出的算法在真实数据集上处理得更自然、效果更好,可以更有效地去除真实世界有雨图像中的雨条纹,并保留更多的纹理细节。