一种由粗到细的图像逐级去雨算法

马悦

（陕西中医药大学信息化建设管理处，陕西咸阳 712046）

雨作为最常见的恶劣天气状况，对图像的影响效果最为复杂。通过分析可知，如果所得图像和视频是在雨天环境下，则会出现许多大小和方向各不相同的雨线并且其呈现出随机分布的特点。而雨线不仅会导致图像和视频中的光线发生折射和反射，从而造成一些区域的亮度较高，同时也会导致图像和视频中的些许纹理和关键细节信息丢失造成质量退化[1-2]。此外，无论是在过去的经典视觉算法还是在当下流行的一些视觉算法中,往往都需要输入质量较高的图像才能确保系统的正常运行工作，例如对物体的检测与跟踪,如果开始输入的图像是在雨天条件下获取的，其包含许多类似于雨线的干扰因素，那么最终可能会导致物体检测与跟踪算法无法达到预定效果和目标。如果是在无人机场景下，就很可能会最终导致事故的发生。因此综上所述，研究和设计出能有效去除图像中雨线的算法意义较大[3-5]。

目前，图像去雨的方法可归纳为以下两大类：第一类是基于先验知识，如文献[6]中提出的一种基于图像斑块和从背景图像中分离出雨条纹的判别稀疏编码框架；第二类是基于深度学习，如文献[7]中提出了一种用于单幅图像去雨的条件生成对抗网络，并利用感知损失来细化最后的结果；文献[8]中提出了利用循环膨胀卷积神经网络去雨，并在网络中嵌入挤压和激励机制；文献[9]中提出了一个密度感知的多流连接网络，用于联合雨密度估计和去耦合来提升去雨效果。然而，以上大多数方法由于算法的限定只能工作于特定的条件下，因此有进一步的改进空间。

1 雨痕图像模型

目前，现有的单幅图像去雨算法主要基于以下物理模型[10]：

雨痕图像Is可以看作是无雨背景B和雨痕层S的线性叠加，如图1 所示。

图1 雨痕图像模型分解示意图

将雨痕层图像从初始的有雨图像中剥离出来，便是对图像去雨本质的定义。通过仔细观察有雨图像的细节信息，可以发现对于大多数背景图像来说都包含天空、墙壁等这些相对平滑的区域，而在这些区域中除了包含些许雨痕以外，其他纹理信息并不明显甚至没有，因此将这些区域定义为纯雨区域。此外对整幅图像来说，雨痕的外表特性是重复的，于是通过对部分纯雨区域的特征学习来获得雨痕的相关特征，从而推动进一步有效地检测出全局图像所包含的所有雨痕。

此外由于绝大多数背景信息表现为低频特征，而雨痕和物体边缘呈现出高频的特征，可以将输入的有雨图像通过滤波的方法分为高频部分和低频部分，然后对高频部分进行雨痕的形态学分析，将高频部分分为无雨和有雨部分，最后将高频的无雨部分和输入图像的低频部分相结合得到最终的图像[11-13]。

2 逐级去雨网络

2.1 网络结构

提出的整体网络结构是一个由粗到细的过程，如图2 所示。

图2 整体网络结构示意图

此过程中采取逐步分级进行去雨，每个处理阶段均由3 个部分组成：特征空间、膨胀卷积块和雨空间。其中，特征空间的作用是将图像空间转换为特征空间，对特征空间进行处理的是膨胀卷积块（DCB），其结构如图3 所示。

图3 膨胀卷积块(DCB)结构示意图

最后，雨空间的作用是将特征空间映射到雨空间，在历经多阶段处理后再结合细化阶段对其结果进行细化。

2.2 膨胀卷积块

对于单幅图像的处理来说，空间的信息非常重要，此外不同尺寸和方向的雨纹更是需要不同的空间信息来匹配处理[14]。为了更好地解决此问题，提出了一个膨胀卷积块（DCB）方法，它由几个具有指数膨胀因子的卷积层组成，该文因子数分别设定为1、2、4、8。采用的膨胀卷积不仅可以扩大接受域从而获得更多的空间信息，而且可以同时保持参数的数量不变。

膨胀卷积块可以定义为如下公式：

其中，i=1,2,···,L。L为扩张卷积层数，而Convi为3×3 的卷积核与扩张因子2i-1的卷积，Zfusion是最终输出。这里，令L=4，因为发现L=4 就足以得到满意的结果。

2.3 精细阶段

在最终估计的图像中存在一些伪影，为了解决这个问题，使用单一卷积网络来改进最终的结果。定义如下：

2.4 损失函数

目前，均方误差（MSE）是在图像去雨中采用最多的损失函数。但是均方误差会给予拥有较大误差的区域更多的权重，而对那些小误差区域往往不能进行有效的处理，导致最终输出图像效果不太理想[15]。因此文中采用的是平均绝对误差（MAE），其函数表示如下：

式中，N为采用的训练样本总数量，X^ 为需要进行去雨的图像，X为真实无雨图像。此损失函数能够在对大误差区域进行惩罚时相对的加大对于误差区域惩罚的权重，从而有利于图像高频区域的处理。

3 实验过程

3.1 数据集

该设计在训练过程中，需要通过大量的有雨图像和清晰无雨图像作为训练样本。但是在现实条件下很难一次获得足够且满足条件的图像，因此为了解决此问题，往往会通过人工合成从而产生需要的大量有雨图像。文中使用的数据集中有雨和无雨图像的图像对共14 000 对，其中拥有14 种不同类别的雨线其主要呈现出不同的大小与方向。此外，该设计主要通过谷歌图像数据库、UCID、BSD 数据集来获取所有高质量输入图像[16]，而该设计中所涉及的有雨图像均由技术合成所得到。

同时为了将该设计的结果和其他算法所得到的结果进行对比分析，该设计还从BSDS500 数据集中获取了100 张清晰的无雨图片，并通过利用同样的技术合成获取了100 个有雨和无雨清晰图像对，并将其作为本设计的合成雨图像测试集，称之为Rain100。同时还确保了该合成雨像测试集与该设计中的网络训练集图像没有重复交集。此外由于在Rain100 测试集的有雨图像中雨线也依旧呈现着不同大小和方向，因此，该设计将其分为小雨测试集Rain100L 和大雨测试集Rain100H。

3.2 实验环境

文中实验环境是Ubuntu16.04 系统，其搭载Inter i7 CPU，通过Nvidia GTX1080 Ti 显卡对其进行加速网络训练，采用Python 编程语言并通过Pytorch框架来实现网络的搭建。

3.3 实施细节

该设计选择T=12，而通道的数量则被设置为16。从训练图像数据集中随机裁剪大小为100×100像素的图像小块作为输入，并将小批量大小设置为10来训练网络。此外，文中使用Adam作为优化器，初始化学习率为0.001，在240K和320K迭代时除以10。

4 实验结果与分析

在测试数据集上对文中设计的网络性能进行了评估，分别将其与文献[6]、文献[7]、文献[8]和文献[9]这4种主流去雨方法进行了定性和定量的比较。

首先选择了不同算法在Rain100L 上的对比，结果如图4 所示。

从图4 可以看出，通过文献[6]算法所得到的最终去雨图像依然存在着许多雨线；通过文献[7]算法所得到的去雨图像虽然残留的雨线较少但是可以明显看出图像较为模糊；文献[8]算法得到的复原图像留下的人工痕迹较为严重，去雨效果也不尽人意；文献[9]算法得到的图像去雨效果较好，但是最后得到的图像色彩饱和度较低，同时发现一些细节的信息存在丢失。而文中算法的输出不仅较好地去除了雨线，而且将一些细节信息保存得相对完整，拥有较高的色彩饱和度。

图4 不同算法在Rain100L去雨结果的比较

虽然文献[9]的输出图像在Rain100L 中对于小雨状态下的去雨效果比较不错。为了进一步比较和验证文中算法在大雨中的去雨效果，如图5 所示，选择了不同算法在Rain100H 的对比结果。

图5 不同算法在Rain100H去雨结果的比较

通过上图可以观察到经过文献[6-9]算法处理得到的输出图像在大雨条件下的去雨效果和色彩饱和度和文中算法输出的图像相比都要差一些，所以无论是在小雨还是在大雨条件下，文中算法均表现良好。

然而，为了保证评估结果的可靠性，不仅需要视觉上的定性分析，还需要通过定量分析比较来增添可信度。为了评价这些算法的性能，对于复原的图常用的量化标准为峰值信噪比（PSNR）和结构相似性指数（SSIM）。PSNR 是一个绝对误差，使用像素相对于其最大可能值的均方误差来计算。在假设人类的视觉系统高度协调的情况下提取结构信息，SSIM试图通过更紧密地与人类的感知保持一致来改进绝对误差度量。这两个客观评价指标的值越大，表明图像处理效果越好，从表1 中看出，文中网络表现出最优的性能。

表1 不同去雨算法在测试集上的定量比较

文中算法相比于文献[6]、文献[7]、文献[8]、文献[9]这4 种算法在PSNR 和SSIM 值上都有显著的提升，由此可见提出的算法拥有更好的去雨效果并且保证了更高的图像复原质量。

5 结论

文中提出了一种由粗到细的逐级去雨方法，它是通过多阶段的处理过程来完成去雨的。此方法提出的依据是一个好的去雨方法应该能够去除所有的雨纹，并且能够反复处理，直到雨纹被去除干净。通过在Rain100L 和Rain100H 数据集上定量和定性的实验结果表明，文中算法在与现有几种去雨方法相比，具有优越性，同时大大减少了使用参数的数量，提升了工作效率。