基于半监督学习的单幅图像去雨算法

邱永茹，姚光乐，冯杰，崔昊宇

（成都理工大学 计算机与网络安全学院（牛津布鲁克斯学院），成都 610059）（∗通信作者电子邮箱yaoguangle19@cdut.edu.cn）

基于半监督学习的单幅图像去雨算法

邱永茹，姚光乐*，冯杰，崔昊宇

（成都理工大学 计算机与网络安全学院（牛津布鲁克斯学院），成都 610059）（∗通信作者电子邮箱yaoguangle19@cdut.edu.cn）

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象，对后续图像分析及应用造成严重影响。近年来，已经提出了许多基于深度学习的去雨算法并获得了较好的效果。由于真实雨图的无雨纹干净背景图采集非常困难，大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异，基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。为提高去雨模型对真实雨图的去雨效果，提出了一种基于半监督学习的单幅图像去雨算法。该算法在模型训练过程中加入合成雨图和真实雨图并最小化两个输入图像转换成的特征向量的一阶信息和二阶统计信息差异，使两者特征分布一致。同时，针对雨纹复杂多样的特点，引入多尺度网络以获取更丰富的图像特征，并提高模型性能。实验结果表明，所提算法在Rain100H合成雨图测试集上相较JDNet、Syn2Real等算法在峰值信噪比（PSNR）和结构相似度（SSIM）上分别至少提升了0.66 dB、0.01，在去除雨纹的同时能最大限度保留图像细节和颜色信息；并且由于减少了分布差异，该算法在真实雨图测试集上的去雨效果明显优于现有的JDNet、Syn2Real等去雨算法，具有较强的泛化能力。所提算法可以应用于现有的基于监督学习的去雨算法并显著提高其去雨效果，拥有较高的独立性。

单幅图像去雨；半监督学习；多尺度网络；深度学习；密集残差连接

0 引言

雨天是自然界常见天气之一，该天气下在户外采集的图像时常受到雨水折射和背景图像被遮挡的影响，造成图像模糊、形变、细节丢失等质量问题。这将导致后续对图像进行处理和分析的计算机视觉系统如无人驾驶、道路监控等实际应用系统，性能下降。因此，图像去雨算法的研究受到了国内外科研工作者的重视［1-4］。

近年来，单幅图像的去雨算法大致可分为基于模型驱动和基于数据驱动两类。在2017年以前，典型的图像去雨算法是受图像分解、稀疏编码和基于先验的高斯混合模型影响的基于模型驱动的算法（非深度学习算法）。自2017以后，受深度卷积网络、生成对抗网络和半/无监督算法的影响，图像去雨算法进入了数据驱动算法（深度学习算法）时期。

典型的基于模型驱动的去雨算法中，Kang等［1］通过双边滤波器将雨图分解为高频图和低频图后使用字典学习和稀疏编码去除高频图中的雨纹，最后与低频信息结合得到去雨图像，但其过于依赖双边过滤器的预处理，因此会产生模糊的背景细节。Li等［2］利用高斯混合模型（Gaussian Mixed Model， GMM）通过计算不同角度和形状的雨纹分布对雨水层和背景层建模，进而实现去雨，但该算法只能有效去除小雨的雨纹，难以处理大雨或骤雨的雨纹。基于数据驱动的去雨算法中，Fu等［5-6］提出了基于卷积神经网络的DerainNet来提取特征实现去雨，并参考残差网络（Residual Network， ResNet）［7］进一步提出深度细节网络（Deep Detail Network， DDN），以减小从输入到输出的映射范围使学习过程变得更加容易。Li等［8］通过递归上下文扩张网络利用不同阶段之间的去雨相关性逐阶段去除雨纹得到干净背景图。Zhang等［9-10］将条件生成对抗网络（Generative Adversarial Network， GAN）［11-12］应用于图像去雨，为更好地学习训练样本的所有模式，使用集成残差感知分类器自适应地适应雨水密度信息（重/中/轻）。然而，尽管以上基于数据驱动的去雨算法因采用了更先进的网络架构从而取得了更好的结果，但由于它们都是只在合成雨图数据集上训练学习的完全监督算法，这些去雨算法应用于真实雨图去雨时会出现一定的性能偏差。为解决以上问题，Wei等［13］提出了一种基于半监督的去雨算法，以DDN作为网络主干将雨水层和背景层分离后，使用GMM对合成雨图和真实雨图雨水层进行建模并最小化K-L（Kullback-Leibl）散度以让去雨模型更适用于处理真实雨图。但该算法并没有对真实雨图显示出有效的去雨结果，这可能是因为其在去雨后再进行合成雨纹和真实雨纹差异的最小化，使模型在学习过程中偏离了目标。Yasarla等［14］提出了基于半监督学习的去雨算法利用高斯过程对未标记的数据生成伪GT（Ground-Truth），再用伪GT对标记数据进行监督学习，但由于该算法在建模过程中没有考虑各特征图彼此独立，使用了相同权重对未标记和标记的数据进行加权组合时，使模型在真实雨图的去雨效果并没有改善。

针对上述单幅图像去雨算法存在的问题，本文提出了一种新的基于半监督学习的单幅图像去雨算法，在进行去除雨纹操作前，将标记的合成雨图与未标记的真实雨图输入网络，对二者特征图的一阶和二阶统计信息精确建模，通过最小化二者的均值向量和协方差矩阵的欧几里得距离，使合成雨图和真实雨图的特征分布一致，以提升去雨模型在真实雨天图像的去雨性能。

1 基于半监督学习的多尺度去雨网络

如图1所示，基于半监督学习的单幅图像去雨算法相应操作如下：1）在特征转换空间，将输入雨天图像转换为特征向量；2）在半监督匹配网络，最小化合成雨图和真实雨图特征向量的一阶和二阶统计信息差异，使两者分布一致；3）在多尺度去雨网络，通过多个多尺度去雨单元实现去除雨纹得到干净背景特征图；4）在图像转换空间，将去雨后的干净背景特征向量转换为图像表示。

图1 基于半监督学习的多尺度网络结构Fig. 1 Multi-scale network structure based on semi-supervised learning

1.1 半监督匹配网络

为解决纯监督学习去雨模型在真实世界雨天图像泛化性较差的问题，Wei等［13］提出了一种基于半监督的去雨算法，但实际上该去雨算法并没有改善在真实雨图的去雨效果，原因可能是该算法是在去雨后再对合成雨图雨纹和真实雨图雨纹进行差异最小化，这就使模型在学习过程中偏离了目标。因此，本文提出了基于半监督的学习算法，将在去雨步骤前于半监督匹配网络中最小化合成雨图和真实雨图的一阶和二阶统计信息差异，使合成雨图雨纹特征分布与真实雨纹一致，提高模型对真实世界雨天图像的去雨能力。

由图2可观察到，合成雨纹与真实雨纹在颜色、亮度、形状等都存在着巨大差异。为最小化合成雨图和真实雨图的差别，本文设计了图3的半监督匹配网络结构，并从数据分布和特征对齐两个角度出发，根据合成雨图和真实雨图的概率分布距离以及二阶统计特征距离信息提出损失值函数为：

图2 合成雨图和真实雨图的差异Fig. 2 Difference between synthetic and real-world rainy images

图3 半监督匹配网络的详细结构Fig. 3 Detailed structure of semi-supervised matching network

根据最大均值差异（Maximum Mean Discrepancy， MMD）理论，两个样本均值差异等于零则两个样本分布相同，本文提出损失函数用于最小化合成雨图和真实雨图的一阶信息均值向量的距离：

图4 半监督匹配网络中的特征分布对齐Fig. 4 Feature distribution alignment in semi-supervised matching network

1.2 多尺度去雨网络

不同尺度的网络训练过程中可以获得相互补充的信息，其中低分辨率网络可以捕获给定雨天图像的外观细节，高分辨率网络可以保留给定雨天图像的语义信息，因此本文引入了多尺度去雨网络，网络结构如图5所示。

图5 多尺度去雨网络的详细结构Fig. 5 Detailed structure of multi-scale de-raining network

多尺度去雨网络包含多个多尺度去雨单元，每个多尺度去雨单元之间使用残差连接［7］和密集连接［15］，其中残差连接能更有效地将特征信息传递给更深网络信息，而密集连接则可以把网络中任意两层连接，使网络中每一层都能接收到前面所有层的特征输入，最大化网络信息接收的同时有效抑制训练过程会出现的梯度消散问题。

在多尺度去雨单元中，首先使用具有不同内核和步长的池化操下采样获得多尺度特征：

随后在每个尺度上使用卷积级联模块对每个尺度进行特征提取并实现去雨：

1.3 损失函数

为实现多尺度去雨网络的去雨功能，本文先计算去雨后图像和真实对照图像的结构相似性，然后对取负值作为去雨网络的损失函数值，最后通过反向传播调整网络参数优化去雨网络。的计算式为：

2 实验与结果分析

2.1 实验配置及数据集

本文提出的完整网络结构运行在GeForce RTX 3090显卡，Ubuntu 18.04.5 LTS系统的Pytorch框架下。训练过程中，从训练数据集中随机裁剪100个大小为的图像对作为输入，采用ADAM优化，初始学习率为，匹配损失函数权重为1，Batch size为16，尺度数为3，特征向量通道数为32。

本文采用经典的2个合成数据集Rain100L［16］、Rain100H［16］和收集的一个真实雨图数据集进行模型训练。最后，在上述2个经典合成数据集、泛化测试数据集Rain12［2］以及Yang等［16］、Zhang等［11］和Wang等［17］提出的3个真实雨图数据集进行模型测试。

2.2 合成雨图去雨实验与分析

为客观评估本文提出的基于半监督学习的去雨算法，选用结构相似度（Structural SIMilarity， SSIM）［18］和峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［11］作为评价指标，与当前的先进算法RESCAN（REcurrent Squeeze-and-excitation Context Aggregation Net）［8］、PreNet（Progressive image deraining Network）［19］、SSIR（Semi-Supervised transfer learning for Image Rain Removal）［13］以及JDNet（Joint Deraining Network）［20］在2个经典合成数据集Rain100H、Rain100L和泛化测试数据集Rain12上进行测试，结果如表1所示，本文算法的结果做了加粗显示。

表1 不同去雨算法在测试数据集上的图像质量评估指标（PSNR/SSIM）对比Tab. 1 Comparison of image quality evaluation indicators （PSNR/SSIM） among different de-raining algorithms on test datasets

通过分析表1可知：本文算法的峰值信噪比（PSNR）和结构相似度（SSIM）在数据集Rain100H、Rain100L上都优于其他算法；在数据集Rain100H上，本文算法在PSNR值上相较RESCAN算法、PreNet算法、SSIR算法、JDNet算法分别提高了4.76 dB、2.79 dB、8.21 dB、0.66 dB；本文算法在SSIM值上相较RESCAN算法、PreNet算法、SSIR算法、JDNet算法分别提高了0.09、0.04、0.22、0.01。综上得出，本文算法在去除雨线和还原细节特征方面的性能都有很大的提高。虽然本文算法在合成数据集Rain12上的PSNR评价指标略低于JDNet，但是后续的实验结果表明本文提出的半监督去雨算法在真实雨图上的去雨效果明显优于JDNet。

2.3 真实雨图去雨实验与分析

为了验证本文提出的基于半监督的去雨算法在真实雨图上的泛化能力，在Yang等［16］、Zhang等［11］和Wang等［17］提出的真实雨图数据集进行测试，并且与RESCAN、JDNet两个基于监督学习去雨算法以及SIRR和Syn2Real（Synthetic-to-Real transfer learning）两个基于半监督学习去雨算法的去雨结果进行对比。由于真实雨图没有标签图像，只能通过视觉观察图像结果来评估性能，本文挑选了部分的测试结果，如图6所示。

从去雨结果可观察到，相较图6（b）、（c）中的两个基于监督学习的算法，本文提出的基于半监督学习的去雨算法能够更好地去除真实雨天图像中大部分雨线，同时拥有较少的细节丢失和颜色失真；而且相较图6（d）、（e）中的两个基于半监督学习的去雨算法，本文提出的基于半监督学习的算法在真实雨图上的去雨效果有着较大的提升，并在雨线去除和背景保留上都表现出明显优势。

尽管本文提出的半监督去雨算法在上述真实雨图数据集上取得了突出的去雨效果，但因为雨天图像背景构成非常复杂，不同场景下的雨天图像差别往往很大，如在乡村田野与城市街道拍摄的雨天图像在背景和雨纹的构成上都有着巨大的差异，这将导致真实雨图训练集的选择会影响最终模型在不同场景下的去雨性能。但是，由于半监督真实雨图训练集的采集成本较低，无需相应的标签背景图，因此可在模型训练时针对不同场景改变半监督真实雨图训练集的类型以提高不同场景下的去雨性能。

2.4 半监督匹配网络应用实验与分析

上述实验结果表明本文提出的半监督算法在真实雨图上的去雨效果都优于对比算法。为验证本文提出的半监督算法中的核心半监督匹配网络拥有较高的独立性并同样适用于其他去雨算法，且可以改善其他去雨算法在真实雨图上泛化性差的问题，本文选取了2个基于监督学习的去雨算法RESCAN、JDNet，在其原有网络基础上加上本文提出的半监督匹配网络，并在合成数据集Rain100H和本文收集的真实雨图训练集上进行训练，最后在上述3个真实雨图测试集上进行测试，测试结果如图7所示。

从图7结果可以看出，纯监督学习的RESCAN和纯监督学习的JDNet都存在着大量雨线残留、部分区域纹理失真和图像模糊等影响图像质量的问题。在两个网络中分别添加半监督匹配网络后，可以观察到，基于半监督学习的RESCAN和JDNet可以更有效地去除雨痕并且保留背景图像的细节信息，得到了更好的视觉性能。上述结果表明，本文提出的半监督算法的核心半监督匹配网络拥有较高的独立性，可以提升现有基于监督学习的去雨模型在真实雨天图像上的去雨性能，使真实雨天图像去雨后更接近真实的背景图像。

图6 不同算法在真实雨图上的视觉比较Fig. 6 Visual comparison of different algorithms on real-world rainy images

图7 RESCAN和JDNet应用半监督匹配网络的去雨实验结果Fig. 7 Experimental results of de-raining by RESCAN and JDNet using semi-supervised matching network

3 结语

本文针对单幅图像去雨任务建立了一个基于半监督学习的端到端神经网络。在实现去雨前，通过半监督匹配网络利用合成雨图和真实雨图的一阶均值向量信息以及二阶协方差统计信息，最小化合成雨图和真实雨图的特征分布差异，提高去雨模型在真实世界雨图上的泛化性。同时，本文提出了一个多尺度去雨网络，通过残差密集连接把多个去雨单元连接起来，充分提取多个尺度中的有效互补特征，实现了高效去雨。通过在数据集上的训练与测试结果分析可得，本文算法不仅在合成数据集的PSNR和SSIM两个评价指标上获得了较高分值，而且对真实雨图的去雨视觉效果相较其他算法得到了较大的提升。实验也验证了本文提出的半监督网络具有较高的独立性，可应用于现有其他监督去雨网络，并能较大幅度改善该网络在真实雨图数据集上的去雨效果。

[1] KANG L W， LIN C W， FU Y H. Automatic single-image-based rain streaks removal via image decomposition ［J］. IEEE Transactions on Image Processing， 2012， 21（4）： 1742-1755.

[2] LI Y， TAN R T， GUO X J， et al. Rain streak removal using layer priors ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2736-2744.

[3] 黄靖，姜文，肖长诗，等.一种深度学习的单幅图像去雾方法［J］.小型微型计算机系统，2018，39（8）：1882-1888.（HUANG J， JIANG W，XIAO C S， et al. Single image haze removal algorithm based on deep learning ［J］. Journal of Chinese Computer Systems， 2018， 39（8）： 1882-1888.）

[4] 徐爱生，唐丽娟，陈冠楠.注意力残差网络的单图像去雨方法研究［J］.小型微型计算机系统，2020，41（6）：1281-1285.（XU A S， TANG L J，CHEN G N. Single image rain removal method based on attention mechanism ［J］. Journal of Chinese Computer Systems， 2020， 41（6）： 1281-1285.）

[5] FU X Y， HUANG J B， DING X H， et al. Clearing the skies： a deep network architecture for single-image rain removal ［J］. IEEE Transactions on Image Processing， 2017， 26（6）： 2944-2956.

[6] FU X Y， HUANG J B， ZENG D L， et al. Removing rain from single images via a deep detail network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1715-1723.

[7] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016： 770-778.

[8] LI X， WU J L， LIN Z C， et al. Recurrent squeeze-and-excitation context aggregation net for single image deraining ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 262-277.

[9] ZHANG H， PATEL V M. Convolutional sparse and low-rank coding-based rain streak removal ［C］// Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2017：1259-1267.

[10] ZHANG H， PATEL V M. Density-aware single image de-raining using a multi-stream dense network ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：695-704.

[11] ZHANG H， SINDAGI V A， PATEL V M. Image de-raining using a conditional generative adversarial network ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（11）： 3943-3956.

[12] 李烨，许乾坤，李克东.面向图像复原的残差密集生成对抗网络新方法［J］.小型微型计算机系统，2020，41（4）：830-836.（LI Y， XU Q K， LI K D. New method of residual dense generative adversarial networks for image restoration ［J］. Journal of Chinese Computer Systems， 2020，41（4）： 830-836.）

[13] WEI W， MENG D Y， ZHAO Q， et al. Semi-supervised transfer learning for image rain removal ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3872-3881.

[14] YASARLA R， SINDAGI V A， PATEL V M. Syn2Real transfer learning for image deraining using Gaussian processes ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2020： 2723-2733.

[15] HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2017： 2261-2269.

[16] YANG W H， TAN R T， FENG J S， et al. Deep joint rain detection and removal from a single image ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1685-1694.

[17] WANG T Y， YANG X， XU K， et al. Spatial attentive single-image deraining with a high quality real rain dataset ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 12262-12271.

[18] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[19] REN D W， ZUO W M， HU Q H， et al. Progressive image deraining networks： a better and simpler baseline ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：3937-3946.

[20] WANG C， WU Y T， SU Z X， et al. Joint self-attention and scale-aggregation for self-calibrated deraining network ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 2517-2525.

Single image de-raining algorithm based on semi-supervised learning

QIU Yongru， YAO Guangle*， FENG Jie， CUI Haoyu

（College of Computer Science and Cyber Security（Oxford Brookes College），Chengdu University of Technology，Chengdu Sichuan610059，China）

The images collected in rainy days usually have some phenomena that affect the image quality， such as the background object blocked by rain streaks and the image deformation， which have serious impact on the subsequent image analysis and application. Recently，numerous de-raining algorithms based on deep learning have been proposed and achieve good results. Most algorithms adopt supervised learning， that is， training the model on the synthetic rainy image dataset with paired labels due to the difficulty in acquiring clean background images without rain streaks from real-world rainy images. However， there are differences between synthetic and real-world rainy images on brightness， transparency， and shape of rain streaks. Thus， most de-raining algorithms based on supervised learning have poor generalization ability to real-world rainy images. Therefore， in order to improve the rain removal effect of de-raining models on the real-world rainy images， a single image de-raining algorithm based on semi-supervised learning was proposed. In the model training process of the proposed algorithm， the synthetic and real-world rainy images were added， and the difference of the first-order and second-order statistic information of feature vectors converted from the both input images were minimized to make the features of the both have same distribution. Meanwhile， in view of the complex and diverse characteristics of rain streaks， a multi-scale network was introduced to obtain richer image features and improve the performance of model. Experimental results show that， on the Rain100H dataset of synthetic rainy images， compared with Joint Deraining Network （JDNet）， Synthetic-to-Real transfer learning （Syn2Real）， the proposed algorithm improves the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） by at least 0.66 dB and 0.01 respectively. While removing rain streaks， the proposed algorithm can retain image details and color information to the greatest extent. At the same time， with the reduction of distribution discrepancy， the proposed algorithm achieves better performance on the real-world rainy images with strong generalization ability， compared with the de-raining algorithms such as JDNet and Syn2Real. The proposed algorithm is highly independent， can be applied to the existing de-raining algorithms based on supervised learning and significantly improve their de-raining effects.

single image de-raining; semi-supervised learning; multi-scale network; deep learning; dense residual connection

TP391.41

A

1001-9081（2022）05-1577-06

10.11772/j.issn.1001-9081.2021030492

2021⁃04⁃02；

2021⁃06⁃08；

2021⁃06⁃08。

四川省重点研发计划项目（2020YFG0169）。

邱永茹（1998—），女，广东湛江人，主要研究方向：图像复原、深度学习网络结构； 姚光乐（1985—），男，河南三门峡人，副教授，博士，主要研究方向：人工智能，计算机视觉； 冯杰（1995—），男，四川南充人，硕士研究生，主要研究方向：图像去雨、遥感图像处理、半监督学习； 崔昊宇（2000—），男，吉林伊通人，主要研究方向：计算机视觉、人工智能。

This work is partially supported by Key Science and Technology Program of Sichuan Province （2020YFG0169）.

QIU Yongru， born in 1998. Her research interests include image restoration， deep learning network structure.

YAO Guangle， born in 1985， Ph. D.， associate professor. His research interests include artificial intelligence， computer vision.

FENG Jie， born in 1995， M. S. candidate. His research interests include image de-raining， remote sensing image processing， semi-supervised learning.

CUI Haoyu， born in 2000. His research interests include computer vision， artificial intelligence.