基于U-GAN神经网络的视频图像去雨雾技术

江齐，蔡若君，叶武剑，刘怡俊，李海涛，何雯轩，刘峰

（1.广东工业大学，广州 510006；2.广东讯通科技股份公司，广州 510030；3.南京邮电大学图像处理与图像通信重点实验室，南京 210046）

0 引言

随着智能时代的快速发展，如今手机、摄像机已经存在于千家万户，这样就导致大量的视频存在。但这些拍摄的视频很多由于天气的云雾情况与四周环境的原因，导致视频内容可能存在着雨雾的遮挡[1]。有很多传统的方法也能实现些许的去雨雾，传统的关于视频图像去雨雾技术主要采用自适应容差的方法，通过分离图像内容和背景[2]，对其分别研究可以达到去除雨雾的效果[7]。

然而传统的方法需要对视频内容进行大量的处理，这样导致处理的时间会很久，不能达到实时的视频处理。同时对视频图像内容的处理容易使图片的完整性遭到破坏，不能很好地保持内容的原始性。

为了能更好地得到视频内容的去雨雾的效果，本文使用U-GAN的卷积神经网络[5]作用于含雨雾的视频图像，可以得到很好的去雨雾效果，同时能很好地保存视频的完整性。而由于如今神经网络在因为GPU的快速发展，处理速度得到极速提升，能很好地满足视频关于图像的处理的速度，以达到能够实时处理的效果。

1 相关工作

视频图像处理作用于模糊图像在很早之前就有存在了，对于雨雾现象的图像处理更是屡见不鲜，在这些基于各种原理的图像去雨雾技术能够实现一定的去雨雾的效果。

传统算法中关于图像的去雨雾方法中基于图像增强技术[2]的去雾方法是通过改变图片的明亮程度和对比度来改善图片的视觉效果，这种方法能在一定程度上提高雨雾天视频图像内容的清晰度，但是该方法在真实操作可能会大范围影响图片的显示效果，使视频的视觉效果遭到破坏。去雨的算法有从视频图像出发的，通过建立雨滴在视频图像中的成像模型，达到去除雨滴的目的。在文献[3]中采用图像高频部分几何分量的去雨方法[3]，首先使用平滑滤波做图像分解，得到雨图像的高频部分；然后结合稀疏表示与近邻传播算法分离出图像高频部分的雨分量，用图像的高频部分减去雨分量并做平滑处理，以此作为几何分量；此外，对稀疏表示过程得到的字典进行再分类，完善雨分量与非雨分量的区分，最后完成图像恢复。

同时在以往的工作中也存在着基于深度学习的方法对雨雾图像进行处理，在以往的这些办法中仅仅只能对单一的雨图或者雾图进行图像的去雨[4]和去雾的图像增强。

而在现实的视频图像中很多都是雨雾同时存在，所以本方法运用GAN网络的模型，使用U-GAN算法对视频内容进行整体处理，通过卷积神经网络对雨雾图进行图像特征的提取与处理，以达到同时能去雨与去雾的图像的增强[10]。

2 基于GAN网络的监控视频去雨雾的增强技术

我们都了解，对于视频的处理大多都是对视频进行视频帧先提取，然后再进行逐帧处理，最后还原成视频。这样处理能降低视频处理的难度，同时达到处理的精确度。本文也是对针对图像进行处理，再推广到视频。

2.1 数据预处理

在运用GAN神经网络进行图像处理时首先需要对数据图像进行预处理[5]，我们通过拍照、搜索等方式获取现实环境中大量没有雨雾的清晰图像，然后用图像合成以及各种方法，获得到清晰图像对应到雨雾图。将所有图像一一编码，形成对应。由于我们对图像要做去雨雾的图像处理，所以制作数据集时存在着大量的雨雾图，同时按一定的比例在其中存在这只有雨干扰或者只有雾干扰的数据集，这样在训练数据时能提高其容错性及鲁棒性[9]。

2.2 网络结构集流程图

该网络的数据输入流程如图1所示，根据数据集的数量多少通过一定的比例设置训练集验证集，将训练集以及验证集一起输入到系统中，获得去雨雾的模型。

图1 结构流程图

2.3 模型参数设置

GAN代表了一种基于博弈论的生成模型，其中，生成器网络与对手竞争。从分类的角度来看，生成器网络G产生了一些实例，这些实例积极地试图“愚弄”鉴别器网络工作D，其目标是使鉴别器网络能够区分来自数据集的“真实”和生成器网络产生的“虚假”[7]。

而原始的GAN网络用于处理数据是为了得到一个最小最大值：

E代表每个bath_size图片的均值，D(y|x)代表在将雾图或者雨图作为标签时将清晰图像判别为正确的清晰图像的概率；D(z|x)代表在将雾图或雨图作为标签时将生成图像判别为正确图像的概率。

本文由于要处理含模糊雨雾特征的图像，可能在处理大量数据是会有模糊图像，参考文献[4]正文本文采用U-GAN的算法，其损失函数表示如下[4]：

所以，本文采用的算法总损失：

Px'沿着直线定义为样本来自真正的双点之间数据分布，λGD为其线性参数；Ll1为两数据集的损失。

设置参数调节，通过初始化各函数值，设置学习率以及循环次数，通过观察循环次数获得最理想的模型。

3 实验结果

通过2.3实时调节参数，获得该理想模型，将所需的视频图像输入到模型中，得到所需的清晰图像：

图2 图像雨雾处理结果

通过结果图可以看出该深度学习GAN网络可以同时处理含雨雾的视频图像，达到很好的去雨雾的效果。

4 结语

视频图像的清晰美化效果在现代图像处理占据着很大的比重，本文的基于U-GAN网络的图像去雨雾技术可以同时解决图像被雨雾遮挡的现象，同时比传统的图像处理更加地快速和有效，能更好地保存视频图像的完整性，得到更准确和清晰的图像。