适用于多场景的ResNet单幅图像去雾算法*

姜冰 陆健强 王卫星 李旺枝 黄德威 林佳翰



适用于多场景的ResNet单幅图像去雾算法*

姜冰 陆健强 王卫星 李旺枝 黄德威 林佳翰

（华南农业大学电子工程学院）

针对传统去雾算法需要人工提取特征，无法在不同应用场景中保证稳定的去雾效果，适用性不足的问题，提出一种基于残差网络的去雾算法。利用卷积神经网络自动提取图像特征；设计多种损失函数和激活函数；加入GANs网络恢复图像的纹理信息；拟合同一场景有雾图像和清晰图像的映射关系，训练网络参数，输出去雾后清晰图像。实验表明：本文算法在农田、山间、校园、城市和果园等多个场景去雾性能和适用性较好。

多场景；去雾算法；神经网络；残差网络

0 　引言

雾是一种常见的自然天气现象。雾霾天气拍摄的图像色彩衰减，可视效果较差。在视频监控、自动驾驶以及目标检测等应用中，雾霾天气拍摄的图像会使图像处理系统的性能急剧降低。因此，对雾霾天气拍摄的图像进行有效去雾和还原具有重要意义[1-4]。

He等人通过对大量户外无雾清晰图像的统计得到暗通道先验法，其假设图像中不存在大面积亮域，如天空或白色场景，某些像素至少一个颜色通道具有较低的值，该方法对有天空区域和大面积白色区域的图像去雾适用性较差[5-6]。Tarel等人在假设大气光幕局部变化平缓的情况下，提出大气光幕散射模型，利用模型实现图像去雾，该方法采用中值滤波器复原图像，图像的边缘信息不能很好保留[7]。

本文基于残差网络（residual networks, ResNet）提出一种适用于多场景的去雾算法。利用卷积神经网络（convolutional neural networks, CNN）提取图像特征，优化损失函数和激活函数；加入生成式对抗网络（generative adversarial networks, GANs）保持图像的纹理。图像近景处去雾干净，远景处天空区域无光晕效应。

1 　基于ResNet单幅图像去雾模型

1.1　模型设计

图1 　基于ResNet单幅图像去雾模型结构

图2 　ResNet模块结构

1.2 　损失函数与激活函数设计

1.2.1均方误差

本文采用均方误差（mean squared error, MSE）函数作为网络损失函数，MSE函数为

MSE函数只能整体衡量2幅图像之间的差异，无法确保其具有相似性。如图3所示，不同的像素值有相同的均方误差，其中图3(b)、图3(c)相对于图3(a)具有相同的MSE，但图像内容却不一致，因此网络需要增加其他损失函数以确保图像的相似性。

图3　 相同均方误差不同像素

1.2.2色彩损失函数

在图像像素具有相似性时，MSE会造成色彩失真，且输入的有雾图像自身也存在色彩失真，因此需要设计用于矫正色彩失真的损失函数。本文采用巴氏距离来衡量2个图像直方图的相似性。直方图相似度定义为

当2个直方图一致时，直方图相似度值为1，但不代表2个图像的内容一致。如图4所示，图4(a)和图4(b)的直方图相似度为1，图像内容却不同。

图4　 不同像素相同图像直方图

1.2.3纹理损失函数

通过GANs衡量去雾后图像与清晰图像之间的纹理关系。GANs的输入为去雾后图像和清晰图像，训练目的是判别输入图像是去雾后图像还是清晰图像，并使去雾后图像纹理特性趋近于清晰图像的纹理。纹理判别器网络结构如图5所示。

图5　 纹理判别器网络结构

GANs通过优化去雾后图像和清晰图像的交叉熵进行训练，其损失函数为

1.2.4结构相似性损失函数

图6　 多尺度结构相似性损失框架

1.2.5总损失函数

GANs的纹理损失函数结合MSE、色彩和结构损失函数构成整体损失函数。本文算法总损失函数为

1.2.6激活函数

神经网络中有多种激活函数，选取合适的激活函数对训练网络至关重要。Sigmoid激活函数饱和区会发生梯度弥散现象且近饱和区域收敛速度慢。ReLU激活函数在正半轴能够保证梯度，在负半轴梯度为0，具有稀疏性，且不能保证图像像素值位于[0,1]区间内。为更好地结合Sigmoid和ReLU激活函数的特性，本文采用截断ReLU激活函数如式(6)所示。

1.3 　训练神经网络数据获取

本文网络训练使用NYU Depth数据集[12]；采用大气散射模型合成部分有雾图像，实际拍摄有雾图像和合成有雾图像数据集共47351张，实际有雾图像与其对应的清晰图像1364组；采用角点匹配算法对拍摄图像进行校正和裁剪。

2　实验结果与分析

本实验的电脑操作系统采用Ubuntu14.04；软件平台Tensorflow和Matlab2014Ra；处理器Intel Xeon(R) CPU E5-2620 v4 @ 2.10 GHz ×16；内存64 G；GPU为GTX TIAN X。

2.1　定性分析

将本文算法与Tarel算法和He算法进行对比，并进行定性定量分析。图7从上到下分别为农田、山间、校园、城市和果园5个不同场景的图像；从左到右依次为原图、Tarel算法、He算法和本文算法对比图。

由图7可以看出：采用Tarel算法和He算法的农田、山间、城市和果园图像天空区域出现光晕效应和块状效应；校园图像边缘出现残雾，且图像整体色彩偏暗；采用本文算法的农田、山间和果园天空区域平滑，近景区域去雾较为彻底；校园树叶边缘残雾较少，颜色较为自然；城市和果园远景区域色彩协调、颜色自然，近景去雾干净。

由此说明：本文算法能够有效解决天空域出现明显失真及图像亮域复原时容易出现光晕效应的问题，同时对不同场景具有很好的适应性，复原图边缘不会出现残雾和色彩失真。

2.2　定量分析

采用MSE[13]对上述实验图像进行定量分析。MSE数学定义为

表1　 3种去雾算法的MSE

表2　 3种去雾算法的综合客观评价值

表3 　3种去雾算法的盲评指标

1）由表1可以看出：本文算法去雾后的图像与原图像的像素颜色MSE最小，Tarel算法和He算法比本文算法的MSE高10%以上；Tarel算法和He算法去雾后图像与原图像的像素颜色偏差较大。

2）由表2可以看出：本文算法综合评价指标的数值比Tarel算法平均高37.35%、比He算法平均高45.91%。

综合表1、表2和表3的实验结果，本文算法在MSE指标、综合评价指标和盲评指标3个评价中都比He算法和Tarel算法取得更好的效果，因此可认为本文算法在多个场景中的单幅图像去雾效果更佳。

3　结论

本文基于ResNet单幅图像去雾算法解决了局限于特定应用场景的去雾问题，对农田、山间、校园、城市和果园等不同场景均表现较好的去雾效果，且具有较好的适应性，同时解决了天空区域出现的光晕效应和块状效应。但是由于雾天图像较为模糊，近景处去雾后效果边缘信息清晰，远景处去雾后的图像边缘信息损失较多，不能完全复原图像。另外，基于深度神经网络的图像去雾算法，参数和计算量存在着较多的冗余，模型有一定的压缩空间。

[1] 胡子昂,王卫星,陆健强,等.视频图像去雾霾技术研究综述与展望[J].电子技术与软件工程,2015(22):94-95.

[2] 南栋,毕笃彦,许悦雷,等.基于暗原色先验的图像去雾算法[J]. 中南大学学报(自然科学版),2013(10):4101-4108.

[3] 涂雅瑗.雾天降质图像的对比度增强方法研究[D].大连:大连海事大学,2009.

[4] 周雪智.图像增强算法研究及其在图像去雾中的应用[D].长沙:湖南师范大学,2015.

[5] He Kaiming, Sun J, Tang Xia. Single image haze removal using dark channel prior[C]. Computer Vision and Pattern Recognition, 2009:1956-1963.

[6] He Kaiming, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12):2341-2353.

[7] Tarel J P, Hautière N. Fast visibility restoration from a single color or gray level image[C]. IEEE, International Conference on Computer Vision, 2009:2201-2208.

[8] Zhang K, Zuo W, Chen Y,et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017,26; 26(7):3142-3155.

[9] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[J]. Computer Science, 2016:2818-2826.

[10] Ioffe S , Szegedy C . Batch normalization: accelerating deep network training by reducing internal covariate shift[C]. International Conference on International Conference on Machine Learning. JMLR.org, 2015, 37: 448-456.

[11] 姜中敏,周颖梅.基于多尺度结构相似度的印刷图像质量评价研究[J].包装工程,2016,37(9):134-137.

[12] Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from RGBD images[C]. European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2012:746-760.

[13] 麦嘉铭,王美华,梁云,等.特征学习的单幅图像去雾算法[J]. 中国图象图形学报,2016,21(4):464-474.

[14] 胡子昂,王卫星,陆健强,等.视觉信息损失先验的图像分层去雾方法[J].中国图象图形学报,2016,21(6):711-722.

[15] 黄德威,陆健强,陈可昕,等.基于大气光值图的自适应去雾算法[J].计算机工程与设计,2018,39(4):1130-1135.

[16] He Kaiming, Sun J, Tang X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6):1397-1409.

[17] Hautiere N, Labayrade R, Aubert D. Real-time disparity contrast combination for onboard estimation of the visibility distance[J]. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(2):201-212.

ResNet Single Image Defogging Algorithm for Multiple Scenes

Jiang Bing Lu Jianqiang Wang Weixing Li Wangzhi Huang Dewei Lin Jiahan

(School of Electronic Engineering, South China Agricultural University)

The traditional defogging algorithm requires manual extraction of features, and it is impossible to ensure a stable defogging effect in different application scenarios, and the applicability is insufficient. This paper proposes a neural network image dehazing algorithm based on neural network to automatically extract image features, design various loss functions and activation functions, join GANs network to recover image texture information, and fit the fog map and clear image mapping of the same scene. Relationship, training network parameters, output clear image after defogging. Experiments show that the algorithm has good applicability to fogging in farmland, mountain, campus, city and orchard. The fogging performance of fog images in different scenes is good, and it can be applied to multi-scene fogging.

Multiple Scenes; Defogging Algorithm; Neural Network; Residual Network

姜冰，男，1994年生，硕士研究生，主要研究方向：图像处理。E-mail: bing9783@163.com

陆健强（通信作者），男，1980年生，高级实验师，硕士生导师，主要研究方向：图像处理。E-mail: 646346@qq.com

广西科技计划重点研发计划项目（桂科AB16380286）；2018年省级乡村振兴战略专项资金（2018LM2163）；广州市科技计划项目创新平台建设与共享专项（201605030013）。