基于融合编码算法的图像去雾方法研究

张浩 朱海杰 孔斌瑶 张梓宜 冯恒栋

摘要：与使用大气散射模型的去雾方法不同，基于轮廓和颜色的融合编码算法模拟了含雾场景中的视觉感知特征，通过主动融合轮廓特征来平衡模糊图像中的颜色信息量，从而防止了去雾过程中出现的扭曲或晕效应。实验结果表明，该方法的鲁棒性和去雾效果较好，为图像去雾的研究提供了新的思路。

关键词：图像去雾;卷积神经网络;计算机视觉

1.引言

在有雾或烟雾的复杂环境中拍摄的图像可能质量较差，包括能见度、对比度、锐度等指标都较差，这是大气粒子的反射、折射和散射的综合光学效果。通过图像去雾技术来对这种环境中拍摄的图像进行增强，是自动驾驶和视频监控等领域研究的热点问题。目前的图像去雾方法主要包括传统方法和深度学习方法，传统方法又可以分为基于数学模型的方法和基于物理模型的方法。

对模糊图像或弱视觉场景的一些研究表明，人类视神经系统通常提取场景的主要轮廓，并添加颜色等其他特征，然后通过脑神经的记忆功能进行物体重组。这里需要考虑两个因素。首先，在端到端的去雾算法中，由于标签图像是一个清晰的彩色图像，并且由于卷积神经网络通常根据标签的显著特征（颜色特征）进行表征，因此提取的低层次特征主要是颜色特征，从而导致去雾图像有明显的色差。其次，雾霾等噪声信息导致图像轮廓模糊，提取的轮廓和纹理特征是稀疏的。

由于颜色特征量的不平衡和轮廓纹理特征的差异，因此在反向传播过程中边缘不能很好地拟合，从而使去除图像的边缘显得模糊。对于这两个问题，假设在特征提取中结合了大量的轮廓特征和纹理特征，这样就可以平衡特征提取过程中颜色特征提取过多的问题，进而建立一个合理的网络模型来去除色差和晕的问题。

2.基于轮廓和颜色的融合编码算法简述

如前所述，大气散射在传统机器学习方法和深度学习方法中都起着重要的作用，因为大气散射可以解释去雾前后图像之间的关系。这种模型的原理是，如果光被雾或雾霾的粒子阻挡，光的散射会减弱成像的效果。

许多去雾方法依赖于大气散射模型来实现单图像去雾。例如，将清晰图像中的每个颜色簇定义为RGB空间中的一行，利用深度边缘感知平滑算法优化局部先验生成的初始传输图，然后利用梯度残差最小化来实现图像去雾;在假设传输图和图像表面阴影是局部不相关的情况下估计了一个场景的反照率，并用大气散射模型实现了图像去雾。

首先，本文方法解决了晕和色差问题。以前的工作仅限于使用WB、CE和伽马校正（GC）来补偿由雾和低能见度造成的图像中的颜色变化。如果没有正确地选择对比度和亮度，可能会产生不同类型的色差。在自动特征提取中，CNN对颜色特征的提取距离太远，导致其冗余，进而导致晕和色差。可以通过平衡颜色特征的数量和可控特征轮廓的数量来解决这些问题。

其次，本文方法的性能更加稳定。其他方法主要使用光学特性来解决去雾问题，如WB、CE和GC，但值得注意的是，WB、CE和GC的提取是由参数控制的。因此，对于不同浓度的雾，对应的三个子图的获取是不稳定的，这将会影响到去雾的效果。我们使用信息量来解决稳定性的问题。只要雾图不是完全看不见的，就可以穩定地获得主要的轮廓来平衡颜色，从而提高了图像去雾系统的稳定性。

最后，在网络的设计中，经过多次验证发现设置三层来进行低级特征提取效果较好。本文直接融合了多维特征，以确保深度特征信息更加丰富，且生成式对抗网络模型被用于改善图像去雾模型。

3.融合编码算法原理

本文给出了一种基于等高线和颜色融合编码的端到端图像去模糊处理方法，模拟了一个由生成网络和判别网络组成的视觉信息处理的生物机制。该算法提取输入图像的轮廓，提取低级特征编码区域的颜色，同时按层添加轮廓，深度编码结果为低级特征编码区域。最后，该算法将低级特征编码结果与高级语义编码结果相结合，对融合结果进行分层解码，生成去雾后的图像。然后，算法将待去雾图像和相应的样本标签输入判别网络，计算图像的相似度，生成网络和判别网络交替进行，优化两个网络，从而提升系统的去雾能力。

构建深度卷积神经网路的主要目的是训练出最优的网络参数，因此可选择VGG网络预训练模型的前三个特征提取模块，构建七层卷积神经网络，作为低级特征提取器。然而，去雾网络需要轮廓特征的融合，而为深度网络选择特征提取器可能会导致过多的信息被编码，在这种情况下，颜色可能会失去其原始值，无法与轮廓正确融合，影响编码效果。本文采用了VGG的特征提取思想，但仅使用三层卷积作为颜色特征提取器。本文将感知到的轮廓结果依次添加到三层颜色中，以增加轮廓的体积比。此外，与图像分割和图像识别不同的是，图像去雾只减弱与真实像素相关的噪声，但不会很大程度地改变图像结构，这样可以避免过度学习和提高效率。为了消除低层次特征编码区域的信息冗余，本文将第三个卷积层的步长设置为2，类似于池化操作。并且为了提高网络的通用化性，每个卷积操作都经过标准化操作。

4.结论

本文利用深度编码模拟视觉感知，给出了一种用于图像去雾的端到端神经网络模型。该网络模型由生成网络和判别网络组成，包括轮廓特征提取器、低级特征编码、高级语义编码和特征解码。本文方法模拟了深度视觉感知系统的编码过程，给出了一种从低级特征编码到高级语义编码的新型图像编码方法。该方法在图像去雾方面取得了较好的效果，且对减少卷积神经网络的黑盒特征具有重要意义。进一步模拟含雾场景中光学神经系统的响应，通过模拟生物视觉系统，对视野中图像的轮廓和颜色特征进行融合编码，进而创建图像去雾系统。同时，该方法改进了传统神经网络的损失函数，允许对合成和自然含雾图像进行去雾实验，得到了定性和定量的结果。

本文方法对烟雾环境中的含雾图像去雾效果较好，对自然图像去雾效果更好，具有较强的鲁棒性。本文给出的基于轮廓和颜色融合编码的图像去雾方法，为图像去雾提供了一种新的解决方案和发展方向。

参考文献：

[1] M. Li， J. Liu， W. Yang， X. Sun， and Z. Guo. Structure-revealing low-light image enhancement via robust Retinex model. IEEE Trans. Image Process.， 2018， 27（6）： 2828-2841.

[2] C. Li， J. Guo， F. Porikli， H. Fu， and Y. Pang. A cascaded convolutional neural network for single image dehazing. IEEE Access， 2018， 6： 24877-24887.

[3] Q. Zhu， J. Mai， and L. Shao. A fast single image haze removal algorithm using color attenuation prior. IEEE Trans. Image Process.， 2015， 24（11）： 3522-3533.

张浩：衢州学院2020级数据科学与大数据技术专业本科生。资助项目：国家级大学生科技创新项目（项目编号：202111488030）