基于AOD-Net改进的单幅图像去雾算法研究

金彬峰 黄金炜 赵慧勐

摘  要：针对雾天拍摄图像不清晰的问题，提出了一种基于改进AOD-Net的单幅图像去雾算法。即在已有AOD-Net去雾算法的基础上，针对其存在的参数估计不均导致累计误差，从而使得去雾后的图像色彩失真以及低照度下效果不佳等缺陷，对AOD-Net去雾算法的损失函数进行了改进，同时引入一个低照度增强模块。由实验结果可知，改进的方法在真实图像和人工合成图像上去雾效果都有了较大的提升，有效地提高了图像质量，在PSNR和SSIM指标上均优于其他对比算法。

关键词：图像去雾；AOD-Net；低照度增强模块；PSNR；SSIM

中图分类号：TP391  文献标识码：A    文章标号：2096-4706（2023）01-0080-04

Research on Improved Single Image Defogging Algorithm Based on AOD-Net

JIN Binfeng， HUANG Jinwei， ZHAO Huimeng

（School of Computer Science and Engineering， Anhui University of Science and Technology， Huainan  232001， China）

Abstract： In order to solve the problem of unclear images taken in fog， a single image defogging algorithm based on improved AOD-Net is proposed. That is， based on the existing AOD-Net defogging algorithm， the loss function of AOD-Net defogging algorithm is improved， and a low illumination enhancement module is introduced at the same time， aiming at the defects that the uneven parameter estimation leads to cumulative error， which leads to the color distortion of the image after defogging and the poor effect under low illumination. From the experimental results， we can see that the improved method has greatly improved the defogging effect in both real images and synthetic images， and effectively improved the image quality， and is superior to other comparison algorithms in terms of PSNR and SSIM indicators.

Keywords： image defogging; AOD-Net; Low illumination enhancement module; PSNR; SSIM

0  引  言

近年來，工业的蓬勃发展一方面提高了人们生活质量，另一方面也给社会带来了一定程度的负面影响，汽车尾气排放和工业污染的加重导致PM2.5浓度上升，雾霾天气也出现得越来越频繁。雾霾不仅会对人的身心健康造成严重的危害，还会加剧交通事故的发生，对社会生产生活也有广泛的影响。因此对图像去雾技术的研究逐渐成为计算机视觉领域不可缺少的课题。

为了降低雾霾对图像质量产生的影响，从20世纪末开始研究者提出许多不同方法。目前，对雾天图像处理的方法主要分为三类：

（1）基于图像增强的去雾算法，这类算法不用考虑图像退化的原因，主要是通过提高细节信息以及对比度来提高图像视觉质量，代表性的算法有基于Retinex理论的方法[1]、直方图均衡化方法[2]和频域滤波等方法，但这类方法容易造成图像失真或过增强现象。

（2）基于图像复原的去雾算法，这类算法主要依靠大气散射模型，对大气散射作用进行建模，实现复原。代表性的算法有何凯明博士的暗通道去雾算法[3]，以及后续的基于导向滤波的暗通道去雾算法[4]，但这类算法过于依赖于对模型参数进行有效估计。

（3）基于深度学习的去雾算法，近年来，卷积神经网络在计算机视觉和图像处理方向取得了很大的进展，也出现了大量的基于CNN的去雾算法。大致分为两类，第一类还是基于大气退化模型，通过卷积神经网络估计模型中的参数，早期的方法基本都是依据这种思想。第二类直接以有雾图像为输入，直接输出无雾图像，即深度学习中的端到端。基于CNN代表性的算法有Cai等人提出的端到端的去雾网络-DehazeNet[5]、多尺度卷积神经网络（Multi Scale CNN， MSCNN）[6]、多尺度融合的一体化网络（All in One Dehazing Network， AOD-Net）[7]，虽然这类算法同传统的算法相比去雾效果有了显著的提高，但仍存在着一些不足。

针对以上算法存在的不足，本文基于深度学习，提出了一种基于改进AOD-Net的单幅图像去雾算法，以原有AOD-Net作为主干网络，对其损失函数进行改进，并且引入一个亮度增强模块，实验结果表明，本文算法得到的去雾图像视觉效果更好，图片更加自然饱满。

1  基本原理

1.1  AOD-Net去雾算法

AOD-Net提出了一种使用卷积神经网络（CNN）构建的图像去雾模型，称为多合一去雾网络（AOD-Net），网络结构如图1所示，它是根据重新制定的大气散射模型设计的。AOD-Net不像以前大多数模型那样分别估计传输矩阵和大气光，而是直接通过轻量级CNN生成干净的图像。

AOD-Net算法主要由以下五个步骤组成：

步骤一：大气散射模型转换及公式更改。在计算机视觉中，大气散射模型可表示为以下公式：

I（x）=J（x）t（x）+A（I-t（x））                        （1）

其中I（x）表示待去雾的图像（原始图像），J（x）表示去雾后的图像，A表示无穷远处的大气光成分，t（x）表示透射率，要恢复无雾图像，则必须精准估计其他参数的值，AOD-Net核心思想就是将（1）中的I（x）和A两个未知量统一成一个参数，即K（x），K（x）的变换公式如式（2）所示，直接在图像像素域上最小化重建误差，得到简化的大气散射模型如式（3）所示：

（2）

J（x）=K（x）I（x）-K（x）+b                        （3）

步骤二：AOD-Net为了增强特征提取能力，采用了一种多尺度特征融合方式。在AOD-Net的网络层中，结构如图1所示，concat1层连接了来自conv1和conv2层的特征。同样地，concat2连接来自conv2和conv3的特征，concat3连接了来自conv1、conv2、conv3和conv4的特征。这种多尺度的设计通过不同尺度捕获特征，其中它的中间连接层也弥补了卷积过程中的信息损失，同时，AOD-Net每个卷积层都只用了3个过滤器，这是该模型轻量的原因。这样的网络结构分明，也有利于更好地进行运算。

步骤三：创建合成数据集。AOD-Net通过设置不同大气光值，统一选择通道，把NYU2数据集拓展成含有不同浓度的有雾图像数据集。

步骤四：使用了均方误差损失函数，如式（4）：

LMSE=（Ji-F（Xi））2                                                   （4）

其中Xi表示有雾图像，Ji表示合成的无雾图像，F（Xi）表示通过网络后得到的去雾图像。

步骤五：通过训练后，AOD-Net网络可以得到训练好的网络各层的权值，通过加载权值，用AOD-Net网络读取有雾图像，直接获得去雾图像。

1.2  损失函数的改进

虽然AOD-Net同传统的去雾算法相比，在去雾效果上有了显著的提升，但是对于部分图片仍有去雾效果不佳、对比度过高、对于一些边缘細节处理不完善等缺陷。本文保留AOD-Net原本的网络结构，对其损失函数进行改进，以达到提升去雾的效果。

SSIM作为衡量图片相似程度的指标，公式如式（5）：

（5）

其中μx是x的平均值，σx2是x的方差，σxy是x和y的协方差，μx和σx是x对于亮度和对比度的估值。（ p）和cs（ p）是x像素和y像素亮度以及对比度的相似性测量，根据x和y的变化对其结构相似性进行评价。

SSIM损失函数如式（6）：

（6）

但是在现实情况下，SSIM函数的训练效果并不会很稳定，会受到参数的影响，导致去雾效果差等问题。引入了一种多尺度SSIM损失函数，使用M个级别的σ值对SSIM进行改进，多尺度SSIM如式（7）：

（7）

其中lM是l（ p）以M为刻度定义的，csj是cs（ p）以j为刻度定义的，把α和β设置为1，使用中心像素  近似计算区域损失为：

（8）

式（8）转换为导数形式得到式（9）：

（9）

对比于AOD-Net使用的均方误差函数，使用该损失函数能够减少与清晰图片的差异，无论是对比度还是细节处都有明显的提升。

1.3  低照度增强模块

针对输入图像在照度低的情况下成像不清晰，以及AOD-Net去雾后可能导致亮度和清晰度明显降低的问题。在AOD-Net模块中加入一个低照度增强模块，在对比文献中，发现Zhu等提出的一种新的三分支全卷积神经网络RRD-Net[8]的效果较好，它不需要任何先前的图像示例或先前的训练，而是通过将输入图像分解为三个分量：照明、反射和噪声，通过对loss进行迭代来有效估计出噪声和恢复光照，从而明确预测噪声以达到去噪的目的。RRD-Net在提升图像亮度和清晰度的同时，也避免了过度曝光，RRD-Net如图2所示。

首先进行分解，由三个分支输出组成：分量反射率图R、照度图S和噪声图N，公式如式（10）：

I（x）=R（x）S（x）+N（x）                         （10）

分别对应估计反射分量、光照及噪声。反射分量和光照通过sigmoid函数层结束，保证强度范围能在[0，1]之间。特殊的是，为了让加性噪声更加拟合，在其结尾使用了tanh层，能保证噪声值范围在[-1，1]之间。

其次是进行恢复，经过伽马变换光照分量可以调整为式（11）：

（11）

这中间γ表示一个预定义的参数，将输入图减去噪声图N并除以S后进行变换得到估计的反射图。公式如式（12）：

（12）

根据调整后的光照强度以及无噪声的反射率，最后可以计算得到其需要恢复的结果。公式如式（13）：

（13）

选取了夜间的图片对RRD-Net进行了实验，原图和增强后的对比如图3所示。

通过对比可以看出RRD-Net的一些优点：能较好地增强低光照图像，也不存在过度曝光或者局部曝光等现象。

2  实验过程与结果分析

本文选取有雾图像RESIDE的公开数据集，RESIDE是一个由真实雾霾和人工合成雾霾组成的一个数据集，由五个子集构成，其每个子集根据不同的需求来进行训练以及评估，实验选取了ITS以及搜集到的雾天图像进行训练和测试。良好的硬件和软件对训练模型起着至关重要的作用，本文训练的硬件环境为CPU：Intel Corei7-11370H，GPU：Nvdia RTX 3060，内存16 GB。软件环境为：操作系统：Windows 11，深度学习框架：Pytorch，Python 3.7。采用图像去雾领域最广泛使用的评价指标峰值信噪比PSNR（Peak Signal-to-Noise Ratio）以及结构相似性SSIM（Structural Similarity）对实验进行客观评价，其值越高，证明雾度去除效果越佳。

实验分为合成有雾图和真实场景有雾图进行，并与传统的去雾算法、DCP、双边滤波，以及基于深度学习的DehazeNet、AOD-Net算法进行比较。

2.1  合成有雾图去雾测试

因为还要考虑低照度下的图像成像，所以选取了一些照度低的有雾图像进行测试，其对合成有雾图去雾结果如图4所示。各个算法PSNR及SSIM实验结果如表1所示，可以看出本文算法在评价指标上都优于对比算法。

2.2  真实场景有雾图去雾测试

由于合成数据集的雾气是人为添加的，所以可能存在着部分偏差。为了更好地验证改进算法的效率，图5是在真实环境下对有雾图像进行去雾的结果。明显能看出DCP表现最差，光晕严重。双边滤波去雾后图像有点失真，DehazeNet去雾效果不错，但是对比度偏高，AOD-Net去雾效果一般，部分细节还是没处理好，且亮度较暗，对比之下，本文改进的算法不仅在图像去除雾方面得到了不错的提升，对于低照度的图片也有较好的增强效果。

3  结  论

针对AOD-Net去雾算法存在的一些不足，本文提出的基于改进AOD-Net的单幅图像去雾算法，引入新的损失函数和低照度增强模块进行了优化，从PSNR、SSIM上与其他经典算法进行比较，本文改进的算法在对比中比经典算法具有更好的去雾效果。基于深度学习的去雾算法目前在公共安全以及交通管理方面也有很大的前景，在接下来的工作中也将研究去雾算法在此类环境下的应用。

参考文献：

[1] RAHMAN Z，JOBSON D J，WOODELL G A. Multi-scale Ret-inex for color image enhancement [C]//Proceedings of 3rd IEEE International Conference on Image Processing.Lausanne：IEEE，1996：1003-1006.

[2] THANH L T，THANH D N H，HUE N M，et al. Single image dehazing based on adaptive histogram equalization and linearization of gamma correction [C]//2019 25th Asia－Pacific Conference on Communications（APCC）．Ho Chi Minh City：IEEE，2019：36-40．

[3] HE K M，SUN J，TANG X O，et al. Single image haze removal using dark channel prior [EB/OL].[2022-08-29].https：//www.docin.com/p-824571919.html.

[4] HE K M，SUN J，TANG X O. Guided image filtering [J].IEEE transactions on pattern analysis and machine intelligence，2013，35（6）：1397-1409.

[5] CAI B L，XU X M，JIA K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal [J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[6] ZHANG J，TAO D C． FAMED－Net：AFast and Accurate Multi-Scale End－to-End Dehazing Network [J].IEEE Transactions on Image Processing，2020，29（1）：72-84.

[7] LI B Y，PENG X L，WANG Z Y，et al． AOD-net：All-in-one dehazing network [C]//2017 IEEE International Conference on Computer Vision（ICCV）.Vision：IEEE，2017：4770－4778.

[8] ZHU A Q，ZHANG L，SHEN Y，et al.Zero-Shot Restoration of Underexposed Images via Robust Retinex Decomposition [J].2020 IEEE International Conference on Multimedia and Expo（ICME）.London：IEEE，2020：1-6.

作者簡介：金彬峰（1997—），男，汉族，浙江湖州人，硕士在读，研究方向：图像处理；黄金炜（1999—），男，汉族，江苏南通人，硕士在读，研究方向：图像处理；赵慧勐（2000—），男，汉族，山东济宁人，硕士在读，研究方向：图像处理。

收稿日期：2022-09-22