适合跨域目标检测的雾霾图像增强

郭强，浦世亮，张世峰，李波*

1.北京航空航天大学数字媒体实验室, 北京 100191；2.杭州海康威视数字技术股份有限公司, 杭州 310000

0 引 言

室外天气复杂多变，雨雾、沙尘、灰霾等天气频繁发生。场景光线在充满悬浮粒子的空气中受到大气散射效应影响发生衰减，天空光照也出现明显分布不均，导致雾霾天气下室外图像成像清晰度和目标显著程度严重降低，这极大干扰了基于监控设备的人看机判任务。所以对雾霾天气监控系统采集的视频图像进行增强成为一个热门研究方向。

传统雾霾图像增强方法关注以像素为基本单位的图像统计分布变化，如饱和度、韦伯对比度等，这些方法可分为两类：一种是根据需要对图像表观属性进行映射增强；一种是根据图像的散射降质原理进行降质建模和模型反演。本文发现，散射引起的成像降质会改变以像素间关系为基本单位的统计分布的变化，如目标轮廓等形状特征，因此在雾霾图像中提取与人类视觉质量相关的自然场景统计特征和与机器目标检测相关的目标类别特征时，这些特征与在清晰图像中提取的特征相比会产生明显差别。因此，本文将首先介绍现有方法，并在此基础上提出一种无监督先验混合网络，实现适合人看机判的图像增强。

传统图像去雾增强方法关注于解决雾霾图像中低对比度和低饱和度退化。负图像映射增强法(Galdran等，2018)反转图像像素后，采用生物视网膜方法剥离图像低频信号，增强图像对比度，抑制散射效应。感知增强法(Gibson和Nguyen，2013)提出一个与人眼感知质量相关的指标来指引图像对比度增强，协调图像对比度和图像感知质量。近年来还有一些方法借鉴深度学习领域中图像超分、图像去噪领域的工作，提出了一些采用深度学习特征映射的方法来实现对比度和亮度或者抽象表观特征的增强。快速去雾网络(Zhang和Tao，2020)借鉴金字塔结构来融合不同大小、不同深度的特征层实现图像去散射，并且后接一个亮度映射网络来实现图像亮度的映射。结构搜索网络(Li等，2020)采用自搜索方式来构建特征搜索模块，根据图像降质类型自动选择编码模块，在编码特征中分离降质因素并进行解码，从而自适应地实现多类降质图像的增强。但是传统图像增强方法主要作用于饱和度和韦伯对比度等，不仅容易导致图像对比度增强过度，使增强图像产生明显不自然现象或者伪影，降低了视觉感知质量。而基于深度学习的增强方法受限于合成数据集与真实图像之间的差异，而且缺乏符合物理意义的约束将导致网络中特征传递过程中的图像纹理细节的损失。

传统图像去雾还原方法以大气光传输理论为理论基础。低对比度图像复原方法(Narasimhan和Nayar，2003)最早建立了大气散射退化模型，描述了均衡天空光照条件下大气散射效应对于光学成像的影响，并根据同一场景的序列图像来实现模型参数的估计和模型反演。基于输运方程的大气退化还原方法(刘锦锋和黄峰，2004)引入了大气辐射传输方程来研究散射现象，并给出了还原方程的数值解。暗原色先验(dark channel prior, DCP)(He等，2011)基于清晰图像中局部小块的统计信息提出了暗原色先验，用于在单幅图像中估计透射率值，该先验操作简便，推动了基于暗原色先验改进的单幅图像去散射算法的研究(李坤 等，2015)。吴迪和朱青松(2015)对于图像去散射算法研究的国内外现状进行了总结。色彩椭球先验(color ellipsoid prior, CEP)(Bui和Kim，2018)改进了暗原色先验，用局部块像素簇成的椭球的边界来预测散射偏移，对抗随机噪声。一些深度学习方法通过数据学习利用特征来代替先验进行散射率估计。两阶段去雾网络(袁非牛 等，2021)通过由粗到细的特征提取实现了图像去散射。去雾网络DehazeNet(Cai等，2016)利用卷积层、最大池化层和激活层来代替暗原色先验中操作，实现图像去散射。全连接去雾网络(all-in-one dehazing network, AOD-Net)(Li等，2017)将去雾网络连接目标检测网络进行共同训练，在提升图像质量的同时还提升图像目标检测的性能。一些最新的网络模型，如密集连接去雾网络(densely conneeted pyramid dehazing network, DCPDN)(Zhang和Patel，2018)利用较为复杂的网络结构提升了大气散射模型中模型参数的预测精度。大气散射模型同样推动了单幅图像去雨雾方法的研究。整合物理模型和对抗学习的雨雾去除网络(integrating physics model and conditional adversarial learning, IPMCA)(Li等，2019b)在散射模型中加入雨线参数，通过滤波方法分离雨线和背景，利用网络学习散射参数，并利用生成对抗模型优化去散射结果，从而得到去雨雾散射增强结果。域适应去雾网络(domain adaptation for image dehazing network, DADN)(Shao等，2020)注意到真实雾气图像和合成雾气图像与清晰图像之间均存在较大的表观特征分布差异，从而引入了真实雾气图像与合成雾气图像的域转换模块，减少真实雾气图像与清晰图像之间的表观特征域距离，再将转换后的真实雾气图像输入到去雾网络中，可以显著提升网络对于真实图像的去散射效果。

然而，现有去雾方法还存在许多挑战。现有方法普遍忽略了传统散射模型所描述的散射降质与真实世界雾霾图像降质的差别。现有的标准大气散射模型只能适应弱散射场景，而难以解释暗淡且模糊的强散射场景。针对这种现象，光照分解方法(Hu等，2019)拓展了大气散射模型，实现了强散射环境的图像去散射和光照还原。但是拓展散射模型对于实际降质的描述仍不完全。而一些跨域目标检测方法关注于提升网络对雾霾图像的目标检测性能。基于暗原色的半监督去雾网络DAOD(domain adaptive object detection)(Sindagi等，2020)结合对抗学习和暗原色先验实现跨域目标检测，提升了基于清晰图像训练集的目标检测网络对雾霾图像的跨域检测精度。但是现有方法均只偏重于视觉感知或跨域检测精度中的某一方面，难以实现视觉感知质量与跨域目标检测精度的均衡提升。

同样考虑到真实雾天图像与清晰图像之间存在较大的表观差异，因为缺乏监督数据而且现有对抗迁移网络难以准确衡量具有较大差异的两域之间距离，本文设计了一个无监督先验混合网络，提出一个适合跨域目标检测的雾霾图像增强方法。该网络首先利用区域先验和散射模型构成雾气先验模块，对受大气散射和弱光照影响的雾霾图像进行快速去散射，其后连接一个特征级增强网络模块，将经过去散射后在亮度对比度上接近清晰图像的还原图像和随机清晰图像视为输入图像，利用像素域和特征域的无监督损失进一步减小去雾图像域与清晰图像域之间在整体视觉质量和局部目标轮廓表现上的差异，实现场景统计特征和目标类别特征的增强，从而提高目标检测网络的跨域性能。

该混合网络利用深度学习指向明确、细粒度的优点突破了传统像素级增强方法难以表征抽象特征的制约，同时克服了对抗迁移网络在分布距离衡量上的弱点，减弱了识别算法对于恶劣天候标注数据的依赖，实现了对真实世界各类雾霾图像，如雨雾和浓雾等图像视觉感知质量以及目标可识别表现的增强。

1 雾天图像表观特征退化

低对比度成像复原方法(Narasimhan和Nayar，2003)推导出了大气散射退化模型

I=Jt+A(1-t)

(1)

式中，I表示雾霾图像，J表示清晰图像，t表示透射率图像，A为常量，表示恒定的天空环境光照强度，1表示元素全为1的矩阵。

现有大气散射模型将雾气散射对图像的影响均归结为以像素为单位的线性变化。但雾霾图像这一类图像本身也存在较大的退化差别，被薄雾笼罩的图像符合式(1)描述的线性退化，而被浓雾沙尘笼罩的图像昏沉黯淡，纹理轮廓模糊退化，无法通过局部对比度的增强来得到有效复原。

所以，本文经过实验得到图1所示的图像质量指标散点图分布图(图中，红点代表的图像为域适应去雾网络DADN所获得的250幅去雾图像，蓝点代表的图像为250幅清晰图像)。图1中的集成自然图像质量评价指标(integrated local natural image quality evaluator, IL-NIQE)衡量了测试图像的纹理轮廓方向等图像形状特征和颜色特征与清晰图像之间的分布差异，最新的域适应去雾网络DADN对250幅真实雾气图像进行处理得到的去雾结果仍然与清晰图像之间存在较大的图像质量指标的差异。这表明真实雾天图像与清晰图像之间在以像素间关系为单位的表观特征上还存在显著差异。

图1 多幅图像的图像质量指数的散点图

现有生成对抗网络(generate adversarial network, GAN)难以建立无重叠的两个分布之间的联合分布，并且准确衡量分布距离。所以图2中的域距离示意图解释了域适应网络DADN中真实图像与合成图像之间的域转换训练难以收敛，导致去雾模块无法稳定实现真实雾霾图像的去雾增强。

图2 真实雾霾图像与清晰图像域距离示意图

2 先验混合增强网络方案

考虑到真实雾霾图像与清晰图像之间存在的像素级差异和像素间关系相关的表观特征的差异，本文采用如图3中的网络结构所示无监督训练和先验混合网络实现对于真实雾霾图像的增强效果。图3(b)中基于先验的传统增强方法作为经验指引首先减少雾霾图像与清晰图像的以像素为单位的表观特征差异，减小了去雾图像与清晰图像之间在高维特征空间的分布距离，可以提高网络模块实现域转换的收敛能力，为减小去雾图像域与清晰图像域之间在整体视觉质量和局部目标轮廓表现上的差异，增强目标类别特征提供了基础。所以本文所提出的先验混合增强网络可以实现去雾的同时，提高预训练目标检测网络的在雾霾图像域的跨域检测性能。

图3 无监督先验混合增强网络结构

3 面向雾气去除的先验模块

先验模块采用传统方法进行透射率估计和模型反演，实现恶劣天气图像的像素级雾气散射去除。

3.1 扩展大气散射模型

根据光照分解方法对于大气散射的研究，采用拓展的散射模型来描述雾霾图像中的散射效应。该模型中考虑了散射导致的空间变化天空光照，因而将环境光照参数改为一个空间变量，该变量在太阳光直射点取到最高，随着图像区域与直射点的距离而衰减。

采用最大值保边缘滤波器实现快速估计环境光照。该滤波器中，以雾霾图像每个像素为中心所在区块的像素最大值作为该像素的光照初值。而且该光照初值图Aθ受到雾霾图像梯度的约束，随着图像的深度变化而发生阶跃

V=min∑((A-Aθ)2+λw(x,y)(A(x)-A(y))2)

(2)

式中，V为能量方程的目标函数，求解该公式可得到雾气图像环境光照图A,λ可取为0.1，w(x,y)=exp(-|I(x)-I(y)|/0.02)为梯度约束项，使得求取的光照值符合原图像的梯度变化。

3.2 区域先验

此外，本文受到对于随机噪声较为鲁棒的颜色椭球先验启发，利用像素簇的置信边界进行散射率估计，并利用大气散射中透射率与区域深度有关的性质，利用区域梯度对透射率值进行约束，从而提出了区域约束先验。

颜色椭球先验将局部块内的像素簇成的椭球视为固定分布，推导出像素分布的固定区间为

[min(μc-σc),min(μc+σc)]

(3)

式中，μ表示某图像的局部均值构成的图像，σ表示图像的局部标准差构成的图像，c表示红绿蓝(red,green,blue, RGB)通道。

实际上像素在RGB空间为随机分布，本文将区块中3维像素的分布视为卡方分布，从而推导出一个更为准确的像素簇置信区间

[min(μc-kσc),min(μc+kσc)]

(4)

式中，当k设置为1.71，60%区块像素位于置信区间中，式(3)相当于式(4)的子区间，20%区块像素位于式(3)的区间中。而透射率图tn通常取为区间最小值tn=min(μc-kσc)。

但是，因为场景中透射率与场景深度有关，根据置信区间估计的透射率在平坦区域中往往会低于纹理丰富区域。本文注意到图像中物体纹理表现也与区域有关，所以根据纹理表现对图像区域进行分割，对于图像中纹理较弱的区域，赋予一个低置信度，对于纹理较强的区域，赋予一个高置信度，对估计的透射率图进行优化，从而使得估计的透射率t符合场景深度变化

t=(1-C)tn+Cmax(tn)

(5)

式中，C表示基于纹理的区域置信度图像。

根据式(1)(2)和式(4)(5)，可以进行光照估计、透射率估计、散射光去除和光照重映射，得到去散射结果Jd=J/A。

4 面向质量提升和跨域检测的特征级增强模块

经过散射效应的去除，雾霾图像的亮度和对比度信息被映射到一个较为接近清晰图像的区间。但是去雾图像仍然在更细微的自然场景统计特征上，如光照强弱变化，以及目标边缘清晰度和完整性上与真实清晰图像之间存在明显的差异。且图像目标对于清晰图像训练的目标检测器来说可识别度仍较低。

所以本文设计了一个特征级增强模块。该模块减小去雾图像与真实清晰图像之间的特征差异，损失函数为特征距离度量函数，基本结构为一个条件生成对抗网络。

4.1 生成对抗网络结构

生成器起到图像转换的作用，输入为去雾图像，输出为增强图像，由2个残差块组组成，每个残差块组含有3个残差块，每个残差块包含2个卷积层，1个实例归一化(instance norm，IN)层，1个激活层和1个长连接，通道数为32。起主要作用的网络层为实例归一化层。图像风格化的研究表明(Huang和Belongie，2017)，图像的风格主要表现为特征图的均值和方差，而实例归一化层可以针对特征图的均值和方差来进行自适应转换，起到了优化盲图像质量评价IL-NIQE(Zhang等，2015)中对比度归一化指标(locally mean subtracted and contrast normalized, MSCN)统计特征的作用，所以可以有效提升去雾图像到清晰图像的风格迁移效能。除此以外，生成器中的残差结构和长连接也有助于保留纹理边缘，减少扭曲和伪影。

像素域和特征域判别器起到去雾图像和清晰图像风格判别的作用。均采用块对抗网络PatchGAN的结构，但不采用批归一化(batch norm，BN)层，防止每批训练数据内多图像的情况下判别器过度模糊去雾图像的边缘结构，从而引导增强结果中出现大量伪影。像素域判别器输入为增强图像或清晰图像，特征域判别器输入为增强图像特征或清晰图像特征,特征提取器由双阶段目标检测网络Faster-RCNN(region convolutional neural network)(Ren等，2017)预训练模型的前5层构成。

4.2 视觉质量相关统计特征增强的损失引导函数

采用最小二乘条件对抗损失(Mirza和Osindero，2014)引导去雾后图像进行网络迁移。迁移过程中生成器损失为

(6)

式中，G表示生成器，D表示判别器，E()表示分布函数的期望值，Pdata(x)表示清晰图像样本的分布，Pdata(E)表示去雾图像样本的分布，在像素域，x表示清晰图像，z表示去雾图像，在特征域，x表示特征提取器从清晰图像提取的特征图的均值，z表示特征提取器从去雾图像提取的特征图的均值。

判别器的损失为

(7)

为了约束图像场景统计特征的增强方向，本文提出了内容保持损失Lco，内容保持损失的第1项设计为一范数损失形式，减少增强后图像Je与去雾后图像Jd在图像最大通道上的数值变化，从而抑制色偏伪影，第2项设计为二范数损失形式，减少增强后图像Je与去雾后图像Jd在结构上的变化，本文还采用暗原色损失Ld来限制残留雾气，利用本文所提出的梯度增强损失Ltv来提高图像边缘轮廓梯度并限制离散伪影的增强，各损失函数分别表示为

(8)

通过梯度增强、伪影抑制、颜色纠偏和雾气去除等一系列风格转换可以有效引导雾霾图像的自然统计特征向清晰图像特征域转换，从而提升图像视觉感知质量。

4.3 目标检测相关类别特征增强的损失引导函数

目标类别语义判别器起到优化图像轮廓、减少去雾图像目标语义特征与清晰图像语义特征域差异的作用，由Faster-RCNN作为目标分类向量提取器。本文采用无监督目标向量类别累计误差损失Lta(Zheng等，2020)表示目标类别特征差异，实现对图像中目标轮廓的引导，并实现目标特征的优化，Lta的计算方法为

(9)

式中，i表示目标类别，m表示迭代次数，将Faster-RCNN网络所检测的目标区域作为伪标签，F为预训练Faster-RCNN网络中用来提取目标的类别向量的全连接层，w表示图像目标类别向量与历史累计类别向量之间的相似度，用向量内积sim函数进行衡量，sim函数为

(10)

由于图像目标类别特征与目标表观之间还存在信息差异，Lta直接进行反馈可能会引起增强后图像中目标周围出现伪影，所以结合LLSGAN和图像内容损失Lco可以实现图像目标轮廓和由检测网络提取的目标语义特征的共同优化。

对于生成器，本文所采用的损失函数为

L=Lga+20·Lta+25·Lco+

10·Ltv+0.1·Ld

(11)

在对抗网络的训练过程中，为了抑制伪影且保证生成图像的质量逐渐提高，表示像素域判别和特征域判别的Lga损失，表示目标语义判别的Lta损失，以及表示结构变化判别的Lco损失在数值上需要高于其他损失。真实图像任务驱动的测试数据集(real-world task-driven testing set, RTTS)(Li等，2019b)中的浓雾图像往往因为受到图像压缩的影响而纹理损失更明显，根据RTTS数据集的实验将以上损失函数权重设置为式(11)，将在实验部分验证式(11)中损失函数权重的设计对于其他雾霾数据集的效果。

对于判别器,本文采用损失函数为式(7)。

5 增强算法验证实验

实验在图像分辨率不一的真实雾气图像数据集RTTS和高分辨率真实雾霾图像数据集foggy driving dense上与最新的5种散射去除方法进行了比较。5种散射去除方法包括2种传统散射去除方法(DCP，CEP)和3种基于深度学习的散射去除方法(AOD_Net，DCPDN，DADN)。整个网络由PyTorch实现，计算平台为X86结构，计算机参数为i7 3.0 GHz，64 GB RAM，NVIDIA 2080ti。

5.1 算法实现细节

5.1.1 数据集

采用合成雾霾图像数据集(outdoor training set, OTS)(Li等，2019a)中的2 000幅清晰图像作为用于对抗学习的清晰图像数据集，将RTTS真实雾霾图像数据集中较清晰的2 000幅图像作为去散射模块的输入，并将去雾结果作为对抗学习的去雾图像数据集。去雾图像与清晰图像随机采样出边长为270×170的小块作为网络输入。同时将RTTS数据集和foggy driving dense数据集作为测试集对各类去散射方法的效果进行测试。

5.1.2 网络细节

该网络采用自适应动量预测优化器(adaptive moment estimation, ADAM)进行优化，优化器参数设置为0.5，0.999，学习率为2E-4,共训练250代，前200代将Lta权重设置为0，后50代将Lta权重设置为20，进行联合训练。

为验证本文方法对于图像质量和检测算法跨域目标检测的效果，本文方法对比了处理后图像的视觉效果，基于统计分布的客观质量指标和VOC2007数据集预训练的Faster-RCNN目标检测器对图像获得的目标检测精度指标。

5.2 基于人眼主观评价的视觉质量对比

各对比方法对RTTS数据集中的浓雾图像的去散射效果如图4所示。左侧为原图和去雾结果，右侧为VGG16第8层特征图通道均值。

图4 不同去雾方法的雨雾图像去雾对比图

因为散射模型没有考虑受散射影响的图像内环境光照的变化以及图像伪影的影响，基于散射模型的传统方法DCP和CEP都获得了难以分辨且颜色偏色伪影加深的去雾结果。深度学习方法AOD-Net和DCPDN难以处理与训练图像偏离较大的真实雾霾图像，结果图像主观质量不佳。基于域适应的去雾方法DADN添加了真实雾气图像到合成图像的域转换而提高了对于真实雾气图像的去雾效果，但是由于真实图像与合成图像之间的降质差异较大，真实图像与合成图像之间的域转换并不能稳定收敛，导致去雾结果在颜色和边缘表现上与清晰图像差异较大。

本文方法首先利用传统先验雾气反演降低了去雾复原图像与清晰图像之间的亮度梯度和对比度等像素级表观属性差异，减少了图像域距离，从而可以用生成对抗网络建立去雾复原图像与清晰图像之间的联合分布，并且通过图像质量相关表观特征和目标语义相关表观特征的约束，实现了对去雾复原图像表观特征的进一步增强。所以，本文方法获得去雾结果视觉质量最高，而且对应的特征图中车辆轮廓完整，也说明增强后的图像适合预训练检测算法进行跨域检测。

5.3 基于图像统计特征的视觉质量指标对比

采用了无参考图像质量评价指标对RTTS数据集前250幅雾气图像和foggy driving dense数据集21幅浓雾图像的去散射结果的质量进行评价。评价指标包括去雾图像与原始图像的平均梯度比(R)(Hautière等，2008)、盲图像质量评价指标IL-NIQE(Zhang等，2015)。去雾图像与原始图像的平均梯度比R衡量了去雾图像梯度的增强幅度，IL-NIQE(IL)提取统计特征衡量图像颜色、梯度、噪声、纹理结构等表观表现，反映图像降质表现。这两个指标可以很好地反映雾气图像降质的去除情况，各对比方法的指标结果如表1。

表1 对比方法获得去散射结果的图像质量指标

本文方法首先采用去雾方法进行雾气去除，加强了图像梯度和颜色信息，充分保留了图像纹理。其次利用条件生成对抗网络进一步进行散射降质去除，增强了与像素间关系相关的表观属性，如局部颜色和边缘轮廓特征，抑制了离散噪声，从而在客观指标上也获得了最高的去雾梯度和最佳的图像质量结果。在RTTS数据集上，相比于各指标中性能第2的算法，去散射结果图像质量指标R值提高了28.03%，IL-NIQE值提高了9.42%。在foggy driving dense数据集上，相比于各指标中性能第2的算法，去散射结果图像质量指标R值提高了73.64%，IL-NIQE值提高了3.23%。该显著提升显示了去雾反演模块提升图像梯度的效果；另一方面也说明了本文特征级增强模块对于增强图像质量相关特征、消去散射退化影响的泛化性。

5.4 基于目标类别语义特征的目标检测指标对比

采用了训练数据集为VOC2007，迭代次数为16代，基准模型为VGG16(Visual Geometry Group layer16)的目标检测网络Faster-RCNN对4 322幅RTTS数据集中去散射图像的行人、车辆两类目标进行检测，因为foggy driving dense数据集中其他类别目标数量较少，所以仅对车辆目标进行检测精度分析。评价指标包括平均精确率(MAP)和平均查全率(Recall)。各对比方法指标如表2所示。

表2 对比方法获得去散射结果的目标检测性能

本文利用特征级增强模块强化了目标语义信息相关的轮廓特征，降低了去雾图像和清晰图像在检测器提取的目标特征上的差异，从而本文方法所获得的去雾结果在跨域目标检测精度上获得了最佳结果。在RTTS数据集上，相比于各指标中性能第2的算法，目标检测指标MAP值提高了3.90%，Recall值提高了5.04%。在foggy driving dense数据集上，相比于各指标中性能第2的算法，目标检测指标MAP值提高了8.89%，Recall值提高了10.53%。结果的显著提升一方面显示了本文方法的泛化性，另一方面也显示了本文方法对于检测器对浓雾图像进行跨域检测的提升精度超过检测器对薄雾图像进行跨域检测的提升精度，这与本文对雾气散射导致的边缘轮廓退化效应的分析一致。

5.5 消融实验

表3进一步展示了本文中各模块对于图像质量和跨域目标检测的提升效果。其中Our-I表示只进行雾气反演所获得的去雾结果，Our-G-WithBN表示判别器中加入BN层得到的迁移结果，Our-G表示只进行雾气反演和图像质量相关表观特征增强所获得的增强结果。Our-G-WithBN结果表现出伪影增加，导致目标检测精度的大幅下降，而本文算法表示进行雾气反演、图像质量相关表观特征增强和目标语义相关表观特征增强所获得的最终增强结果。

从表3可以看出，雾气反演模块可以起到散射去除的效果，但同时也会过度增强雾气图像中原有噪声，抑制IL-NIQE指标和检测器进行跨域目标检测精度的提高。特征级增强模块对图像质量相关特征的增强可以抑制过度增强，调整颜色，有效提高IL-NIQE指标。特征级增强模块对目标语义相关特征的增强可以在抑制背景干扰梯度的同时显著增强前景区域轮廓特征，这一点可以从检测精度的提高、RTTS上梯度指标的降低上得出。

表3 本文方法不同阶段获得去散射结果的性能

图5展示了本文方法不同阶段所获取的去雾图像和对应的检测效果。可以看出，本文方法经过不同步骤可以逐步去除散射光、抑制偏色、抑制伪影以及增强目标轮廓，从而获得图像质量与跨域检测的兼容。

图5 本文方法不同阶段获取的雨雾图像结果对比图

6 结 论

雾天图像受大气散射干扰而产生不同程度的质量下降，而复杂降质不仅仅影响图像的像素外观，而且还极大地影响了图像的特征表达。现有方法大多作用于图像的像素级增强，未能显式地应对雾霾图像因降质产生的自然场景统计特征或者目标语义特征表达上的变化，在主客观评价标准上均无法显著提升去雾结果的视觉感知质量和目标可识别性。

因此，本文提出了一个无监督先验混合网络实现人看机判的雾霾图像增强。该方法结合了传统方法在建立稳定去雾映射与深度学习方法挖掘特征表达上的优势，通过无监督方式实现了散射降质的去除，并且增强雾霾图像的表观统计特征和目标类别语义特征。结果也表明所提出的网络可以实现去雾图像与清晰图像在特征域上距离的减少，从而提升雾霾图像的视觉图像感知质量和目标的可识别性。所以本文方法有利于监控系统在雾霾天气进行人看机判任务，且具有高效易用特点。

但是，该方法仍然难以补充雾霾图像中受散射模糊和图像压缩而损失的纹理信息，所以本文方法结果与真实图像在图像感知质量和机器感知质量上仍存在一定的差别。下一步的工作将结合时域信息，补充单帧纹理，进一步提升图像增强效果。

参考文献(References)

Bui T M and Kim W.2018.Single image dehazing using color ellipsoid prior.IEEE Transactions on Image Processing, 27(2): 999-1009[DOI: 10.1109/TIP.2017.2771158]

Cai B L, Xu X M, Jia K, Qing C M and Tao D C.2016.DehazeNet: an end-to-end system for single image haze removal.IEEE Transactions on Image Processing, 25(11): 5187-5198[DOI: 10.1109/TIP.2016.2598681]

Galdran A, Bria A, Alvarez-Gila A, Vazquez-Corral J and Bertalmio M.2018.On the duality between retinex and image dehazing//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City, USA: IEEE: 8212-8221[DOI: 10.1109/CVPR.2018.00857]

Gibson B K and Nguyen T Q.2013.A no-reference perceptual based contrast enhancement metric for ocean scenes in fog.IEEE Transactions on Image Processing, 22(10): 3982-3993[DOI: 10.1109/TIP.2013.2265884]

Hautière N, Tarel J P, Aubert D and Dumont É.2008.Blind contrast enhancement assessment by gradient ratioing at visible edges.Image Analysis and Stereology, 27(2): 87-95[DOI: 10.5566/ias.v27.p87-95]

He K M, Sun J and Tang X O.2011.Single image haze removal using dark channel prior.IEEE Transactions on Pattern Analysis and Machine Intelligence, 33(12): 2341-2353[DOI: 10.1109/TPAMI.2010.168]

Hu H M, Guo Q, Zheng J, Wang H Z and Li B.2019.Single image defogging based on illumination decomposition for visual maritime surveillance.IEEE Transactions on Image Processing, 28(6): 2882-2897[DOI: 10.1109/TIP.2019.2891901]

Huang X and Belongie S.2017.Arbitrary style transfer in real-time with adaptive instance normalization//Proceedings of 2017 IEEE International Conference on Computer Vision.Venice, Italy: IEEE: 1510-1519[DOI: 10.1109/ICCV.2017.167]

Li B Y, Peng X L, Wang Z Y, Xu J Z and Feng D.2017.AOD-Net: all-in-one dehazing network//Proceedings of 2017 IEEE International Conference on Computer Vision.Venice, Italy: IEEE: 4780-4788[DOI: 10.1109/ICCV.2017.511]

Li B Y, Ren W Q, Fu D P, Tao D C, Feng D, Zeng W J and Wang Z Y.2019a.Benchmarking single-image dehazing and beyond.IEEE Transactions on Image Processing, 28(1): 492-505[DOI: 10.1109/TIP.2018.2867951]

Li K, Lan S Y, Zhang J W and Li L.2015.An improved algorithm of haze removal based on dark channel prior.Computer Technology and Development, 25(2): 6-11(李坤, 兰时勇, 张建伟, 李璐.2015.改进的基于暗原色先验的图像去雾算法.计算机技术与发展, 25(2): 6-11)[DOI: 10.3969/j.issn.1673-629X.2015.02.002]

Li R T, Cheong L F and Tan R T.2019b.Heavy rain image restoration: integrating physics model and conditional adversarial learning//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach, USA: IEEE: 1633-1642[DOI: 10.1109/CVPR.2019.00173]

Li R T, Tan R T and Cheong L F.2020.All in one bad weather removal using architectural search//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle, USA: IEEE: 3172-3182[DOI: 10.1109/CVPR42600.2020.00324]

Liu J F and Huang F.2004.A restoration method of atmospheric degraded image based radiative transfer equation.Chinese Journal of Light Scattering, 16(4): 364-369(刘锦锋, 黄峰.2004.一种基于输运方程的大气退化图像复原方法.光散射学报, 16(4): 364-369)[DOI: 10.3969/j.issn.1004-5929.2004.04.015]

Mirza M and Osindero S.2014.Conditional generative adversarial nets[EB/OL].[2021-09-20].https://arxiv.org/pdf/1411.1784.pdf

Narasimhan S G and Nayar S K.2003.Contrast restoration of weather degraded images.IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(6): 713-724[DOI: 10.1109/TPAMI.2003.1201821]

Ren S Q, He K M, Girshick R and Sun J.2017.Faster R-CNN: towards real-time object detection with region proposal networks.IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149[DOI: 10.1109/TPAMI.2016.2577031]

Shao Y J, Li L, Ren W Q, Gao C X and Sang N.2020.Domain adaptation for image dehazing//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle, USA: IEEE: 2805-2814[DOI: 10.1109/CVPR42600.2020.00288]

Sindagi V A, Oza P, Yasarla R and Patel V M.2020.Prior-based domain adaptive object detection for hazy and rainy conditions//Proceedings of the 16th European Conference.Glasgow, England: Springer: 763-780[DOI: 10.1007/978-3-030-58568-6_45]

Wu D and Zhu Q S.2015.The latest research progress of image dehazing.Acta Automatica Sinica, 41(2): 221-239(吴迪, 朱青松.2015.图像去雾的最新研究进展.自动化学报, 41(2): 221-239)[DOI: 10.16383/j.aas.2015.c131137]

Yuan F N, Li Z Q, Shi J T, Xia X and Li Y.2021.Two stages feature extraction methods for image dehazin.Journal of Image and Graphics, 26(3): 568-580(袁非牛, 李志强, 史劲亭, 夏雪, 李雅.2021.两阶段特征提取策略的图像去雾.中国图象图形学报, 26(3): 568-580)

Zhang H and Patel V M.2018.Densely connected pyramid dehazing network//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City, USA: IEEE: 3194-3203[DOI: 10.1109/CVPR.2018.00337]

Zhang J and Tao D C.2020.FAMED-Net: a fast and accurate multi-scale end-to-end dehazing network.IEEE Transactions on Image Processing, 29: 72-84[DOI: 10.1109/TIP.2019.2922837]

Zhang L, Zhang L and Bovik A C.2015.A feature-enriched completely blind image quality evaluator.IEEE Transactions on Image Processing, 24(8): 2579-2591[DOI: 10.1109/TIP.2015.2426416]

Zheng Y T, Huang D, Liu S T and Wang Y H.2020.Cross-domain object detection through coarse-to-fine feature adaptation//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle, USA: IEEE: 13763-13772[DOI: 10.1109/CVPR42600.2020.01378]