基于显著性权重的多曝光融合的单幅雾天图像复原算法

李红云 施 云 高 银

①(泉州职业技术大学 晋江 362200)②(泉州装备制造研究所 晋江 362200)

1 引言

在雾天，拍摄的图像出现能见度和颜色失真等问题对户外的道路监控、智能导航、目标识别等产生严重干扰。因此，为了得到高质量的目标信息，迫切需要一种对雾天图像进行有效的复原的方法。

众所周知，图像去雾是个不适定问题，即使几年来替代深度测量，也依然难以取得理想的效果。由于忽略雾天图像降级的机制，所以很多复原方法受到限制。例如，直方图均衡方法是通过扩大3个通道的静态范围来优化整个局部对比度，却无法扩展每个局部区域的有效信息[1]。自适应平衡化方法可有效地解决局部问题，但增加了算法复杂性[2]。图像去雾中早期的模型，retinex方法[3—5]，具有较佳的动态压缩能力和色彩再现能力，但缺乏边缘保持的能力，导致恢复后图像呈现光晕伪影。后来许多学者进行改进，但依旧不能在复原的清晰度和色彩保真度方面达到更好的权衡。

Nayar等人[6]提出大气散射模式去复原雾天图像，但引入了无限远点和近距离点的求解，很容易导致深度区域过饱和。文献[7]使用不同的偏振角去雾，但所需条件比较困难。因此，这些方法缺乏在实际应用中的实践性。近几年，单模型去雾引起人们广泛的关注，尤其是先验方法。Fattal[8]提出单成分分析方法，但以输入图像的统计特性为基础的先验普适性较差，尤其是针对自然户外图像。之后，Fattal[9]又设计出颜色线模型，却不适用于单色图像。早期的大气散射模型需要场景的深度求解困难，因此发展应用一直受限制，但He等人[10]借助先验概率的理论，提出一种新的暗原色先验去雾的方法(Dark Channel Prior， DCP)，大大促进单图像去雾的发展，但在亮度变化区域出现视觉感损失问题。为了提高DCP的复原的效果，出现了各向异性高斯滤波[11]、多图像融合[12]和基于拉普拉斯机制[13]来优化透射率。为了提高算法效率，文献[14，15]寻求一种新的方法，来代替软抠图算法，但并没有从根本上解决DCP的固有缺陷。Meng等人[16]提出一种边界约束和上下文正则化方法，但对于雾天的局部曝光图像，仍出现光晕问题。Zhu等人[17]通过有监督的学习方法，建立颜色损失先验的线性模型，但遗憾的是，由于散射系数不确定，复原的质量也得到不到保证。

最近，基于机器学习的方法被应用到图像去雾领域。文献[18—20]通过混合已建立的假设或先验知识来训练，为去雾提供新的线索。虽然他们的系统可以在很大程度上弥补相关特征的弱点，但所采用的复杂的机器学习方法降低实时性能。Zhang等人[21]构建金字塔密集连接的透射图估计和全局大气光估计网络来恢复雾天图像，但该方法仍然依靠DCP先验模型。为了摆脱其干扰，Zhang等人[22]提出一种感知金字塔深度网络，直接复原雾天图像，但需要成对的大量样本。之后Wang等人[23]提出了一种大气光照先验网络解决配对问题，用于去雾。但是这些基于学习的方法，仍然离不开准确的大气散射模型参数。因此，当使用这些可论证的训练模型来处理不在训练数据集中的雾天图像时，这些基于学习的方法可能会遭遇模型失败。

为了解决这些不良的视觉感，融合原理被引入到图像去雾中。Ancuti等人[24]通过白平衡和对比度增强过程，构建两个输入图像，然后将两个对应的映射图通过多尺度方法进行融合。由于融合对象不足和全局大气光不准确，该方法视觉效果不理想。Galdran等人[25]提出一种基于融合的变分方法对雾天图像进行复原，但仅使用增强的变分图像去模糊迭代优化，这只消除图像中部分的雾。最近，Gao等人[26]采用自构造的方法对雾天图像进行复原，该方法提高了图像的视觉感，但增加了算法的复杂度。

综上所述，这些基于融合的方法增加了计算复杂性，即使是减少融合的数量，降低算法的复杂度也是有限的。在最近的基于融合的去雾文献中，这些方法通过在一定程度上权衡方法来获得更好的视觉效果。这种策略在视觉效果和算法复杂度上取得了较好的权衡。基于此思想，我们提出基于快速多曝光融合的单幅雾天图像复原算法。本文方法主要贡献是：(1)提出一种创新的方法去估计全局大气背景光的范围，通过该方法可以构造不同曝光程度的图像，解决亮度损失问题；(2)提出一种自适应边界限制的Kirsh算子的高阶差分滤波方法，更加准确地优化透射率图像；(3)提出一种基于显著性权重的快速曝光图像融合方法，解决图像视觉效果的问题。

2 本文算法

经典的DCP模型[10]表示如式(1)

其中，I(x)是输入图像。J(x)是去雾后的图像。t(x)表示介质的透射率，早期采用导向滤波[15]进行优化。A是全局大气背景光的值。由于该模型算法处理后图像的视觉感损失较严重，很多学者开始不断地对该模型进行修正。

针对DCP的固有缺陷，本文在构建模型和统计实验的基础上，提出了一种基于权重多曝光融合的单幅雾天图像复原算法，算法流程如图1所示。

图1 算法的流程图

2.1 图像中较亮区域分割

针对暗通道获取全局大气背景光值的缺陷，本文提出一种基于直方图分析的局部寻优阈值分割方法。通过分割，分离较亮区域，求取全局大气背景光的有效值，在去雾的时候就能有效地解决局部过曝光或者光晕现象，达到最优的视觉效果。

首先，运用高斯滤波平滑处理，或者直方图；其次利用二分法求解直方图中的局部最小值

式中，fc(x)为平滑后的单通道图像。Hc(x)是输入图像的直方图。g(x)是高斯滤波函数，h，σ是高斯卷积核的尺寸和标准差，*是卷积操作。对直方图进行倒序，mHc(x)取Hc(x)的最大值。Lm(·)是二分法对局部最小值的求解函数。p是二分法求取的一系列局部最小值，p ∈[0，mHc(x))。ac是雾天图像每个通道较亮区域范围的下限阈值，全局大气背景光的有效值正是在该范围内。对于每个通道，根据不同的高斯核和标准差给出分割的结果。如图2所示，本文方法分割天空区域有较高的普适性。

图2 区域分割的对比图

通过统计实验，构建出较亮区域的亮度值函数，其公式为

式中，A1，A2，A3为分割后较亮区域像素的最大值，中间值和最小值。中间值可能包含多个值，其求解函数fm求取过程如下：首先获取fc(x)直方图占比最大的像素A1，其次获取占比最大值像素的95%的点At，作为阈值点，最后获取At与A1中间的值，作为中间值。这些值就是本文全局大气背景光的值。

2.2 透射率图像的优化

DCP中对透射率图像的优化经过He等人[10]改进，引入导向滤波，虽然减少了处理时间，却增加了算法的复杂度。本文通过大量的实验发现，处理完的图像的平滑度直接影响处理后图像的视觉效果，并且针对不同场景的图像，透射率的优化程度也应该不同。因此，考虑到算法复杂度和处理效果，本文提出一种新的基于自适应边界限制的Kirsh算子的高阶差分滤波方法，其步骤如下。

首先，根据辐射立方体理论，本文重新定义一种针对任何雾天图像的自适应边界限制条件

其次，构造Kirsh算子的高阶差分滤波方法，对获得的透射率图像进行优化处理。

由于Kirsh算子单独运行可以增强图像的细节，但是对于雾天图像，对透射率的优化是在保持边缘的基础上，达到对梯度较小区域的平滑。因此需要借助高阶差分滤波的方法，把Kirsh算子的8方向模板融合到该滤波之中，具体的构造为

2.3 显著性权重多曝光图像融合

经过自适应边界限制的Kirsh算子的高阶差分滤波处理，透射率的图像得到不同程度的平滑。在DCP基础上，可以获取不同程度去雾的初始图像。

其中，Ji(x)是不同全局大气背景光Ai和透射率图像Ti下求取的去雾后的结果，i的取值为1， 2， 3。d是一个调节参数，取值范围为[0， 1]。T0是透射率图像的Ti下边界限制值。

由于全局大气背景光Ai在暗原色理论中起到调节处理后图像亮度的作用，复原完成后图像出现不同程度的曝光。本文根据此特点，提出一种基于显著性权重的多曝光图像融合方法，其表示为

其中，NJ(x)是融合后的图像。ME(·)是多曝光融合算法，其具体的步骤如下。

3 实验结果及分析

为了提高算法的普适性，我们把图像库中400个雾天图像作为样本，运用统计学方法获得图像分割的一般性规律，在双核2.4 GHz CPU，Matlab R2015a和Windows 7操作系统基础上，对本文算法进行验证。文中从区域分割和透射率图像优化方面进行分析，说明本文分割算法和新的滤波方法的作用。为测试算法的有效性，本文与文献[10，16，28—31]进行比较，从主观和客观两个方面对算法进行分析。其中合成图像从RESIDE的测试集SOTS随机取出[32]。

3.1 区域分割的对比和透射率图像优化的分析

对雾天图像的全局处理，容易引起图像中的色彩过度饱和对比度过大等问题，因此，寻找一种能对雾天图像中不同区域进行分割的方法，对每个不同的分割区域采用不同方法处理，是处理雾天图像的关键之一。考虑到一天中不同部分时间段的影响，文中采用不同场景和时间段采集的图像，测试算法处理的普适性，其处理效果如图4所示。

在图4中，第1行图像是没有较亮区域的，分割出的部分是图像中反射率比较大的部分，该部分由于反射率比较大，显现的图像亮度值就比较高，可以作为全局大气背景光的值所在的区域。第2行图像是有小部分的较亮区域的图像，分割出的结果是图中比较亮的部分，但不包含路灯，本文分割算法可以有效地消除路灯的干扰。第3行为较亮区域占比比较大的图像，从分割的结果可以看出，本文算法可以有效地分离出主要的较亮区域，去掉大部分“雾带”的干扰。3幅图像的复原结果都很好地保留了原图的色彩，比较接近人眼可视的视觉感。

图3 显著性多曝光融合过程

图4 滤波后透射率图像的对比

为了有效地说明本文提出的透射率算法的有效性，我们与经典的导向滤波[15]方法进行对比分析。

在图4中，通过文献[10]的方法获取的暗通道图像细节比较清晰，经过导向滤波的处理，图像中大部分得到了平滑优化，复原后的结果色彩保真度也很好，但有些图像中残存有雾气，如第1行文献[10]处理的结果。此外文献[10]处理后的结果有亮度损失的现象，如第3行图像，主要原因是作者采用统计先验的方法估计全局大气背景光，造成该值出现偏差。导向滤波的方法是对全局的平滑处理，促使图像失去了深度感，图像中物体的边缘损失严重，如图4(c)所示。本文首先通过自适应边界限制的方法获取初始透射率图像，如图4(e)所示，图中物体的深度信息比图4(b)明显；其次通过Kirsh算子的高阶差分滤波方法对初始透射率图像进行保边平滑处理，如图4(f)所示，图中每个物体的深度信息依然很突出，并且在保留图像边缘细节的同时，增加大量的低频信息，明显提高暗原色理论模型的增强优化效果。此外，经过本文算法的处理，在较平滑的区域，如图4(g)中的第1行所示，红色的墙体表面没有残存雾气，色彩保真度明显优于暗原色理论算法，其余的2幅图像，本文算法处理后，图像的对比度明显得到增强，视觉可视度也得到明显的提高。因此，本文算法在透射率图像优化方面有明显的优势。

3.2 本文算法效果的对比分析

根据对比分析的一致性原则，本文分别采用不同类别的自然图像和合成图像，与当前最新的暗原色理论模型及其修正方法进行对比，文献[10，16，28—31]通过主观和客观数据分析进行评价。客观评价中，表1分别用黑体标注最优的两种方法。

由于自然环境下的图像缺少真实的无雾图像，对其评价没有可参考对象，所以对自然图像的评价采用无参考的图像评价方法[33，34]。图5采用的是户外雾天图像，分别命名为工地、寺庙、稻田和原野。表1是针对图5进行的客观评价，评价方法为ILNIQE[33]和ENIQA[34]。ILNIQE是通过图像的特征，对自然图像进行评价，评价的值越小，说明该图像质量越高。ENIQA是一种无参考图像评价方法，评价的值越大，图像质量越好。

图5 自然图像去雾对比图

在图5中，色彩畸变最大的为文献[28]处理后的图像，4幅图像中较亮区域均出现了颜色畸变，物体的表面残存有大量的雾气，整体视觉感较差。其次是文献[31]的方法，在4幅图像中，有3幅都出现了一定程度的颜色畸变，图像的亮度整体偏暗，局部区域出现过增强现象。文献[16]的结果和文献[30]的结果类似，有一半的图像出现了色彩畸变。文献[30]的方法对图像的局部有明显的对比度增强，这一方面，文献[16]的弱一点。文献[29]的方法和文献[10]的方法处理后的结果，在较亮区域只有一小部分出现了颜色畸变，图像的保真度明显优于前几种方法，但处理后物体表面的雾气，文献[29]的方法这一方面明显优于文献[10]的方法。文献[10]的方法处理后的结果，残留的雾气较多，并且以牺牲图像亮度来增强图像的对比度。

与以上6种方法对比，本文的方法处理后的图像在较亮区域没有出现颜色畸变，图像的保真度也比较好，由近及远，处理后图像的深度保持比较好，图像整体达到较好的可视度。

在客观评价方面，表1中，文献[10]和文献[31]的方法没有产生较好的评价值；文献[16]和文献[28]的方法只产生一个较好的评价值；文献[29]的方法产生2个较好的评价值；文献[30]的方法产生3个较好的评价值。与以上几种方法进行对比分析，本文算法产生7个较好的评价值，说明本文算法在处理效果上明显优于以上6种方法。

表1 自然图像中不同方法的客观评价分析

为了更加直观地分析算法的有效性，本文采用合成图对本文算法进行对比分析，其中最后一列是输入图像的真实结果。考虑到实验图中有合成图像，所以在客观评价中对该类图像采用全参考的图像评价方法[33]。图6是从RESIDE的测试集SOTS[32]取出的图像，分别命名为校园、小区、马路和宫殿，通过6种经典的方法进行主观的分析。表2是针对图6进行的客观评价。为了更加合理地对自然图像进行评价，本文采用两种评价方法：PSNR和RVSIM[35]。PSNR是峰值信噪比的简称，PSNR越大，代表图像越接近真实图像，质量越好。RVSIM是一种基于视觉敏感度的全参考图像评价方法，评价的值越大，说明该图像失真度越小，质量越好。

在图6中，文献[10]和文献[31]的结果是7种方法中最差的，在4幅图像中较亮区域均出现色彩畸变，图像出现局部过增强现象，图像亮度损失也较多，很多物体的细节无法辨析，如图6(b)、图6(g)所示。其次，文献[16]的结果在亮度方面，损失少于以上两种方法，但在较亮区域依旧出现色彩畸变和过增强问题，并且出现一定程度的“涟漪”现象，如图6(c)所示。文献[28]的结果优于以上3种方法，在较亮区域色彩失真较为明显，虽然图像亮度得到提高，但处理后图像仍残存一层淡淡的雾气，如图6(d)所示。文献[29]和文献[30]的方法是这几种对比方法最好的，图像中只有局部较亮区域出现色彩畸变，图像中物体的细节虽然有些不太清楚，但整体视觉感得到一定程度的提高，如图6(e)、图6(f)所示。与真实的图像进行对比，6种对比方法均无法达到真实无雾图像的效果。

图6 合成图像去雾对比图

与以上6种方法进行对比，本文算法处理后的图像亮度和可视度均较好，较亮区域的色彩保真度也较好，图像中的物体的细节保留非常完整，清晰可辨，此外，与真实无雾结果对比，本文处理后的图像非常接近无雾的图像。

在客观评价方面，表2中，文献[10]、文献[28]和文献[31]均没有产生较好的评价值；文献[16]产生一个较好的评价值；文献[30]产生2个较好的评价值；文献[29]产生4个较好的评价值。与以上6种方法相对比，本文的方法产生8组较好的评价值，说明本文算法在处理合成图像时，其处理的效果明显优于以上6种方法。

表2 合成图像中不同方法的客观评价分析

此外，为了更好地验证算法的效率，本文利用图5的图像进行对比实验，单位是s，如表3所示。

表3 各种算法的处理时间对比(s)

对比以上7种处理方法，文献[29]和文献[31]的处理速度最快，效率最高，但效果比不上本文方法。其次是本文算法，影响效率的主要原因是图像融合。文献[30]的方法效率比本文方法稍弱，但强于文献[10]等方法的处理效率。效率最慢的是文献[28]等的方法。

4 结束语

在本文中，通过分析大量的雾天图像直方图，提出一种新的雾天图像亮度区域分割方法，更有效地获取全局大气背景光；根据Kirsh算子的性质，设计一种新的Kirsh算子的高阶差分滤波方法，综合各个方向优点对透射率图像进行优化；利用图像显著性方法，构造一种显著性多曝光融合方法，提高复原后的图像视觉效果。雾天图像的视觉效果一直是该方向的追求，本文构建显著性图，通过多曝光融合方法，根据主观和客观实验对比分析发现，本文避免了亮度区域的光晕现象和图像的色彩失真问题，很好地提高复原后图像的视觉效果。考虑到透射率优化和多曝光融合过程中涉及多图像的处理，未来工作重点将针对算法的效率和复原后图像的质量之间的平衡。