基于边缘检测暗通道先验的全变差图像去雾算法

马 悦，金正猛，冯 灿

(1.南京邮电大学 理学院，江苏 南京 210023 2.北方信息控制研究院集团有限公司，江苏 南京 211153)

随着我国综合国力与科学技术的快速发展，对户外视觉系统智能化的需求变得愈发迫切［1］。 在现实生活中，恶劣天气下拍摄的户外图像会受到能见度低和对比度下降的影响，大气光和介质透射的混合会导致图像有雾，给很多应用造成困难，如物体检测、应变检测和三维重建等。 因此，去除和减少雾的影响显得尤为重要。

近年来，基于变分和深度学习的图像去雾方法备受研究者们关注。 Meng 等［2］通过对透射率固有边界约束的探索，提出了边界约束和正则化相结合的图像去雾方法（以下简称为Meng 方法）。 2014 年，文献［3］提出了加权矢量变分模型对有雾图像同时进行去雾和去噪，但该模型不能去除遥远场景的雾气。 为此，文献［4］对文献［3］的模型进行改进，提出了与无雾图像和场景深度相关的全广义变差（Total Generalized Variation，TGV）正则化模型，该模型可以有效去除遥远场景的雾气，但去雾图像颜色偏暗。 文献［5］ 提 出 了 非 局 部 全 变 差（Non-local Total Variation，NLTV）正则化模型进行图像去雾。 随着技术的不断发展，卷积神经网络（Convolutional NeuralNetwork，CNN）在图像去雾方面［6－9］取得了卓越的成就。 文献［6］提出了一种端到端的网络，称为DehazeNet 图像去雾方法，该方法将深度学习与传统方法相结合，以有雾图像为输入，通过深度学习估计透射图，然后使用大气散射模型复原图像。 与传统网络相比，该网络图像去雾的效率更高。 但是，复原图像容易出现雾气去除不彻底的情况。

各种先验知识和假设的提出［10－14］，有力地推动图像去雾方法的研究。 文献［10］提出了基于暗通道先验（Dark Channel Prior，DCP）的图像去雾方法，利用该先验可以直接估计有雾图像的透射率，但由于对图像明亮区域的透射率估计不准确，导致去雾后的图像偏暗和边缘细节丢失。 文献［12］提出了颜色衰减先验（Color Attenuation Prior，CAP），该先验通过建立场景深度线性模型获取有雾图像的深度信息。 文献［14］ 利用梯度剖面先验（Gradient Profile Prior，GPP）从有雾图像中估计场景深度，并通过引入各向异性扩散和基于迭代学习的图像滤波（Guided Anisotropic Diffusion and Iterative Learning Based Image Filter，GADILF） 改进透射率。

注意到He 方法［10］中的暗通道先验对图像透射率估计不准确，导致去雾后图像的边缘和结构等信息损失严重。 另外，双TGV 方法［4］的计算复杂度较高。 本文提出基于边缘增强的全变差图像去雾模型及其快速算法。 主要创新点如下：（1） 引入基于边缘检测的暗通道先验（Dark Channel Prior with Edge Indicator，EI-DCP）估计初始透射率，同时获取保留图像边缘细节信息的初始场景深度；（2） 结合该初始场景深度，提出一种新的全变差（Total Variation，TV）图像去雾模型，并证明该变分模型解的存在性和唯一性；（3） 结合原始-对偶（Primal-dual） 方法［15］，设计该模型的快速数值求解算法，并给出算法的收敛性。 数值实验结果表明：相较于文献［4］的双TGV 模型，本文模型同样可以获得令人满意的去雾结果，且较大地缩短了模型求解算法的运算时间。

1 相关工作

本文中，Ω ⊂R2表示具有Lipschitz 边界的有界图像域。 观测到的彩色有雾图像为

灰度图像H可通过加权平均得到

1999 年，Nayar 等［16］提出大气散射模型

其中，d为场景深度函数。 为了简单起见，η通常被设置为1。 通过对数变换，式（1）可转化为

1．1 暗通道先验

He 等［10］通过观察大量户外无雾图像的暗通道发现：在大多数户外无雾图像的非天空区域内，至少有一个颜色通道的像素强度非常低，且像素值接近于0 或等于0。 故将其定义为暗通道先验（DCP）

其中，c为颜色通道，ωδ（x） 表示以像素x为中心、δ为半径的局部窗口。

假设传输t（x） 在局部窗口ωδ（x） 中为常数，并在局部窗口ωδ（x） 中对有雾图像的3 个彩色通道取最小值可以得到

这里，全局大气光值Ac定义为暗通道中最亮的像素值。 结合式（5）的暗通道先验和式（6），得到初始透射率

最后，由式（2）得到初始场景深度d0＝－lgt0。

1．2 双TGV 模型

Gu 等［4］利用暗通道先验估计出初始场景深度。 同时注意到：彩色户外图像和场景深度通常是分片光滑的，故提出了如下的双TGV 图像去雾模型

双TGV 模型可以有效去除户外有雾图像中的雾气，同时TGV 正则也可以较好地刻画场景深度。注意到：在图像背景复杂、雾浓度较大的情况下利用DCP 先验估计的初始场景深度边缘等细节特征丢失严重，导致利用双TGV 模型恢复后的图像场景边缘和对比度等特征发生退化。 例如，在图1 中，图1（a）、图1（b）分别为合成户外有雾图像和原始图像；图1（c）、图1（d）分别为由DCP 估计的初始场景深度图和双TGV 模型得到的去雾结果。 从图1（d）可以看到，红框区域中“山峰”的边缘处出现白色伪影，场景的能见度降低。 事实上，从图1（c）可以看出，“山峰”区域的边缘细节特征在初始场景深度图中没有被很好地刻画，导致双TGV 模型在去雾过程中，最终恢复的图像边缘、对比度等细节信息损失较严重。

图1 不同初始场景深度的比较及两种模型的去雾结果

2 本文方法

2．1 边缘检测暗通道先验

为了恢复有雾图像中更多如边缘、结构等有价值的图像细节信息，本文引入基于边缘检测的暗通道先验（EI-DCP）估计初始透射率，同时获得保持图像边缘细节信息的初始场景深度。 这里，定义基于边缘检测的暗通道先验为

下面利用EI-DCP 估计初始透射率，在式（1）两边同时乘以边缘检测函数ψ， 并除以Ac， 再在等式两边同时取两次最小值得到

利用式（7）的EI-DCP，得到初始透射率

最后，由式（2）得到初始场景深度d0＝－lgt0。从图1 可以观察到：由EI-DCP 估计的初始场景深度图1（e）相较于DCP 估计的初始场景深度图1（c）保留了更多边缘、结构等图像细节信息。

2．2 本文模型

本文利用EI-DCP 估计初始场景深度d⇀0。 同时为降低双TGV 模型计算复杂度，这里提出如下基于边缘增强的全变差（TV）图像去雾模型

其中，

参数λ、μ ＞0，BV（Ω；R3） 为向量值有界全变差空间。

相较于双TGV 模型，本文模型结合EI-DCP 同样可以恢复出令人满意的去雾图像。 继续观察图1这个例子，图1（e）展示了由EI-DCP 估计的初始场景深度图，本文方法的去雾结果如图1（f）所示。 不难发现，图1（e）的初始场景深度图中放大区域“山峰”的边缘特征被清晰地刻画出来，使得所提模型的去雾图像能够很好地保持原始图像的场景边缘细节，恢复出具有较高能见度和对比度的去雾图像。本文方法恢复的去雾图像的PSNR 值要高于双TGV方法恢复的去雾图像的PSNR 值。 而且，还注意到：双TGV 模型算法相较于本文模型算法更耗时。 所以本文模型在计算性能上也优于双TGV 模型。

2．3 理论分析

首先，简单介绍BV（Ω；R3） 空间［18］的一些基本知识。

定义1设R3），且满足

BV（Ω；R3） 在赋予范数

后成为一Banach 空间。

引理1假设且在则有

引理2假设是BV（Ω；R3） 中的一函数列，且满足则存在子列使得当j→∞，在L1（Ω；R3） 中有

定理1设，对于固定参数有最小值。

由Ω 为R2中的有界域知，在L1（Ω；R3） 中是一致有界的。 此外，结合式（10）可得在BV（Ω；R3） 上是一致有界的。因此，存在使得

由引理1 可得

对 于 任 意k∈N有和应用Fatou 引理，得到

进一步，有

因为式中矩阵G是正定的，所以E0是严格凸的，从而是严格凸的，因此存在唯一的解。

2．4 本文算法与收敛性分析

本文利用原始-对偶方法［15］，给出所提模型式（9）的快速数值求解算法。 令M×N表示输入图像的大小，经过对偶变换，式（9）可以等价为如下鞍点问题

求解式（11）的过程如下：

进一步，有

其中，

本文算法的具体计算步骤如下：

步骤1初始化

步骤2未满足迭代停止条件时，反复执行以下步骤。

步骤3迭代终止条件为其中ε为控制迭代终止的参数，当满足该条件时停止迭代，输出。

由于本文算法的收敛性证明与经典Primal-dual算法［15］的收敛性证明过程相同，故这里不再赘述，仅给出算法的收敛性结果。

定理2对于任意给定的σ1，σ2，τ1，τ2＞0 以及L ＝‖∇‖，当σ1τ1≤1／L2，σ2τ2≤1／L2时，由本文算法产生的序列收敛到鞍点问题式（11）的解。

3 实验结果及分析

本文实验在Windows7 系统、Intel（R） Core（TM）i5-6200U @ 2.30 GHz 处理器、8 GB RAM，使用MATLAB 2019b 完成。 将本文提出的方法与CAP 方法［12］、DehazeNet［6］、Meng 方法［2］和双TGV 方法［4］的去雾结果进行比较，分别使用定性评估和定量评估的方式来验证本文方法的有效性。 定量评估方法采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structural Similarity，SSIM）［19］作为合成有雾图像和噪声有雾图像去雾效果的评价标准，利用图像可见度测量（Image Visibility Measurement，IVM）［20］、通 用 质 量 指 数（Universal Quality Index，UQI）［21］和 直 方图 相 关 系 数（Histogram Correlation Coefficient，HCC）［20］这3 个评价指标定量评价不同方法对于真实有雾图像的去雾性能。 其中，IVM 用来衡量无雾图像的可见边缘数，UQI 用来评估有雾图像和去雾图像之间的结构相似性，HCC 用来评估无雾图像颜色恢复的性能。 这里，PSNR 值和SSIM 值越高，表示图像去雾效果越佳，测试方法的IVM 和HCC 值越高，UQI 值越低，表示该方法具有更好的去雾效果。

3．1 参数的选择

在每一个像素点x，ωδ（x） 为11×11 的局部窗口。模型式（9）中，固定μ ＝4， 对于λ， 图像的噪声越大，λ取值越大，将其设置为0.03、0.05 或0.09，所有实验图像的λ详细值如表1 所示。 在本文算法中，令实验的停止准则ε ＝1×10－4。

表1 本文模型参数λ 的取值

3．2 比较不同初始场景深度的性能

本节在图2（a1）和图2（a2）两幅合成有雾图像上展示所提模型分别应用DCP 和EI-DCP 的去雾性能，验证本文所提先验的优越性，实验结果如图2 第二行所示。 从图2（b1）和图2（b2）的红框区域可以看出，与传统DCP 相比，EI-DCP 估计的初始场景深度保留了更多图像细节信息，这使得相较于本文模型应用DCP 得到的去雾结果（图2（f1） 和图2（f2）），应用EI-DCP 可以获得具有更高对比度的去雾结果（图2（e1）和图2（e2））。 这些结果表明，相较于DCP，应用EI-DCP 估计初始场景深度更具有优越性。

图2 本文模型应用EI-DCP 和DCP 的结果比较

3．3 合成户外图像去雾

下面展示不同方法对于合成户外有雾图像的去雾性能。 图3 最后一列展示了4 幅原始户外图像，第一列为相应的合成有雾图像Ⅰ、Ⅱ、Ⅲ、Ⅳ，其去雾结果如图3 第二到第六列所示。可以看出，CAP 方法［12］和DehazeNet 方法［6］的去雾结果存在大量雾气。 从图3 第四列的去雾结果中可以看出，Meng 方法［2］会产生过度曝光的区域。 双TGV 方法［4］虽然可以有效去除雾气，但它会使去雾后的图像颜色变暗，如图3 第五列的第一、三幅图像所示。 与其他4 种方法相比，本文采用EI-DCP 先验和TV 正则刻画场景深度，可以有效去除雾气，同时保持原始图像的对比度和清晰度。

图3 不同方法对合成户外图像的去雾结果

为了定量分析不同方法的去雾性能，表2 列出了图3 中各去雾结果的PSNR 值和SSIM 值，且每行中的最佳值均用粗体标记。 由于CAP 方法［12］和DehazeNet 方法［6］分别利用颜色衰减先验和深度卷积神经网络粗略估计有雾图像的初始场景深度，然后通过式（1）直接得到去雾后的图像，导致去雾后图像的质量欠佳。 如表2 所示，CAP 方法［12］和DehazeNet 方法［6］得到的PSNR 值和SSIM 值普遍较低。 Meng 方法［2］不能准确估计图像中明亮区域的初始场景深度，导致去雾图像易产生颜色失真情况。表2 中，除图像II 外，Meng 方法［2］去雾结果的PSNR 值和SSIM 值均低于本文方法。 双TGV 方法［4］利用传统DCP 估计的初始场景深度无法详细刻画场景边缘结构特征，而本文应用EI-DCP 不但能够有效去除图像中的雾气，同时还能更好地保持原图像的边缘结构特征，观察表2 不难发现，本文所提方法的PSNR 值和SSIM 值均高于双TGV 方法［4］。 特别地，本文方法的平均PSNR 值和SSIM 值要高于其他4 种方法，这也说明本文模型和算法在合成图像去雾中的有效性。

表2 图3 中去雾结果的PSNR 值和SSIM 值

3．4 真实户外图像去雾

本节展示不同方法对于真实户外有雾图像的去雾性能。 图4 第一列展示了4 幅真实有雾图像Ⅴ、Ⅵ、Ⅶ、Ⅷ，其去雾结果如图4 第二到第六列所示。 可以看出，CAP 方法［12］和DehazeNet方法［6］的去雾效果较差；类似于合成有雾图像的去雾结果，Meng 方法［2］的去雾结果仍然出现了过度曝光的区域；如图4 第五列第二、三幅图所示，双TGV 方法［4］的去雾结果仍然出现图像颜色变黑的现象。 另外，图4 第五列的最后一幅图像中依然存在大量雾气。 相比之下，本文方法能更好地保持图像的局部边缘和对比度等信息，获得具有更优视觉效果的去雾图像。

图4 不同方法对真实户外图像的去雾结果

表3 给出了不同方法去雾结果的UQI 值、HCC值、IVM 值，其中加粗字体代表每行中的最佳值。从表3 可以观察到，相较于其他4 种去雾方法，本文方法的去雾结果均获得了最低的UQI 值，这表明本文方法可以更多地保留图像的结构特征，获得具有较高图像质量的去雾结果。 Meng 方法［2］有3 幅图像具有最高的HCC 值，但从图4 中可以看出，Meng方法［2］的去雾结果虽然可以提高图像对比度，但易出现过度曝光区域。 相比之下，本文方法的去雾结果有1 幅图像具有最高的HCC 值，也有3 幅图像具有第二高的HCC 值，这表明本文方法可以获得具有较高图像对比度的去雾结果。 进一步，由于CAP 方法［12］、DehazeNet 方法［6］、Meng 方法［2］和双TGV 方法［4］无法较好地恢复去雾图像的边缘细节特征，导致去雾结果的IVM 值偏低。 本文方法的IVM 值均高于其他4 种方法，这表明本文方法应用EI-DCP得到的去雾结果的可见边缘数更高，图像边缘结构更清晰，图像对比度更高。 特别地，本文方法获得了最低的UQI 平均值和最高的HCC 平均值，这表明所提方法可以得到具有更高图像质量和图像对比度的去雾结果，同时可以很好地恢复图像颜色。 除此之外，本文方法还获得了最高的IVM 平均值，这也体现了本文所提模型和算法在真实户外图像去雾中的优越表现。

表3 图4 中去雾结果的UQI 值、HCC 值和IVM 值

下面，比较不同模型在真实图像去雾时的运算时间。 在相同设备上，应用CAP 方法［12］、DehazeNet 方法［6］、Meng 方法［2］、双TGV 方法［4］以及本文方法计算图4 中图像Ⅴ、Ⅵ、Ⅶ、Ⅷ的平均运算时间如表4 所示。可以看出，直接基于大气散射模型生成去雾图像的CAP 方法［12］耗时较短，DehazeNet［6］利用训练好的模型对图像进行去雾处理，其运算速度也非常快，Meng等［2］提出的基于透射率边界约束的方法的运算速度也相对较快。 双TGV 模型算法［4］相较于本文模型算法更复杂，更耗时，本文算法运算速度更快，效率更高。

表4 平均计算时间

3．5 噪声户外图像去雾

最后，将本文所提方法应用于带有不同噪声的合成有雾图像去雾。 图5 展示了两幅带有不同程度噪声的有雾图像，不同方法的去雾结果及相应的放大区域如图6 所示。 通过观察CAP 方法［12］去雾结果的放大区域，可知“座椅”的四周出现了白色伪影。 DehazeNet 方法［6］和Meng 方法［2］可以去除较小的噪声，而对于添加了较大噪声的图像X，他们的去雾结果并不理想。 相较于双TGV 方法［4］，本文方法去雾和去噪结果的视觉效果更佳。

图5 两种不同噪声的有雾图像

图6 不同方法的去雾结果（第一行：图像IX 的去雾结果；第二行：图像X 的去雾结果；第三行：第一行图像的放大图；第四行：第二行图像的放大图）

表5 中计算了各方法去雾结果的PSNR 值和SSIM 值。 从 表 5 可 以 看 出， CAP 方 法［12］和DehazeNet 方法［6］的PSNR 值和SSIM 值较低，其同时去雾和去噪效果较差。 Meng 方法［2］、双TGV 方法［4］和本文方法均可以同时进行去雾和去噪。 特别地，对于两种不同噪声水平的有雾图像，本文方法均可以得到最高的PSNR 值和SSIM 值。 这些结果表明：在处理含噪声的有雾图像时，本文方法仍然可以获得令人满意的去雾结果。

表5 图6 中去雾结果的PSNR 值和SSIM 值

4 结束语

本文提出了一种基于边缘检测暗通道先验的全变 差 图 像 去 雾 模 型。 通 过 与 CAP 方 法［12］、DehazeNet 方法［6］、Meng 方法［2］以及双TGV 方法［4］去雾结果的比较，可以发现，本文方法不仅能够解决在处理背景复杂的有雾图像时易丢失局部边缘细节信息的问题，而且能够平衡图像颜色，增强图像对比度。

在未来的工作中，将根据各种户外图像的特点，通过引入不同的暗通道先验知识，建立新的变分优化模型来改善户外自然有雾图像的去雾结果。 此外，未来可通过引入基于边缘检测函数的水下暗通道先验，研究水下图像的有效去雾方法。