天空区域分割修正的图像去雾新算法

暴婉婷，王俊平，魏书蕾，李艳波，周 勇

(西安电子科技大学 通信工程学院，陕西 西安 710071)

随着雾霾日益严重，图像去雾的研究越来越重要。降低或消除图像中雾气对场景的影响，实现有雾图像的清晰化，是近年来国内外的研究热点[1]。目前从3个方向划分图像去雾技术：①以图像增强技术为基础的方法增强了图像的对比度，如直方图均衡化[2]、双边滤波[3]、曲波变换[4]、形态学滤波[5]和RETINEX算法[6]等方法。此类方法没有考虑图像退化的本质原因，导致重要信息特征的丢失。②以图像融合技术为基础的方法通过从多重来源通道中最大化有效信息最终形成高质量图像。ANCUTY等[7]首次提出一个融合的技术来去雾。在该方法中原始图像的两个输入被3个归一化权重图所衡量，通过多尺度融合消除雾的影响。③以图像复原技术为基础的方法基于大气散射模型及其逆过程。几种代表性算法如下：文献[8]中假设透射率与表面阴影局部不相关，估计场景的反照率和介质透射率来恢复图像，但是对浓雾图像的去雾效果不是很好；文献[9]中在图像经过白平衡后，估计大气面纱，再利用中值滤波器进行细化，该算法去雾速度快，但效果一般；HE等[10]提出暗通道先验假设，求出暗通道模型，得到粗略的透射率图，利用软抠图技术细化透射率，最终复原得到无雾图像。但这些算法存在细节信息丢失、大气光强值估计偏低、天空区域去雾效果不佳等不足。因此，针对以上不足提出了天空区域分割修正的彩色图像去雾新算法，并通过实验验证其有效性和可行性。

1 图像去雾相关理论基础

1.1 大气散射模型与暗通道先验模型

暗通道先验去雾[11]是基于文献[12]中提出的大气散射模型并对其进行变换：

F(x)=t(x)J(x)+(1-t(x))A，

(1)

其中，F(x)是已知量，表示带雾原图；t(x)为透射率；J(x)是去雾后的清晰图像；t(x)J(x)是光在媒质中的衰减；(1-t(x))A是由散射引起的大气光成分。

对于被雾霾干扰的图像来说，暗通道白色或灰色的强度值明显变高。暗通道先验模型[13]为

(2)

其中，Fc为原始带雾图像F的RGB这 3个颜色通道之一，Fdark为原始带雾图像F的暗通道先验模型，Ω(x)是以x为中心的领域。

与暗通道先验模型相对应的亮通道先验模型[14]为

(3)

其中，Fc为原始带雾图像F的RGB 这3个颜色通道之一，Fbright为原始带雾图像F的亮通道先验模型，Ω(x)是以x为中心的领域。

1.2 SLIC超像素图像分割算法

简单线性迭代聚类(Simple Linear Iterative Cluster, SLIC)算法[15]可以生成图像的超像素，实现图像从RGB空间至Lab空间的转换，将每个像素的(L,a,b)和(x,y)元素结合成五维向量V(L,a,b,x,y)，通过计算两个像素间的向量距离来度量其相似性。向量距离越小，相似性越大。SLIC超像素图像分割算法采用k均值聚类方法高效地生成超像素，生成大量的超像素时简洁灵活，可以更好地获取边界，扩展至更大的规模，具有更快的速度和更高的内存效率，可显著提高分割的性能。因此，选用SLIC超像素图像分割算法可分割出图像的天空区域。

1.3 基于非线性模型的图像增强技术

图像增强技术通过改善图像的视觉效果，使图像更加清晰。基于非线性模型的图像增强技术可以实现图像灰度动态范围的压缩和图像对比度的增强。这种增强技术使用了数学学科的技巧，因为人眼视觉系统对图像亮度具有类似对数运算的非线性特性。这里选取COPLIP模型[16]和MSR模型[6]的图像增强技术处理分割出来的天空区域。这两种模型均属于非线性模型，改善了由于线性模型线性图像信息的严重丢失使人们无法获得视觉愉悦的图像的问题，处理后的效果较好。

2 天空区域分割修正的图像去雾新算法

笔者提出了天空区域分割修正的图像去雾新算法。该算法在暗通道先验算法的基础上，对暗通道与亮通道先验模型进行带参线性加权运算，并提出基于此参数驱动的自适应图像去雾模型，以自适应求取大气光强值对应的参数。此外，还针对图像分割后的天空区域部分，提出一种加权平均融合COPLIP模型和MSR模型的天空区域修正新模型，并通过图像融合技术得出最终的去雾图像。

2.1 参数驱动的自适应图像去雾模型

基于暗通道先验提出参数M，并提出暗通道与亮通道模型针对参数M的线性加权运算，从而自适应求取大气光强值A。在文献[17]中提到了一系列针对去雾后图像质量评价的客观标准，笔者选取其中7个客观评价指标，分别为标准偏差(STandard Deviation, STD)，峰值信噪比(Peak Signal to Noise Ratio, PSNR)，平均梯度(Mean Gradient, MG)，信息熵(Information Entropy, IE)，结构相似性(Structure SIMilarity, SSIM)，边缘保护指数(Edge Preserve Index, EPI)，均方误差(Mean Squared Error, MSE)。其中，STD, AG, IE, PSNR, SSIM的评价标准为：指标数值越大，说明对应的图像去雾处理后质量越高；而MSE, EPI的评价标准为：指标数值越小，对应的图像处理后质量越高，并基于此评价标准建立参数驱动的自适应图像去雾模型(PAIDM)。该模型综合地表述了图像去雾处理后质量评价结果。该模型结果数值越大，说明去雾后图像质量越高。

2.2 天空区域修正及图像融合

分别使用COPLIP模型和MSR模型对分割出的天空区域进行处理。设L(x,y)表示经过COPLIP模型处理后的图像，Z(x,y)表示经过MSR模型处理后的图像，则参数N驱动的加权平均融合算法可以表示为

C(x,y)=N×L(x,y)+(1-N)×Z(x,y) ，

(4)

其中，参数N=0.5。当N=1时，表示的是COPLIP模型处理分割的天空区域，融合操作处理后的图像边缘块效应较小，但处理后天空区域去雾不彻底；当N=0时，表示的是MSR模型处理分割的天空区域，融合操作处理后天空区域去雾彻底，但颜色较暗且边缘块效应较大。因此取参数N=0.5时，加权平均融合COPLIP模型和MSR模型处理分割的天空区域，可以综合实现天空区域彻底去雾与边缘块效应降低的效果。

将参数驱动的自适应去雾结果图像J(x,y)进行SLIC超像素图像分割处理后保留非天空区域图像I(x,y)，并将处理过的天空区域图像C(x,y)与I(x,y)进行图像融合操作：

Q(x,y)=C(x,y)+I(x,y) ，

(5)

从而得到最终的去雾图像。

2.3 天空区域分割修正的图像去雾新算法实现步骤

基于天空区域分割修正的图像去雾新算法步骤描述如下：

步骤1 输入原始图像F(x)，由式(2)求取暗通道先验模型Fdark，由式(3)求取亮通道先验模型Fbright。

步骤2 选取暗通道先验图像Fdark和亮通道先验图像Fbright中前0.1%亮度最大的像素点，对应到原带雾图像中的像素点，选取带雾图像对应点中亮度最大点的像素值为Fdark(0.1)和Fbright(0.1)。

步骤3 结合Fdark和Fbright，基于参数M自适应地求取大气光强值A。

步骤4 假定大气光强值A已求得，根据式(1)可得到去雾后的结果图像。

步骤6 根据步骤5的参数M的取值得到初步去雾实验结果图像J(x)。

步骤7 利用SLIC超像素图像分割算法对原始带雾图像进行分割，得到天空区域像素值为1且非天空区域像素值为0的二值图像，并将该二值图像与步骤6中所得实验结果进行乘法操作，从而得到待修正的天空区域。

步骤8 分别对步骤7中得到的待修正的天空区域进行MSR算法与COPLIP算法的运算，并利用式(4)实现加权平均融合COPLIP模型和MSR模型的天空区域修正新模型以修正天空区域。

步骤9 通过式(5)将修正后的天空区域图像与SLIC超像素图像分割算法处理初步去雾结果图像后的结果图像进行融合操作，从而得到最终的去雾结果图像，并与现有经典图像去雾算法进行主客观对比分析。

2.4 天空区域分割修正的图像去雾新算法可行性分析

天空区域分割修正的彩色图像去雾新算法首先引入与暗通道先验模型相对应的亮通道先验模型，并对暗通道与亮通道先验模型进行带参线性加权计算，选取参数M取值范围是(0,1)，M的计算精度为0.1，经过11次步骤3、步骤4的计算后，可以对大气光强值进行补偿优化，从而得到更好的去雾效果；其次，针对天空区域去雾效果不佳的情况，先对初步去雾图像中的天空区域利用SLIC超像素图像分割算法分割出图像的天空区域，因为SLIC超像素图像分割算法可以高效地生成超像素，简洁灵活且易获取边界，具有更快的速度和更高的内存效率，显著提高了分割的性能；最后，提出加权平均融合COPLIP模型和MSR模型的天空区域修正新模型对分割后的天空区域进行修正，COPLIP模型和MSR模型均属于非线性图像增强模型，可以使人们获得视觉愉悦的图像并改善了图像信息严重丢失的问题。新算法的步骤1至步骤9所描述的算法操作都是通过基本运算的有限次执行来实现的，因此它具有可行性和可操作性。

3 实验结果与分析

为了验证文中去雾新算法的有效性，将去雾新算法与FATTAL、MSR和HE去雾算法的去雾效果进行比较。为了确保客观性和统一性，基于暗通道先验的方法计算暗通道时,窗口大小均为3×3；使用了引导滤波[18]的方法对透射率进行精确估计，实验过程中均采用相同的滤波参数，半径r=8，正则化参数λ=0.04;MSR模型增强算法中低尺度为a1=25，nr=31，中尺度为a2=729，ng=161，高尺度a3=4 489，nb=401；COPLIP模型增强算法中参数n=300，k=300；分割天空区域算法中参数为步距S(S=8)，空间距离的影响程度m=0.5，收敛条件c=50 000。下面分别从主客观方面对去雾新算法进行去雾效果评价。

3.1 实验结果

文中通过对图像去雾领域的标准测试图谱进行实验和分析，选取一张含有天空区域的原始带雾图像并详细列举实验结果，如图1所示。图1(a)表示的是原始带雾图像，图1(b)表示的是暗通道先验模型，图1(c)表示的是亮通道先验模型，图1(d)表示的是参数驱动去雾算法实验结果图，图1(e)表示的是SLIC超像素图像分割算法结果图，图1(f)表示的是MSR模型天空区域修正结果图，图1(g)表示的是COPLIP模型天空区域修正结果图，图1(h)是去雾新算法天空区域修正结果图。首先通过参数驱动的自适应图像去雾模型求取了相对应的参数M的数值；然后对结果图像进行天空区域分割，并对分割后的天空区域部分进行修正。由表1可知，图1(a)在M=0.1时，参数M驱动的自适应图像去雾模型数值最大，说明此时原始带雾图像去雾后图像质量综合评价最高。原始带雾图像图1(a)中存在大面积的天空区域，因此通过自适应去雾算法初步去雾后，从实验结果图1(d)中可以看出，初步去雾后的天空区域颜色过于偏黄，无论是从理论上还是实际中都应该对天空区域进行修正。因此采用加权平均融合COPLIP模型和MSR模型的天空区域修正新模型处理分割出的天空区域，并利用图像融合技术得出最终的去雾实验结果图像，如图1(h)所示。

图2展示了几种经典去雾算法的实验结果图，图2(a)表示的是FATTAL算法实验结果图，图2(b)表示的是HE算法实验结果图，图2(c)表示的是MSR算法实验结果图。经过主观分析，与经典去雾算法相比，文中提到的去雾新算法结果图边缘保持较好，景物细节更加清晰，图像色彩鲜艳程度适宜，可以获得更好的视觉效果。此外，实验结果表明，MSR模型对天空区域处理后，边缘的一定范围内存在较明显的块效应，如图1(f)所示。而引入COPLIP模型进行加权平均融合后，在一定程度上减小了边缘的块效应。对于其他无天空区域的原始带雾图像，不需要进行天空区域修正的部分，初步的参数驱动去雾算法即可达到需要的效果，并且针对不同的图像对应得到不同的参数值，从而达到自适应去雾的效果。

图1 带雾原始图像与去雾后的图像

图2 典型的去雾算法实验结果

MSTDAGIEMSEPSNRSSIMEPIPAIDM1.01.00001.00000.00001.00000.00000.00001.00000.00000.90.89620.86060.05320.74050.01000.19070.86600.40420.80.79230.73940.10390.52680.21300.36770.74570.94380.70.74440.61820.24960.35480.33920.53260.63491.49430.60.58010.50910.41230.73220.49060.68210.53241.40960.50.46920.41210.52560.12340.57630.80930.43572.23340.40.35170.31520.62480.05740.67460.91070.33762.48200.30.22310.20610.77810.01610.80980.97770.22802.75070.20.11450.11520.89670.00000.94491.00000.12622.94510.10.04620.04850.95270.00101.00000.99830.05412.99060.00.00000.00001.00000.00730.98750.98630.00002.9665

3.2 客观评价

由于主观评价方法需要进行多次重复实验，且易受到观测者个人因素的影响，而客观评价是用数学的方法计算得出，容易让人信服。文中采取4个常用的图像质量客观评价指标IE、PSNR、SSIM、EPI，对去雾后图像质量进行评价。其中，图像质量客观评价指标IE的评价标准为：图像处理后所得IE值越大，图像处理后信息含量越高，结果图像质量越好；图像质量客观评价指标PSNR的评价标准为：图像处理后所得PSNR值越大，图像处理后峰值信噪比越大，结果图像质量越好；图像质量客观评价指标SSIM的评价标准为：图像处理后所得SSIM值越接近于1，图像处理后结构相似度越高，结果图像质量越好；图像质量客观评价指标EPI的评价标准为：图像处理后所得EPI值越接大，图像处理后边缘保护指数与1的偏差越大，结果图像质量越差。由表2可以看出，笔者提出的去雾新算法在处理原始带雾图像图1(a)后所得的PSNR、SSIM、EPI这3个客观图像质量评价指标上，远远优于FATTAL算法、MSR算法和HE算法；虽然在IE评价指标上略低于MSR算法，但是MSR算法其他评价指标结果较差，且新算法在综合评价上优于MSR算法。因此从客观评价方面，新算法的图像去雾处理的指标评价均优于FATTAL算法、MSR算法和HE算法。

表2 不同算法对图像去雾处理结果的客观评价

3.3 几种经典去雾算法计算时间消耗

在具有相同条件的实验环境下，分别仿真实现原始带雾图像图1(a)的FATTAL算法、MSR算法、HE算法、COPLIP算法和笔者提出的天空区域分割修正的图像去雾新算法的时间消耗，其实验结果如表3所示。

表3 不同算法图像去雾处理结果的时间消耗

由于笔者提出的天空区域分割修正的图像去雾新算法是在HE暗通道先验去雾算法基础上进行改进和优化，并且提出了加权平均融合COPLIP模型和MSR模型的天空区域修正新模型，所以由表3可知，去雾新算法所消耗的时间既少于HE暗通道先验去雾算法，又少于MSR算法与COPLIP算法所消耗的时间之和。因此天空区域分割修正图像去雾新算法在计算时间消耗方面获得了一定的优化和改进。

4 总 结

笔者提出的天空区域分割修正的图像去雾新算法是在HE提出的暗通道先验去雾算法的基础上，引入了与暗通道先验模型相对应的亮通道先验模型，并将暗通道与亮通道先验模型带参线性加权，以自适应求取大气光强值，从而获得更优化的去雾效果。同时提出了参数驱动的自适应图像去雾模型，该模型综合了现有的7个经典客观图像质量评价指标的评价结果，从而自适应地求取参数值。此外，针对原始带雾图像在天空区域的处理效果不佳的问题，还提出了加权平均融合COPLIP模型和MSR模型的天空区域修正新模型处理分割出的天空区域，并利用图像融合技术得到最终的去雾实验结果图像。笔者提出的去雾新算法在图像去雾方面取得了一定的优化成果，并在一定程度上修正了天空区域去雾的偏差。