多尺度窗口的自适应透射率修复交通图像去雾方法

黄 鹤，李昕芮，宋 京，王会峰，茹 锋，盛广峰

(1.长安大学 电子与控制工程学院，陕西 西安 710064；2.陕西省道路交通智能检测与装备工程研究中心，陕西 西安 710064)

1 引 言

雾霾天气下，受大气中悬浮微粒对光线散射折射作用的影响，获取的图像信息有一定衰减，严重影响了交通监控设备的可靠性[1-2]。因此，对于图像去雾算法的研究是一项非常有意义且具有挑战性的工作。

目前，主流的图像去雾方法是基于物理模型的图像复原算法[3]。其中，Oakley和Tan[4]提出的方法都是建立在已知图像场景深度的基础上，含雾图像的详细深度信息都要依靠高精度测距设备获得，因此应用环境受到限制。Nayar和Narasimhan等人利用同一场景在不同天气下拍摄的图像来作为辅助信息获得复原图像[5]，具有局限性。近年来，很多学者提出了依托先验知识或者单幅图像的去雾方法[6]。其中，He提出了暗原色先验理论，并结合软抠图算法，成功复原出清晰图像[7]，但仍有不足：(1)由于图像中湖面、白色物体等明亮区域不满足暗原色先验条件，得到的大气光可能会存在误差，透射率偏小，复原图像中相应区域存在明显的光晕效应，即“halo”效应，导致目标和场景色彩失真；(2)使用软抠图算法修复透射图，时间复杂度和空间复杂度大幅提高，实时性较差。此后，诸多学者在此基础上提出了一些改进的去雾算法，如黄大荣等人[8]在求取暗原色图时将每个“块区域”的RGB 3个通道最小值替换为每个像素点3个通道的最小值，去除了最小值滤波，能有效消除光晕效应、降低时间复杂度，但复原图像清晰度较低。石文轩等人通过插值抠图法[9]对透射率进行优化，但计算稀疏矩阵导致运算量大大增加，比较耗时。此外，还有学者提出基于双阈值的明亮区域识别方法和透射率修正机制，然而明亮区域的判定条件需要人为设定参数，对于不同的图像鲁棒性较差。

针对上述问题，本文对暗原色先验去雾方法进行改进，提出了一种基于多尺度窗口的透射率自适应的图像去雾算法。该算法可以保证计算时间和复原图像的质量，较好地解决了暗原色先验原理在明亮区域失效的问题，适用于处理各类不同场景的雾化图像。

2 雾霾天气下图像降质模型

建立雾天图像降质模型，如图1所示[10]，包括：(1)由大气微粒对散射和吸收作用导致的衰减的场景目标反射光；(2)由悬浮微粒散射作用而参与成像的环境光。分析该模型可知雾霾颗粒对光线的作用以及对成像的影响。含雾图像的模型如下所示：

L(x,y)=L0(x,y)e-kd(x,y)+Ls(1-e-kd(x,y)) ,

(1)

图1 雾霾颗粒对成像影响示意图 Fig.1 Schematic diagram of effects of haze particles on imaging

公式(1)包含入射光衰减模型和大气光成像模型，其中，可见光镜头采集得到的图像为L(x,y)，即雾天降质图像，L0(x,y)e-kd(x,y)为入射光衰减模型，Ls为环境光亮度，e-kd(x,y)为透射分步率，Ls(1-e-kd(x,y))为大气光成像模型。

大气微粒的散射致使一部分入射光不能到达镜头，造成了入射光衰减，L0(x,y)代表该点的场景反射光强度，入射光衰减率与场景点到接受装置的距离有关，式中d(x,y)表示场景深度，k为大气散射系数，其与波长λ及大气中微粒大小γ关系如公式(2)所示:

(2)

分析模型可知图像降质原因如下：由于雾霾颗粒尺寸(1～10 μm)远大于纯空气中的微粒尺寸(10-4μm左右)，而公式(2)中的大气散射系数又由微粒大小决定，又由于大气与不同颜色可见光的散射系数近似，导致可见光等量散射使雾霾呈灰白色，含雾图像也变得灰白不清。此外，由于雾霾微粒对光线散射影响较大，从入射光衰减模型L0(x,y)e-kd(x,y)可知，固有亮度受景深影响成指数衰减，导致图像亮度降低，同时雾霾微粒的散射和折射还会造成成像离焦模糊，故图像质量较差。

3 含雾图像的复原

雾天图像成像物理模型如下所示：

I(x)=J(x)t(x)+A[x-t(x)] ,

(3)

式中，I(x)表示含雾图像，J(x)表示场景反射光强度，t(x)为透射率，J(x)t(x)表示入射光衰减，A(1-t(x))表示大气光成像。其中t(x)与A均是未知项，故该方程求解是病态的，需给出先验条件才可求解。

雾天图像复原即由雾化的降质图像反演得到清晰图像，式(3)经过变形可得到：

(4)

(5)

根据不含雾图像的暗原色统计规律可知[7]，即：

(6)

而大气光的值Ac相对大很多，即

(7)

(8)

(9)

根据经验取w=0.8。

公式(9)仅完成了对透射率的粗估计，此时估计值存在块状效应，不够精确，需进行精细化处理，得到透射率的精确估计值：

(10)

式中，I(x,y)为含雾图像像素点，A为大气光值，J(x,y)为去雾后的像素点，t_d为精准透射率。图像中某些像素对应的透射率t(x)非常小，几乎为零，其衰减项J(x)t(x)也趋于零。这种情况下，若仍根据式(10)直接计算，透射率过小时，噪声信息将会被过度增强，且图像局部区域对比度会下降，导致图像偏白，故设透射率下限为t0，得到最终复原图像为

(11)

根据经验取t0=0.1。

4 多尺度自适应暗原色估计

4.1 传统暗原色估计

利用公式(9)进行透射率粗估计计算，图像斑块比较明显，即出现halo效应，复原图像目标和场景出现色彩失真，如图2所示，图2(b)天空与树木相交的边缘区域透射率(景深)变化大时产生光晕，导致失真。

图2 传统暗原色估计去雾前后图像 Fig.2 Images before and after defogging by traditional dark priori image defogging algorithm

4.2 8方向边缘检测算子

传统图像边缘检测算子采用的模板大都为两方向，其只能检测特定方向的边缘，当图像纹理较复杂时，边缘检测效果欠佳[11-13]，因此本文设计了一种新的8方向边缘检测算子，以获取含雾图像的边缘。

建立极坐标系，定义极轴方向为0方向，逆时针旋转45°为1方向，逆时针旋转90°为2方向，逆时针旋转135°为3方向，逆时针旋转180°为4方向，逆时针旋转225°为5方向，逆时针旋转270°为6方向，逆时针旋转315°为7方向。8方向边缘算子图如图3所示。

图3 新的8方向边缘检测算子图 Fig.3 Diagram of new 8-direction edge detection operator

针对图2(a)进行边缘检测，比较Roberts算子、Sobel算子、Prewitt算子和本文边缘检测算子得到的含雾图像边缘，如图4所示。

图4 4种边缘算子的检测结果 Fig.4 Detection results of 4 kinds of edge operators

实验结果表明，相对于传统算子，8方向边缘检测算子能够提取更多的含雾图像边缘细节，获得比较细的图像边缘信息，区分度更好，边缘定位更准。

4.3 基于多尺度窗口的自适应暗原色估计

若采用15×15固定模板求取暗通道时，当局部块区域内透射率值差异较大时，会形成明显斑块，导致复原图像中的目标和场景色彩失真。若采用5×5的固定模板求取暗通道时，因其模板小使得窗口时间复杂度更高，实时性较差。针对这一问题，本文提出了一种新的多尺度窗口，可以提高透射率估计的准确性，同时减少计算量。首先用8方向算子检测含雾图像的边缘细节，根据所在区域是否为景深突变区域来判断采用较大还是较小的窗口，然后对景深突变较大的区域采用较小的窗口计算其暗原色，对变换较小的区域采用较大的窗口计算其暗原色。本文根据大量的实验测试结果，取较小窗口为5×5，较大窗口为15×15。

本文提出的基于多尺度窗口的自适应暗原色估计算法能够克服暗原色图在透射率突变区域的halo现象，且实时性较好，综合效果优于单独使用5×5模板或15×15模板的暗原色估计算法。

图5 基于多尺度窗口的自适应暗原色估计算法的实验结果 Fig.5 Experimental results of adaptive dark estimation algorithm with multi-scale window

从图5(b)可以看出，基于多尺度窗口的自适应暗原色估计算法能够有效消除halo效应，去雾效果优于传统暗原色估计方法。从表1可知，该算法相对于插值抠图算法[9]，效率提升了35倍。

表1 两种算法的时间复杂度

5 自适应透射率修复的图像去雾算法

5.1 明亮区域算法的不适用性分析

经过大量实验发现，在某些特殊情况下，基于暗通道先验去雾算法失效，主要表现为颜色过饱和或者某个颜色通道溢出[14-18]。通过统计观察可以发现失真区域常常包含一些明亮的近景区域，这些区域的透射率估计有一定偏差。基于暗原色先验去雾算法在这些区域失效，无论如何调整参数(滤波窗口大小等)，得到的去雾图像失真均较为严重。根据透射率的估计方法将方程(9)变形为：

(12)

5.2 自适应透射率修复的图像去雾算法

图像去雾算法的关键是估计透射率。估计方法通常是将归一化后的暗通道图像作为景深信息，将其进一步处理后用作透射率。但是如果近景场景中包含白色物体等明亮区域时，使用上述方法对这些区域进行透射率估计，则会发生偏差，从而导致复原图像失真。

为此，本文提出了自适应透射率修复的图像去雾算法，即构造一个大气耗散函数，其能够自适应估计和修改透射率，从而有效解决了暗原色先验原理在图像明亮区域失效的问题，扩大了暗原色先验原理的适用范围，可以处理不同场景的雾化图像。

首先，定义大气耗散函数：

V=A[1-t(x)] ,

(13)

对上式变形可得到透射率为：

(14)

由暗通道先验原理可知，暗原色图像中含有雾的浓度信息，即雾浓度较大的图像区域，所对应的暗原色图较亮；而雾的浓度与光线耗散程度相关，故可以认为暗原色图像中的明暗亮度与大气耗散程度相关。分别以含雾图像I的灰度图和暗原色图Jdark作为引导图像及待滤波图像，理论上就可以得到边缘增强后的暗原色图像V′：

V′=guide(ragb2gray(I),Jdark) .

(15)

假设原始图像近景区域较明亮，则其在暗原色图中得到的像素点也较明亮，相应地具有较大的散射函数值，因此会误以为该近景是有浓雾且景深较大的远景区域。因此要对式(15)进行修正，定义：

Δc=|V′-dark| ,

(16)

其中，Δc代表原暗原色图Jdark与边缘增强后的暗原色图像V′相差的纹理信息。由于近景区域纹理信息明显，所以相应的Δc值较大。定义修正后的大气散射函数为：

V″=V′(1-ω*Δc) .

(17)

由公式(17)可以看出，修正后的大气散射函数对近景区域的散射函数值进行了一定程度的削弱，得到的散射函数值更为准确，更加符合实际情况。故可以通过公式(14)自适应估计和修改透射率。

6 本文算法流程

本文算法流程如图6所示。

多尺度窗口的自适应透射率修复交通图像去雾方法的具体步骤如下：首先，利用8方向边缘检测算子检测输入含雾图像边缘；根据检测的边缘信息，判断图像中的景深突变区域。对景深突变区域使用5×5的窗口进行暗原色估计，对非景深突变区域使用15×15的窗口进行暗原色估计；其次，使用引导滤波器，将含雾图像I的灰度图作为引导图像；将暗原色图Jdark作为待滤波图像，根据公式(15)得到边缘增强的暗原色图像V′；利用式(16)、式(17)对得到的V′进行修正，得到修正后的大气散射函数V″；最后，将修正后的大气散射函数V″及大气光值A带入公式(14)中，得到透射率t(x)，并将其带入公式(11)得到最终去雾图像。

图6 本文算法流程图 Fig.6 Flowchart of proposed algorithm

7 实验结果与分析

实验硬件采用GPU硬件平台—NVIDIA GeForce GTX1080TI，对含雾图像依次采用双边滤波算法、梯度双边滤波算法及引导滤波去雾算法及本文算法进行去雾处理，实验结果如图7(彩图见期刊电子版)和图8(彩图见期刊电子版)所示。

图7 4种方法对第一组图像处理结果 Fig.7 Defogging results of the first set of image by 4 kinds of algorithms

引入了客观评价指标(平均梯度、信息熵、边缘强度因子、PSNR、模糊系数)对去雾效果进行客观评价(表2和表3)。

表2 第一组实验结果的定量评价结果

表3 第二组实验结果的定量评价结果

从主观上来看，图7(c)和7(d)虽对含雾图像有一定的复原效果，但在明亮区域处发生了较为严重的色彩失真；相比之下，图7(e)和7(f)在明亮区域则没有发生色彩失真，且图7(f)色彩更为明亮，去雾效果更好。从图8实验结果中也可以得到上述结论，相较于双边滤波去雾、梯度双边滤波去雾、引导滤波去雾，本文算法的去雾效果最好。

从表2和表3的客观评价指标来看，本文算法优于引导滤波算法，虽然在一些指标上，双边滤波算法和梯度双边滤波算法优于本文算法，这可能是由于图7和图8中包含白色物体的明亮区域色彩失真严重，导致双边滤波算法和梯度双边滤波算法的客观评价指标失效。综上所述，本文算法能够较好地解决halo效应，而且在景深边缘处提取了更多的边缘细节，去雾效果最优。

图8 4种方法对第二组图像的处理结果 Fig.8 Defogging effects of the second set of image by 4 kinds of algorithms

8 结 论

本文设计了基于多尺度窗口和透射率自适应修复的图像去雾算法，有效消除了halo效应，同时解决了暗原色原理在近景区域存在白色物体时失效的问题，扩大了暗原色先验原理的适用范围，使其能够处理不同场景的雾化图像。实验结果表明，本文去雾算法的各项指标均优于引导滤波去雾算法，其中平均梯度平均提高了8.305%，PSNR平均提高了12.455%，边缘强度因子平均提高了7.77%，且可以克服双边滤波和梯度双边滤波算法的halo效应以及明亮区域色彩失真严重的问题，应用价值明显。