顾及图像分割与暗通道先验的去雾霾方法

陈鑫 秦琳 黄宁辉 孟先进 薛亚东

收稿日期：2023-05-31

DOI：10.19850/j.cnki.2096-4706.2024.04.020

摘  要：文章针对暗通道先验去雾霾后图像存在颜色失真等问题，提出一种融合图像分割与暗通道先验规律的卫星遥感图像去雾霾方法。首先，引入高斯加权矩阵的梯度算子获取图像的梯度信息，为暗通道去雾霾提供图像分割的约束条件；其次，通过梯度阈值对梯度信息进行划分，从而改善对不同亮度区域的差异化处理；最后，依据梯度阈值修正暗通道透射率来约束暗通道先验的处理结果，实现对不同亮度区域的差异化处理。实验结果表明，无论是主观目视判读还是客观指标对于较为均匀含雾霾影像都具有较好的处理效果。

关键词：去雾霾；图像分割；暗通道先验；梯度算子；影像复原

中图分类号：TP391.4；TP751  文献标识码：A  文章编号：2096-4706（2024）04-0097-04

A Haze Removal Method for Considering the Image Segmentation and Dark Channel Prior

CHEN Xin， QIN Lin， HUANG Ninghui， MENG Xianjin， XUE Yadong

（Guangdong Forestry Survey and Planning Institute， Guangzhou  510520， China）

Abstract： Aiming at the problem of color distortion in the image after the dark channel prior to removing the haze， a haze removal method for remote sensing image of fusing image segmentation and the dark channel prior rules is proposed in this paper. Firstly， it introduces the gradient operator of the Gaussian weighting matrix to obtain the gradient information of the image， and provides the constraints of image segmentation for the dark channel haze removal. Secondly， the gradient information is divided by gradient threshold， so as to improve the differential processing of different brightness areas. Finally， the dark channel transmittance is modified based on the gradient threshold to constrain the processing results of the dark channel prior and realize the differential processing of different brightness areas. The experimental results show that both subjective visual interpretation and objective indicators have a better processing effect on relatively uniform images containing haze.

Keywords： haze removal; image segmentation; dark channel prior; gradient operator; image restoration

0  引  言

隨着工业的发展与进步，我国大气污染日益严重，已有较多城市出现了雾霾天气，导致遥感卫星拍摄的影像数据利用率较低，从而影响到遥感监测的质量。根据卫星观测数据显示，任一时刻地球都有近50%的表面被云、雾、霾所覆盖[1-3]，携带云、雾、霾信息的遥感影像，其信噪比、清晰度和对比度随之降低，致使影像色彩失真、细节模糊[4-6]，给后续的遥感影像解译和处理带来了很大困难。因此，通过图像处理技术对雾霾与影像信息进行剥离，不仅可以满足卫星影像数据的处理需求，也降低了气象条件对光学成像的限制[7-9]。由此可见，通过图像处理手段，以较小的经济代价去除影像中的雾霾信息，提高卫星影像的清晰度，使得遥感影像数据的利用效益得以真正提高。该项研究成果不仅改善了卫星影像数据量存在的“既多又少”矛盾问题，还具有重要的理论意义和实用价值。

目前，国内外专家学者针对雾霾环境下影响卫星遥感影像的后续使用问题已展开了相关研究，根据现有的研究成果，可将对含雾霾影像的清晰化处理方法大致归纳为两类：基于非物理模型的影像增强方法与基于物理模型的影像复原方法。基于非物理模型的影像增强方法主要是通过削减处于低频的云雾信息、增强图像的对比度，达到图像清晰化的目的。此类方法主要有直方图均衡化[10]、基于Retinex原理的处理方法[11]、基于小波变换方法等。直方图均衡化方法在处理过程中，对均匀浓度的雾霾去除效果较好，但是，当雾霾的浓度不均匀时，会造成增强后的图像边缘细节信息不突出、甚至丢失；基于Retinex原理的处理结果会出现色偏和部分图像失真的现象[12]；运用小波变换的去雾方法对雾天退化图像依据小波分解系数特点进行分解处理，缺点是存在地物细节丢失严重的问题[13]。以物理模型的影像复原方法从物理成因的角度对大气散射作用进行建模分析，依据大气散射模型，通过求解图像降质过程的逆过程来恢复清晰图像。其中，何恺明[14]首次提出的暗通道先验算法就属于此类，其在图像去雾方面得到了广泛的应用[15，16]。但是，在几种经典的去雾霾方法中，无论是暗通道、直方图均衡化以及一些其他基于边缘保留的方法，都有一个普遍存在的问题：即对图像覆盖的天空部分处理效果不好，对于这种高亮地物往往会出现色彩偏差等现象。本文针对暗通道先验去雾霾方法应用于遥感影像存在高亮地物存在色彩偏差等现象，提出一种融合图像分割与暗通道先验规律的卫星遥感图像去雾霾方法。

1  原理

1.1  暗通道先验去雾霾原理

暗通道去雾霾的原理是指在绝大多数非天空的无雾图像的局部区域内，某一些像素位置总会至少有一个颜色通道具有很低的值，也就是说在图像的多个通道中的灰度最小值即为暗通道值，数学描述如下：

（1）

上式中Jdark（x）表示暗原色值，x表示某一像素位置，c表示彩色图像的R、G、B三个通道，Ω（x）表示以x像元位置为中心一定窗口大小的范围。

传感器所获取的图像是由直接传输并部分散射得到的亮度加上从全球大气光成分得到的亮度，两者混合最后形成我们所看到的最终图像，可用下面算式概括：

（2）

式中I（x）表示观测得到的亮度，即从拍摄图片中获取到的亮度，为已知值，即传感器获取的图像；J（x）表示复原之后的清晰图像，为未知值，即输出目标图像；t（x）表示透射率；A表示全球大气光成分；J（x）t（x）表示直接传输并部分散射得到的图像亮度；A（1 - t（x））表示从全球大气光成分得到的图像亮度。

1.2  顾及图像分割与暗通道先验规律的去雾霾方法

鉴于在原始图像中直接判断高亮地物难以实现，观察发现影像中的建筑物顶面、城市广场等高亮地物整体来说比较平滑，即相邻像素之间的变化不大，因此，通过梯度信息来表示较为容易被识别。然而，传统的梯度信息提取往往是利用Sobel和Prewitt算子，计算图像中3×3窗口的梯度信息，显然这个窗口不能包含足够的邻域信息，会忽略一些关键信息。对纹理信息复杂的遥感影像，为了更好地提取影像的梯度信息，采用5×5的梯度算子，考虑到窗口内每个像素对中心点像素的影响，引入高斯加权矩阵W，定义水平与垂直方向的梯度算子如式（3）所示：

（3）

通过梯度算子计算影像梯度信息，设定梯度阈值T对梯度信息进行区分，对暗通道的透射率进行修正，其数学描述如式（4）所示，当| I（x） - A |＜T时，视该区域为高亮部分，重新计算透射率，| I（x） - A |＞T时，则认为是符合暗通道先验的区域，透射率不变。

（4）

1.3  质量评价

图像质量评价[17]分主观评价和客观评价两个标准。主观评价一般采用目视判读的方法，客观评价一般通过一些指标进行量化分析。基于遥感影像雾霾去除的主观评价，可以分为影像的清晰度和保真度，通常会遵循判读人的基准[18]，给出定性的评判结果。由于遥感影像雾霾去除研究的特殊性，没有标准的不含雾霾信息的原始影像作为参考，只能通过无参考图像评价指标来进行评价。无参考图像质量评判指标中经典的指标包括：信息熵（Entropy）、平均梯度（Average Gradient）和标准差（Standard Deviation）等。

信息熵（Entropy）是影像包含信息量的随机性度量。其反映的是图像像元值分布的复杂程度。信息熵值越大，说明影像越复杂，纹理愈明显，信息更丰富。二维灰度影像信息熵的数学表达式如式（5）所示，式中Pk表示影像中灰度值為k的像素出现的频率，近似代替概率。

（5）

平均梯度（Average Gradient）是影像清晰程度的度量。平均梯度可以理解为灰度的变化率，灰度变化率的大小可用来表征图像的细节清晰度。其反映了图像微小细节反差变化的速率。平均梯度越大，说明影像灰度变化率越大，细节清晰度越高，数学描述如式（6）所示，式中Gx和Gy分别表示x和y方向的图像梯度，M×N表示图像大小。

（6）

标准差（Standard Deviation）也是影像清晰度的度量。标准差通常被用来度量影像的对比度，标准差的值越大，说明对比度越大，层次越丰富，目标越清晰。其数学表达式如式（7）所示，其中M×N表示图像的大小，P（i， j）表示第i行、第j列的像素值，μ表示均值。

（7）

2  材料与结果分析

高分一号卫星（GF-1）是中国高分辨率对地观测系统的首发星，突破了高空间分辨率、多光谱与宽覆盖相结合的光学遥感等关键技术，设计寿命5至8年，高分一号卫星发射成功后，在地理测绘、水利、林业资源监测等领域发挥重要作用。

实验选取2020年3月高分一号卫星（GF-1）获取的含有一定雾霾信息的多光谱影像作为实验数据，其空间分辨率为8 m、光谱范围为0.45～0.89 μm，侧摆时重访周期为4天，影像覆盖区域广东、北京、河南等地区，并通过暗通道优化前后进行实验对比分析。对于覆盖城市区域的遥感影像而言，因存在大量的建筑物顶面、城市广场和水泥路面等高亮局部区域，以及非城市区域的砂岩裸地，会造成暗通道失效，雾霾去除结果失真等现象。实验中在对多幅遥感影像处理的基础上，对阈值的确定进行统计分析，最终将梯度阈值设定为0.02。通过设定的梯度阈值判断影像中存在的高亮信息，对高亮区域进行分割，利用分割结果来约束暗通道中透射率的计算，进而改善最终的去雾霾效果，高亮提取结果如图1所示。

（a）原始影像   （b）高亮信息提取结果

图1  图像分割结果

为了验证本文提出去雾霾方法的有效性，下面通过多组实验结果进行展示，并对优化算法处理的前后比较分析，如图2所示，其中图2的（a）（d）（g）（j）为含有不同雾霾程度的原始影像，图2的（b）（e）（h）（k）为暗通道处理结果，图2的（c）（f）（i）（l）为优化处理结果。

（a）原始影像  （b）暗通道处理结果 （c）优化处理结果

（d）原始影像  （e）暗通道处理结果 （f）优化处理结果

（g）原始影像  （h）暗通道处理结果 （i）优化处理结果

（j）原始影像  （k）暗通道处理结果 （l）优化处理结果

图2  雾霾去除结果

从上面4组结果对比分析上看，对于不同程度的雾霾影像本文的优化算法取得了较好的处理效果，本文算法改善了高亮目标区域的颜色失真问题。如图2（a）～（c）所示雾霾的程度较重，单纯的暗通道处理结果偏暗，出现色彩偏移，本文所用方法进一步还原了景物的真实色彩。如图2（d）～（f）的实验结果图可以看出，顾及图像分割与暗通道先验规律的去雾霾方法的处理结果的清晰度和对比度都得到了明显改善。从图2（g）～（i）含泥沙河段的处理结果上看，暗通道处理结果明显目视效果一般，而改进算法在一定程度上改善了色彩失真的现象。如图2（j）～（l）大面积裸地可以看出，暗通道先验处理结果对比度较差，改进算法相较于原算法的处理结果改善了对比度校正不足的问题。上述均是通过目视判别进行评判，具有较强的主观性，因此，为了进一步客观评判去雾霾效果的稳定性与效果，通过客观评价指标进行定量分析，如表1、表2、表3所示。

表1  信息熵对比结果

信息熵 第一组 第二组 第三组 第四组

原始图像 6.81 6.31 7.31 7.32

暗通道方法 7.01 6.73 7.43 7.51

本文方法 7.23 6.91 7.62 7.52

表2  平均梯度对比结果

平均梯度 第一组 第二组 第三组 第四组

原始图像 5.40 4.02 9.72 8.06

暗通道方法 7.78 6.38 12.94 11.72

本文方法 8.50 6.79 13.86 16.96

表3  标准差对比结果

标准差 第一组 第二组 第三组 第四组

原始图像 32.67 22.69 45.02 39.64

暗通道方法 45.31 35.35 56.91 52.65

本文方法 48.17 36.35 60.60 60.91

上面3个表格分别给出了原始图像、利用暗通道先验方法以及顾及图像分割与暗通道先验规律的方法的客观评价结果。从信息熵、平均梯度和标准差的计算结果来看，顾及图像分割与暗通道先验规律的去雾霾方法在客观评价指标方面有明显提升，说明其处理结果与目视判别结果相一致，从而可以得出本文方法在处理含有不同雾霾程度遥感影像上具有较好的效果。

3  结  论

本文以暗通道先验方法在处理高亮区域时存在色彩偏差作为切入点，提出一种融合图像分割与暗通道先验规律的卫星遙感图像去雾霾方法，通过梯度阈值修正暗通道透射率来约束暗通道先验的处理结果，实现对不同亮度区域的差异化处理。在多次实验的基础上，设定梯度阈值实现对透射率差异化修正。该方法克服了暗通道先验算法对影像高亮目标区域校正不足的缺点，在主客观评价方面取得了明显的改善，有效地解决了暗通道先验算法对影像高亮目标区域处理结果颜色失真的问题。

参考文献：

[1] 江政远.高分辨率遥感影像去雾方法研究 [D].北京：中国科学院大学（中国科学院上海技术物理研究所），2019.

[2] WANG G Y，REN G H，JIANG L H，et al. Single Image Dehazing Algorithm Based on Sky Region Segmentation [J].Information Technology Journal，2013，12（6）：1168-1175.

[3] 祁琼，张弛，袁全，等.顾及空间与光谱差异的单幅遥感影像自适应云雾去除方法 [J].武汉大学学报：信息科学版，2019，44（9）：1369-1376.

[4] 钱江，方勇华，吴军.基于单幅图像的雾霾图像快速还原方法 [J].量子电子学报，2019，36（4）：402-407.

[5] WANG Y-K，FAN C-T. Single Image Defogging by Multiscale Depth Fusion [J].IEEE Transactions on Image Processing，2014，23（11）：4826-4837.

[6] KIM J-H，JANG W-D，SIM J-Y，et al. Optimized Contrast Enhancement for Real-time Image and Video Dehazing [J].Journal of Visual Communication and Image Representation，2013，24（3）：410–425.

[7] 李青山.融合中红外波段的航空影像去雾算法研究 [D].武汉：武汉大学，2019.

[8] MENG G F，WANG Y，DUAN J Y，et al. Efficient Image Dehazing with Boundary Constraint and Contextual Regularization [C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：617-624.

[9] 谭伟，曹世翔，齐文雯，等.一种高分辨率遥感图像去雾霾方法 [J].光学学报，2019，39（3）：48-58.

[10] 吴迪，朱青松.图像去雾的最新研究进展 [J].自动化学报，2015，41（2）：221-239.

[11] LAND E H. The Retinex Theory of Color Vision [J].Scientific American，1977，237（6）：108-128.

[12] 王凯.基于暗通道先验原理的图像去雾方法研究 [D].长春：长春理工大学，2017.

[13] 杨晓倩，贾振红，杨杰，等.基于小波变换和Retinex结合的遥感图像的薄云去除 [J].激光杂志，2019，40（10）：77-80.

[14] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[15] 崔浩，艾海滨，张力，等.透射率全局估计航空影像去雾算法 [J].遥感信息，2019，34（1）：102-110.

[16] 吴寿江，李亮，宫本旭，等.GeoEye-1遥感图像去雾霾方法比较 [J].国土资源遥感，2012（3）：50-53.

[17] 何南南，解凯，李桐，等.图像质量评价综述 [J].北京印刷学院学报，2017，25（2）：47-50.

[18] 胡子昂.雾霾天视频图像清晰化处理及其量化评价方法研究 [D].广州：华南农业大学，2016.

作者简介：陈鑫（1981.01—），男，汉族，山东济宁人，高级工程师，硕士研究生，研究方向：遥感与地理信息系统。