透射率全局估计航空影像去雾算法

崔浩，艾海滨，张力，孙钰珊，赵栋梁

(1.兰州交通大学 测绘与地理信息学院，兰州 730070；2.中国测绘科学研究院，北京 100036；3.甘肃省地理国情监测工程实验室，兰州 730070；4.自然资源部第三地形测量队，哈尔滨 150025)

0 引言

航空影像具有分辨率高、获取成本低、反应速度快的特点，在测绘、军事侦察、国土资源管理等各个领域得到广泛的应用。航空影像质量的好坏对天气的依赖性较高，雾霾天气下空气中的悬浮粒子会使景物反射的光线发生散射，同时散射的环境光被传感器接收，造成影像清晰度降低。因此面对国内长时间、大范围的雾霾天气，设计一种针对航空影像的去雾算法就显得特别迫切。

目前，影像去雾的方法、三类。第一类是基于影像增强的方法。Kim等人采用直方图均衡化的方法提高影像清晰度[1-2]。Seow使用同态滤波的方式对影像进行增强[3]。Tan提出对影像进行自适应对比度拉伸[4]。郭璠等则通过对影像进行多尺度Retinex处理以提高影像的清晰度[5-6]。上述方法在某些情况下可以取得较好的效果，但由于处理效果不稳定，对同一测区不同影像可能得到清晰度不同的处理结果，因此无法满足航空影像的应用需求。第二类方法则利用同一场景的多张影像实现影像的恢复。Narasimhan等通过收集不同天气下的影像进行分析处理得到清晰的影像[7]。Namer等采用偏振片获取不同偏振程度的影像，进而对影像进行去雾处理[8-10]。上述方法可以取得一定的去雾效果，但这类方法要求同一位置的多张影像，一般的航空摄影不能满足该要求，因此不具有可行性。第三类是基于物理模型的去雾方法，这类方法以大气物理模型为基础，通过某种手段获取影像景深信息，进而获得退化模型的参数，反演出无雾影像。Mccartney等分析了光线在大气中的传输机理提出大气物理模型，为影像去雾提供了理论基础[11-12]。Oakley假定图像中的大气光是个常数，给出了大气光的估计方法[13]。Kopf提出通过已有场景的纹理推算得到影像场景的深度信息[14]。Oakley使用雷达测定场景的精确景深[15]。Narasimhan则使用多张不同角度影像重构场景的三维信息，以此得到场景景深[16-17]，理论上该方法可以得到较好的效果，但存在成本过高、实用性不强的问题。何凯明等人提出一种暗原色先验原理，通过提取影像暗通道估算其景深[18]，该方法是图像去雾领域的重要进展，众多学者提出对该方法的改进策略。孙抗提出采用双边滤波代替原文的精细化方法[19]。何凯明本人又提出使用导向滤波实现场景的精细化[20]。

在遥感领域，关于遥感影像的去雾同样引起了广泛的关注。嵇晓强提出获取影像的最暗像素对航空影像去雾后再进行增强的方法可以取得一定效果[21]，但航空影像可能存在噪点干扰，可能导致获取的暗像素不准确。王敬东等提出使用Kueahara滤波器优化大气耗散函数以保护影像纹理信息[22]，隆娇则使用高斯滤波器对大气耗散函数进行优化[23]，上述两种方法均是对暗通道图精细化方法的改进。杨靖宇提出对航空影像分块，求取各块暗原色值以模拟影像的透射率变化[24]，但该方法需要人为设定阈值剔除暗原色失效区域，无法实现自动化。

综上可知，目前基于暗原色先验的去雾方法是影像去雾领域的主流研究思路，该理论来自于统计知识，对于普通的户外场景影像可以取得较好的处理效果，但航空影像相对普通户外影像存在其特殊性。本文在充分分析了航空影像成像过程和影像内容的基础上提出对航空影像透射率全局估计和局部优化的方法，并进行了大量的试验以验证该算法的有效性。

1 暗原色先验去雾算法

1.1 雾天成像模型

McCartney提出的大气传输模型在影像去雾领域得到广泛应用，该模型由衰减项和大气光模型两部分组成，前者表示光线从物体到传感器传播过程的直接衰减，后者表示周围环境中的大气光对传感器的影响。其数学描述如下：

I(x)=J(x)t(x)+A·(1-t(x))

(1)

式中：I(x)表示带雾的原始图像；J(x)表示去雾后的清晰图像；t(x)表示大气传输中的透射率；J(x)t(x)表示目标景物的直接衰减；A表示大气光，A·(1-t(x))表示大气光经过衰减到达传感器的能量。透射率t(x)可表示如下：

t(x)=e-βd(x)

(2)

式中：β为大气散射系数；d(x)表示场景深度。

1.2 暗原色先验原理

何凯明等对5 000多张去除天空的户外影像统计分析得到一条物理规律，即在无雾图像的局部图像块内存在这样一些像素，它们至少在RGB颜色空间的某一个颜色通道的灰度值非常低，这种规律被称为暗原色先验。对于一幅图像局部区域的暗原色可以定义为：

(3)

式中：Jc是图像J中R、G、B3个通道的某个通道；Ω(x)是以像素x为中心的一个局部图像块；Jdark表示图像的暗原色，根据暗原色先验理论则有Jdark趋向于0，即：

Jdark(x)→0

(4)

1.3 基于暗原色先验的去雾流程

(5)

根据暗原色先验理论有：

(6)

(7)

对公式(1)变形可得

(8)

(9)

式中：t(x)是影像透射率；t0是透射率阈值(一般设为0.1)。大气光A根据影像的暗通道图中最亮0.1%像素对应源影像的最大亮度值确定。

2 透射率全局估计航空影像去雾算法

2.1 航空影像成像特点

一般地，在航空摄影过程中载荷平台的飞行航高变化较小，对地观测过程镜头基本是正摄向下，因此，地形的起伏和地物高度变化相对航高可认为是微小量，即整张航空影像的景深近似一致，因此可认为整张影像透射率近似一致。另外，航空影像一般拍摄于厚云层之下，影像中不存在云朵等非地面高亮物体的干扰。基于此，本文提出对航空影像透射率全局估计的算法策略，以达到影像整体去雾的效果。

2.2 航空影像景物特点

航空影像拍摄内容几乎涵盖了自然界所有的可见地物，但并不是所有的地物都符合暗原色先验原理。典型的符合暗原色先验的地物主要包括：(1)阴影。如建筑物、车辆、树木或者岩石等的阴影。(2)色彩鲜艳的物体。比如绿色的树木、彩色的汽车等。(3)暗色调物体。比如石头，湿润的土壤等。另一部分地物完全不符合暗原色先验原理，较为典型的有水泥马路、屋顶、阳光照射下的岩石等高亮地物。因此按地物呈现的色调是否符合暗原色先验原理，可将影像中的地物分为两大类：

F=f(P1，P2)

(10)

式中：P1表示符合暗原色先验的地物；P2表示不符合暗原色先验的地物。二者是一种相对的关系，没有明确的分界线，在不同的外部条件下临界点附近的某些物体可以发生转化。对于P2，由于其暗通道灰度值较高，利用暗原色先验原理对这部分地物进行透射率估计得到的值偏低，因此对影像透射率整体估计时需要将这部分地物剔除。

如图1所示，为对航空影像色阶、亮度和曲线手动调整得到不同清晰度的影像，以此模拟不同雾霾浓度下的航空影像，分别提取其暗通道，并绘制对应灰度直方图。可发现随着影像清晰度的提高，其暗通道图的灰度范围明显增大。这是由于在光照条件良好的天气条件下P1部分，如阴影呈现更暗的趋势，颜色鲜艳的地物如绿色的植被、彩色的屋顶等会呈现更为鲜艳的色彩，造成这部分地物的暗通道灰度值减小；与此同时P2部分地物如裸露的水泥地面、柏油马路等的暗通道灰度值却没有明显减小，如表1所示为对局部区域灰度均值的统计结果，表明影像中P1和P2两类地物的暗通道灰度值有明显分离的趋势。另外，航空影像覆盖范围有限，影像中的地物种类有限，如图1(a)，P1主要为植被，P2主要为水泥地面、马路等，因此两类地物内部又有一定的相似性、聚类性。

图1 不同清晰度影像及其暗通道图

灰度值统计影像1影像2影像3A191.07187.59184.41B125.0290.1649.15C134.10102.0962.60

Otsu是一种基于全局的二值化方法，该方法以最大类间方差为判别标准搜索影像的灰度分割阈值，将影像分割为前景和背景两部分，与P1、P2的聚类特性相一致。根据暗原色先验原理影像像素透射率与其暗通道灰度值成反比，如公式(7)，因此，影像透射率图同样有分离、聚类特性，本文采用Otsu法对影像透射率图自动分割以剔除影像中透射率过低的地物，实现影像透射率全局估计。

3 算法流程

本文算法主要包括以下步骤：(1)对源影像匀光处理，使影像的雾霾分布均匀化。(2)透射率全局估计。获取影像透射率图，采用Otsu法对其分割透，剔除影像中透射率估计偏低的部分，估计影像的全局透射率T。(3)优化透射率图。对局部透射率优化调整，得到影像透射率图。(4)利用大气物理模型恢复得到清晰的影像。算法流程如图2所示。

图2 算法流程图

3.1 匀光处理

对航空影像透射率整体估计的前提是影像中各区域雾霾分布浓度一致，在城区等平原地区基本可以满足该要求，但山区、丘陵地带雾气分布并不均匀，一般的山谷中雾的浓度要高于山顶，如果直接进行全局处理会造成雾浓度高的区域去雾不彻底，形成残留。因此，本文首先利用MASK匀光算法对源影像匀光处理[25]，以达到锅底效应去除、阴影区域亮度补偿和雾霾浓度分布均匀化的效果。

3.2 利用Otsu法分割透射率图

(11)

(12)

则类间方差为可表示为

(13)

最佳阈值k*选取原则为：

(14)

如图3为对影像的透射率图Otsu分割的结果。影像1是典型的村镇场景，对应的分割影像中水泥马路和厂区被完整剔除。影像2是山区影像，影像中大部分裸露的岩石部分被剔除，而阴影和绿色植被区域得到的保留。影像3为无植被覆盖的戈壁，经分割处理，影像中裸露的道路和居民地等区域被剔除。影像4是较为典型的城市影像，经分割影像中建筑物阴影和绿色植被覆盖区域得到保留，上述分割结果表明了该分割策略的有效性。

图3 Otsu法对透射率图分割

3.3 航空影像透射率全局估计及局部优化

实现影像整体去雾的关键在于对影像全局透射率的准确估计。剔除影像透射率图中不符合暗原色先验的部分后，计算剩余部分的均值，如公式(15)，得到透射率估计值t1，该值反映了影像的整体透射率情况，将其作为全局透射率的下限，同时获取透射率图中的最大灰度值t2，该值反映了影像透射率的最大值，将其作为全局透射率的上限。影像的全局透射率T由t1，t2共同确定，如公式(17)，其中参数q控制影像的全局透射率。为使影像保留一定的深度感，需要保留少量的雾。因此，一般的将q设为0.8，实际应用中可将其作为可调参数，允许人工干预。

(15)

t2=min (P1)

(16)

T=q×t1+(1-q)×t2

(17)

由于影像的透射率T是整体估计得到的，因此影像中会有一部分区域的透射率比该值大，如果直接用透射率T对其处理，会导致这部分区域像素色彩过饱和。本文对透射率大于T的部分及其周围一定半径的像素进行小半径的均值滤波处理，如下式所示，使透射率大于T的部分与周围像素过渡平滑，以此实现对影像透射率的优化，如图4为优化后的透射率图及其局部放大图，可以发现影像的透射率过渡平滑。

t=T(f(x，y)≥T)

(18)

(19)

式中：s表示均值滤波窗口的尺寸；Ω(x，y)为像素(x，y)的s×s领域窗口内的像素，一般将滤波窗口设置为15×15。

图4 优化后透射率图

4 实验与分析

本文用Visual C++编写程序进行试验，为验证该算法的通用性，选取村镇、山区、戈壁、城市等各种常见场景的航空影像进行试验，受篇幅限制这里仅展示4个典型场景的影像，将原算法和本文算法处理效果进行对比，并从主观和客观两方面对影像的处理效果进行评价分析。

4.1 单张航空影像处理效果评价

1)主观评价。本文将直接利用暗原色先验算法处理结果与本文算法处理效果进行了对比，并且统计了影像对应的亮度直方图，如图5所示。影像1包含道路、房屋和植被等，原算法处理后影像的道路、房屋等区域严重的过饱和，本文算法处理后对这些区域的亮度保持较好。对比其直方图形状，本文算法处理后影像的直方图波峰个数以及直方图形式与原影像直方图相似性更高，表明本文算法处理后对于影像纹理的保护较好；对于影像2，由于原算法对裸露的岩石等区域透射率估计不准确，导致处理后的影像存在较为严重的色彩畸变，相对的本文算法处理后影像不存在过的饱和的现象；影像3中没有植被覆盖，原算法处理后影像中道路和院落区域色调偏暗，而本文算法处理后影像的整体性、一致性较好；对于影像4，直接用原算法处理后影像的色彩的层次性较差，对应的其亮度直方图的形状变形严重，说明其纹理损坏较为严重，而本文算法处理后影像的色彩过渡自然，层次清晰，对影像中地物的色彩保护较好。

图5 算法效果对比

2)定量评价。为对算法的处理效果进行定量评价，本文统计了影像的均值、标准差、平均梯度、信息熵和影像SIFT特征点的数量等作为对比的指标，如表2所示。其中均值表示影像的整体亮度，经过去雾处理后影像的亮度均值明显减小，原算法处理后影像的亮度要小于本文算法，这是由于原算法对影像某些区域去雾过度造成某个通道灰度值为0导致的；标准差反映了影像纹理的清晰度，经本文算法处理后影像标准差大于原算法处理结果，表明本文算法处理后影像清晰度较高；平均梯度也是一种清晰度评价指标，这里采用Tenengrad梯度法计算影像的梯度，整体上本文算法处理后影像的梯度相对原算法有小幅提升；信息熵反映了影像中信息的丰富程度，本文算法处理后影像的信息熵有显著提高；SIFT特征提取算法是一种经典的特征点提取算法，影像特征点的数量可以反映影像细节特征的丰富程度，特征点数量对影像后期的匹配有非常大的影响，由表2可知本文算法提取特征点的数量多于原算法。经观察表中大部分数据符合上述预期，但个别数据出现反常现象，比如影像3亮度均值出现反常，这可能是由于影像3中地物类型较为单一，本算法计算得到的透射率大于影像中大部分像素的透射率，因此本文算法去雾效果要强于原算法。影像2平均梯度、影像3信息熵出现反常，这是可能是由于原算法对影像中裸露岩石部分的透射率计算过高，在影像反算的过程中造成这部分地物纹理的破坏，进而产生了新的纹理造成的。影像4原算法计算得到的SIFT特征点个数小于原影像可能是由于原算法对于高亮建筑物透射率估计过高，造成影像中建筑物过饱和，细节丢失。但整体而言本文算法处理后影像的各项统计指标相对于原影像有明显提高，并且对纹理的保护较好。综上表明，对于各种典型场景，本文算法处理后有较好的统计特性，验证了该算法的有效性和通用性。

表2 影像信息统计表

4.2 测区级航空影像的去雾方案

一个测区的正射影像往往是由多张航空影像镶嵌而成，因此对于测区级航空影像不仅要求单张影像的去雾还要求整个测区影像去雾效果一致。通过上述算法可以实现对测区内单张航空影像透射率的估计，这里对所有影像的全局透射率T进行最小二乘运算得到测区对应的最优透射率，进而实现对整个测区影像的整体去雾。如图6所示，该测区包含73张航空影像，对测区影像透射率最小二乘估计得到透射率为0.24，以此为测区所有影像的透射率T对影像进行去雾处理。

图6 最小二乘估计测区透射率

图7是本文算法与直接运用暗原色先验去雾方法的对比效果，可以发现原算法处理后影像明显过饱和而本文算法处理后影像视觉效果较好，测区内影像的去雾效果一致，没有给影像镶嵌带来色差等负面影响。

图7 测区影像去雾效果对比

5 结束语

针对暗原色先验去雾算法不适用于航空影像的问题，本文结合航空影像的成像特点和景物内容特征，提出对影像透射率全局估计、局部优化的方法。试验结果表明该算法处理后影像清晰度明显提高且不会对影像的纹理产生破坏，可以实现航空影像雾霾自动去除。并且对测区级航空影像的去雾提出解决方案，可以保证测区影像去雾效果的一致性。