基于暗原色先验理论的无人机影像去雾研究

柳婷

(宁波市测绘设计研究院，浙江 宁波　315000)



基于暗原色先验理论的无人机影像去雾研究

柳婷*

(宁波市测绘设计研究院，浙江 宁波315000)

摘要：基于暗原色先验理论的去雾方法简化了影像去雾的物理模型，并且利用了自然界的客观规律，为去雾研究提供了新思路。针对该理论去雾过程中透射率优化复杂、耗时和清晰化后的影像出现halo效应的局限性，通过结合MATLAB平台的实验，深入探究适用于单幅无人机影像的高效、自动综合去雾方法，并且对该方法进行了主客观评价。

关键词：雾天无人机影像；暗原色先验理论；导向滤波；综合去雾

1引言

受雾天天气的影响，在户外获取的无人机影像表现为：灰度动态范围小，对比度较低，细节信息不明显，部分特征被覆盖或模糊，信息的可辨识度大大降低的特点；同时，色彩保真度下降，出现严重的颜色偏移与失真，缺乏视觉的生动性和感染力[1，2]。影像质量的严重退化，不但给目标特征信息的提取和后续处理工作的进行带来了一定困难，并且很大程度上限制了数据的有效性和可用性。因此通过一定的技术，将降质的退化影像恢复为可用的高质量影像是普遍关注和亟须解决的问题[3～6]。经过国内外学者二十多年的不断努力，图像去雾技术取得了较大的进展，并且不断有新思路和新方法被应用于工程实际中。其中由学者He Kaiming等人[7]提出的暗原色先验理论使得有雾图像的成像模型得以简化，不用求取难以得到的参数，以最大限度保持真实的物方辐射信息。本文基于该理论并且结合无人机影像的特点，提出了一种综合方法来复原影像，从而实现高效去雾。

2暗原色先验理论

2.1大气退化物理模型

通常光线在大气传播时会同时存在光线的衰减和大气光的吸收这两种过程[8，9]，因此到达传感器设备中光线总强度E是经过入射光衰减和大气光成像后结果的总和[10]。目前使用最广泛的退化图像的物理模型为[11]：

I(x)=J0t(x)+A[1-t(x)]

(1)

A称为空气光，表示距离观测者无穷远的光强度值；J0表示场景目标直接反射的光强，即要恢复的清晰图像，t(x)反映了入射光的透过能力，称为透射率。当透射率的值越大表示传感器接收到的辐射光线越多，一般情况下取值范围为[0～1]。在式(1)中，t(x)=e-β(λ)d，A=E，J0(x)=E0，其中β(λ)表示大气散射系数，0≤β(λ)≤1。E0和E分别表示反射光在d=0处和无穷远处大气光强。分析上式可以得到，复原图像的过程实际是：一方面“消除”吸收的大气光部分，另一方面“补偿”衰减的入射光部分。

2.2暗原色先验理论

暗原色先验理论(dark-channel prior)是Kaiming He等人[12]在探究 5 000幅户外无雾图像的统计规律基础上提出的，他们发现在绝大多数非天空区域的局部范围，总是存在一些像素的某一个或几个很低的颜色通道强度值，并且其最小值接近于零，Kaiming He等人将这些像素称之为暗原色(dark-channel pixel)。

用数学公式可以表示为：

(2)

其中Jc表示彩色图像J的每一个通道，Ω(x)表示以像素x为中心的窗口。

2.3基于暗原色先验理论去雾算法原理

暗原色法避开了传统基于模型方法要求解复杂参数的过程，而是直接通过解算t(x)和A来实现复原图像。一般情况下依据单幅影像的一个方程不能求得两个未知数的解，必须增加约束条件来对这个病态问题进行求解。暗原色先验理论作为一个有力的约束就能解决这个问题。将式(1)变形为：

(3)

(4)

根据暗原色先验理论有：

(5)

得到：

(6)

此为透射率的估计值。

为了使清晰化后的图像在视觉上保持一定的真实性，在式(6)中引入一个因子，将其变为：

(7)

ω∈[0，1]，一般取ω=0.85～0.95。

在上述过程中假设大气光是已知的，但是实际利用该先验理论进行单幅图像去雾时，需要根据图像求取A。最后将求出的结果代入雾天成像模型式(1)的变形公式得到：

(8)

理论上就可以恢复出清晰的无雾图像J(x)。

2.4基于暗原色先验理论去雾算法步骤

Kaiming He等人[13]研究出了针对单幅影像的去雾流程，总结为：

(1)输入原始雾天影像I(x)，以一定的滤波半径，根据式(5)逐点求取暗通道图；

(2)求取大气光A；

从暗原色图中先按照亮度的大小进行排序，再在原始有雾图像中找出对应暗原色图中亮度排在前0.1%的像素，选出符合条件的具有最高亮度的像素值作为全局大气光A值。

(3)根据式(6)预估计透射率图t(x)；

直接求取透射率图t(x)会出现“halo”现象，即在景深变化大或者是亮度变化剧烈的区域边缘会出现一侧明显变亮[14]，这样导致了无论是在透射率图还是在暗原色图发生异常的边缘位置都不再与原始图像对应，使边缘处的信息丢失，直接影响最终的去雾效果。

“抠图”法需要对稀疏线性方程组进行求解得到一个全局最优的掩像值[15]，表示为：

I=αF+(1-α)B

(9)

其中I表示合成的图像，由F表示的前景图像和B表示的背景图像构成。α表示掩像，其值在(0，1)这个区间内连续变化。估计透过率t(x)的过程可以认为等同于通过抠图法获得α过程，此时求得的结果就是经过优化后的透射率图，相比粗略估计出的透射率图会有更清晰的边缘轮廓、更加丰富的细节信息，从而获得较好的最终去雾效果。

(5)恢复出清晰图像。

(10)

t0是为透射率设定的下限值，主要起到消除最后的清晰化影像中噪声干扰[15]的作用。

估计出透射率、求得大气光的值，再根据暗原色先验规律就能实现雾天单幅图像的清晰化。

3基于暗原色先验理论的无人机影像综合去雾

基于暗原色先验去雾的方法简化了去雾模型，但是事实上进行清晰化处理仍然具有一定的局限性。第一，求取大气光A时本质是选取了某一像素点的值，但在实际情况中，亮度最大的像素有很大可能来源于白色的物体，这样会使得恢复出的图像产生色偏或出现色斑。第二，“抠图”法平滑透射率图实际上要通过求解大型的稀疏矩阵来实现，带来了巨大的运算量和很大程度的耗时，并且占用空间大，不满足无人机图像处理高效性实时性的应用要求。第三，由于对大气光和透射率的估计求取，使得恢复出的图像色调偏暗。

针对基于暗原色理论的去雾算法以上三方面的局限性，并且根据无人机影像整体的色彩基调保持稳定，且暗原色值的反差较小，景深变化一般不大[16，17]的特点，本文提出一种综合方法进行清晰化雾天图像处理。具体步骤如下：

(1)输入原始雾天影像I(x)，根据暗原色先验理论求取暗通道图；

(2)求取大气光A；

(3)根据式(6)预估计透射率图t(x)；

(4)利用导向滤波优化透射率图；

(5)根据式(10)恢复出清晰图像；

(6)结合自适应对比度增强算法调整图像，得到最终去雾结果。

3.1大气光A的计算改进

本文提出选取符合条件的所有点的平均值作为A的值，这样就避免了恢复出的图像出现色偏或者色斑，增加了可靠性，具体步骤如下：

(1)在已经得到的暗原色图中按照像素大小排序；

(2)选出(1)中位于前0.1%的像素；

(3)在原始图像中找到这些像素点的对应值；

(4)对上步结果求取平均值，将结果作为最后的A值。

3.2利用导向滤波优化透射率图

由于“抠图”法优化透射率图的局限性，本文重点考虑在较好地保留细节信息的同时，满足无人机影像处理的实时性要求，在此提出用导向滤波优化透射率图。

导向滤波假设导向参照图像和滤波输出之间是一个局部线性模型，q是中心像素为k的窗口wk的局部线性变换：

qi=akIi+bk，∀i∈wk

(11)

其中wk是以像素点k为中心，r为半径的正方形窗口，假设wk范围内恒定的线性系数为(ak，bk)，导向滤波器[18]是一种运行时间短并且能有效提取方向信息的滤波器组，并且其满足模型：q=aI，即将一组基滤波器进行线性累加可以表示任意方向的滤波器，从而确保了只要导向图像I有一个边缘那么滤波输出图像q就对应一个边缘，这也是导向滤波能够有效保持边缘的原因[19]。

定义滤波输出q由原始输入p减去一些干扰的因素或者不感兴趣的内容，比如噪声：

qi=pi-ni

(12)

此时要能找到一个使得输入的滤波图像p和滤波输出图像q之间的差异最小并且能保持式(11)线性关系的解，通过最小化一定邻域范围的拟合函数，进行线性回归求解：

(13)

这里ε是约束ak变得很大的正则化参数，它决定了边缘的保留平滑程度。

通过最小二乘法可以求得上式的解ak，bk：

(14)

(15)

(16)

上式表示输入图像p在该窗口内的像素均值。获得了ak，bk的值，就可以根据式(11)从而求得滤波输出图像q。

将这个局部线性模型运用到整个图像的所有局部窗口中：

(17)

其中：

(18)

(19)

(20)

综上所述，式(12)、(14)、(15)表示了导向图像I和输入图像p，滤波输出图像q之间的关系，导向图像与输入图像可以相同也可以不同，当用作边缘保持时一般取相同，在本文的实验中I取原始图像的灰度图像，若用RGB图像会在一定程度上增大计算量，对于边缘保留来说，灰度图像完全可以满足。

3.3自适应对比度增强

在一般情况下，雾的分布呈不均匀状态，而基于暗原色先验理论的去雾方法是在全局对图像进行处理，这样得到的透射率图分布会过于单一，使得去雾的局部效果不理想，为了提高图像整体的对比度同时能增强局部对比度，需要对利用本文暗原色方法清晰化后的结果图像进行增强处理从而提高其质量。另一方面，事实上场景的辐射亮度是不及大气光亮度的，但是在整个暗原色去雾过程中把大气光成分作为常数处理，并且由于在计算透射率时引入了参数ω，这样的结果是会导致恢复出的图像亮度降低，整体较实际偏暗，直方图上表示为占有亮度值较小的像素较多，因此需要通过适当的增强方法来提高图像的亮度，考虑到作为复原图像的辅助算法，应该具备一定的自适应性，同时要满足高效性。综合考虑之下本文用自适应对比度增强方法来对去雾后图像的亮度进一步提高。该算法较简单，适用于整个色调较暗、景深变化不大的遥感影像，并且具有自适应性，不会使得图像出现过度增强，破坏其色彩保真度。自适应对比度增强的流程如图2所示。

综上所述，基于暗原色先验的综合去雾方法流程如图3所示：

4实验结果及分析

本文实验选取重庆市某次地灾检测项目中用佳能5D拍摄的无人机遥感影像，基于MATLAB 2014平台进行去雾处理。利用所有本文提到的综合算法进行无人机影像去雾，通过主客观分析验证本文算法的有效性。

其中t0=0.1，ω=0.95。

对比经本文算法去雾处理的效果图和直接用暗原色去雾后图像可以看出，经本文优化算法处理后的透射率图细节清晰，边缘保存良好，恢复出的无雾图像没有出现色彩失真现象，场景细节得到了恢复，更加符合实际情况，得到了较为理想的视觉效果。并且对比去雾前和去雾后图像的暗原色图可以发现，前者由于受到雾的影响使得暗原色变高，而后者看起来比较正常，这也验证了利用暗原色进行去雾处理的可行性。

从图5看出原始有雾图像灰度动态范围小且分布不均衡，而经过本文算法去雾后的图像直方图动态范围扩大，分布均衡。

本文利用图像质量客观评价指标：标准差、信息熵、图像平均梯度，对以上结果分别进行客观评价。同时由于无人机影像处理需要实时性，因此加入时间指标。

分析表1可以得到，针对雾天无人机影像，利用本文综合法清晰化后的图像在对比度、信息量和清晰度方面都要明显优于直接暗原色法去雾，此外运行速度得到了提高，也就是说该算法能在保证去雾的有效性同时满足实时性。

5结论

本文针对无人机影像整体色彩基调趋于稳定，暗原色反差较小，并且景深变化不大的特点，对基于暗原色先验理论去雾方法进行了改进，并且基于该理论提出了无人机影像的综合去雾方法，该方法是一种结合图像复原和图像增强去雾的优化方法。首先对大气光A的计算方式进行改进，避免了一些干扰因素，使得结果更具可靠性；其次针对算法运算量大，计算过程复杂，恢复细节信息有限的缺点，本文提出利用导向滤波器代替暗原色去雾方法的“抠图”法对透射率图t(x)进行优化估计。由于恢复出的影像色调偏暗，本文利用自适应增强算法对其进行对比度调整，从而实现了结合图像复原和图像增强的综合去雾。最后通过在MATLAB平台的实验对比说明这种综合去雾法能显著、高效的实现无人机影像去雾。但是需要说明的是本文方法为针对薄雾天气下图像清晰化处理，对于浓雾天气还有待探究。

参考文献

[1] 孙立明. 卫星及航拍图像的云雾噪声去除研究[D]. 哈尔滨：哈尔滨工程大学，2006.

[2] 朱锡芳，江兴方，李峰等. 彩色遥感图像去薄云新方法[J]. 应用光学，2007，28(6)：699～701.

[3] 王萍，张春，罗颖昕. 一种雾天图像低对比度增强的快速算法[J]. 计算机应用，2006，26(1)：152～154.

[4] 郭珈，王孝通，杨常青. 海上监测图像去雾增强的交互式方法[J]. 中国航海，2010，33(4)：11～13.

[5] 黄晓军，来彦栋，陈奋. 快速去除单幅图像雾霾的算法[J]. 计算机应用，2010，30(11)：3029～3031.

[6] 杨安洪. 光学遥感影像云雾处理方法[D]. 郑州：解放军信息工程大学，2010.

[7] Kaiming He，SUN Jian，TANG Xiao-Ou，Single Image Haze Removal Using Dark Channel Prior[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2009：1956～1963.

[8] 王多超. 图像去雾算法及其应用研究[D].合肥：安徽大学，2010.

[9] 黄黎红. 退化图像的去雾方法[J]. 红外与激光工程，2010，39(5)：985～988.

[10]E．J．美卡特尼. 大气光学—分子和粒子散射[M]. 北京：科学出版社，1988：55～59.

[11]E．J．McCartney. Optics of the Atmosphere：Scattering by Molecules and Particles[J]. John Wiley and Sons ，1976：123～129.

[12]Kaiming He，SUN Jian，TANG Xiao-Ou，Single Image Haze Removal Using Dark Channel Prior[C]. Proceedings of IEEE Conference on Computer Vision andPattern Recognition，2009：1956～1963.

[13]Kaiming He，SUN Jian，TANG Xiao-Ou，Single Image Haze Removal Using Dark Channel Prior[C]. Proceedings of IEEE Conference on Computer Vision andPattern Recognition，2009：1956～1963.

[14]王时震，万惠琼，曾令沙等. 应用暗原色先验规律的遥感影像去雾技术[J]. 测绘科学技术学报，2011，28(3)：183～189.

[15]杨安洪. 光学遥感影像云雾处理方法[D]. 郑州：解放军信息工程大学，2010.

[16]杨靖宇，张永生，邹晓亮等. 利用暗原色先验知识实现航空影像快速去雾[J]. 武汉大学学报，信息科学版，2010，35(11)：1292～1295.

[17]李方，王好贤，毛兴鹏，孙运雷等. 单一图像的快速去雾算法[J]. 计算机设计与应用，2011，32(12)：4129～4132.[18]Freeman W and Adelson E. The design and use of steerable filters. IEEE Trans. on IP，1991，13(9)：891～906.

[19]Petschnigg，G.，Agrawala，M.，Hoppe，H.，Szeliski，R.，Cohen，M.，Toyama，K.：Digital photography with flash and no-flash imagepairs.In：SIGGRAPH(2004).

Research on Defogging UAV Image based on Dark Channel Prior

Liu Ting

(Ningbo Design Research Institute of Surveying and Mapping，Ningbo 315000，China)

Key words：hazy UAV image；dark channel prior；guided filter；comprehensive defogging

Abstract：The haze removal method based on Dark Channel Prior making the model simplified，besides supplying a new perspective by using objective laws in natural. Aimed at the issue of complex and time-consuming in optimizing transmission and halo effect，proposing a comprehensive method which can achieve defogging automatically and effectively by considering the characteristic of hazy UAV images via MATLAB，moreover，evaluating this general defogged algorithms from objective and subjective ways.

文章编号：1672-8262(2016)03-83-06

中图分类号：P231，TP751.1

文献标识码：A

*收稿日期：2016—03—01

作者简介：柳婷(1990—)，女，硕士，助理工程师，主要从事国情普查和无人机航摄相关工作。

基金项目：中央高校基本科研业务费专项资金资助项目(0903005203182)