火星沙尘环境光学图像增强方法

李海波， 曹云峰， 丁萌， 庄丽葵

(1. 南京航空航天大学 自动化学院, 南京 210016； 2. 南京航空航天大学 航天学院, 南京 210016；3. 南京航空航天大学 民航学院, 南京 210016)

火星是人类进行深空探测的热点之一，到目前为止，世界各国对火星的探测任务已超过40次，然而成功率并不高，在着陆任务中只有7次是成功的，其中着陆过程中的技术故障是失败的主要原因[1]。未来探测任务要求探测器能够在环境复杂的高科学价值区域精确着陆，这需要提高探测器着陆精度，美国国家航空航天局(NASA)公布的新一代精确着陆精度为10～100 m[2]。现阶段的着陆导航系统主要依靠惯性测量单元，其采用的航位递推算法难以达到上述精度要求，因此需要补充其他传感器，引入新的测量信息提高导航精度[3]。与其他传感器相比，光学相机具有体积小、质量轻和功耗低等优点，其在“勇气号(Spirit)”与“机遇号(Opportunity)”着陆时已成功用于水平速度估计[4]。随着计算机视觉技术的发展，许多学者对光学辅助导航在深空探测中的应用进行了研究。文献[5]提出了一种基于图像灰度特征的撞击坑自主检测方法，并将检测信息用于着陆导航；文献[6-7]研究了利用机器视觉对撞击坑、岩石等障碍的检测方法，并对相关方法做了总结；文献[8]针对光学导航的状态估计问题提出了一种利用天体表面阴影区进行特征提取与匹配的方法；文献[9-11]研究了将光学测量信息与惯性测量信息融合的火星探测器着陆导航方法。除此之外，国内外还有关于将机器视觉应用于辅助火星探测器着陆导航的大量研究。

上述所有将机器视觉用于辅助着陆导航的一个前提是视觉传感器采集的图像是清晰的。然而，在火星上沙尘天气活跃。20世纪70年代，火星上的沙尘气旋首先被“海盗号(Viking)”轨道探测器观测到[12-13]。这种沙尘气旋可达到数英里的宽度和高度[14]。当火星的表面由松散的物质构成时，沙尘颗粒可以在空气中传播，使形成沙尘气旋成为可能[15-16]。此外，沙尘暴也偶然在火星上发生。在1971—1972年，沙尘暴曾经被“水手9号(Mariner 9)”探测器观测到[17-19]。探测器着陆时极有可能遇见沙尘天气，从而导致视觉传感器采集的图像对比度降低，颜色发生偏移，影响机器视觉算法对撞击坑、岩石等地表障碍的检测识别。

对于受雾霾干扰图像的增强研究较多，如文献[20-22]，采用基于Retinex的方法对图像进行增强。但对于去除火星探测器着陆过程沙尘对机器视觉影响的研究并不多。在其他应用领域里，也鲜有去除沙尘影响的研究。文献[23]分析了沙尘天气对光脉冲时延和展宽的影响，但主要针对的是激光。文献[24]在目标识别中提出了一种去除沙尘影响的方法，然而这种方法需要比较长的处理时间。文献[25]提出了一种对单幅静止图像去除沙尘影响的方法，此方法需要对特定目标测量一些先验信息，不适合用于解决火星着陆沙尘影响问题。针对这一问题，本文提出一种去除火星探测器着陆时沙尘对机器视觉影响的方法。该方法采用基于四叉树细分的方法计算大气光值，以此为基础，计算透射系数，完成清晰图像恢复。

1 去除沙尘影响方法原理

在计算机视觉中,一个描述受不同天气影响的模型被广泛使用，这些天气情况包括阴霾、雨、雾、冰雹和雪等[26-27]。本文采用这个模型来表示受沙尘影响的图像，此模型为

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：I为受沙尘影响的图像，可以由视觉传感器获得，是可知的；J为火星地表实际的图像，是期望得到的清晰图像，不受沙尘影响并且能够反映更多火星地表实际情况；t为透射系数；A为大气光值；x为图像的像素点。大气光值A和透射系数t是未知的，因此要想得到清晰图像J，需要获得A和t的值。

1.1 大气光值计算方法

对于大气光值A的计算，直接在全图范围内搜索亮度最大区域，容易将白色物体或亮度较高物体作为大气光值，产生错误的恢复结果。为避免局部图像在某通道存在极大值引起对大气光值的错误估计，本文采用在最小值图像上进行四叉树细分的方法。最小值图像是由原始图像各像素取其各通道(R、G、B通道)最小值构成。该方法的具体步骤为：①选取受沙尘影响的图像；②计算图像各个通道(R、G、B通道)的最小值，构成最小值图像；③对最小值图像进行4等分，计算4个子图像块均值，选取均值最大的图像块继续进行4等分，重复划分迭代，直至子图像块的面积小于指定阈值时，记录图像块均值最大部分；④在此基础上，在初始图像中寻找相同位置区域，计算区域各通道均值，选取区域各通道均值作为大气光各通道值。

1.2 透射系数计算方法

对于透射系数计算，本文采用暗通道方法。火星探测器拍摄的图像经过白平衡后可以呈现出类似地球光照拍摄的图像，因此暗通道的方法可以在火星上应用。暗通道由He等[28]发现，暗通道表明清晰图像一个或多个通道中经常存在一些较小且接近于零的值，当图像受到恶劣天气影响时，暗像素的值不再趋近于零，这反映了恶劣天气对清晰图像的影响。暗通道的存在可以用来计算t的值。

对于任何一个图像J，暗通道Jdark可以描述为

(2)

式中：c表示图像某一通道；Jc表示图像J在某一通道的分量；R、G和B为图像的彩色通道；Ω(x) 为以x为中心的一块区域。从式(2)中可以看出，暗通道是由2次最小值操作获得：第1次操作是在每个像素上执行；第2次操作是在每个区域上进行，其操作顺序是可以交换的。

暗通道提供了一个重要的先验条件，对于一幅未受到天气影响的清晰图像，暗像素的值趋近于零，即

Jdark→0

(3)

这是计算t值的关键先验条件。式(1)中，A在一幅图像中其值是恒定的。因此，式(1)可以由A标准化为

(4)

(5)

(6)

如前所述，当J是一个不受恶劣天气情况影响的清晰图像时，其暗像素的值趋近于零，即

(7)

Ac总是正的，因此有

(8)

将式(8)代入式(6)中，多项式项从式(6)中消除，即

(9)

因此有

(10)

1.3 清晰图像恢复模型

在大气光值A与透射系数t通过计算获得的情况下，通过式(1)可以推导出清晰图像的恢复模型，其形式为

(11)

当t(x)取值过小时，J(x)计算值较大趋向于噪声，因此要对t(x)值进行限制，设定t(x)下限值为t0，防止恢复图像时产生噪声，其最终的恢复形式为

(12)

2 清晰图像恢复实验及分析

2.1 大气光值计算实验过程

由于目前条件限制，很难获得当火星探测器进入着陆段时遇到沙尘的图像。因此通过实验室模拟的方式获得一系列受沙尘影响的图像，对本文方法进行原理性校验。其具体操作步骤为：首先，制作一个包含火星地表常见着陆障碍(撞击坑、岩石和斜坡等)的沙盘；然后，利用吹风机产生风，将沙尘吹起，沙尘笼罩在沙盘的上方；最后，通过相机拍摄沙盘，获得受沙尘影响的原始图像。将这些图像进行分割，做成样本集，用来测试校验所提出的方法。任意选取2个样本如图1所示，首先求取大气光值，按1.1节所述方法计算图1最小值图像，结果如图2所示。在图2中，利用四叉树细分方法，搜寻均值最大的图像块，细分图像块的阈值面积设定为初始图像面积的1%，搜寻结果如图3中矩形填充区域所示。

图1 受沙尘影响的图像

图2 最小值图像

图3 细分搜寻结果

搜寻结果位置相同的区域，如图4中矩形填充区域所示。计算区域各通道的均值，将各通道均值作为大气光各通道估计值，求出大气光A的值。

图4 搜寻结果在初始图位置

2.2 透射系数计算及清晰图像恢复

图5 透射系数图

从图5中可以看出，2幅图像中均存在一些光晕和方块，这导致在每个恢复图像中存在恢复图像质量低和不连续的情况。为解决此问题，本文采用快速导向滤波[29]优化透射系数，结果如图6所示。

图6 优化后的透射系数图

从图6中可以看出，光晕和方块从图中消失了。利用优化后的透射系数对受沙尘影响的图1进行恢复，其结果如图7所示。

2.3 恢复图像特征分析

进一步分析初始图像与最终恢复图像颜色特征，分别建立初始图像(见图1)与最终恢复图像(见图7)的RGB通道直方图，分别如图8和图9所示。从图8中可以看出，受沙尘影响图像的色彩分布相对集中，RGB三色值动态变化范围较窄，直方图分布相对集中。图9中恢复图像的彩色值分布非常广泛，颜色明显得到改善，直方图分布比较均匀，分布模式符合清晰图像的特点。

图7 最终恢复图像

图8 初始受沙尘影响图像RGB通道直方图

图9 最终恢复图像RGB通道直方图

3 方法性能分析

3.1 四叉树细分阈值变化的影响

为检验四叉树细分阈值对去除沙尘效果的影响，选取不同的阈值进行测试分析。首先在受沙尘影响的样本图像库中随机选取一张受沙尘影响的图像，如图10(a)所示；然后分别选取阈值面积为初始图像面积的0.001%、0.005%、0.01%、0.05%、0.1%、0.5%、1%、5%、10%检验去尘效果，其测试结果如图10(b)～(j)所示。从图10中可以看出，当阈值选取过大时，恢复图像的质量会降低，如图10(i)、(j)所示，图像中岩石区域部分图像亮度增加，存在发白失真的现象；当阈值选取的过小时，如图10(b)、(c)所示，恢复图像的整体略暗。从图10的测试结果可以看出，阈值选择为初始图像面积的0.01%～1%较为合适。采用四叉树细分的方法时间复杂度为O(N)，空间复杂度为O(N)。其中N为输入图像的像素数量。

图10 受沙尘影响图像及设置不同阈值的测试结果

3.2 光照条件变化的影响

选取不同时间和不同光照条件下受沙尘影响的图像如图11(a)～(c)所示，其各个图像中光照强度不同。通过采用本文方法，相应的恢复图像如图11(d)～(f)所示，从图中可以看出该方法对不同光照条件的影响具有一定的适应性。

3.3 沙尘强度变化的影响

随机选取一组受沙尘影响的图像如图12(a)～(c)所示，从图中可以看出每幅图像的沙尘强度并不相同，是一组沙尘强度逐渐增加的图像。图12(d)～(f)为(a)～(c)对应的恢复图像，从图中可以看出，本文方法对沙尘强度的变化具有一定的鲁棒性。

图11 不同光照条件下受沙尘影响图像及对应恢复图像

图12 不同沙尘强度下受沙尘影响图像及对应恢复图像

3.4 场景变化的影响

考虑场景变化对受沙尘影响图像恢复的影响。火星探测器着陆时，地表撞击坑、岩石和斜坡等障碍是需要规避的，为此建立相应场景图像，如图13(a)～(c)所示，分别为包含撞击坑、岩石和斜坡的一组图像。图13(d)～(f)为(a)～(c)对应的恢复图像，从图中可以看出，本文方法对场景的变化具有一定的适应性。

图13 不同场景下受沙尘影响图像及对应恢复图像

4 与其他方法比较分析

目前，美国国家航空航天局兰利研究中心(NASA Langley Research Center)采用Retinex技术获得清晰的图像，其详细信息可以参考相关网站 (http:∥dragon.larc.nasa.gov/retinex/)。采用Retinex技术的方法主要包括单尺度Retinex(Single Scale Retinex,SSR)方法、多尺度加权平均Retinex(Multi-Scale Retinex,MSR)方法和彩色恢复多尺度Retinex(Multi-Scale Retinex with Color Restoration,MSRCR)方法。这些方法也经常用于受雾霾干扰图像的增强[20-22]。为进一步检验本文方法效果，将本文方法与这几种方法进行对比。本文方法与MSR、SSR、MSRCR方法的时间复杂度均为O(N)，对图像的处理效果进行对比分析。从图像库中随机选取一张受沙尘影响的图像如图14(a)所示，将这幅图像分别由MSR、SSR、MSRCR方法和本文方法进行处理，其结果分别如图14(b)～(e)所示。从图14中可以看出，采用MSR、SSR、MSRCR方法恢复的图像均不如采用本文方法恢复的图像效果好。

进一步分析，引入定量分析指标来评估实验结果，采用清晰度、标准差指标评估恢复图像质量。清晰度的计算公式为

(13)

(14)

式中：xi为第i个像素；μ为像素灰度均值。σ值越高，图像包含的信息量越大。采样这2个指标的客观评价结果如表1所示。

从表1中可以看出，初始图像的清晰度和标准差都比较低，采用不同方法恢复后清晰度与标准差均获得提高，其中采用本文方法恢复后的清晰度与标准差最大，恢复效果最好。

在一些视觉导航算法中，边缘检测经常是其中的一个重要步骤，因此引用边缘强度来评估恢复图像的效果。边缘强度的计算式为

图14 受沙尘影响图像及各种方法恢复结果对比

(15)

式中：G为边缘强度；Gx为水平方向边缘检测灰度值；Gy为垂直方向边缘检测灰度值。G值越高，图像包含的边缘信息量越大。比较结果如表2所示。

表1 定量分析对比

表2 边缘强度对比

从表2中可以看出，初始图像由于受沙尘影响边缘强度值较小，采用不同方法进行恢复后边缘强度得到提高，其中采用本文方法恢复后的图像边缘强度最大，图像包含的边缘信息量最大，这表明本文方法相比其他方法具有较好的效果。

5 结 论

本文提出一种火星沙尘环境中光学图像增强的方法，该方法对受沙尘影响图像模型中大气光值计算采用基于四叉树细分的方法，在最小值图像上进行细分迭代搜寻均值最大的指定阈值区域，然后在输入图像中寻找相对应的区域并计算区域各通道均值，求出大气光值。在此基础上，计算透射系数，完成清晰图像的恢复。从实验结果可以看出，本文方法在去除沙尘对光学图像影响方面具有较好的效果；与文中提到的其他方法比较，本文方法在主观评价和客观评价方面都具有明显的优势。机器视觉在火星探测器精确着陆中具有重要的辅助作用，而火星的沙尘天气会对机器视觉造成一定的影响，本文方法能够进一步减轻沙尘对机器视觉的影响，为机器视觉的后期处理提供清晰图像。

参考文献(References)

[1] 崔平远,高艾,于正湜.火星着陆自主导航方案研究进展[J].深空探测学报,2014,1(1):18-27.

CUI P Y,GAO A,YU Z S.Research progress of autonomous navigation scheme for Mars landing[J].Journal of Deep Space Exploration,2014,1(1):18-27(in Chinese).

[2] STEINFELDT B A,GRANT M J,MATZ D A,et al.Guidance, navigation,and control system performance trades for Mars pinpoint landing[J].Journal of Spacecraft and Rockets,2010,47(1):188-198.

[3] 吴伟仁,李骥,黄翔宇,等.惯导/测距/测速相结合的安全软着陆自主导航方法[J].宇航学报,2015,36(8):893-899.

WU W R,LI J,HUANG X Y,et al.INS/rangefinder/velocimetry based autonomous navigation method for safe landing[J].Journal of Astronautics,2015,36(8):893-899(in Chinese).

[4] BRAUN R D,MANNING R M.Mars exploration entry,descent and landing challenges[J].Journal of Spacecraft and Rockets,2007,44(2):310-323.

[5] 陈建清,朱圣英,崔祜涛,等.应用灰度特征的行星陨石坑自主检测方法与着陆导航研究[J].宇航学报,2014,35(8):908-915.

CHEN J Q,ZHU S Y,CUI H T,et al.Automated crater detection method using gray value features and planet landing navigation research[J].Journal of Astronautics,2014,35(8):908-915(in Chinese).

[6] 丁萌.空间探测器着陆过程中的机器视觉关键技术研究[D].南京:南京航空航天大学,2010:11-16.

DING M.Research on key technology of machine vision for spacecraft landing[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2010:11-16(in Chinese).

[7] 丁萌,李海波,曹云峰,等.基于光学图像的撞击坑识别研究[J].深空探测学报,2015,2(3):195-202.

DING M,LI H B,CAO Y F,et al.Research survey of passive image-based impact crater detection[J].Journal of Deep Space Exploration,2015,2(3):195-202(in Chinese).

[8] 魏若岩,阮晓钢,肖尧,等.一种小天体表面阴影区的鲁棒匹配算法[J].宇航学报,2015,36(2):203-210.

WEI R Y,RUAN X G,XIAO Y,et al.A robust match algorithm for asteroid shadow areas[J].Journal of Astronautics,2015,36(2):203-210(in Chinese).

[9] 李建国,崔祜涛,田阳.光学辅助惯性测量信息的火星着陆导航算法[C]∥中国宇航学会深空探测技术专业委员会第九届学术年会,2012:17-20.

LI J G,CUI H T,TIAN Y.Vision-aided inertial navigation algorithm for Mars landing[C]∥The 9th Academic Annual Meeting of Committee of Deep Space Exploration Technology,Chinese Society of Astronautics,2012:17-20(in Chinese).

[10] 李建国.火星探测器自主光学着陆导航方法研究[D].哈尔滨:哈尔滨工业大学,2014:42-64.

LI J G.Research on autonomous vision navigation methods for spacecraft landing on Mars[D].Harbin:Harbin Institute of Technology,2014:42-64(in Chinese).

[11] 李建国,崔祜涛,田阳.基于特征匹配的着陆导航敏感器相对校准算法[J].红外与激光工程,2014,43(1):267-273.

LI J G,CUI H T,TIAN Y.Sensors relative calibration method for landing navigation based on feature matching[J].Infrared and Laser Engineering,2014,43(1):267-273(in Chinese).

[12] THOMAS P,GIERASCH P J.Dust devils on Mars[J].Science,1985,230(4722):175-177.

[13] REISS D,FENTON L,NEAKRASE L,et al.Dust devil tracks[J].Space Science Reviews,2016,203(1-4):143-181.

[14] STATELLA T,PINA P,DA SILVA E A.Automated determination of the orientation of dust devil tracks in mars orbiter images[J].Advances in Space Research,2014,53(12):1822-1833.

[16] LORENZ R D,BALME M R,GU Z,et al.History and applications of dust devil studies[J].Space Science Reviews,2016,203(1-4):5-37.

[17] HANEL R A,CONRATH B J,HOVIS W A,et al.Infrared spectroscopy experiment on the Mariner 9 mission:Preliminary results[J].Science,1972,175(4019):305-308.

[18] HANEL R,CONRATH B,HOVIS W,et al.Investigation of the Martian environment by infrared spectroscopy on Mariner 9[J].Icarus,1972,17(2):423-442.

[19] HANEL R,SCHLACHMAN B,BREIHAN E,et al.Mariner 9 michelson interferometer[J].Applied Optics,1972,11(11):2625-2634.

[20] 赵苏齐,吴健珍.基于Retinex的雾霾图像去雾算法[J].科教导刊,2016(4):156-157.

ZHAO S Q,WU J Z.Defogging images based on Retinex theory[J].Scientific and Technological Innovation,2016(4):156-157(in Chinese).

[21] 刘志晨,徐惠民.基于单尺度Retinex算法的雾霾图像清晰化系统开发研究[J].国土与自然资源研究,2017(1):71-73.

LIU Z C,XU H M.Research on haze image clarity system based on single scale Retinex algorithm[J].Territory & Natural Resources Study,2017(1):71-73(in Chinese).

[22] 张雅媛.基于多尺度Retinex算法的彩色雾霾图像增强研究[J].包装学报,2016,8(3):60-65.

ZHANG Y Y.Research of haze color image enhancement based on multi-scale Retinex[J].Packaging Journal,2016,8(3):60-65(in Chinese).

[23] WANG H,WANG Y,CAO M,et al.Influence of atmospheric visibility on laser pulse delay and broadening in sand and dust weather[J].Acta Optica Sinica,2015,35(7):9-16.

[24] WANG Y,LI Y,ZHANG T.The method of image restoration in the environments of dust[C]∥International Conference on Mechatronics and Automation (ICMA).Piscataway,NJ:IEEE Press,2010:294-298.

[25] WANG Y Y,YANG C Y,WANG X K.The dedusting method based on a single still image[J].Applied Mechanics and Materials,2013,333-335:929-933.

[26] NARASIMHAN S G,NAYAR S K.Vision and the atmosphere[J].International Journal of Computer Vision,2002,48(3):233-254.

[27] NARASIMHAN S G,NAYAR S K.Chromatic framework for vision in bad weather[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2002,1:598-605.

[28] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2011,33(12):2341-2353.

[29] HE K,SUN J.Fast guided filter[EB/OL].New York:Cornell University Library,2015[2017-03-29].https:∥arxiv.org/abs/1505.00996.