基于大数据并行技术下的卫星遥感大气场景仿真设计与实现*

河南大学民生学院 袁帅

随着我国遥感仿真技术的快速发展,不仅遥感信息模型趋于复杂化,卫星遥感的数据量也呈指数级形式的快速增长,在全链路遥感卫星仿真的各个环节中,大气辐射传输仿真作为成像的重要环节,其过程复杂度和海量数据处理的特性一直客观存在,其仿真速度的快慢直接影响到全链路仿真效率的高低,本文从算法和大数据并行的角度对这一问题进行处理,取得了一定的实际效果。

0 引言

在可见光近红外波段,考虑光谱成像仿真中大气对地物辐射的影响,利用大气辐射模拟计算模型MODTRAN,并结合简化的大气辐射传输辐射亮度计算方程,模拟出大气条件影响下的光谱成像。在热红外波段,根据辐射传输方程,利用MODTRAN模拟结果拟合得到大气辐射模拟的近似表达[1],海量的遥感大气数据都需要通过MODTRAN模型计算得出,本文针对这一主要流程特点做出了一定的改变,其流程图如图1所示:

图1 大气辐射传输模拟流程图Fig.1 Flow chart of atmospheric radiative transfer simulation

1 算法与流程的设计说明

1.1 大气辐射传输模拟关键流程说明

常用的大气辐射传输模型为美国空军地球物理实验室(AFGL)主编的中分辨率大气辐射传输模型(MODTRAN),此模型覆盖了0～22600cm-1(即波长0.44μm～∞)的光谱范围,并考虑大气多次散射效应,是国际公认的高准确度计算模型[2]。

在卫星在成像时刻,场景中的每一个像元的大气环境条件近似相同,因此可以利用简化计算模型替代成像时刻MODTRAN模型去仿真相同环境下的大气辐射传输,进一步利用查找表技术解决场景中相同像元重复计算问题[3]。

本文在MODTRAN中针对百万级单像元做Hadoop并发,用以提高效率。

1.2 关键算法说明

MODTRAN计算模型对单个像元的入瞳辐射亮度计算需要耗时大,对于一个遥感成像仿真场景,通常需要仿真的像元个数都以百万计,若利用MODTRAN模型对场景中的每个像元进行辐射亮度计算,其计算速度不能满足实际应用的要求。

MODTRAN中算法是基于单个像元反射率计算入瞳辐射能量,在卫星成像场景大气辐射仿真中,此种计算方法的耗时之处如下:(1)相邻像元间的大气环境基本相同,即大气程辐射和漫反射辐射相同,导致重复计算;(2)成像场景中存在大量的相同反射率的像元,其地表辐射相同,导致重复计算。因此,为了满足卫星大场景成像的速度要求,本文使用一种快速准确的大气辐射传输仿真方法。

在卫星在成像时刻,场景中的每一个像元的大气环境条件近似相同,因此可以利用简化计算模型替代成像时刻MODTRAN模型去仿真相同环境下的大气辐射传输,进一步利用查找表技术解决场景中相同像元重复计算问题。

在陆表大气辐射传输快速仿真处理流程中,该模块首先利用辐射模型计算简化模型的参数,然后根据待仿真的传感器通道信息,建立波段、反射率和入瞳辐射亮度的快速映射查找表,最后通过快速映射表对待仿真的场景进行处理,获得场景入瞳辐亮度图。

实际计算过程中,简化的MODTRAN模型里像元间的辐射亮度计算流程是互相独立的,每一个线程都是首先设置大气状况参数、几何条件参数、光谱信息参数、反射率参数等参数并写入tape5文件(为了兼容MODTRAN),然后运行大气辐射传输模型,利用模型模拟出所设置波段范围内的各个波长下的辐射亮度,并输出在tape7(为了兼容MODTRAN)文件中[4]。针对此情况,每一个像元计算开辟的独立线程做多线程并发管理,map函数中键值Key采用(MODTRAN,<经度,纬度,日期>)的方式进行设计和管理,tape5文件文件中所有像元参数数值均会对应日期标准写入环形内存缓冲,当Key-LST值出现null或0时进行筛选过滤,方便二次查询。使用心跳周期的TaskTracker通过RPC协议汇报给JobTracker,经过调配给各个计算节点分配运算,最终利用哈希函数按经纬度时间参数来进行键值中对应的规约合并,快速完成输出文件的合并,以HDFS形式输出在tape7文件中完成简化MODTRAN模型的关键流程。

在可见光近红外通道,大气顶层的辐亮度一般可以采用以下简化模型表示:

其中Lλ(x)表示传感器接收的地物反射的总辐射;ρ(x)表示目标反射率;ρb(x)表示背景反射率;Sλ表示大气球面反照率;Aλ为太阳下行总辐射经目标反射到达大气层顶的辐射贡献系数;Bλ为太阳下行总辐射经背景反射到达大气层顶的辐射贡献系数;Cλ太阳下行总辐射经大气散射到达大气层顶的辐射贡献系数。统称Sλ、Aλ、Bλ、Cλ四个待求解未知数为“路径参数”。除此之外,上面的方程可改写为:

至此四个“路径参数”已被求解出来,从而可以确定在所设置频谱范围内的各个波长下的大气传输方程具体形式。此时任意给出一个反射率,可以通过此方程求解出对应的大气顶层入瞳辐射亮度值。

地表产生的热辐射在经过大气时,受大气分子(主要为水汽)吸收和散射的影响,到达传感器入瞳处时能量被削弱;而大气本身作为一个辐射源,它同时向上和向下辐射热量。向下的大气辐射经过地表反射、大气吸收到达大气顶层,与大气向上的辐射耦合在一起,这样又增加了传感器入瞳处的能量。假设大气无湍流且水平分布均匀,传感器垂直下视,地表朗伯近似,地表组分为线性混合根据辐射传输方程,则传感器接收到的热红外辐射亮度为:

式中,Lsensor—卫星入瞳处组分k的表观辐亮度,单位:Wm-2sr-1μm-1,Pi为地表组分i在视场内所占比例,εi为组分i的发射率,B(Ti)为组分i的黑体辐射,Ti为组分地表温度,Lup为大气上行辐射,Ldown为大气下行辐射,τ为大气透过率。考虑传感器光谱响应函数f(λ),上式各参数等效算式如下:

(1)光谱响应函数f(λ)的解析表达。用高斯三角滤波器(Caussian-Triangular filter,GT filter)来模拟传感器的通道响应函数f(λ)。通过确定传感器通道半波宽(FWHM), f(λ)可表示为:

2 实现效果与分析

本仿真实验数据选用“高分六号卫星”2019年上半年京津冀区域原始数据约2T,计算平台为英特尔Pentium双核 E6600配置的计算机平台。

表1给出了本方法和MODTRAN4的仿真时间对比,从表中可以看出传统的MODTRAN4的逐点仿真耗时约为本文方法的16倍。对于本实验数据场场景,本文的仿真耗时为17h,而MODTRAN4方法耗时高达285小时。

表1 运行时间对比表Tab.1 Comparison table of time operation

3 结语

尝试性的针对海量大气遥感数据进行生产处理,基于Hadoop平台自身服务对自身节点数没有明显限制的特性,可以方便进行多节点并行测试,并使用HDFS策略进行存储,达到了较为高效的处理目的。

本设计方法也有一定缺陷,如当遥感数据量很小的时候,并行处理的信息传输机制反而没有直接进行大规模像元计算效率要高。由于算法的原因,当遥感数据图像中云或气溶胶影响较大时,对产品结果本身精度也会产生一定的影响。

引用

[1] 郝禹.气象数据网络中权重缓存算法与缓存查询优化研究[D].南京:南京信息工程大学,2018.

[2] 章永杰,徐振亚,李建勋.飞机红外高光谱图像仿真模型研究[J].航空兵器,2020,27(4):91-96.

[3] 陈川.高分辨率遥感成像仿真关键技术研究[D].合肥:中国科学技术大学,2018.

[4]张慧敏.遥感成像大气辐射传输快速仿真与实现[D].武汉:华中科技大学,2016.