甘 鑫,高欣健,钟彬彬,王 昕,叶子瑞,高 隽
1 合肥工业大学计算机与信息学院,安徽 合肥 230009;
2 合肥工业大学图像信息处理研究室,安徽 合肥 230009;
3合肥高创股份有限公司,安徽 合肥 230088
太阳光在大气传输过程中由于受到大气中气溶胶粒子的折射或反射作用而产生偏振光,并且这种偏振光会形成地球上固有的大气偏振模式。大气偏振模式的理论分布可以抽象为由时间和空间参量确定的散射函数,在实际的复杂大气环境因素中,大气偏振模式仍然呈现出一系列的时空连续分布规律,其中蕴含着重要的方向信息,是偏振光导航的参考源。大量的观测实验研究发现,大气偏振模式的偏振角分布模式呈现为一种稳定的“∞”字形特征,并且在多云、雾、阴天等天气条件下,“∞”字形特征始终稳定存在。“∞”字形特征的表征方程可描述为等偏振角分布的解析函数[1],且是目前为止发现的大气偏振模式分布特征中唯一同时满足“连续性、稳定性、易测性”等要求的显著特征,其反映了大气偏振模式的宏观分布特性和变化规律。因此大气偏振模式在自主导航、偏振探测等领域[1-3]具有广泛的应用前景。
大气偏振模式是太阳光进入大气层后,受到粒子散射及地表返照等作用,使其偏振态发生改变,最终形成一种特定的时间分布规律。Rayleigh 散射模型是一种基于Rayleigh 散射原理的经典的大气偏振模式表征方法,该方法能够准确表征理想大气环境下的大气偏振模式分布特性,通过偏振度和偏振角来表征大气偏振模式。当太阳坐标表示为S(xs,ys,zs),设太阳天顶角为 θs,方位角为 φs,高度角为90°− θs,可以获得天空中任意一点 P (x,y,z),设其天顶角为θ,方位角为φ,高度角为90°−θ,当方位角为φ 时偏振角α 的理论值为:
大气偏振模式的偏振角分布呈“∞”字形分布特征,这一分布能够反映天空中偏振分布的变化特性。当设理论天球半径为1 时,天球上任一点 P (x,y,z)的空间坐标与高度角和方位角的转换关系为
将式(1)与式(2)进行合并推导后得出:
式(3)为大气偏振模式“∞”字形的二维投影表征方程,该方程是大气偏振模式等偏振角分布的曲线簇。通过上述理论以及公式可以推导出大气偏振模式的偏振角分布具有很强的连续性特征。
偏振光与大气粒子相互作用以后,散射光会携带决定大气光学特性的偏振信息,这有别于通常测量得到的光强、光谱、相位;而实际大气环境下偏振光的传输特性各异,由于气溶胶在大气层中广泛的分布、巨大的空间变化以及复杂的化学组成,对区域内偏振光的传输有着重要影响[4]。气溶胶参数除了在时空分布的不均匀性区别较大外,还存在着气溶胶类型的差异,气溶胶不仅受到当地地域的影响,还会受到季节、风向等因素的影响,并且气溶胶还具有周期性的规律。在一般应用中会将气溶胶粒子归为陆地型、海洋型、沙漠型、极地型,而气溶胶粒子的模式又可分为乡村型、城市型、海洋型及对流层型[5],针对气溶胶粒子的研究现如今在缓慢发展中,且有相关研究将其中几种典型的气溶胶模式归纳得出相应的工具包,方便研究人员的调用。气溶胶对于大气偏振模式的形成以及探测具有较强的影响,有相关实验研究表明当气溶胶浓度在一定范围内增大时(晴天/能见度很高的天气条件),总体粒子的散射作用增强,产生的偏振光部分随之增强,但当气溶胶浓度持续增大,直至大于一定阈值之后(卷云、层云、雾天等天气),散射次数大量增加至各方向振动强度趋于均匀,产生消偏现象,即有些部分偏振度会有所降低,且由于气溶胶浓度的增强会导致得到的偏振角数据会产生一定程度的失真[6]。
传统的大气偏振信息获取方式有许多,但这些方式都是基于偏振相机的[7-18],而偏振相机由于受限于其本身的物理特性,例如视场角、焦距等,无法在同一时刻获取完整的全天域大气偏振信息,限制了其在具体应用中的精度。
由于相机的固有物理属性不易改变,因此针对上述问题,需要从信息重构的角度,从不完整的局部大气偏振信息重构出完整的全天域大气偏振模式。传统的信息重构算法往往是基于数据驱动来实现信息重构。但是这种基于数据驱动的重构算法,只能从局部的数据分布重构全局的数据分布。当缺失的信息较多、局部数据分布较为离散时,这类方法难以对全天域大气偏振模式进行精确重构。图1 为两种传统重构算法结果与本文所提算法结果对比。图1 中差异图从上往下为本文算法、Criminisi 算法[19]和基于小波变换插值算法[20]。由图1 可以看出,传统方法虽然可以实现大气偏振模式信息重构,但是由于采用的是求平均或者插值的数值方法,重构结果相对较差,且很难完全重构出偏振信息,本文相较而言具有很好的优越性,可以实现相对较好的重构结果。
图1 传统方法与本文方法结果对比(因差异较小,差异图可放大看)Fig.1 The results of traditional methods are compared with those in this paper.(Because the difference is small,the difference graph can be enlarged)
针对该问题,本文提出一种大气偏振模式生成方法。该方法首先挖掘局部大气偏振信息之间连续分布特性,利用该连续分布性,通过逆变换采样生成大气偏振模式。接着将生成的大气偏振模式与真实的大气偏振模式进行对比,修正之前挖掘到的连续分布特性和逆变换采样过程。通过不断地迭代优化,最终挖掘出局部大气偏振信息之间的本质分布特性,完成大气偏振模式建模,并利用该模型对缺失的信息进行补充。
除此之外,由于大气偏振模式的产生是由大气散射决定的。而大气散射模型与空气中的气溶胶分布有关[21]。大气中的气溶胶分布往往由天气(晴天、雨天、雾等)和地理环境(城市、山林、湖泊、沙漠等)多种因素决定[22-23]。因此大气偏振模式具有明显的多样性。如果仅仅只是在某一特定环境中进行大气偏振信息采集,很难重构出其它情况下的大气偏振模式。
因此针对上述问题,本文提出一种基于有限样本的大气偏振模式生成方法,通过挖掘大气偏振信息分布的连续性,从所获得的不连续的大气偏振信息中,逆采样变换生成连续的大气偏振模式;通过挖掘大气偏振信息在不同天气、地理条件下的多样性分布关系,利用该关系将之前生成的大气偏振模式泛化到不同的天气、地理条件下。最后通过判别生成的大气偏振模式和真实的大气偏振模式之间的差异,进一步指导之前的步骤挖掘大气偏振信息分布更本质的特征。
综上所述,本文主要创新点如下:
1) 针对传统的信息重构算法在缺失信息较多时难以准确重构大气偏振模式的问题,提出了一种大气偏振模式生成网络。该网络通过挖掘局部大气偏振信息之间的连续分布特性,逆变换采样生成大气偏振模式;
2) 针对大气偏振模式在不同的天气条件和地理环境下具有多样性的问题,提出了一种基于有限样本的大气偏振模式生成方法。该方法通过挖掘大气偏振信息在不同天气、地理条件下的多样性分布关系,利用该关系将之前生成的大气偏振模式泛化到不同的天气、地理条件下。
3) 结合上述两个网络,本文提出一种端到端的基于有限样本的大气偏振模式生成方法。该方法不仅适用于从局部大气偏振信息重构出连续大气偏振模式,同时可以快速适应不同环境下的大气偏振模式重构。
本文第二节介绍生成网络与少样本学习,第三节介绍本文提出的基于有限样本的大气偏振模式生成方法,第四节展开相关的实验和分析,第五节进行总结。
根据大气偏振模式建模和偏振信息获取技术的研究现状的总结与分析可知,较为准确的大气偏振模式的构建难点在于:探测条件的限制使得只能获取统计的局部偏振信息,难以获取完全又准确的大气偏振信息。目前对于信息重构的主要研究集中在模式识别领域,其中又以神经网络的方法为主,本文即采用神经网络的方法来实现偏振信息的重构。
现有的信息重构理论模型可分为判别式模型[24-25]和生成式模型[26-27]。判别式模型主要应用于图像和文档分类、生物序列分析、时间序列预测等,其优点是分类边界灵活、学习简单、性能较好,缺点是不能得到概率分布。生成式模型主要应用于自然语言处理和医疗诊断等,其优点是收敛速度快、可学习分布、可应对隐变量,而缺点是学习复杂、分类性能较差。为解决这些模型方法的不足,应运而生的是一种包含了判别式的新型生成模型——生成式对抗神经网络(generative adversarial network,GAN)[28]。GAN 模型包括一个生成器网络(generator,G)和判别器网络(discriminator,D),主要目的是判别器D 辅助生成器G产生与真实分布一致的数据。如在一个存在局部遮挡的场景图像中,GAN 系列模型能通过对大量样本数据进行多层网络的训练和学习,专注于全局结构,并推理出局部的纹理等特征,通过同时考虑全局结构与局部信息,来恢复缺失区域的信息,生成完整的场景,最后通过其特有的一对协同工作的网络提高结果的准确率。
大气偏振模式具有多种较为稳定和规律变化的特征,如对称性、电矢量分布、中性线等,并在整体趋势上具有一系列连续时空分布规律,且其局部相邻区域的偏振信息具有联系。同时大气偏振模式的形成、表征及其演化,受多种且变化的因素的影响,其研究伴随大量的数据。而GAN 模型对于修复具有复杂的数据结构以及较强的上下文特征信息具有很大的优势,适用于拟合大气偏振模式信息分布,并从局部偏振模式中恢复大气偏振模式信息。此外,大气偏振模式信息特征不同于颜色和纹理等简单特征,其特征多样、动态变化,且其变化规律随着天气条件、地表环境等因素的不同而发生变化。
在实测实验中,大气偏振信息的采集往往受到不同的天气条件、地理环境等因素的影响,因而无法采集到不同条件下的大气偏振模式数据。针对此问题,本文挖掘不同天气、地理条件下少样本数据之间的多样性关系,通过对少样本偏振数据多样性关系的学习,得到偏振对象类别信息,从而泛化至不同条件下偏振数据,这种学习方式对无法获取大量数据的大气偏振模式是至关重要的。
少样本学习的开创性工作可以追溯到2003 年李飞飞等人第一次提出了少样本学习的概念:利用新类别图像的一个或少数几个样本来学习该新类别。为了实现这一想法,他们于2004 年提出贝叶斯学习框架:从先前学习的类别中提取一般知识,并在模型参数空间中以先验概率密度函数的形式表示它们,然后根据一个或多个观察者更新先验来获得对象类别的后验模型[29]。在深度学习中元学习算法也可实现少样本学习工作。元学习,又称学会学习,指利用先前经验快速学习新任务,而不孤立考虑新任务。2016 年Lake 等人着重强调其作为人工智能基石的重要性[30]。随着元学习的不断深入研究,元学习算法也在不断完善。2017年 Finn 等人提出了一种模型无关的元学习算法(model-agnostic meta-learning,MAML)[31],该方法在大量不同的任务上进行训练,通过少量的梯度步骤,就能快速适应到新任务上。该方法相比之前的元学习方法,没有引入额外的参数,对模型结构也没有限制,仅用梯度来更新学习器权重,而不是基于一种更新函数或学习规则。发展至2018 年,大部分元学习的研究都是在MAML 上做改进Li 等人在MAML 基础上,把学习率看作学习矢量,通过元学习以端到端的方式学习优化器的初始化、更新方向和学习速率。与其优化初始化表征算法相比,该算法可以使得学习器具有更高的性能[32]。
关于少样本学习研究,从2016 年开始受到越来越多的学者关注。相比国外,国内学者参与的论文很少,国内相关研究尚处于起步阶段。
针对因天气、地域等问题造成无法获取不同条件下大气偏振模式数据的问题,本文拟通过少样本学习来挖掘已知不同条件下的偏振数据中的多样性关系来解决该问题,以此来指导生成网络进行偏振信息生成。
本文主要针对大气偏振模式中存在的无法获取全局大气偏振模式以及无法获取不同天气、地理条件下偏振数据的问题设计一种有限样本的偏振数据生成方法。此问题主要有两个关键点:1) 挖掘已知偏振数据的连续性;2) 挖掘已知偏振数据间的多样性关系。图2 为本文所解决主要问题,左侧为局部大气偏振模式偏振角信息,其中有一块信息缺失,右侧为根据缺失部分周围邻域上下文特征进行信息重构生成的全局大气偏振模式。
图2 局部偏振信息生成全局偏振信息Fig.2 Local polarization information generates global polarization information
综合上述情况,本文需要解决如下问题:1) 如何挖掘大气偏振模式信息之间的连续性关系(上下文关系)(见3.1 节);2) 如何挖掘大气偏振信息之间分布的多样性关系(见3.2 节);3) 如何利用大气偏振模式连续性关系和多样性关系进行局部大气偏振模式信息重构(见3.3 节)。
图3 为本文网络整体架构图。从图中可以看到,本文的网络结构主要包括三个部分。第一部分是特征提取,包含上下文编码器、少样本学习特征提取模块以及生成网络中生成器。该部分目的是挖掘大气偏振信息分布的连续性特征,并计算偏振信息在不同条件下的多样性分布关系;第二部分是逆采样变换,即为生成网络中生成器,利用大气偏振信息的连续性特征和不同条件之间的多样性关系,生成大气偏振模式。第三部分判别生成的大气偏振模式与真实大气偏振模式之间的差异,即为生成网络中的判别器。
本文首先需要解决的问题是如何挖掘大气偏振模式信息之间的连续性关系,并通过此连续性关系实现局部大气偏振模式信息重构。太阳光进入大气层之后,由于受到大气粒子、气溶胶等散射作用,产生了偏振特性,天空中大量的具有不同偏振态的偏振光形成了具有特定空间分布规律的大气偏振模式[36]。大气偏振模式在时间、地点和大气环境等因素的共同作用下,呈现出一系列的时空连续分布规律。
偏振相机由于受限于其本身的物理特性,因一些客观因素会致使连续性分布遭到破坏,从而会造成一部分信息缺失。如果仅是很小部分的连续性破坏,可以用类似插值法或求平均等数据处理的方法来解决这个问题,但是若缺失信息部分过大,利用上述数据处理方法会存在如图1 所示的信息生成精度不够,丢失数据等问题,无法实现大气偏振模式连续性的恢复。针对上述问题,本文提出一种采用上下文编码器的方法来挖掘大气偏振模式信息之间的连续性,通过挖掘得到的连续性生成缺失信息,完成连续性的恢复。
上下文编码器作为深度学习中特征提取的方法之一,已经被广泛应用于信息重构、数据生成等领域[34]。在信息重构领域,上下文编码器通过挖掘缺失信息周边上下文语义特征,实现信息连续性的挖掘以及为后续语义连贯性重构做准备。本文设计了一种适用于局部大气偏振模式信息生成的上下文编码器来挖掘局部大气偏振模式中存在的连续性。
上下文编码器中编码函数:
式中:R 为编码后的上下文信息,f ()⋅表示非线性激活函数,*为卷积运算,M 为缺失部分信息(待重构信息),1−M 为缺失部分的上下文信息(已知信息),T为已知偏振信息真实值,pk和bk为上下文编码器中对应的可学习参数,⊙为Hadamard 乘积,对两个矩阵对应位置的元素进行相乘。
上下文编码器所对应的生成器目标函数:
图3 网络整体架构图Fig.3 Overall network architecture diagram
通过构建好的上下文编码函数,对大气偏振模式信息缺失部分进行上下文特征提取,获得局部大气偏振模式连续性特征,在训练过程中,通过生成网络中生成器与判别器的对抗迭代,不断使得最小均方差值(G-Loss)减小,同时反馈迭代编码函数中的可学习参数,使提取到的上下文连续性特征不断优化,直至最终最小均方差值(G-Loss)达到最小,并且反馈迭代编码函数中可学习参数使其达到最优,实现最优的上下文连续性特征提取和上下文连续性重构。
虽然已经通过上下文编码器实现了局部大气偏振模式连续性特征提取,并且可以基于此连续性特征实现局部大气偏振模式信息生成,但是此上下文特征提取操作只能单一地提取到一种条件下的大气偏振模式连续性特征,当天气、地域等条件改变时,此上下文连续性特征并不适用。因此针对不同条件下的大气偏振模式数据需要进行进一步操作,提取不同条件下偏振数据间的多样性关系,以此来指导上下文特征提取,并通过提取到的多样性关系将生成能力泛化至不同条件大气偏振模式中,用于重构出不同条件下的大气偏振模式。针对此问题,本文设计一种少样本学习网络,用于实现不同条件下偏振数据间的多样性关系的提取。
在人类的学习中,人可以利用之前的经验来指导学习新任务,从而具有学会学习的能力。在少样本学习中,来自一个问题领域的知识被转移到其他领域或任务中,学习机制通过积累经验,在时间的推移中不断改善学习性能[29]。
本文所设计的少样本学习中之所以能够实现挖掘出不同大气偏振模式信息间的多样性关系,是通过度量学习。度量学习指从广泛的任务空间中学习相似性度量,从而将过去的学习任务中提取的经验用于指导学习新任务,达到学会如何学习的目的[33]。在少样本学习过程中,数据集由训练集、验证集和测试集组成。其中,训练集用于在不同任务上学习,验证集用于模型的验证,测试集用于测试模型的泛化能力。数据集之间没有交集。本文将获取到的晴天条件及卷云天气条件下实测偏振数据分为训练集、验证集和测试集。少样本学习器在训练集的每个任务上通过计算与验证集之间的欧氏距离来学习验证集,最终学习得到一个度量标准,然后对测试集的新任务,只需借助验证集少量样本就可以快速对测试集进行学习。
本文中使用的少样本学习网络主要包含两个模块一是特征提取模块,二是关系模块。特征提取模块主要对训练集和验证集大气偏振模式样本进行特征提取,获得对应的特征图,然后将特征图进行拼接,最后通过关系模块学习拼接特征得到关系分数,实现不同条件下大气偏振模式信息之间的多样性关系。关系分数的计算网络如下:
式中:xi表示训练集样本,xj表示验证集样本,表示特征提取模块,表示训练集和验证集样本的特征图,代表特征图拼接运算符,ζm 代表关系模块。
在文献[31]的研究基础上,本文中少样本学习网络目标函数为
针对上述大气偏振模式的相关问题,设计了基于有限样本的全局大气偏振模式生成方法的目标函数。该目标函数通过对已知的局部偏振模式进行特征及多样性提取,并对其进行编码,挖掘出潜在的大气偏振模式分布,利用该分布生成未知区域的偏振模式,最终形成全局大气偏振模式。
为了验证大气偏振模式生成网络重构出的连续大气偏振模式的准确性以及加入少样本学习后生成网络的泛化能力,构建了全局大气偏振模式判别网络的目标函数:
其中:x 采样于真实数据分布 Pdata(x),z 采样于生成数据分布 pG(z),E(⋅)表示计算期望值。Pdata(x) 为已知的大气偏振模式数据集,T为已知的大气偏振模式数据,为通过式(6)、式(7)学习到的大气偏振模式多样性特征,R ( z) 为通过式(4)、式(5)学习到的大气偏振模式连续性特征,为生成网络基于提取到的连续性特征以及多样性特征构建出的连续全局大气偏振模式。
但是在训练全局大气偏振模式生成、验证网络时需要考虑优化问题,因此将生成网络与判别网络进行对抗,实现共同迭代优化,同步更新参数,达到全局最优。全局大气偏振模式生成器与判别器优化问题是一个极小−极大化对抗优化的问题。将生成网络与判别网络进行对抗整合后的目标函数记为
综上所述,本文设计一种基于有限样本的大气偏振模式生成方法,首先对已知局部大气偏振模式进行连续性特征提取,其后对其进行编码,将编码后的数据送至生成网络进行偏振信息重构,同时对已知不同条件下的大气偏振模式数据进行多样性关系挖掘,并将此关系用于判别器,以此来指导大气偏振模式生成网络的泛化,通过生成器与判别器的不断对抗迭代直至达到网络参数全局最优,实现大气偏振模式连续性最优重构以及很好的生成能力泛化。
针对上述问题,本文设计一种基于有限样本的大气偏振模式生成网络,通过获取到的仿真偏振数据及实测偏振数据对此网络进行可行性及鲁棒性验证。
本文通过对已有数据进行旋转、剪裁、缩放等数据增广方式扩大数据集,最终数据集包含3000 余份偏振数据,数据集分为训练集和测试集,训练集为部分瑞利模型仿真数据;测试集为部分瑞利仿真数据以及大气偏振模式实测数据,实验地点为合肥工业大学翡翠湖校区操场(东经117°17′43″,北31°50′49″),时间为2019 年5 月23 日、10 月12 日的8:30 到19:00,天气晴朗无云,及合肥市巢湖(东经117°86′67″,北31°95′)时间为2019 年8 月9-10 日的8:30 到19:00,卷云天气。
实验环境:硬件平台为PC:Intel Core i7-9700K CPU,内存为32 GB,Nvidia GeForce GTX1080Ti 显卡,使用的软件为 Pytorch,Matlab2018b,Cuda8.0,Cudnn5.1。
为了验证基于有限样本的大气偏振模式生成方法用于大气偏振模式信息重构的可行性,基于搭建好的网络,在已获取到的瑞利仿真大气偏振模式数据上进行网络训练实验,并获取相对较好实验结果。基于训练好的生成网络,将局部偏振仿真数据作为输入,生成全局大气偏振模式,用于验证本文所设计网络的可行性。最后将实测数据用于验证网络的真实可行性及鲁棒性,并通过重构晴天与卷云天气条件下的偏振数据,验证网络的泛化能力。
针对本文提出的基于有限样本的大气偏振模式生成方法,利用上述最小均方差值(G-Loss)作为评价标准,当此函数值越小代表生成结果越接近真实值。
4.1.1 仿真数据实验结果
根据大气偏振模式瑞利仿真数据训练得到的生成网络,将方位角相同但高度角变化的仿真数据作为测试数据输入网络进行实验,以此验证本文所设计网络的可行性。图4 为仿真数据结果图,图中方位角均为20°,图4(a)中为相同方位角下的不同高度角的仿真偏振角可视化图像。图4(b)中最上方的标注如“32”是指太阳高度角,图从上往下分别为50、100、200、300次的迭代结果,每个重构图下方为差异图以及当前迭代次数下的最小均方差(G-Loss)值。图4(c)中例如“32”是指太阳高度角,图中差异图是重构出的区域与真实值之间均方差的可视化,差异图下的最小均方差(G-Loss)值是最终迭代后的生成器损失函数值,最小均方差(G-Loss)值越小,代表重构结果越好。
图4 仿真数据结果图(因差异较小,差异图可放大看)。(a) 相同太阳方位角下,不同太阳高度角的真实图;(b) 不同迭代次数下的生成、差异对比结果图;(c) 相同太阳方位角下,不同太阳高度角的重构结果图Fig.4 Simulation data result diagram(Because the difference is small,the difference graph can be enlarged).(a) True picture of different solar altitude angles at the same solar azimuth;(b) The generation and difference comparison result graph under different iteration times;(c) Reconstruction results of different solar altitude angles at the same solar azimuth
此外,将生成的全局大气偏振模式与真实数据进行偏振角对比,若偏振角之值相差5°以内则分类为精准重构,记做1ξ ;若偏振角相差在5°到20°之间则分类为大致重构,记做 ξ2;其余则分类为错误重构,记做 ξ3。其中:为已知大气偏振模式偏振角数据中所有像素点,Ngenerate(i)(i=1,2,3)为三种重构分类中各自所含像素点数量[36]。
上述实验所用图均为大气偏振模式瑞利模型下仿真实验图,根据上述网络迭代结果,可以看出,随着迭代次数的增加,差异图已经明显淡化,本文所提生成网络算法可以相对较好地实现从局部大气偏振模式生成全局大气偏振模式。
为了更好地验证本文所设计基于有限样本驱动的大气偏振模式生成网络,在仿真实验的基础上采取一种更加贴近实测的仿真数据,此仿真偏振数据是通过偏振仿真软件—Libradtran[37-38]来获取的,Libradtran是德国研究人员Mayer 等共同开发的,其中包含能够实现大气辐射传输计算、不同条件下气溶胶类型的工具包。通过设定条件范围内的大气粒子参数来获取更加贴近实测的大气偏振模式数据。
表1 为Libradtran 仿真软件参数设定,其中气溶胶大体类型选择亚洲夏季气溶胶类型,其次主要对10 km 以下不同气溶胶类型以及不同可见度进行仿真实验,其中气溶胶浓度:一般陆地型气溶胶、对流层型气溶胶、城市类型气溶胶皆为Libradtran 仿真软件中已经计算好并封装的数据包,对流层型与城市类型仿真结果虽然整体差异不大,但是由于气溶胶模式的设定以及可见度的设定不同,所以偏振数据仍然存在一定差异,且由于此软件开放部分并不完全,因此本文仅对晴天条件做出仿真实验。
表1 Libradtran 仿真参数设定(其中气溶胶都选定为亚洲夏季气溶胶类型)Table 1 Libradtran simulation parameter setting (the aerosol type is selected as Asian summer aerosol)
图5(a)中左为可见度为10 km对流层型重构结果,右为可见度为20 km 城市类型重构结果,根据实验结果中的差异图以及对应的最小均方差值可以很好地看出,本文设计的基于有限样本驱动的大气偏振模式生成网络不仅可以对典型瑞利模型仿真结果实现很好的重构效果,针对更加贴近实测的Libradtran 仿真结果同样可以实现较好的重构效果。图 5(b)分别为Libradtran 仿真下可见度为10 km 对流层型、可见度为20 km 城市类型下迭代最小均方差(G-Loss 值)曲线图。
图5 (a) Libradtran 仿真数据重构结果,左为可见度为10 km 对流层型重构结果,右为可见度为20 km城市类型重构结果;(b) Libradtran 仿真下可见度为10 km 对流层型(左)以及可见度为20 km 城市类型(右)下迭代最小均方差值(G-Loss)曲线图(图中曲线是趋于0,数值并不为0,实际还是存在一定误差)Fig.5 (a) Reconstruction results of Libradtran simulation data.The left is the reconstruction result of 10 km troposphere type visibility,and the right is the reconstruction result of 20 km city type visibility;(b) Iteration minimum mean square error (G-loss value) curve under Libradtran simulation.The left is visibility of 10 km tropospheric,and the right is visibility of 20 km city (the curve in the figure tends to 0,but the value is not 0,and there is still some error in fact)
表2 为Libradtran 仿真重构结果数据分析,通过该数据分析可得出可见度为10 km 对流层型仿真数据的信息精准重构约占总体重构的68%∼73%之间,可见度为20 km 城市类型仿真数据精准重构约占总体重构的69%∼71%之间。通过上述对Libradtran 仿真数据的重构实验,明显看出,本文所设计的生成网络可以很好地实现局部大气偏振模式的信息重构工作,具有一定的鲁棒性。通过上述Libradtran 仿真重构结果的数据分析,推断出本文所设计的基于有限样本的大气偏振模式生成方法,针对可见度为10 km 下对流层型的大气偏振模式数据可以实现精准重构达到71%左右,对于可见度为20 km 城市类型的大气偏振模式数据可以实现精准重构达到70%左右。
针对上述实验结果可以得出:本文所设计的基于有限样本驱动的大气偏振模式生成网络不仅可以对理想瑞利模型仿真数据实现很好的重构效果,同样可以对贴近实测的Libradtran 仿真数据实现较优重构结果,以此验证了本文方法在仿真数据上的重构可行性。
4.1.2 实测实验结果
将获取到的部分晴天条件及卷云条件下偏振数据分成训练集、测试集和支持集,用于对有限样本学习网络进行训练,从而挖掘出其中存在的多样性关系用于指导生成网络的泛化能力,最后将部分外场实验获取到的实测大气偏振模式偏振角数据作为生成网络输入进行测试,用于验证本文方法的可行性及鲁棒性。其中实测数据主要分为可见度很高的晴天数据以及卷云数据。
在气象条件的分类中云层可以分为卷云、层云、层积云、卷积云等情况,其中层云主要体现为云体均匀成层,呈灰色很像雾,且云层很低但是不接触地面;卷云主要体现为云体具有纤维状结构,常为白色,无暗影,多成丝条状、片状、羽毛状等;层积云主要体现为灰色不均匀层状;卷积云主要表现为白色块状,有时呈现波浪状。
图6(a)为不同云层条件下的实景图,用于佐证本文中所使用实测数据为卷云天气条件数据。图6(b)为少许实测数据晴天与卷云天气条件下原始数据,通过对原始数据采集当天的气象条件查询以及拍摄到的数据与云层类型定义之间的对比,确定本文中实测实验涉及到的为卷云数据,在实测中卷云天气条件虽然会使偏振光产生一定的消偏作用,但是由于云层对天空覆盖率较低,所以对于获取到的偏振数据影响较小,但是对于层云、层积云或卷积云等天气条件由于云层覆盖率过高,会对偏振数据造成很大的影响,且结合图6(a)可看出,其对获取到的大气偏振模式整体性以及其特征性有很大影响,所以本文仅对卷云天气条件下偏振数据进行重构实验。图6(c)左为晴天条件下实测数据,根据实验结果可看出,利用瑞利大气偏振模式仿真模型实验数据作为训练集训练得到的生成网络可以很好地实现晴天条件下的局部大气偏振模式数据重构,以此验证本文所提生成网络的可行性及鲁棒性。图6(c)右为卷云天气条件下局部偏振数据重构结果,从实验结果图中的差异图以及对应的最小均方差值(G-Loss)可以明显看出,针对未知偏振数据,本文中设计的基于有限样本的大气偏振模式生成方法可以实现相对较好的重构效果,虽然实验结果并不如晴天条件下的大气偏振模式数据重构效果好,但是可以大致实现偏振信息重构。由此可以证明本文设计的基于有限样本的大气偏振模式生成方法具有一定的泛化能力,可以实现将生成能力泛化至不同条件下。但是实验结果仍然存在一些精度不高区域,需进一步对邻近偏振模式编码的数学模型进行研究。图6(d)分别为仿真数据的迭代最小均方差值(G-Loss)曲线、实测晴天数据(某一时刻下)的迭代最小均方差值(G-Loss)曲线以及实测卷云数据(某一时刻下)的迭代最小均方差值(G-Loss)曲线。
表2 Libradtran 仿真重构结果数据分析Table 2 Data analysis of Libradtran simulation reconstruction results
图6 (a) 不同云层条件下实景图;(b) 少许晴天与卷云天气条件下原始数据;(c) 实测实验结果:左为晴天条件实验结果,右为卷云条件实验结果(因差异较小,差异图可放大看);(d) 仿真数据、实测晴天数据(某一时刻下)、实测卷云数据(某一时刻下)下迭代最小均方差(G_Loss)曲线图。(图中曲线是趋于0,数值并不为0,实际还是存在一定误差)Fig.6 (a) Real view under different cloud conditions;(b) The raw data under clear and cirrus weather conditions;(c) Experimental results:the left is the experimental results under sunny conditions,and the right is the experimental results under floating clouds(Because the difference is small,the difference graph can be enlarged);(d) Iterated G_LOSS curve diagram under simulation data,measured sunny day data and measured floating cloud data.(The curve in the figure tends to zero.In fact,the value is not zero,but there is still some error in practice)
表3 为实测结果的数据分析,该实测结果为上述重构中所示结果的数据分析,通过该数据分析可得出晴天大气偏振模式的信息重构中精准重构约占总体重构的75%∼80%之间,而卷云天气的精准重构约占总体重构的55%∼60%之间。因为生成网络是使用仿真数据进行训练,而晴天数据更加偏向于仿真数据,因此针对晴天偏振数据可以获得更好的重构结果,而卷云天气重构效果稍次于晴天数据,但是仍然可以实现生成能力的泛化。通过上述实测重构结果的数据,可以推断出本文所设计的基于有限样本的大气偏振模式生成方法针对晴天下大气偏振模式数据可以实现精准重构达到78%左右,对于卷云天气的大气偏振模式数据可以实现精准重构达到57%左右。
表3 实测结果数据分析Table 3 Data analysis of measured results
针对上述实验结果可以得出:利用局部大气偏振模式数据进行全局大气偏振模式数据的重构方法是可行的,且结果相对较优,但是仍然存在一定问题,需要后续继续更新网络,提高实验效果,实现更优的全局大气偏振模式重构及泛化能力。
为了验证本文设计的基于有限样本的大气偏振模式生成方法的优越性及鲁棒性,采用了两种较为常用的传统方法以及一种最新的信息重构方法来进行对比实验。此外,为了对本文设计的生成网络泛化能力进行验证,进行了消融实验,通过单一生成网络和含有限样本驱动的生成网络处理卷云天气条件下偏振数据,将二者实验结果进行对比分析,验证本文生成网络泛化能力。
本文针对现如今信息重构领域中存在算法,采用了当下较为流行的Criminisi 算法、经典传统的基于小波变换的插值法以及基于深度生成模型算法[35]进行对比实验,用于验证本文方法的优越性及鲁棒性。Criminisi 算法主要思想是:首先通过优先权公式计算有限权值,选取带重构区域边缘上优先级最高的数据点;其次,在已知区域为优先权最高的带重构区域寻找最佳匹配块;最后,将最佳匹配中的信息填充至待重构区域。重复上述操作直至待重构区域被重构完成。基于小波变换的插值算法主要思想是:小波变换是空间(时间)和频率的局部变换,因而能有效地从信号中提取信息,通过伸缩和平移等运算功能可对信号进行多尺度的细化分析。根据小波变换的性质可知,每作一次小波逆变换就可得到比上一级低频逼近图像质量高的图像。因此,可先对原图像插值放大,然后进行小波分解,最后提取高频分量和原图像作小波逆变换得到重构的图像。基于深度生成模型算法主要思想是:首先建立一个连贯语义注意层,然后对信息缺失部分建立语义关联模型,通过语义关联模型进行信息补全,此处语义关联模型一是为了保持补全部分的上下文特征;二是能对信息缺失部分做出更有效的预测。对比实验所用为卷云天气条件下大气偏振模式偏振角数据。综上,将上述三种方法与本文方法进行对比实验分析,结果如图7 所示。
图7 为不同算法下卷云天气条件大气偏振模式数据重构结果图,从图7(c)与7(d)的结果对比中可以明显看出,相较于仅生成网络的情况下,加入少样本学习的生成网络可以更准确地实现缺失大气偏振模式数据的生成,以此可以验证加入有限样本驱动的大气偏振模式生成网络能够实现生成能力的泛化,但是泛化能力仍有不足之处,需要对算法进行进一步改进。图7(e)∼7(g)为三种其他信息重构算法的偏振信息生成结果,其中7(e)、7(f)、7(g)结果分别对应Criminisi 算法、小波变换插值算法、基于深度生成网络算法。由三种算法结果图可以看出,这三种算法的偏振信息生成结果并不理想,且相对难以实现偏振信息的基本连续性重构,以此可以验证本文所提算法的优越性及鲁棒性。
图7 对比实验结果图。(a) 原始数据;(b) 待生成数据;(c) 不加入元学习的生成网络结果;(d) 加入元学习的生成网络结果;(e) Criminisi 算法结果;(f) 小波变换插值算法结果;(g) 基于深度生成模型结果Fig.7 Comparison of the experimental results.(a) Original data;(b) Data to be generated;(c) Without adding meta-learning;(d) Adding meta-learning;(e) Criminisi algorithm results;(f) Wavelet transform interpolation algorithm results;(g) Generate model results based on depth
表4 为三种信息重构算法结果数据对比分析,通过表4 可以分析得出:1) 通过仅生成网络和少样本驱动生成网络结果数据对比可知,由瑞利仿真实验数据训练而得到的生成网络对于卷云天气条件下的大气偏振模式信息生成并不理想,但是通过少样本学习网络学习不同条件下偏振数据的多样性关系,可以实现相对较好的卷云天气下偏振信息重构;2) Criminisi算法、基于小波变换的插值算法和基于深度生成网络算法的偏振信息重构结果较差,通过数值分析可以看出这三种算法错误重构所占比重相对较多,无法实现大气偏振模式基本信息重构。通过对比实验,验证了本文所提基于有限样本的大气偏振模式生成网络可以较好实现偏振信息重构,且验证了本方法的优越性与鲁棒性。
表4 对比实验结果数据分析Table 4 Data analysis of compare the experimental results
综上所述,针对因设备等原因造成只能获取局部且不连续的偏振信息以及无法获取不同条件下大气偏振模式数据的问题,本文设计一种基于有限样本的大气偏振模式生成网络,首先对挖掘局部偏振信息中的连续分布特性,再通过逆采样生成大气偏振模式,基于上述理论搭建大气偏振模式生成方法的损失函数,并在仿真和实测数据的上实现局部大气偏振模式的生成。其次,挖掘不同条件下的大气偏振模式信息间的多样性关系,通过该多样性关系指导之前的生成网络,将此生成能力泛化至不同条件的大气偏振模式数据中,使得当出现一种新的特定环境下的大气偏振模式数据时,可以快速准确地生成此环境所对应的大气偏振模式。最终设计了出基于有限样本的大气偏振模式生成方法的判别网络目标函数,通过此目标函数指导并修正生成网络中的参数,并在晴天及卷云实测数据上验证此网络的可行性。实验结果表明,本文所设计的基于有限样本的大气偏振模式生成方法能够实现相对较好的局部大气偏振模式信息的生成,且针对无法获取不同条件下的大气偏振模式数据的问题,可以实现相对较好的生成能力的泛化,实验结果证明了本文所设计网络的可行性、优越性及鲁棒性,本文研究为后续偏振信息的获取及处理具有长远的意义。