单样本对卷积神经网络遥感图像时空融合

李云飞，李军，贺霖

1.中山大学 地理科学与规划学院 广东省城市化与地理环境空间模拟重点实验室,广州 510275;2.华南理工大学 自动化科学与工程学院,广州 510640

1 引 言

随着越来越多对地观测卫星的发射，我们能获取到的不同类型遥感图像数据日益增多。卫星遥感传感器在朝着高空间、高时间、高光谱分辨率的方向发展。然而目前来说，空间、时间和光谱3种分辨率之间的相互制约在硬件技术上还没有被解决（黄波和赵涌泉，2017），即没有单一卫星遥感传感器可以提供时序密集且空间分辨率较高的数据。同时，云干扰也导致很多高空间分辨率遥感图像无法使用，使得可用的高空间分辨率数据变得更少。而对于植物物候监测，土地利用和土地覆盖变化监测，农业评估等地表动态研究来说，在时间序列上密集，同时空间分辨率又满足要求的遥感数据集常常是必须的（Zhu 等，2016）。为了解决这个矛盾，遥感数据时空融合技术应运而生。其目的是将高空间低时间分辨率的遥感数据（如Landsat，SPOT 数据） 与低空间高时间分辨率的遥感数据（如MODIS，AVHRR 数据）进行融合，得到高空间同时高时间分辨率的合成数据。目前已有很多研究应用到时空融合方法，例如作物估产（Liao 等，2019），作物监测（Nduati等，2019），植被生产力评估（Zhang等，2019），蒸腾量估算（Knipper等，2019），环境动态监测（Heimhuber 等，2018），悬浮颗粒物监测（Pan 等，2018）等。为了叙述的清晰方便，下文中将高空间低时间分辨率的图像称为细图像且用F表示，将低空间高时间分辨率的图像称为粗图像且用C表示，k- 1，k，k+ 1表示数据获取时相，来表示最终的预测图像。现有时空融合方法最少需要用Fk-1，Ck-1和Ck3幅图像来预测，这类方法可被称为“单样本对方法”，需要多于3幅图像的方法可称为“多样本对方法”。

目前为止，国内外学者已经提出了多种时空融合方法。其中大多数方法可归为如下3类：基于加权的方法，基于解混的方法，基于学习的方法（Zhu 等，2016）。其中，基于加权的方法中最有代表性的为STARFM（Gao 等，2006）。该方法假设所有粗图像（Ck-1和Ck）的像元都是纯像元，进而认为地表反射率在不同时相粗图像上的变化就等于其在对应时相细图像上的变化，因此将粗图像上的反射率变化量直接加至Fk-1；然后使用邻域校正策略寻找每个像元的相似像元，并给这些相似像元赋权加和，得到最终预测值。此类方法还包括STAARCH（Hilker 等，2009），ESTARFM（Zhu 等，2010），SADFAT（Weng 等，2014）等。这些方法的主要问题为在进行邻域校正时，其相似像元来自于Fk-1，此处隐含一个假设，即地表在k- 1 时相和k时相地物类型一致。如果在k- 1 时相和k时相间有地物类型变化，例如发生了洪水，或者农田变城市，像元在Fk-1上的相似关系和在Fk上将完全不同，此假设就会不合理并带来误差。

基于解混的方法将混合像元分解理论引入了时空融合，如ESTDFM（Zhang 等，2013），MSTDFA（Wu M 等，2015），STRUM （Gevaert 和García-Haro，2015）和FSDAF（Zhu 等，2016）等。这类方法一般先对Fk-1进行分类，然后假设Ck-1和Ck的像元都是由这些类别线性混合得到。然后基于此假设计算每个类别的反射率变化，进而得到预测图像可以看出，这类方法的隐含假设与基于加权的方法一致。因此，这类方法和基于加权的方法有着同样的问题。

基于学习的方法是将机器学习方法引入到时空融合中，如SPSTFM （Huang 和Song，2012），SPFMOL（Song 和Huang，2013），EBSCDL（Wu B等，2015），增强SPFMOL（Li等，2018），时空谱联合稀疏方法（Zhao等，2018）等。以SPSTFM 为例，该方法先使用稀疏表示建立ΔFk-1，k+1与ΔCk-1，k+1（即细尺度的反射率变化和粗尺度的反射率变化）之间的关系，基于此关系利用ΔCk-1，k和ΔCk+1，k预测ΔFk-1，k和ΔFk+1，k，进而得到预测图像可以看出，这类方法并不具有类似于前两种方法的假设，所以其适用的范围更广。除了稀疏表示，其他一些机器学习方法也被应用到这个邻域中，例如回归树（Boyte等，2018），随机森林（Ke等，2016）等。

近几年，卷积神经网络也被应用到时空融合领域当中。目前基于卷积神经网络的时空融合方法主要有两种，分别是STFDCNN（Song等，2018）和StfNet（Liu 等，2019）。其中，STFDCNN 采用超分卷积神经网络来提高粗图像的空间分辨率，然后用高通模型将其与相邻时相的细图像融合得到预测图像。需要注意的是，此方法需要较多的训练数据，基于单样本对训练STFDCNN 效果相对有限。StfNet 提出在超分粗尺度的反射率变化图像时加入细图像来弥补空间信息的缺失，并通过双目标联合训练来提高超分结果的准确性。需要指出的是，此方法是一个多样本对方法，无法在单样本对的情况下使用。上述两种方法在实际数据上都表现出了较好的性能，但其共同的问题在于对先验数据的需求较多，难以应用于单样本对的情况。如前所述，高空间分辨率遥感数据缺失严重，在某些区域，比如华南的广东，广西等省份，常年被云遮蔽，很可能全年都很难得到可用的高空间分辨率图像。因此，样本数极为有限，严重限制了基于卷积神经网络的时空融合方法的应用潜力。

为了解决上述的问题，本文提出了一种单样本对卷积神经网络（SS-CNN）的时空融合方法，本方法可以在单样本对的情况下使用，并取得良好的融合效果。

2 方 法

2.1 方法基本原理

图1是本文的单样本对卷积神经网络时空融合方法（SS-CNN）所使用的卷积神经网络基本结构。先将多波段细图像进行波段平均得到波段平均图像，然后将其与插值后的多波段粗图像垒叠起来送入卷积层，通过网络学习获取重建的多波段图像。

图1 本文方法SS-CNN所使用的网络基本结构Fig.1 Network structure used in the proposed method

在时空融合问题中，通常粗图像和细图像的空间分辨率差异巨大（例如MODIS 图像500 m 分辨率，而Landsat 图像30 m 分辨率），这导致粗图像中的空间细节严重缺失，再加上遥感图像本身纹理复杂，直接使用自然图像的卷积神经网络超分方法难以从粗图像上恢复出细图像的细节（Liu等，2019）。因此，在网络超分粗图像时加入细图像的波段平均图像来弥补空间细节的缺失。而用细图像的波段平均图像的目的在于防止细图像光谱对粗图像光谱有所干扰。具体来说，超分过程中，粗图像提供光谱信息，细图像的波段平均图像来提供空间细节信息。在网络的训练过程中，我们先用待预测细图像相邻时相的图像对（如Fk-1和Ck-1）训练卷积神经网络，建立粗图像与细图像之间的超分重建关系，然后再利用该关系预测细图像。

图2 是本文方法的流程示意图。AF和AC分别表示细图像和粗图像的波段平均图像。

图2 本文方法流程示意图Fig.2 Flowchart of the proposed method

2.2 网络训练与结果预测

网络训练集可以表示为如下形式：

式中，Tx表示训练集中的输入图像，Ty表示训练集中的目标图像。其中：

式中，是Fk-1的波段平均图像，其与粗图像Ck-1垒叠作为网络的输入。采用均方差函数MSE（Mean Square Error） 作为损失函数，其可以表示为：

式中，f(·)表示卷积神经网络的映射函数，θ表示网络要优化求解的参数。卷积神经网络的结构如图1 所示，共4 个卷积层，前3 层的输出被Relu 函数激活后传入下一层。同时选择Adam 方法作为优化器来最小化损失函数ℓ(θ)，求解θ，Adam 方法可以在网络训练初期快速减小损失函数，从而大大提高网络训练效率（Kingma和Ba，2015）。网络训练完成后，就可以预测目标图像如前所述，网络的输入是粗图像和对应的细图像的波段平均图像，因此预测需要先获取其波段平均图像本文提出一种简单的邻域加权方法获取

假设AF的像元可由插值后的AC的像元加权表示，且其权重不随时间变化，即

式中，wij表示权重，s为邻域大小，x和y为像元坐标。为了获取wij，基于前述假设，可以利用k- 1时相图像，即

求解得到。最后，便可利用和Ck进行预测，

3 实验与分析

为验证本文提出的SS-CNN 方法，本章采用模拟数据与真实数据进行测试。模拟数据实验使用Landsat 8 图像作为细图像（30 m 空间分辨率），将Landsat 8图像降采样20倍（600 m空间分辨率）后充当粗图像（Zhu 等，2016），实验目的是排除传感器误差，天气情况，大气状况等一系列因素影响，测试SS-CNN 在理想数据上的效果。真实数据实验则使用真实的Landsat 7 图像和MODIS 图像。实验选择了两个对比方法：第1 个是FSDAF（Zhu等，2016），FSDAF 是一个经典的基于解混的时空融合方法，具有良好的融合效果；另一个对比方法是STFDCNN（Song 等，2018），STFDCNN 理论上可以在单样本对的情况下使用（StfNet 则不能）。这两种对比方法的参数设置与其出处文献中所述相同，以保证其效果。

3.1 实验数据集

实验采用的模拟数据集分别来自黑龙江省杜尔伯特蒙古族自治县巴彦查干乡（46°7′N，124°26′E）和天津市西青区（39°31′N，116°28′E），如图3 和图4 所示。其中图3（a）和图3（b）分别是巴彦查干乡2017年3月8日和2017年4月9日的Lansat 8图像，图3（c）和图3（d）则是图3（a）和图3（b）降采样之后得到的低分辨率图像。图4（a）和图4（b）分别是天津西青区2017年10月30日与2017年12月17日的Landsat 8 图像，图4（c）和图4（d）为对应的低空间分辨率图像。两个数据集中的Landsat图像尺寸都为1000×1000，包含6个波段，分别是蓝光波段（0.45—0.51 μm），绿光波段（0.53—0.59 μm），红光波段（0.64—0.67 μm），近红外波段（0.85—0.88 μm），短波红外波段1（1.57—1.65 μm），短波红外波段2（2.11—2.29 μm）。所有Landsat 图像的原始DN 值都已经转化为反射率，并做了暗像元法大气校正，且将反射率归一化到0—255的范围内。

图3 巴彦查干数据集Fig.3 The Bayanchagan dataset

图4 天津数据集Fig.4 The Tianjin dataset

巴彦查干地区在2017年3月8日之前下了大雪，导致其旁边的向阳湖以及周围的其他水体都结了冰，并且地面上也有残余冰雪存在。而到了2017年4月9日，冰雪完全消融。选择这个数据集主要来测试本文SS-CNN 对于地物类型变化的预测能力，同时从图3（a）和图3（b）中也可以看出，这段时间内巴彦查干地区的植被已经开始生长，这两个时相之间存在很明显的物候变化。而天津西青区从2017-10-30—2017-12-17日存在明显的物候变化，这点可以从图4（a）和图4（b）中看出。同时，由于它是城镇区域，地块破碎，地表异质性很高，这也给时空融合带来了一定的挑战。我们选择这个数据集用来测试本文SS-CNN 在异质性高的区域物候变化的预测能力。

真实实验使用Gao等（2006）在文献中使用的“BOREAS（Boreal Ecosystem-Atmosphere Study southern study area）”数据集，如图5 所示。该数据集来自54°N，124°W，此区域植被生长期短，物候变化迅速（Gao 等，2006）。其中Landsat 图像是ETM+图像（30 m 空间分辨率），MODIS 图像为MOD09 GHK 图像（500 m 空间分辨率），两种图像都包括近红，红和绿3 个波段，图像大小为1200 像素×1200像素。

图5 BOREAS数据集Fig.5 The BOREAS dataset

后文中将各数据集的第一时相和第二时相的高分辨图像分别记为已知图像和待预测图像。

3.2 实验结果评价指标

为了对实验结果进行定量评估，选择4个评价指标：（1）均方根误差（RMSE），用来评价预测图像和真实图像各个波段图像之间的总体反射率差异；（2）结构相似度（SSIM），用来评价预测图像和真实图像各个波段图像之间的空间结构相似性（Wang 等，2004）；（3） ERGAS （Erreur Relative Global Adimensionnelle de Synthese），用来评价预测图像多个波段整体的光谱质量（Renza 等，2013）；（4）光谱角（SAM）（Park 等，2007），来评价预测图像和真实图像之间的多个波段整体的光谱误差。越小的RMSE，ERGAS，SAM和越大的SSIM代表预测结果越好。

3.3 参数设置

本文SS-CNN 在进行邻域插值时将s经验性地设置为1，即一个边长为3 的正方形窗口。另外，由于计算机GPU 内存的限制，无法将整个图像直接输入训练，所以在实验中我们将其裁成带重叠的图像块输入训练，图像块大小为32×32，重叠宽度为16。网络的基本参数设置如表1 所示，学习率设置为0.0001。本次实验代码在Tensorflow 和Keras框架下编写，并在GTX 1080Ti GPU上运行。

表1 网络基本参数Table 1 Essential parameters of the CNN used in the proposed SS-CNN

3.4 结果与分析

图6 展示了SS-CNN 邻域插值方法预测的波段平均图像与真实的波段平均图像。从目视效果来看，3 个数据集邻域插值预测的图像总体上都接近真实图像。但也可以看出，由于邻域插值带来了模糊效应，与真实图像相比，预测图像在地物边界较为模糊。考虑到插值是为图像融合过程提供空间细节，因此我们采用SSIM 指标对预测的波段平均图像与真实波段平均图像的空间相似性做了定量评价，同时与已知图像的波段平均图像做了对比，结果如表2所示。可以看出，3个数据集预测图像的SSIM值都要更高，这说明邻域插值是有效的。

表2 邻域插值预测的波段平均图像定量评价Table 2 Quantitative evaluation of the results of neighboring interpolation

图6 基于邻域插值预测的波段平均图像结果Fig.6 The obtained band-average images

图7 和图8 分别显示了两个模拟数据实验的完整结果图像及子区域图像。图7（a）和（b）分别是巴彦查干乡2017年3月8日和2017年4月9日真实的Landsat 8 图像，图7（c）—（e）分别是SSCNN，STFDCNN和FSDAF的结果图像。可以看到，首先，SS-CNN 取得得视觉效果最好，尤其是从子区域图像来看，SS-CNN 成功预测到了冰雪已经消融，表明SS-CNN 有预测地物类型变化的能力。其次，FSDAF的预测结果相当突出，然而FSDAF并没有预测到冰雪消融带来的地物变化。此外，STFDCNN预测的结果图像出现了严重的畸变，已经不具有对比价值。这说明虽然STFDCNN 从理论上来说可以在一对先验数据的情况下使用，但过少的训练数据会严重影响其效果。需要指出的是，SSCNN的预测效果看起来较为模糊，这是因为邻域插值方法预测的波段平均图像模糊造成的。最后，表3是巴彦查干数据集实验结果的定量评价，可以看到SS-CNN几乎在所有指标上都取得了最优。

表3 巴彦查干数据集实验结果评价指标Table 3 Quantitative results of Bayanchagan dataset

图7 巴彦查干数据集实验结果Fig.7 Experimental result from the Bayanchagan dataset

图8 天津数据集实验结果Fig.8 Experimental result from the TianJin dataset

图8（a）和（b）分别是天津西青区2017年10月30日和2017年12月17日真 实的Landsat 8 图像，图8（c）—（e）分别表示SS-CNN，STFDCNN和FSDAF 的预测图像。同样SS-CNN 的结果在视觉效果上更接近于真实图像，说明SS-CNN 在预测物候变化方面效果良好。FSDAF 方法结果在本数据集上的预测结果视觉效果有限。STFDCNN 的结果出现了严重的畸变。从子区域图像上来看，SSCNN 抓住了这两个时相之间大部分的物候变化，尽管由于地物异质性高及部分地物面积过小导致有些地方预测并不正确。表4是天津数据集实验结果的定量评价，从整体评价指标ERGAS 和SAM 上来看，SS-CNN的预测结果更好。

表4 天津数据集实验结果评价指标Table 4 Quantitative results of Tianjin dataset

图9展示了真实数据集上的实验结果，图9（a）和（b）分别是BOREAS 数据集2001年5月24日和2001年8月12日真实的Landsat 7图像，图9（c）—（e）分别表示SS-CNN，STFDCNNF 和FSDAF 的预测图像。从图9 可以看出，SS-CNN 的预测结果更接近真实情况，尤其是从子区域图像上来看；FSDAF 也取得了较好的视觉效果，STFDCNN 的结果仍然存在明显的畸变。表5 是对于图9 结果的定量比较，其中FSDAF 对于第一波段的预测是最好的，SS-CNN对于第二波段的预测最好，从ERAGS和SAM这两个整体指标上来看，SS-CNN取得了更好的效果，并在数值上取得了较大的领先。

图9 BOREAS数据集实验结果Fig.9 Experimental result from the BOREAS dataset

表5 BOREAS数据集实验结果评价指标Table 5 Quantitative results of BOREAS dataset

从实验结果可以总结出以下3点：

（1）SS-CNN 在单样本对的情况下，可以较好地预测地物的物候变化和类型的变化，且在异质性高、地块破碎的城镇区域可以做出良好的预测。

（2）现有的基于卷积神经网络的时空融合方法在单样本对的情况下效果难以保障，如STFDCNN 在3 个数据集中的预测结果都有较为严重的畸变。

（3）需要指出的是，由于SS-CNN 采用邻域插值方法，会导致地物边界的预测出现模糊现象。这是SS-CNN以后需要重点提高的部分。

4 结 论

针对目前基于卷积神经网络时空融合方法需要较多训练样本的问题，本文提出了一种基于单样本对训练的卷积神经网络时空融合方法（SS-CNN），本方法使用细图像的波段均值图像提供空间细节信息，利用粗图像来提供光谱信息，进而结合卷积神经网络建立粗图像与细图像之间的超分关系。在预测阶段，提出采用邻域插值方法预测待求时相细图像的波段平均图像，并基于训练好的网络对目标细图像进行预测。在实验部分，使用了两个模拟的Landsat 8 数据集和一个真实的Landsat 7-MODIS 数据集测试了SS-CNN 的效果，结果证明SS-CNN 在预测地物类型变化，物候变化时候都表现良好，并且在异质性高的区域具有较好的表现。但是SS-CNN 用来预测空间细节信息邻域插值方法在地物边界上会出现模糊现象，并影响最终的预测结果。将来会针对此问题做进一步研究。