时空遥感影像融合研究的进展与趋势

黄 波

（1.香港中文大学地理与资源管理学系，香港999079； 2.香港中文大学太空与地球信息科学研究所，香港999079；3.香港中文大学深圳研究院，广东深圳518057）

近年来，随着全球对地观测技术的快速发展，卫星遥感数据获取能力持续增强，遥感影像的空间分辨率、时间分辨率及光谱分辨率不断提高[1].然而，受卫星发射成本及硬件技术条件等限制，当前单一来源卫星传感器获取的遥感影像仍存在空间分辨率与时间分辨率相互制约的问题.表1统计了当前常见光学遥感卫星传感器的空间与时间分辨率属性.高空间分辨率卫星传感器，如WorldView-3（0.31～1.24 m）、IKONOS（1～4 m）和高分系列卫星（GF-1，2～8 m；GF-2，1 ～4 m），可获取具有精细空间信息的遥感影像，但其时间分辨率较低（＞30 d）.此外，光学遥感影像易受到云层覆盖等大气条件影响导致数据可用性降低，进一步阻碍了时间连续的高空间分辨率影像的获取[2].相反地，MODIS（1 d）、FY-3/MERSI（1 d）和 AVHRR（0.5 d）等卫星传感器重访周期较短，可获取具有高时间分辨率的遥感影像，但其空间分辨率较低（250～1 100 m）.因此，现有单一卫星传感器获取的遥感影像无法满足城市土地覆盖分类[3]、植被长势监测[4]、森林火灾火情监控[5]，以及地震灾区范围评估[6]等大范围、高精度、快速变化的地表与大气环境遥感应用需求.

表1 常见的光学遥感卫星传感器的空间与时间分辨率属性Tab.1 The spatial and temporal resolution of common optical remote sensing satellites/sensors

时空遥感影像融合是从“软件”的角度，低成本、便捷高效地解决卫星传感器空间与时间分辨率“矛盾”的有效手段，旨在集成多源卫星传感器获取的高空间分辨率遥感影像的空间细节信息与高时间分辨率遥感影像的时间变化信息，生成具有高频次访问的高空间分辨率遥感影像序列，其算法思想如图1所示.截至目前，国内外学者基于不同的算法原理提出并发展了大量的时空遥感影像融合算法，以满足不同的遥感应用需求.本文总结了现有的时空遥感影像融合算法，并对其进行归类分析，进一步讨论了时空遥感影像融合算法的不确定性，并就其中存在的问题与挑战对未来的发展方向提出了展望，为相关的时空融合算法及遥感应用研究提供理论参考与技术支撑.

1 时空遥感影像融合算法分类

时空遥感影像融合对特定时相未知高空间分辨率影像的预测，实际上是对不同时相地物反射率变化的预测，总体来说，地物反射率的时间变化可分为季节性变化与地物类型变化两大类[7].而现有的大量融合算法由于算法原理的差异，对上述2类变化的预测能力呈现多样性.本文基于不同的算法原理，将现有主流的时空遥感影像融合算法分为4类：

图1 时空遥感影像融合算法思想示意图Fig.1 Spatial and temporal fusion of remote sensing images

1）基于空间信息分解的融合方法；

2）基于时空变化滤波的融合方法；

3）基于学习的融合方法；

4）组合性的融合方法.

表2列举了几种代表性算法对不同类型的地物反射率变化的预测能力.

表2 几种代表性的时空遥感影像融合算法对比Tab.2 A general comparison of several representative spatial and temporal image fusion methods

1.1 基于空间信息分解的融合方法空间信息分解的融合方法的理论基础是基于地物光谱在高-低空间分辨率影像上的时间一致性[8].该类方法基于低空间分辨率影像上的单个像元反射率对应的是高空间分辨率影像上的多个像元反射率的线性组合这一假设，利用混合像元线性解混方法原理，对多时相低空间分辨率影像像元进行分解，实现对预测时相高空间分辨率影像的像元重构[9].其实现过程通常包括：

1）高空间分辨率影像的非监督分类；

2）低空间分辨率影像单个像元内各类占比计算；

3）低空间分辨率影像像元反射率线性解混；

4）预测时相高空间分辨率影像像元反射率重构，即目标融合影像的生成.

基于空间信息分解的融合方法最早由Zhukov等[10]提出，该方法考虑到大范围影像中同类地物像元反射率的空间可变性因素，采用移动窗口技术，基于同类地物临近像元反射率的空间相似性假设，进行低空间分辨率影像像元反射率的线性解混.但该方法将具有空间差异性的像元反射率在局部范围内平均化，并未完全解决同类地物像元反射率的空间差异性问题.对此，Maselli[11]和 Busetto等[12]先后引入距离权重与光谱相似性因素，进一步考虑了像元反射率的空间差异性.除此之外，Zurita-Milla等[13]对分解得到的像元反射率中存在的负值及其他异常值进行了纠正处理，提出了基于约束条件解混（constrained umixing）的融合方法.但该类分解算法总体基于同类地物像元反射率相同的假设，分解得到的是类别反射率，其与单个像元的真实反射率实际上仍存在一定差异.此外，该类方法还基于低空间分辨率影像单个像元内部各类占比在不同时相不发生改变的假设，而实际上，地物类型变化必然导致各类占比的改变.因此，上述方法仅适用于季节性变化预测，而在对地物类型变化的预测中不可靠.对此，Wu 等[14]和 Huang 等[15]先后提出了 STDFA（spatial and temporal data fusion approach）与 U-STFM（unmixing-based spatiotemporal reflectance fusion model）算法，基于地物时间变化率的一致性假设，通过输入未知时相前后2期已知时相高-低分辨率影像，提高了该类算法对存在地物类型变化的不同时相遥感影像的融合效果.

该类方法因其算法原理简单易懂、可操作性强、计算量小等优势得到广泛的应用，但在其实际应用中，由于遥感影像自身分辨率限制，低分辨率影像像元内部地物类型的差异导致非线性混合像元大量存在，使得分解得到的各类地物反射率值常存在较大误差，从而对融合结果产生不利影像，总体融合精度不高.

1.2 基于时空变化滤波的融合方法基于时空变化滤波的融合方法的理论基础是地物反射率的时间变化在空间尺度上的一致性.Gao等[16]提出的时空自适应反射率融合模型（spatial and temporal adaptive reference fusion model，STARFM）是最早且至今应用最广泛的一种基于时空变化滤波的融合算法，该方法利用已知时相高分辨率影像寻找单个像元在局部移动窗口内的光谱相似像元，并综合考虑中心像元与相似像元的空间距离、时间反射率差值以及光谱差异信息，计算相似像元权重，通过相似像元反射率加权获得该中心像元的反射率.该方法依赖于地物在不同空间尺度上的时间变化一致性，因而，对于大范围同质性地表覆盖区域可以实现较准确的季节性变化预测，目前已被广泛应用于地表温度[17]、植被指数[18]等时序遥感数据生成，以及植被季节变化监测[19]等遥感应用研究.

然而，STARFM方法[16]由于相似像元搜索基于已知时相的高分辨率影像实现，其对于未知时相中地物类型发生变化的像元间相似性无法准确判断，导致融合结果产生较大误差，因而无法准确预测地物类型的改变.对此，Hilker等[20]改进了STARFM方法，提出 STAARCH（spatial temporal adaptive algorithm for mapping reflectance change）算法，该方法需要输入至少2个已知时相的高分辨率影像，利用干扰因子提取地物类型变化范围，并从高时间序列的多个时相低分辨率影像中获取对应的变化信息.Zhu等[21]也针对上述问题，提出了另一种改进的STARFM方法，即ESTARFM（enhanced spatial and temporal adaptive reference fusion model）算法，同样需要至少2组已知时相高-低分辨率影像输入.该方法利用2组高分辨率影像同时寻找移动窗口内的相似像元，并改进相似像元权重计算方法，增加转换系数约束，提高了该类方法对于异质性地表覆盖区域影像的融合效果以及对不同时相影像地物类型变化的预测能力.Fu等[22]进一步基于ESTARFM方法增加了对窗口内土地覆盖类型数目的考虑，改进了相似像元搜索算法，进一步提高了融合精度.但是，上述方法均需借助覆盖相同区域的时序低空间分辨率影像及多期无云覆盖的高空间分辨率影像，这在一定程度上限制了算法在大范围区域的应用.该类方法还包括Roy等[23]提出的基于半物理模型（semi-physical model）改进的时空融合算法，以及Wang等[24]最新提出的基于地统计分析的RWSTFM（rigorously-weighted spatiotemporal fusion model）方法.其中，RWSTFM 方法通过土地覆盖变化区域探测的方法，提高了基于时空变化滤波类融合方法在地物类型变化区域的预测能力，该方法率先引入克里金法以最小估算方差指标评估融合方法的不确定性，为更有效地对比分析不同融合方法的可靠性提供了新的理论方法借鉴.

该类方法利用移动窗口搜索相似像元并综合考虑空间、时间与光谱权重计算中心像元反射率的基本思想，在时空遥感影像融合领域得到了国内外学者的广泛应用，取得了较大的成果.但截至目前，针对其不同时相影像的地物类型变化预测的局限性问题仍没有得到根本性解决，仍需要后续更多的研究改进.

1.3 基于学习的融合方法基于学习的融合方法是随着机器学习技术发展而产生的较新一类时空遥感影像融合方法，目前应用最广泛的是基于稀疏表达理论的字典学习方法.Huang等[25]提出的SPSTFM（sparse representation-based spatio-temporal reflectance fusion model）算法首次将稀疏表达理论引入时空遥感影像融合中，利用输入的预测时相前后两期已知时相的高-低分辨率影像差值采用非线性方法构建光谱字典对，并通过时间加权实现对未知时相高分辨影像的预测.然而，该方法的提出是基于一定空间范围内的高分辨率影像与低分辨率影像的稀疏表达系数相同这一假设，而实际上，其系数可能存在空间差异.对此，Wu等[26]提出了EBSCDL（error-bound-regularized semi-coupled dictionary learning）算法，通过误差的正则化方法引入对高-低分辨率影像稀疏系数差异的考虑，构建优化的半耦合字典，提高融合精度.但上述方法由于对输入2期无云覆盖高分辨率影像的需求，而限制了其大范围的应用.对此，Song等[27]通过引入超分辨率技术与高通模型提出了2步融合框架，发展了基于一对已知时相高-低分辨率影像的字典对学习（one-pair learning）方法，改进了 SPSTFM方法.然而，上述基于字典学习的融合方法未考虑同一时相的高-低分辨率影像之间的准确定量关系，对此，Wei等[28]引入了压缩感知算法，增强降尺度过程准确度从而提高了融合精度.除此之外，基于字典学习的融合方法对低分辨率影像训练数据进行字典学习时，人为设计字典基元的处理，以及融合过程中特征提取、字典学习、稀疏编码与影像重建过程的分离，都增加了算法的复杂度与不稳定性，不利于算法的普遍性应用.因而，极限学习机（extreme learning machine，ELM）、深度学习算法等逐渐被引入，以提高此类基于学习的融合方法的实用性.Liu等[29]采用极限学习机方法利用单层神经网络算法实现了融合精度的提高，并极大地提高了基于学习的融合方法的效率；Moosavi等[30]引入了人工神经网络模型，提出了WAIFA（wavelet-artificial intelligence fusion approach）算法，该方法有效地应用于地表温度数据的融合；Song等[31]采用深度卷积神经网络算法提出了新的基于学习的时空遥感影像融合算法（DCNNs-based learning），实现了对影像特征的自动提取并取得了更高的信息提取及影像融合精度，适用于一对或多对已知时相高-低分辨率遥感影像的情况，具有更广泛的应用前景.

该类方法能够较好地捕捉到不同时相影像的各类地物反射率信息，因而能同时实现对季节性变化以及地物类型变化的有效预测，取得了很好的融合效果.但目前应用的学习算法均需较大的计算量，融合效率较低，尚不适宜大范围应用.

1.4 组合性的融合方法组合性的时空融合方法由于综合了上述不同类型融合方法的优势，较全面地应对了各类时空遥感影像融合方法的不足，通常具有较好的融合效果，因而具有更广泛的应用前景.Zhu 等[32]提出的 FSDAF（flexible spatiotemoral DAta fusion）算法组合了基于空间信息分解与时空变化滤波的2类融合方法，并融入了空间插值技术，提高了上述算法在异质性地表覆盖区的融合效果，并提高了其对地物类型变化的预测能力.进一步地，Shi等[33]在FSDAF算法基础上，考虑了同类地物像元反射率间的差异，增强了融合结果的空间细节信息，从而提高了融合精度；Liu等[34]引入约束最小二乘方法对FSDAF算法提出了改进，并成功运用其生产了归一化植被指数（normalized difference vegetation index，NDVI）时间序列产品.此外，Gevaert等[35]也发展了组合的 STRUM（spatial and temporal reflectance unmixing model）算法，通过贝叶斯理论的应用，实现了融合精度的提高.而目前最新的组合性融合方法是Zhao等[7]提出的RASTFM（robust adaptive spatial and temporal fusion model）算法，该方法通过对像素级与特征级融合算法的组合，减少了对几何配准的依赖性，并增强了算法的鲁棒性.该方法明确将不同时相的遥感影像变化分为非形变（季节性变化）与形变（地物类型变化）两大类，建立2层融合框架，引入非局部线性回归方法提高相似像元的相似性及超分辨率结果的准确性，相比之前的多种融合方法，较大程度提高了融合结果的可靠性.

2 时空融合不确定性问题分析

截至目前，时空遥感影像融合研究已取得较大的进展，但由于卫星遥感影像数据本身的多样性、时空融合方法的局限性，以及对融合结果可靠性标准的缺失，导致现有研究存在一定不确定性，限制了其大范围应用推广.

2.1 多源数据不确定性时空遥感影像融合研究是基于不同空间与时间分辨率的多源数据展开的，需要融合来自于不同卫星、不同传感器、不同时相的遥感影像，而不同卫星获取数据时的双向反射分布函数（bidirectional reflectance distribution function，BRDF）的差异、不同卫星辐射定标精度的差异，以及不同传感器光谱设置的差异等因素，均将导致多源遥感影像间辐射亮度的差异[35-37].此外，对于异质性土地覆盖区域，其多时相遥感影像由于多样性地物随地表和大气环境的变化的复杂性，也将引起遥感影像数据的辐射差异.由于不同卫星的数据获取方式的不同、不同时刻卫星姿态的不同及扰动等因素的影响，多源遥感影像的几何位置往往都无法精准匹配[8].因此，多源遥感影像数据本身具有较大的不确定性，而作为不确定性传播链条的源头，必将会对时空遥感影像融合技术的大范围推广应用产生关键性的影响.

2.2 融合方法不确定性时空遥感影像融合方法朝着多样性的方向发展，但各类方法仍缺少对其算法参数的统一[14，38].例如，针对基于时空变化滤波的融合方法，相似像元搜索移动窗口的大小、相似像元相似性判定阈值或相似像元数量，以及相似像元权重的计算等，均对融合效果有重要的影响.然而，不同参数条件下的融合效果尚存在明显的不确定性.另外，由于卫星传感器空间分辨率的限制，现有的中、低分辨率影像的混合像元现象明显，使得基于空间信息分解的融合方法所采用的线性分解方法表现出较大的不确定性，尤其对于地表覆盖异质性较强的区域.除此之外，由于地物的复杂多样性、地表辐射多次散射等因素的影响，导致影像分类结果可靠性较低，进一步增加了此类方法的不确定性.针对各类融合方法的不确定性问题，Wang等[24]率先引入了基于地统计的不确定性分析方法，直接对比了 STARFM、FSDAF和 RWSTFM等3种融合方法的不确定性，为现阶段多样的融合方法的比较分析提供了可行的借鉴.

2.3 精度评价不确定性时空遥感影像融合结果的精度评价对于该领域的研究发展至关重要.目前，大多数研究基于融合影像与真实影像相似性进行定量评估，主要包括光谱反射率相似性与空间细节相似性两方面，多采用相似系数（correlation coefficient，CC）、方均根误差（root mean square error，RMSE）、平均绝对偏差（average absolute difference，AAD）和结构相似性（structure similarity，SSIM）等指标[7].但由于不同研究选取的遥感影像自身空间分辨率、地物复杂度、不同时相变化等存在较大差异，因而基于上述指标对各类融合算法在不同的研究中的表现的精度评价结果仍存在较大的不确定性.

3 研究趋势展望

目前，时空遥感影像融合研究仍处于快速发展阶段，现阶段虽不断提高的融合算法大量涌现，但仍局限于特定的数据源，存在融合算法精度不足、融合效率有待提高等问题，需要进行更深入地探索研究，以发展适用于不同数据源与应用需求的鲁棒性高的通用性时空遥感影像融合方法.

3.1 多源数据发展时空遥感影像融合研究发展依赖于卫星遥感影像数据的质量，而不可避免地，由于高-低分辨率数据来源不同，其辐射差异、几何精度等因素引起的误差，将极大地影响最终的融合精度.因而，提高几何配准与大气校正等精度，将成为推动时空遥感影像融合研究发展的重要问题.而在此基础上，改进现有方法多基于2种数据源的融合，充分利用多源数据的优势，实现低-中-高分辨率遥感影像的信息集成，将为时空遥感影像融合的实际应用提供更广泛的空间.

此外，为应对当前遥感影像融合结果精度评价的不确定性，有必要建立具有代表性的标准数据集，使其能够全面反映现实地物的空间复杂度及典型的时间变化信息，以有效对比不同的时空遥感影像融合算法的表现.

3.2 融合方法发展现有的时空遥感影像融合方法多种多样，但由于其方法参数的不确定性，使得现有方法缺乏鲁棒性，不适用于实际应用中面对的大批量、多样化的遥感影像.因此，针对现有的时空遥感影像融合算法，降低其对模型参数的敏感度，减少其对参数的依赖性，以提升算法本身的鲁棒性，对于其推广应用具有重要意义.

进一步，由于自然界地物的复杂性与时间变化的多样性，总体来说，现有方法由于算法原理自身限制或方法效率制约，尚未有一种能够有效应对多样化的时空遥感影像融合的通用性方法.对此，引入非线性模型提高混合像元解混精度，将成为应对复杂地表变化提升融合精度的有效方法.同时，随着深度学习研究地深入，进一步将深度学习方法有效应用到时空遥感影像融合研究，最大限度地捕捉高-低分辨率影像上的光谱、空间、时间、结构及纹理特征等信息，并充分提高其运算效率，将成为今后实现快速、自动化、高精度的时空遥感影像融合算法发展的重要方向.

此外，时空遥感影像融合算法的发展要同时注重面向应用的方法研究.目前提出的融合算法大多停留在技术理论层面，而面对不同的遥感应用，其对于影像特征的需求会有明显不同.为应对当前高精度、长时间序列的地表覆盖研究，发展能够大范围生产具有统一标准的高时空分辨率数据集的时空遥感影像融合算法，将具有重要的实用价值.

4 结束语

在地表与大气环境实时精细遥感监测的需求下，时空遥感影像融合技术因其成本低、可靠性强等优势得到了广泛的关注，近年来取得了较大的进展.现有主流的时空遥感影像融合算法基于不同的算法原理主要包括：基于空间信息分解的融合方法、基于时空变化滤波的融合方法、基于学习的融合方法，以及组合性的融合方法等4类，均有各自的优势与局限性，尚未发展到成熟阶段.

时空遥感影像融合研究中总体存在多源数据不确定性、融合方法及其精度评价的不确定性问题.因此，对于多源遥感影像的几何校正与大气校正、融合算法鲁棒性的提升、异质性地表覆盖区域的非线性混合像元分解方法的发展，以及深度学习方法的进一步应用及其效率的提高等，均有待更深入地探索研究，以最终发展具有通用性的时空遥感影像融合算法，满足大范围、高精度的遥感应用需求.