人工智能时代的遥感变化检测技术：继承、发展与挑战

柳思聪，都科丞，郑永杰，陈晋，杜培军，童小华

1.同济大学 测绘与地理信息学院,上海 200092;2.北京师范大学 地表过程与资源生态国家重点实验室,北京 100875;3.南京大学 地理与海洋科学学院,南京 210023

1 引言

利用卫星遥感实现对地多时相观测和自动变化检测，为深入理解地表的持续性变化提供了重要的技术手段，也广泛助力于农业调查、城市扩展、资源勘探、生态评估、灾害监测等多领域的遥感应用（Song 等，2018；杜培军 等，2012a；Pekel 等，2016；Liu 等，2017a；Dalponte 等，2019）。由于卫星的重访性和持续性特点，长时序（如年际）和短时（如日际甚至时际）观测均可获取海量的多时相遥感影像。如何从中挖掘出高价值、有意义的地表变化信息，从而支撑全球和区域性地表变化机理分析及领域专题知识发现，具有重要研究价值与现实意义。

遥感影像变化检测（Change Detection）技术通常定义为：处理和分析在同一地理区域、不同时刻获取的遥感影像，从而探测识别出变化信息的方法（Singh，1989；Coppin 等，2004；Lu 等，2004；Liu 等，2021）。若获取的多时相影像在时空分辨率都足够精细的前提下，理论上可获得较为系统和全面的地表真实变化信息，如变化时间、变化位置、变化范围、变化种类、变化程度和变化状态等。变化检测技术根据应用目的可分为：异常变化检测、二类变化检测、多类变化检测和时序变化检测（Liu 等，2019b）。其中，异常和二类变化检测主要关注变化区域的主动探测（定位）问题，多类变化检测在实现变化区域探测的同时进行变化类型的细分，而时序变化检测则主要关注变化时间定位及变化趋势。根据变化检测与样本的结合程度，又可进一步分为无监督、监督和弱监督变化检测3种类型。

近30 年来，全球气候变化效应显现和人类活动的频繁，使得遥感变化检测的需求愈加迫切；同时，随着空—天—地多平台、多传感器的遥感数据大量积累（图1），使得可获取多时相遥感影像的“量”和“质”均有显著提升。另一方面，基于中、低分辨率数据发展起来的传统变化检测技术主要依赖光谱特征的分析。随着新型传感器数据的涌现和遥感数据时—空—谱分辨率的提高，单纯依赖光谱变化的传统方法受到了极大的挑战，难以有效直接迁移与应用，进而导致实际算法性能的降低和较高漏检、错检误差的产生（Lu 等，2004；Liu 等，2019a；Wen 等，2021）。而机器学习方法的直接引入与应用，易造成唯方法论的短板，导致检测精度提升快但解释性差、与实际地物变化的遥感机理关联性弱、模型泛化和迁移能力差等问题。因此，针对具体应用场景和任务需求，如何在充分考虑光谱变化的同时，引入更多的对象—语义—地学知识支撑，设计出具有强解释性、高鲁棒性、高自动化和高精度的变化检测技术，以有效地发现、识别和描述地表真实变化信息，是目前遥感领域重点关注的热门研究方向之一。

图1 国内外多光谱遥感卫星发展趋势Fig.1 The development trends of the domestic and international popular multispectral remote sensing satellites

本文主要关注机器学习对于多时相遥感变化检测的影响及演变模式，重点探究传统变化检测方法在人工智能时代的继承、延续和转型方式，进而剖析当前遥感变化检测发展趋势及所面临的新问题与新挑战。

2 发展阶段与演变趋势

人工智能的发展历程中有两个重要的时间节点，首先是20 世纪80 年代机器学习的快速发展，再次是2010 年后深度学习的异军突起。遥感变化检测自20世纪70年代被提出后至今也有50多年发展历史，一些学者就其典型历史发展阶段进行了归纳总结（眭海刚 等，2018）。在人工智能理论方法的影响和参与下，遥感变化检测历经了从传统算法到智能化算法的跨越式发展，本文梳理总结出其演变的时间脉络图如图2所示。主要可归纳为3 个阶段：数据驱动的变化检测阶段、模型驱动的变化检测阶段和数据—模型—知识共同驱动的变化检测阶段。

图2 遥感变化检测伴随人工智能技术发展的时间脉络图Fig.2 The evolution timeline of remote sensing change detection methods with the development of artificial intelligence technology

（1）数据驱动的变化检测阶段。采用传统的影像处理与分析技术，如波段代数计算、特征变换、指数提取、分类等进行变化提取。典型的算法主要依赖于前后时相遥感影像光谱反射率及其衍生指数（如归一化植被指数等）的比较，包括波段差值法、比值法、回归分析法、变化矢量分析（CVA）、主成分变换（PCA）、独立主成分变换（ICA）、分类后比较法等（佟国峰 等，2015；张良培和武辰，2017；Liu 等，2012，2021）。该阶段方法的主要特点是：1）主要面向中、低分辨率遥感影像，基于独立像素假设，变化检测过程中较少考虑像素间的空间相关性；2）多为数据驱动，该阶段的数据通常是指“小数据”或者是特定类型数据。从数据本身的物理特性如光谱、反射特性等出发分析图像上的变化分布规律，因此具有较明确的物理含义；3）未完全使用先验信息，判读解译依赖于专家知识和人工经验，算法整体性能高度依赖于多时相数据的质量；同时，受分类精度和变化阈值设定影响显著，易出现漏检和错检误差累积的现象。

（3）数据—模型—知识驱动的变化检测阶段。随着先进机器学习的不断发展，尤其是深度学习的兴起，极大地引领了遥感变化检测的前沿研究（Shi等，2020；Khelifi 和Mignotte，2020；Shafique等，2022）。该阶段从数据—模型—知识角度联合驱动变化检测方法的构建，在变化特征的有效学习、变化模型的稳健构建、大数据模式的分析和传统方法的深度化等方面进行了诸多尝试。如基于深度变化矢量分析方法（DCVA）、深度分类网络构建方法、生成对抗网络（GAN）和迁移学习的弱监督方法等（Saha等，2019；Wang等，2019；Yang等，2019；Jiang等，2020）。该阶段方法的特点是：1）基于先进机器学习算法如集成学习、强化学习、迁移学习、深度学习等强大的计算与学习能力；2）由数据、模型和知识3 者共同驱动；3）协同采用多种监督策略。虽然在检测性能和精度上有了较大的提升，但仍存在如模型过度依赖于样本的数量和质量，基于深度学习变化检测模型的普适性和物理可解释性相对偏低，模型的迁移性和效率不尽人意等难题。

3 传统继承与转型发展

从遥感变化检测过程与先验样本的结合方式所划分的无监督、监督和弱监督3 类变化检测方法出发，探讨遥感变化检测技术的传统继承和转型发展方向，并分析不同发展阶段的技术方法特点。

3.1 无监督变化检测

无监督变化检测中主要包含两个关键步骤（图3）：（1）多时相影像比较，构建差异影像，以突出变化信息；（2）建立变化检测模型，分析差异特征并从中提取变化区域（Liu 等，2021）。传统变化差异影像的构造通常采用前后时相影像逐像素的处理方法，如波段差分/比值法、指数差分法、变化矢量分析、距离或者相似性度量法、慢特征分析法等（佃袁勇，2005；Du等，2012；Wu等，2014）；也可基于光谱变换分析提取差异信息，如多元变化检测（MAD）及其迭代加权模型（IR-MAD）等（Nielsen等，1998；Nielsen，2007）。在此基础上利用阈值分割或聚类方法从差异影像上提取出变化区域。前者根据差异影像的统计分布特性，如混合高斯或者瑞利—莱斯分布，使用人工或者自动化阈值划定出变化和不变化类别（Zanetti 等，2015）。经典的阈值分割方法如大津法（Ostu）、Kittler-Illingworth（KI）阈值法、最大期望算法和双窗口变步长阈值搜寻法等（Bruzzone和Prieto，2000；Chen 等，2003；Du 等，2012）。后者主要基于距离或密度等无监督聚类算法对差异影像进行分类，如利用K 均值聚类、层次光谱聚类等（Lv 等，2019；Liu 等，2015b）。传统无监督方法主要建立在中低分辨率遥感影像之上，一般仅针对特定的应用场景，模型精度受限于实际数据的质量和场景复杂性，同时对使用者的经验和技巧有较高要求。

图3 无监督变化检测技术框架Fig.3 The framework of the unsupervised change detection technique

随着遥感影像分辨率的提升，延续并突破传统无监督变化检测方法在面向高空间分辨率和高光谱分辨率数据的局限性是其转型过程中一个重要的发展方向。如基于经典压缩变化矢量分析方法（C2VA）所构建的多尺度形态学和超像素重构方法、空—谱波段衍生方法等，对原始谱段信息进行特征衍生和特征重构，以增强高空间分辨率影像中的变化目标表达，提升无监督高空间分辨率遥感数据变化检测的有效性（Bovolo 等，2012；Liu等，2017，2019，2021）。针对高光谱影像，层次聚类和序列光谱变化矢量分析方法，将复杂光谱变化迭代切分至不同显著性层级以有效探测不同类型变化（Liu 等，2015a，2015b）。在此基础上进行自适应波段子空间选择，使用少数具有代表性和辨别性的波段子集实现与使用全谱段相同的检测效果（Liu 等，2017c）。此外，多时相联合光谱解混方法也充分顾及多时相光谱变化和不变化端元在单像元内的混合特性，实现亚像素级别的多类变化自动探测与判别，是无监督变化检测发展中值得深入研究的问题（Liu 等，2016；Guo等，2021）。

无监督变化检测的另一重要前沿发展趋势是对传统方法的深度化，其核心是将人工变化特征提取转换为利用深度学习实现的深度特征提取（如图3可选模块所示）。传统方法中的人工特征提取多依赖于先验知识，且通常仅能提取浅层变化特征。而深度无监督变化检测方法能提取潜在的多层变化特征，利用预检测出的部分高置信度结果来计算损失函数，从而训练出高效的变化检测网络。如深度变化矢量分析（DCVA）方法和深度慢特征分析（DSFA）方法，均是基于传统方法的特征深度化模型（Saha 等，2019；Du 等，2019）；如基于图卷积网络和度量学习的变化检测（GMCD），采用孪生全卷积网络、多尺度动态图卷积网络和基于度量学习的伪标签生成机制，以无监督方式完成模型的训练（Tang等，2022）。

3.2 监督变化检测

早期的监督变化检测技术主要关注的是多时相遥感影像的像素级分类及检测。发展中期开始利用像素邻域及上下文信息进行空—谱联合分类，同时也关注面向对象的变化检测方法。最新发展则是利用深度特征提取进一步优化空间邻域信息的表达，并开始关注场景级的变化检测。

监督变化检测本质上可看作为监督分类问题，根据变化信息的生成与比较所处的阶段不同，可分为两大类方法：（1）先分类后检测（或分类后比较）方法；（2）先比较后分类方法，分别如图4（a）和（b）所示。两类方法架构中通常包含语义标签数据输入、分类器选择和变化提取3 个主要步骤。对于前者来说，传统方法主要依赖原始光谱数据的分类后比较，其优势在于可以提供详尽的变化类别迁移（“from-to”）信息，但受限于单期遥感影像分类精度（检测精度近似于双时相分类精度的乘积）（Lu 等，2004）。单时相分类误差会传播至多时相变化检测过程，造成误差的累积效应。后者则直接对多时相数据进行差值或叠加后分类，从而获得完整的变化检测结果（Soares 和Hoffer，1995；Nemmour 和Chibani，2006）。但现实中通常极难获得完备的多时相精细变化检测样本，极大地限制了其有效的应用场景。

对于一个Adapter采集多台机床的情况，则需要在key中将设备名和数据项名称用“·”分隔。因此在由FOCAS函数采集得到设备数据后系统将其处理成报文形式再发送给代理端，系统适配器数据采集总体流程如图3所示，具体流程如下：

图4 两种监督变化检测技术框架Fig.4 Two frameworks of supervised change detection techniques

随着机器学习对于影像特征提取能力的不断提高，提取除光谱信息外的多维变化特征并融合分类，从而实现变化目标的建模与识别，是监督变化检测技术发展中的一个重要方向。如使用影像不同特征（如光谱、空间、纹理、指数因子），构建加权距离相似度和模糊集融合模型等进行监督变化检测（杜培军和柳思聪，2012c）；分别提取邻域—对象—场景级的特征以捕获不同层次的变化空间信息，经特征降维融合后利用分类器进行变化检测（Wang等，2020）。其中，不同分类器如SVM、ELM、最邻近分类器（KNN）等（Volpi等，2013；Wang 等，2018）也分别展现了其在变化检测应用中的适用性与有效性。在单分类器结果的基础上，充分利用机器学习中的集成学习等先进理论方法，可实现有效的特征互补和决策融合，从而进一步提升变化检测的精度，降低漏检和虚检误差，如使用旋转森林（RoF）、证据理论（D-S）、模糊积分等（Du等，2013；Feng等，2018；Wang 等，2018；Tan 等，2019）。利用监督分类后的类别概率变化进行变化矢量分析判断变化，在监督与无监督方法的集成使用上也进行了有益的探索（Chen 等，2011，2012）。此外，具有更高语义层面的场景变化检测方法相继被提出并逐渐得到关注，从而更好地描述场景对的多时相变化并分析地表类别迁移（Wu等，2017）。

同样在深度学习的影响下，传统监督变化检测方法也开始逐渐走向深度化。对于先分类后检测方法来说，深度学习网络可对单时相影像提取多层、多尺度的深度特征并用于分类，再比较分类结果从而定位检测出变化（图4（a））。该类方法如基于注意力度量的深度网络（DSAMNet），使用多个ResNet 模块提取多尺度深度特征并集成注意力模块来增强特征提取的性能（Shi 等，2022）；基于双时相语义推理网络（Bi-SRNet）变化检测模型，利用CNN 的跨时相语义推理注意力模块，增强了两时相预测图的语义一致性（Ding 等，2022）。对于先比较后分类方法来说，首先对输入的双时相遥感影像生成初始变化差异特征，再利用深度检测网络实现深度变化特征的提取与检测（图4（b））。如基于光谱—空间注意机制的孪生神经网络（SSA-SiamNet）和基于语义分段编码器—解码器体系结构的变化检测方法等（Wang等，2022；Peng等，2019）。

3.3 弱监督变化检测

弱监督变化检测方法是为了克服先验标签信息不足而产生的，其核心在于引入未标记信息，并且结合使用有限的可靠先验信息，两者共同参与获得变化检测结果。在机器学习和深度学习尚未被完全引入变化检测之前，传统的弱监督变化检测方法实质上仍是监督型变化检测（图5），但关注点在于样本的生成、筛选、过滤以及标签强化等。如一种半监督变化检测框架，将光谱变化矢量特征投影至二维极坐标域，实现多类变化检测伪训练样本的生成与扩增（Liu 等，2017d）。改进分类器使其适用于小样本或者样本质量差的半监督变化检测任务，如基于支持向量域（SVD）的变化检测方法和半监督支持向量机（S3VM）方法，采用半监督学习算法在定义变化与不变样本间的决策边界时逐步考虑未标记样本等（Bovolo 等，2008，2010）。此外，利用主动学习和迁移学习，通过将样本迭代迁移，促进初始样本下的分类性能，进而提升变化检测的精度（Demir 等，2013；Tong等，2020）。

弱监督变化检测方法在其发展过程中，受到机器学习特别是深度学习的影响，传统模型在走向深度化的过程中演变出了两种典型架构（图6）。一种是基于不完全监督的深度变化检测架构（图6（a）），其关键步骤包括：深度变化检测网络、特征空间对齐和重构网络的构建。该架构中有标签和无标签的训练数据分两路交替训练，经过变化检测网络后不同标签类型获得的结果精度评价标准不一致，所以需要额外使用一个损失函数（Loss2）协助特征空间对齐。重构网络和决定训练是否终止的损失函数（Loss3）的定义与构建，也是影响最终检测精度的关键之一。该架构的主要特点在于只需部分有良好标签的数据，因此普适性较高、可跨数据集使用。目前使用该架构的方法如结合强化学习、迁移学习和生成式对抗网络等（Jiang等，2020，2022）。

图6 两种弱监督深度变化检测技术框架Fig.6 Two frameworks of weakly supervised deep change detection techniques

另一种是基于不精确和不确切监督的深度变化检测方法（图6（b）），包含了初步变化提取比较模块、深度变化检测网络以及标签重构模块。其中关键步骤在于深度变化检测网络的构建以及标签重构。其中标签重构产生的误差会传递给变化检测模块并最终影响检测精度。现有方法在研究标签数据的利用和未标记数据的信息挖掘方面做了相关尝试。如基于迁移深度学习的变化检测方法，在预训练阶段对带标签数据的变化检测和未标记目标数据的重构，实现了两类数据的特征分布对齐（Yang 等，2019）；基于生成对抗网络的弱监督卷积变化检测网络，首先将标记数据和未标记数据输入分割网络生成初始预测结果并计算熵图，然后采用两个鉴别器来增强标记数据和未标记数据之间的特征分布一致性，有效挖掘出未标记数据潜力（Peng等，2021）。

4 挑战与展望

在遥感大数据和人工智能时代背景下，先进机器学习和深度学习的引入，促使传统遥感变化检测的精度、效率以及自动化程度均具有了大幅提升。但面对多源异构的遥感数据和复杂多变的应用场景时，变化检测在数据、模型和应用层面上依旧面临诸多问题与挑战。

4.1 数据层面：多源异构大数据的集成与处理

（1）异构数据集成的挑战。传统变化检测方法主要依赖于同源同质遥感数据的处理，尤其是来源于同一传感器、获取于相近季节条件和高质量成像参数的数据，但是如此高约束的时序影像在现实中通常难以获取。多源异构或称之为多模态变化检测能克服以上限制，允许利用来自于不同传感器、不同分辨率甚至是不同维度的数据（如光学、SAR、LiDAR、GIS 等），但需着重考虑不同域、不同统计分布及图像间不一致的类别标签等，尤其是利用不同类型传感器数据时，其测量的不同物理量不可直接拿来比较等问题（Luppino 等，2019）。现有该方向上的工作面向的遥感传感器类型及数据规模都相对有限，以小尺度、有限源、双时相的遥感影像为主，对于多源异构、大尺度变化检测研究甚少。因此，如何解决多模态数据的协同分析处理难题，有效地抑制或消除异构数据导致的时—空—谱信息表达不一致性，既是今后变化检测研究中一个重要的研究方向，也是面临的一项重要挑战。

（2）高精度预处理的挑战。高精度预处理是多时相遥感变化检测的重要前提，主要包括辐射校正、大气校正、几何校正、物候归一化、图像增强、图像配准、时空融合等步骤。传统变化检测通常是针对两幅同源同分辨率影像进行的预处理，而多源异构遥感数据的输入则极大地增加了预处理的难度，如考虑多源数据的特征匹配、多分辨率影像的高精度校正和配准等（Han 和Byun，2015）。此外，因影像空间分辨率及数据质量的提升，不可避免地引入如光照、地形、阴影等成像环境所造成的伪变化。如何实现多源异构数据的高精度预处理，有效消除成像环境差异导致的伪变化信息，保留地表真实变化信息，是今后变化检测研究中亟需关注的重点问题之一。

（3）多维变化提取融合的挑战。虽然图像融合技术已相对成熟，但对于异源、异质甚至异维的遥感影像而言，数据本身存在巨大的本质及语义鸿沟，目前仍未具备有效的理论技术方案以满足其高效融合的需求。对于异构数据而言，特征级融合更容易集成和处理来自多平台、多传感器、多角度的影像信息（李树涛 等，2021）。而传统变化检测处理主要基于对地观测的二维影像，随着多角度光学卫星立体观测、激光测高、InSAR数据处理的广泛深入，将促使遥感变化检测从二维走向三维，实现多维度的变化目标描述。因此，如何构建跨越数据语义鸿沟的多维变化提取与融合方法，实现更为立体化、多样化的变化专题信息提取，是需要重点关注的又一研究方向。

4.2 模型层面：智能化变化检测模型

当前大部分无监督算法研究仍只关注二类变化检测问题，对于多类变化检测问题中类别数目的自动确定、多类变化的特征表达和深度建模分析等仍处于起步探索阶段（Liu 等，2019b）。尤其在大范围地理区域、复杂地表类别等变化检测场景中，极易出现变化类型的显著性不一、数量不均衡、受伪变化影响大等问题。如何利用无监督的方式有效捕获多类变化特征，以此建立不同时相数据之间的变化表征，综合考虑数据—模型的强耦合关联关系，以提升无监督模型在跨数据源、跨场景上的鲁棒性，将是今后无监督自动变化检测研究中的重点和难点。

虽然监督和弱监督变化检测方法可以提供详细的变化转移信息，但算法需要充分的高质量先验样本作为支撑，而完备的多时相变化先验知识在现实中通常难以有效获取（Khelifi 和Mignotte，2020）。虽然端到端的监督和弱监督深度变化检测模型研究取得了一定的进展，但高效的样本生成机制与深度检测网络的耦合作用机制仍不明确。特别面向跨时相、跨场景、跨要素时的样本缺失、样本不精确等问题时，仍无行之有效的解决方案。未来研究中，一方面应考虑如何构建自动化的样本学习和扩增方式以减少人工标注，同时采用迁移学习、主动学习、强化学习等多种手段提高高质量标注数据或者变化特征的获取，以有效解决小样本、不平衡样本、不精确样本下的变化检测难题。另一方面需要探索非监督与监督变化检测的有效结合方式，特别是如何将两者优势特点充分体现在深度网络架构设计中，协同实现复杂地表变化的高精度建模。

因此，未来的变化检测方法构建需考虑“数据—模型—知识”3 者耦合驱动下的新模型，从“小数据”向“大数据”延伸，从物理模型和算法模型分离到两者耦合关联，从本领域知识拓展至跨领域知识驱动。重点突破模型的物理可解释性、泛化及迁移能力，解决在无样本、少样本和有样本场景下的智能化检测应用难题。

4.3 应用层面：高可信变化检测应用

尽管基于人工智能的遥感影像变化检测技术在性能上比传统模型有较大提升，但是目前研究仍只停留在模型设计层面，存在只针对特定数据、面向小场景应用等明显缺陷。同时，在现实大多数应用场景中，需要优先考虑变化漏检率的抑制，并在此基础上提升模型对于错检率的有效判别。但模型应用的效率和精度与实际精细化检测应用需求相比还存在较大差距，特别是以应用驱动的智能化、高可信变化检测成功案例少之甚少。在物联网、云计算、大数据等背景下，遥感变化检测将是一种不断完善社会服务、以需求为导向性质的技术，如何将其真正应用落地（如智慧农业、智慧城市、智慧海洋）是值得认真思考和待解决的问题，而不只是局限于单一算法模型精度的不断提升。

因此，面向高水平的变化检测应用需要重点考虑如下几点：（1）构建面向多源多模态数据的算法模型，提升模型在跨区域、跨要素、跨数据集上的泛化能力与应用水平；（2）打破常规双时相、多时相固定输入及在小数据、小场景上的限制，实现时相域上近实时和长时序、空间域上大范围、大场景的变化检测应用；（3）打通“要素—对象—场景—功能”的变化检测应用，实现复杂场景下“变化检测”到“变化解释”的跨越；（4）将传统意义上的本地单机化检测处理迁移至云计算平台（如Google Earth Engine 等），以有效降低数据存储和计算成本，促使低成本、大尺度、长时序、高性能的“云”变化检测应用成为可能。

5 结论

本文以光学遥感影像变化检测问题为例，回顾了人工智能时代背景下多时相遥感影像变化检测技术的转型和发展趋势。在机器学习的深度参与和影响下，遥感变化检测技术从数据驱动正迈向数据—模型—知识的耦合驱动，从简单的人工特征提取走向智能化的深度特征表达，从样本信息的未充分利用走向更为精准的样本学习与反馈，从简单变化检测任务走向更为复杂的多源、多类、多场景、多时序应用任务。此外，通过深入剖析当前变化检测技术仍面临的来自于数据、模型和应用层面的挑战，重点需突破模型的物理可解释性、泛化及迁移能力、跨数据—跨场景—跨领域应用水平等关键问题。展望未来，多模态遥感变化检测、有效样本学习策略与模型耦合、非监督与监督模型组合、高可信和智能化变化检测服务、云平台变化检测应用等将是今后可关注的重要发展趋势和热点研究主题。

志 谢感谢意大利特伦托大学Lorenzo Bruzzone 教授的意见和建议。感谢研究生谈瑞、赵慧对于相关文献资料的搜集整理工作。