基于半监督学习的遥感影像变化检测研究综述

唐天俊，王铜川

（1. 重庆开放大学城市建设工程学院，重庆 401520；2. 重庆市地理信息和遥感应用中心，重庆 401121）

0 引言

随着工业化和城镇化的加速，遥感影像变化检测已成为众多学者研究高地。目前，遥感影像变化检测技术已广泛应用于土地覆盖与土地利用制图、生态系统监测、城市扩张监测、灾害评估等领域［1］。例如，利用遥感影像检测建筑物变化可为城镇规划提供基础数据，同时能监测城镇化进程，为土地资源分析提供支持。城镇化的加速推进使人们对建筑物变化识别的准确性及高效性提出了更高的需求。因此，理想的变化检测模型能在特定的应用场景下检测出感兴趣的地物变化，同时具备抵抗高分辨率遥感影像中冗余变化的能力，如建筑物阴影遮蔽、高光谱变异性以及多尺度等。

在过去，传统的变化检测主要分为基于像素的变化检测以及基于对象的变化检测。基于像素的方法通过逐像素比较生成差异图，然后以经验阈值提取变化信息，但该方法易受到影像几何校正和辐射校正的影响。基于对象的方法包含了相同物体像素间丰富的属性关系，可平滑地理目标范围的小变化，减少了高光谱变异性和错配的伪变化，但该方法易受地物的复杂性影响。此外，基于像素及对象的方法受制于阈值及特征的选择，精度依赖于人工干预。

变化检测在深度学习（deep learning, DL）赋能下，取得了丰硕的成果。基于DL 的方法可从大量的标注数据中学习特征，显著降低对专家领域知识的需求［2］。此外，基于DL 的方法由于其出色的特征提取能力，提供了对复杂场景的更好理解，性能远超过传统方法。然而，以往基于深度学习的变化检测研究中主要集中于全监督变化检测框架，基于全监督框架的性能释放依赖大量的精确标注的影像对训练。但构建变化检测数据集需要人工判读影像对的差异，识别出细微的变化区域，用不同的像素填充变化及不变化的区域。此外高分辨率遥感影像的图像分辨率的提升，使得人工标记变化像元更加困难。在一定程度上限制了全监督学习方法的准确性及应用推广。

为了克服人工标注成本的局限性，众多学者集思广益，通过数据增强扩充样本数量，提高监督模型的准确性，但其变化始终是原始图像的变化，模型在测试集上仍可能表现不佳，并未解决全监督模型对大量标签的依赖。由此，半监督学习框架给出了较好的解决方案，半监督学习原理是利用少量的标记数据与大量的未标记的数据进行模型训练，提高模型的鲁棒性，这一点与遥感影像变化检测契合，未标记的遥感影像容易获取。因此，本文以基于深度学习的无监督、全监督框架作为引入，重点综述半监督学习框架在变化检测研究中取得的成果，展望未来半监督变化检测研究趋势，为变化检测研究者提供一定的参考。

1 无监督框架

非监督框架无需先验的样本标签信息，能直接对多时相遥感影像进行变化检测。该框架在非监督情况下从影像块中学习特征表示，生成包含影像关键信息的特征图，对特征图进行融合处理，结合距离度量和阈值分割算法，获得最终的变化检测结果，其检测流程如图1所示。

图1 无监督框架检测流程

在无监督变化检测研究中，Su 等［3］提出了一种面向三元变化检测的无监督学习框架。该方法以去噪自编码器（SAE）提取特征影像对特征；在选择相关样本后，通过堆叠映射网络生成映射函数，建立每个类别特征之间的关系，最后通过特征比较及聚类生成最终的变化图。为了实现更精确的无监督三元变化检测，Gong等［4］结合了SAE、CNN和无监督聚类算法，利用SAE 将差异图像转换为特征空间，去除噪声并提取关键变化信息，并以此特征图进行无监督聚类，为CNN 提供可靠的伪标签。Lyu等［5］提出了一种基于堆叠收缩自编码器的特征学习方法。该方法以三种不同的损失函数构建关联的时序变化图像，从而提供更多像素级时序差异信息。Gong 等［6］开发了一种用于多光谱影像变化检测的生成判别分类网络（GDCN）。DCN将输入数据划分为变化类、不变类和伪变化类，生成器通过输入噪声恢复真实数据，为训练提供额外的样本，以双时相多光谱影像输入DCN，生成可靠的最终变化图。

2 全监督框架

在充足的标签数据情况下，相较于非监督学习框架，监督学习框架能通过孪生神经网络充分提取标注影像对变化区域及非变化区域的差异特征，随后利用神经网络输出像素级变化概率图，以概率图生成变化图，提供更准确的变化检测结果，其检测流程如图2所示。

图2 全监督框架检测流程

在全监督变化检测框架下，Jaturapitpornchai等［7］提出了一种基于U-Net 网络的变化检测方法，利用不同时序的两幅合成孔径雷达影像来检测新建筑物建设。随后，一些研究对U-Net架构进行了改进。Peng 等［8］提出了一种改进的UNet++架构，用于高分辨率卫星影像的端到端变化检测，该架构通过在不同层之间建立密集的跳跃连接来学习多尺度特征图，并采用残差块策略约束网络的梯度收敛。Daudt 等［9］提出了一种基于深度全卷积神经网络的集成网络，可以同时实现土地覆盖识别和变化检测，并利用土地覆盖识别分支的信息辅助变化检测。Zhang等［10］提出了一种光谱-空间联合学习网络，通过类似于Siamese CNN 的网络获得光谱-空间联合特征表示。此外，Liu等［11］通过将CNN和双向长短时记忆网络（Bi-LSTM）结合到一个统一的架构中，展示了CNN 和Bi-LSTM 在变化检测中的互补性。

3 半监督框架

尽管非监督学习框架无需标注数据，可直接提取特征进行变化检测，但特征提取过程约束较少，导致非监督学习变化检测任务的鲁棒性较差。此外，获取大量的标注数据时间成本较高，尤其是遥感影像变化检测数据标注需要比对两图像的像素级差异，在一定程度上限制了监督学习模型的泛化能力。为了克服上述劣势，基于稀疏标签样本训练的半监督模型出现，半监督模型由监督部分与未监督部分组成，监督部分通过利用少量标注数据预训练模型，未监督部分通过特征扰动、生成对抗网络等无监督策略，充分利用大量的未标记的双时相的数据信息，最后利用损失函数约束预训练模型与无监督训练模型结果保持一致，从而提升稀疏标注数据训练下模型的泛化能力，其检测流程如图3所示。

图3 半监督框架检测流程

半监督框架在一定程度上缓解了变化检测方法对标注数据的依赖，其充分利用大量未标注数据的能力，与遥感影像大数据趋势的当下契合（未标注数据易获得）。Bovolo 等［12］利用定义的二进制半监督支持向量机（S3VM）分类器，提出了一种针对多光谱RS 图像的半监督变化检测方法，其中逐步考虑了未标记数据，以定义变化和未变化像素之间的决策边界。后来，Chen 等［13］通过高斯过程（GP）分类器和马尔可夫随机场（MRF）模型提出了一种半监督变化检测方法。使用概率GP 分类器对标记和未标记的数据进行利用。为了克服GP 分类器的不足，充分利用空间上下文信息，引入边缘信息和高阶势，采用MRF 正则化方法。此外，Ghosh 等［14］提出了一种基于自组织特征映射（SOFM）的半监督变化检测方法，该方法仅利用少量标记数据初始化SOFM网络，然后利用模糊集理论确定未标记数据的隶属度值。除了上述方法外，Yuan 等［15］还将度量学习引入到半监督变化检测中，该方法首先学习适当的距离度量，使无变化类像素彼此紧密映射，而变化类像素尽可能地分开映射，然后，通过拉普拉斯正则化框架将未标记的数据合并到半监督变化检测问题中。Zhang等［16］在KISS 度量学习的基础上，提出了一种针对多光谱图像的从粗到细的半监督变化检测方法。该方法提高了易训练样本的贡献率，同时削弱了难训练样本的贡献率；此外，结合度量学习和邻域标签信息，在测试样本上应用了从粗到细的策略。

值得注意的是，GAN 能够学习训练样本的特征分布，在监督学习和半监督学习方面都取得了巨大成功。在半监督变化检测方面，GAN也得到了广泛应用。Gong 等［17］提出了一种用于多光谱图像CD 的生成式判别分类网络。由随机噪声生成的假数据作为额外的训练样本，而未标记的数据则用于估计适当的先验信息，从而提高了判别器的性能；然而，在该方法中的斑块大小很难定义；此外，对于场景复杂的高分辨率遥感图像，仅从随机噪声中生成假数据是相当困难的。Liu 等［18］首次提出了一种半监督变化检测的GAN 图模型。该模型将GAN的半监督图学习应用到生成的图中，利用标记节点的先验知识给每个节点一个特定的标签，由此获得变化图。

4 结语

为有效利用未标记数据的信息，现有的半监督变化检测方法主要通过半监督分类器、度量学习及生成对抗网络三种方法来实现。然而，大多数研究由单个影像对开展，而少有研究集中于影像群，而图像群将更有利于大规模的实际应用。此外，目前半监督变化检测框架实现具有一定的复杂性，不利于工程项目中的广泛应用。在上述总结和分析中，笔者归纳出部分未来半监督变化检测框架值得研究的研究方向。①一致性正则化半监督学习框架：通过一致性损失强制强增强影像输出标签与弱增强后影像输出标签数据一致，以提高模型对高分辨率伪变化识别的鲁棒性。②小样本学习：除了半监督学习框架，还有Few-shot、One-shot 和自监督学习，这些方法将为遥感影像变化检测开辟新的研究视角。