基于深度学习和超像元分割的遥感影像变化检测方法研究

张荣卉

（1.安徽省基础测绘信息中心，安徽 合肥 230031；2.自然资源安徽省卫星应用技术中心，安徽 合肥 230031）

现阶段，卫星遥感影像分辨率不断提高，与中低分辨率遥感影像变化检测相比，虽然高分辨率遥感影像呈现了更多的细节信息，但是变化和未变化区域之间的可分性降低、提取难度反而提高。在遥感数据源增多、遥感影像空间分辨率提高以及地物细节丰富的前提下，传统的基于遥感影像的变化检测主要对不同时期影像的监督分类结果进行分析，不仅需要利用繁重的人工目视解译工作，还不能保证变化检测精度。深度学习技术可以从海量数据中自动学习特征，适应遥感影像变化的不同情况，因此，在遥感影像变化检测中得到越来越广泛的应用[3]。超像元分割是图像处理的一种方法，本质上是指对一些颜色、纹理或梯度等特征像素进行局部聚类的过程。将超像元分割技术用于优化深度学习变化检测方法[1-2]，使其基于神经网络的像素预测和基于对象级的约束，能够使变化检测结果更合理[7]。

1 数据源概况

安徽省地貌以平原、丘陵和低山为主，坡地面积较大，地物细节丰富，在遥感影像上表现极为复杂。该文制作变化检测样本的数据源分别是2020年四季度和2021年四季度、分辨率为2m的安徽省影像统筹季度一版图两期影像以及各自对应时相的矢量数据。对全省范围内随机选取的部分区县级影像进行人工绘制参考矢量，通过前后时相两期影像的叠加对比，标注新增建设用地图斑，从而制作变化样本集。针对地物类型主要为道路、建筑物和推填土等建设用地。

2 研究方法

该文研究基于全卷积神经网络的的变化检测方法，通过深度学习样本训练技术获得最优的训练模型，从而实现遥感影像变化信息自动提取。同时，在深度学习模型训练的基础上[4-5]，基于分割对象提取两期影像上的光谱、纹理和上下文特征差异，结合语义特征，提取两期影像的变化置信度，最终获得两期影像的变化图斑和对应变化矢量。

2.1 基于深度学习的模型训练

模型训练是一个参数调整的过程，可以通过增加样本训练迭代得到符合精度要求的模型，也可以通过人工参数调整优化模型。模型训练包括模型训练以及模型测试2个部分内容。首先利用已有的样本数据进行模型训练，得到初始模型。如果初始模型测试达到理想的精度指标，那么该模型可以作为最终模型；如果模型精度未能达标，那么需要调整参数，进一步进行模型训练。通过增加样本数据可以进一步提升模型精度，参数调整与新增样本训练可以交替或同步进行。具体流程如图1所示。

图1 模型训练流程

2.1.1 样本制作

利用安徽省影像统筹季度一版图数据及其矢量成果，基于前后时相影像及其标签数据，制作样本数据集[6]。数据准备具体步骤如下：1）找到不同时相影像Img1（前时相影像）、影像Img2（后时相影像）。2）叠加对应的新、老地表覆盖矢量M1、M2。3）通过更新后的矢量图斑与叠加影像的目视判断，修正错误，补测遗漏的图斑。4）将变化图斑单独存为一个矢量数据Mc。5）Img1、Img2、Mc保存，为变化图斑的样本制作的输入数据。其次，样本裁切[9]。裁切后的变化样本，包括前时相影像的样本影像、后时相影像的样本影像以及对应的变化标注数据，如图2所示。

图2 变化样本

2.1.2 网络模型设计

传统的卷积神经网络（CNN）主要用于图像级分类，即判断该图像的内容属于哪一类。遥感影像的变化检测最终的结果是对影像进行像素级的二分类。该文的网络模型选用的是满足像素级别分类要求的全卷积神经网络（FCN），与经典的CNN分类网络最大的不同点如下：最后一层不是向量输出，而是对输出的特征图进行上采样[8]。经过上采样后，得到原始尺寸的逐像素的分类预测图。输入图像可以是任意尺寸的，同时根据输入图像的尺寸，网络输出结果的尺寸也与输入图像的尺寸保持一致，因此，可以对图像进行像素级的概率预测，同时保留原始输入图像的空间信息。上采样的形式很多，例如线性插值、反卷积等。FCN的上采样主要是运用反卷积。如图3所示，反卷积先通过补0（虚线元素值为0）扩大输入图像的尺寸，然后通过卷积核进行卷积。通过反卷积操作，图像由原来的2×2像素变成4×4像素的图像，从而实现上采样。

图3 反卷积示意图

2.1.3 模型训练

全卷积神经网络FCN模型训练的过程，就是参数调节的过程，主要参数包括以下3种。

2.1.3.1 学习率

学习率是训练过程中的重要参数，但是对其设置一定要合理。较高的学习率有助于缩短训练时间，减少反馈环路，可以较快地预判网络模型是否可行，虽然网络模型能够更快地收敛，但是结果可能不会特别理想，甚至会有较大振荡。

2.1.3.2 批尺寸

批尺寸是模型训练时一次输入的样本数，同样也有数量的设置限制。对较大样本进行批处理，例如使用整个数据集，减少了梯度更新的方差，可以使每轮迭代的结果更精确。但是，这个方法受到物理内存大小限制。对较小样本的批处理来说，例如使用1个样本，能够获取更细粒度的权重以更新反馈，但是却不容易收敛。

2.1.3.3 随机失活

随机失活是将多个模型的结果组合在一起，但不需要对多个模型分别进行训练。具体做法是训练多隐层网络，对每个隐层的神经元进行一定的概率失活，这样每次形成不同激活的由神经元的组成的网络，相当于多个网络的组合。本质上，每次迭代都是对随机挑选特征空间的子集进行训练。

2.1.4 模型测试

模型测试即模型精度评价。基于评价指标不断进行模型训练及参数调整。如果总体测试精度不理想，就进行进一步迭代；如果总体精度满足实际需求，就可以获得目标网络模型，不需要再进行参数调优；当有新的样本时，可以通过补充样本进行模型训练，进一步提高模型精度。该文在计算模型精度的过程中采用的评价指标为查全率和正确率。基于模型提取的每个变化图斑，面积>200个像素的计算方法如下：查全率=真值图斑与检测图斑有交集的个数/真值图斑的个数；正确率=检测图斑与真值图斑有交集的个数/检测图斑的个数。其中，真值图斑是指人工目视变化检测结果（图斑），检测图斑是指模型智能变化检测结果（图斑）。

2.2 基于超像元分割对变化检测结果的优化

超像元是一些具有相似特征（例如颜色、纹理和类别等特征）像素的集合，形成一个更具代表性的基本处理单元。超像元算法的主要作用是优化深度学习变化检测方法的结果。目前，常用的超像素分割算法有SLIC、SEEDS和LSC。该文选用了简单的线性迭代聚类（SLIC）超像元算法，将图像中的像素点聚类超像元中，以满足空间和亮度上的约束。与其他几种算法相比，其运行速度更快、物体轮廓保持度和超像元紧凑度较高。基于SLIC超像元算法设计了基于超像元分割对变化检测结果优化的方法，具体内容如下：1）输入。前后两期高分辨率遥感影像X1和X2，变化检测初始结果为Y。2）输出。最终变化检测结果Y'。3）实现过程。首先，对X1，X2使用SLIC算法进行超像元分割，得到图像集O=（o1，o2，…，om），oi=（oi1，oi2），oit表示第t个时相影像在i的分割尺度下的分割影像，m为分割尺度数量。其次，对应oit中各像元区域，根据变化检测初始结果Y统计该区域变化与未变化的像素数，采用赢者通吃的原则将该区域全部赋予数量多的类别。对所有O进行以上操作，得到结果Yo=（Y1o，Y2o，…，Ymo），其中，Yio=（Yi1，Yi2）；最后，将得到Yo的按t维堆叠，得到t×m的结果，对每个像素对应t个时期m种尺度的变化和未变化数量，根据举手表决，以数量多的类别作为该像素的最终变化检测结果，得到最终的变化结果Y'。

3 试验结果

该文选取安徽省涡阳县、包河区和怀宁县3个地区作为变化检测模型的测试区域，其中，涡阳县位于安徽省北部，地形特征为平原；包河区位于安徽省中部，地形特征为平原；怀宁县位于安徽省南部，地形特征为山地丘陵。针对建设用地变化目标，分别对3个地区的前后时相影像提取变化图斑。模型测试结果见表1。

表1 模型测试结果统计（影像分辨率为2.0m）

通过测试可以看出，针对建设用地类型的变化图斑，模型的查全率优于90%，正确率优于50%。3个地区的变化提取效果分别如图4（a）～图4（c）所示，黄色区域为人工提取变化图斑情况，红色区域为变化检测模型效果。

图4 前后时相影像变化提取效果示意图

4 结语

该文通过构建遥感影像样本库和基于深度学习的模型训练技术，获取适用于建设用地自动提取的变化检测模型，自动提取了多时相遥感影像变化信息，为提升遥感影像的智能化解译能力，做出了积极地探索和实践。