基于UNet的差值影像变化检测试验与分析

汤富平，吴臻涵,2，蔡东燕，唐 伟

（1.浙江省测绘科学技术研究院，浙江 杭州 310023；2.武汉大学 遥感信息工程学院，湖北 武汉 430079）

随着我国城镇化进程的不断推进，土地利用情况的更新速度也不断加快，如何快速准确地将地类变化从影像中检测出来并做出相应处理，成为土地资源调查监测任务中的重要问题[1-2]。基于遥感影像的变化发现产品也成为大家研究的热点[3]。像元级别的变化检测是利用多时相遥感影像进行变化检测任务中最早使用的方法[4]。CVA[5]变化检测法是对变化矢量的分析，分别对前后影像进行辐射亮度定标，得到前后时相的表观反射率影像；再对前后时相影像进行配准，使影像中的像元位置一一对应；然后计算每个像元对在各波段上的差异，得到差异图；由于发生变化区域的地类变化，各波段的反射率也相应变化，通过对差异图进行处理，即可提取变化区域[6]。提取变化区域的过程通常是一个阈值确定的过程，通过对比多种方法，确定最佳阈值，将变化大于阈值的区域记为变化区域[7]。季顺平[8]等将自然地物和人工地物视为背景，将阴影视为检测目标，很好地实现了建筑物的阴影检测，再利用阴影补偿法来检测建筑物的变化。赵秋菊[9]提出了一种对主成分分析进行改进的遥感自动变化检测算法，利用多实相多光谱影像进行标准化和主成分变换，以一倍标准差为变化阈值，自动确定变化区域，大大提高了遥感变化检测的精度。上述方法均通过优化手段取得了较好的效果，因此本文尝试将深度学习神经网络方法引入像元级别的变化检测中，利用深度学习方法对差异图像进行处理，对仅依赖阈值的差异图提取变化区域过程进行优化，以期提高差值影像变化检测精度。

1 研究方法与数据来源

1.1 研究方法

CVA变化检测法[10]是经典的像元级别的直接比较的变化检测方式之一。将校正配准后的两张影像相减，每组像元对应波段的灰度值相减均可得到一个差异向量，所有像元的差异向量共同组成差异影像，再通过确定合适的阈值，将变化区域从差异图中提取出来。阈值提取方法包括大津阈值法、迭代阈值法等。

直接对变化区域进行检测的方法，在影像分割任务中属于二分类[11]，由于变化区域在整体影像范围内通常为少数区域，因此训练样本中必然存在一定的样本不平衡现象。继续使用正确率作为样本训练的评价指标在样本不平衡情况下有一定的局限性，特别是在二分类问题中，当样本的不平衡问题较严重时，模型会一直倾向于将所有类别分入样本较多的类别中，导致模型训练失败。因此，需要引入新的评价指标作为模型训练的监视指标，并应用于模型的最终评价。在二分类任务中，通过模型预测得到的分类影像中每个像元的状态均可分入以下4类：实际发生了变化，算法也认为发生了变化（TP）；实际发生了变化，算法认为未发生变化（FN）；实际未发生变化，算法认为发生了变化（FP）；实际未发生变化，算法也认为未发生变化（TN）。其中，TP和TN是判断正确的内容，在变化发现的算法优化中，应提升TP和TN，降低FN和FP。为了确保所有变化均被发现，在优化各项指标的目标下，降低FN更为重要。

对于模型的预测结果有以下定义：查准率P和查全率R均可在一定程度上反映模型检测变化区域的能力，为平衡二者关系引入模型评价指标F1_score。

F1_score能很好地表现样本不平衡状态下目标的被检出情况，在模型评价过程中使用F1_score比正确率更合理[12]。本文利用宏平均Fmar和加权平均Fw对整体分类结果进行评价，设在样本集中权重为ωi的i类样本对应的F1_score为F1i_score，则Fmar与Fw的定义为：

损失函数用于衡量预测结果与真实结果的差异程度。深度学习的模型训练过程，就是损失函数通过误差反向传播调整参数，经过梯度下降损失函数达到最小，使得模型达到最优的过程。因此，是否能真实反映预测结果与目标的差异是选择损失函数的核心问题。

对变化检测任务进行具体分析，以查准率与查全率为基础，重新定义符合模型使用实际的损失函数。对查准率和查全率的公式进行分析，由于在二分类问题中FN与FP之间有一定的负相关性，因此查准率与查全率通常无法同时增加，而是一增一减。为平衡二者关系，本文引入F-Measure作为综合指标。

α用于调节查准率与查全率之间的侧重关系，α∈(0，1]，α越小，R对F-Measure的影响越大；当α=0.5时，F-Measure为分类任务中最常用的指标之一（F1_score）。由于变化检测试验中希望尽量多地检出变化区域，即需更侧重R，因此结合Loss函数的工作原理，自定义加权损失函数可设计为：

1.2 实验数据与预处理

本文采用的数据为由2013年和2016年浙江省嘉兴市秀洲区土地利用年度更新库制作的变化检测样本库。该样本库包含18张大小为3 600×3 600的7波段tiff格式数据，影像的1、2、3波段对应2013年影像数据的R、G、B波段；4、5、6波段对应2016年影像数据的R、G、B波段；第7波段为标记数据集，该波段未变化区域灰度值为0，变化区域灰度值为1。

本文对样本库中的数据进行预处理，利用ArcGIS的波段计算工具将第4波段与第1波段相减，第5波段与第2波段相减，第6波段与第3波段相减，并将3组波段相减结果绝对值化；再利用波段融合工具将3个绝对值化后的结果融合为一张3波段影像，将第7波段影像单独输出，作为标记label。RGB对应波段相减绝对值化后的差异图（相减后结果输入对应通道）如图1a所示，对应变化标注影像如图1b所示。依次处理所有样本集数据，获得18组差值影像和对应的标注影像。

图1 差异图与对应标注影像

2 实验结果与分析

基于U型神经网络（UNet）的变化检测方法设置模型Loss函数中α=0.25，采用步长为400的滑窗，依次读入训练集中13张用于训练的大范围影像和4张用于验证的大范围影像，共生成1 377张小范围影像；再对读入的小范围影像集进行镜像翻转、100像素内任意方向平移、30°内任意角度旋转、扭曲、加噪等样本增强操作，共得到6 885张大小为400×400的小范围影像；然后将6 885张影像顺序打乱排列，取前5 265张组成训练数据集，剩余的1 620张组成验证数据集，将制作好的训练集数据读入模型进行训练；最后通过两次手工调整将学习率从0.01调整到0.005再到0.001，分3次进行网络训练，得到最优模型参数。

CVA变化检测法计算3波段差异图中每个像元对应的差异矢量的欧式距离，整合得到一张差异影像；再对13张训练集中差异影像的灰度值进行统计分析，将全局阈值设为80，根据该阈值得到检测结果；最后对检测结果进行去噪，并过滤碎图斑，得到CVA变化检测结果。两种方法的检测结果如表1、2和图2所示，可以看出，虽然CVA变化检测法的准确率达到了89%与基于UNet的变化检测方法差距较小，但其F1_score仅有0.25，不到基于UNet的变化检测方法的一半，说明CVA变化检测方法的效果远不如基于UNet的变化检测方法；且在样本不平衡的情况下，相较于传统的正确率指标，F1_score对于模型的评价更加符合实际。

表1 基于UNet的变化检测方法精度评价表

表2 CVA变化检测法精度评价表

图2 测试样本变化检测结果

分析两种方法的变化检测结果发现，由于CVA变化检测法是纯粹的针对单个像元的检测方式，完全忽略像元的邻域关系，因此其对块状变化区域的检测通常不完整且易分裂为多个小块和散在像元，在生产实践中需要大量工作将栅格影像转化为可使用的矢量文件；而基于UNet的变化检测方法由于采用卷积运算和逐层融合特征图的上采样，模型学习到邻域内像元包含的信息，对于包含局部信息的块状区域的检测效果明显优于CVA变化检测法，矢量化工作更加简单。

综上所述，结合二者的工作原理，将深度学习方法应用于差异图提取变化区域具有以下优势：

1）对于变化区域的识别能力更强。如图3所示，受水体颜色影响，绿色水体与植被地面的差异不足以通过CVA变化检测方法的阈值筛选出来，像元级别的差异计算方式无法结合边界信息，将没有明显差异的变化区域整体提取出来；同时由于路面与植被区域在波段间的差异较大，道路可被很好地提取出来。基于UNet的变化检测方法受样本制约较大，该试验方案在样本制作阶段没有使用常规的手工标记样本，而是使用土地利用现状数据库。实际情况下，仅有级别道路会被记录为道路，建设用地、草地、林地等内部道路不会记录为道路，因此道路样本与实际差异很大，检测能力不足。通过卷积与池化输入一个邻域内的信息可结合像元的上下文进行分析，同时由于引入逐级浅层特征图进入上采样过程，对于边界等浅层特征，基于UNet的变化检测方法也有较好的识别能力，可较好地检测出波段差异不大、但明显有边界变化的区域，且保留一定的整体性。

图3 变化区域识别能力对比

2）对于配准等导致的边界差异有一定的容错能力。如图4所示，由于不同年度影像在飞行高度、飞行时间等方面都可能存在差异，即使是经过地形校正的数字正射影像在相互配准的过程中也有可能因为阴影位置变化，而导致房屋等具有一定高度的地物边界产生一定的偏移。阴影区域影像包含信息少亮度较暗，而未被阴影覆盖的区域亮度正常，与阴影部分有较大差异。CVA变化检测法的检测结果中存在大量由于位置偏移和阴影问题导致的伪变化，且这类伪变化区域很难在去除碎面的过程中被去除。基于UNet的变化检测方法对纹理信息具有一定的识别能力，且由于采用了卷积层和池化层，对于散在的小范围噪声有一定的过滤作用。

图4 边界伪变化过滤能力对比

3）对于水田的季节性变化具有一定的适应性。如图5所示，农田是影像中最常见的地物类型之一，种植在不同时间可能表现出较大的色彩差异，但边界形态差异较小。由于CVA变化检测法仅基于阈值对差异图中的变化矢量进行过滤，在需要确保道路、水体等新增变化被检测出来的前提下，若植被的季节性变化过大则很难被单独过滤。在基于UNet的变化检测方法的样本制作过程中，获取土地利用地图后，水田为单独地类，很容易被单独提取。将水田区域（形态变化小）和易与水田变化混淆的新增水体（边界形态有较大差异）样本添加到训练样本中，制作包含该类情况的输入训练集，依赖深度学习模型强大的学习能力可对农田的季节性变化具有一定的适应性。虽然水渠等变化检测性能有所下降，但模型对种植区的季节性变化有一定的适应性。

图5 季节性伪变化过滤能力对比

3 结语

相较于基础的CVA变化检测法，基于UNet的变化检测方法对差异图进行变化区域提取具有明显优势，检测能力更强且对于各类伪变化具有一定的包容力。然而，利用深度学习方法对差异图进行变化区域提取也存在一些问题：

1）模型精度不足。在模型训练过程中，虽经过两次手动调节学习率，以期获得更小的Loss值，得到最佳模型，实际最终的模型的正确率为0.95，但对于变化类别的F1_score仅有0.65，距离实际应用还有较大差距。

2）检出图斑的连通性不足。检出的连续变化区域常为一系列碎图斑，在连续道路图斑中表现明显，且区域边缘噪声严重、精度不足。

总体来说，基于UNet的变化检测方法在差异图变化区域检测中较传统阈值方法具有明显优势，但在精准度和图斑连续性方面仍有较多问题需要解决，需通过各种方式提升模型检测精度，改善变化图斑的整体性。由于差异图的制作过程是一个像元级别的操作，丢失了大量邻域信息，且噪声点信息在经过差异图处理后干扰性可能反而增加。