一种基于U-Net的高分影像土地利用/覆盖变化检测方法

李聪毅, 孔祥兵, 杨 娜, 王逸男, 杨刚凤

(1.河南理工大学 测绘与国土信息工程学院, 河南 焦作 454003;2.黄河水利科学研究院 水利部黄土高原水土保持重点实验室, 河南 郑州 450003)

随着QuickBird，IKONOS，国产资源三号，高分一号等一系列高空间分辨率遥感卫星成功发射，使得地物之间的特征分布和空间关联清晰呈现，通过高分辨率遥感影像对地表覆盖变化检测成为一种高效、准确的技术手段[1]。遥感影像的变化检测是通过对同一地理区域在不同时期内获取的两幅(或多幅)影像，结合相关地理数据和遥感成像机理，来确定该区域的地物是否发生变化[2]。针对遥感影像变化检测技术，国内外学者提出了大量算法，如代数法[3]、时间序列分析法[4]、面向对象法[5-6]等。虽然这些模型在土地覆盖/土地利用监测[7-9]、城市扩展[10]、生态系统监测[11-14]、灾害监测等[15]领域得到了广泛的应用，但是随着土地变化速度的加剧，环境复杂性的加深以及遥感数据多样性的增加，传统的模型已经不能很好适应变化检测的需求[16]。

近年来，深度学习以强大的特征提取能力在图像分类、语义分割以及目标检测等领域中取得了巨大的进步。2015年，Long等[17]提出了全卷积神经网络(fully convolutional networks, FCN)，与传统的卷积神经网络(convolutional neural networks, CNN)相比， FCN在经过多层的卷积和池化操作之后，不再使用全连接层构造特征向量来对图像进行预测，而是利用反卷积操作将特征图进行上采样，使得输出的图像与输入图像具有相同的分辨率，从而对图像实现了像素级别的语义分割。虽然FCN网络中使用了短链接的多特征融合，但是在对各个像素进行预测时，没有充分考虑像素之间的空间一致性以及图像全局的上下文信息，因而导致最终得到的预测结果边缘部分模糊，分割精度不足。后续出现的U型神经网络(U-type neural network, U-Net)是在FCN的基础上进行改良的，与FCN中使用的短连接相比，U-Net在解码端采用跳跃连接方式将低维与高维的特征进行融合，从而改善了边缘细节模糊的问题[18]，并且在医学影像分割领域取得了很好的试验效果，然而很少用于高分辨率遥感影像变化检测研究。因此，本文尝试采用U-Net模型对高分辨率遥感影像进行变化检测。

1 试验方法与数据

1.1 U型神经网络

U-Net[18]是在2015年的ISBI Challenge竞赛中由Ronneberge等人提出的一种分割网络，是一种对称的U型结构，网络结构如图1所示。网络左侧的收缩路径是由4个卷积层组成的编码端，每个卷积层都是由2个3×3大小的卷积核堆叠而成，相邻卷积层每次经过大小为2×2的最大池化操作对特征图进行下采样。收缩路径的主要作用是将输入的影像经过多次的卷积及池化操作，提取图像的特征，最终形成高维特征图。右端的扩张路径是由4个上采样层组成的解码结构，上采样过程采用反卷积的方式进行，可以避免特征在传递过程中产生特征丢失的问题。跳跃连接将深层和浅层特征图在波段维度上进行融合，保留了更多的维度位置信息，从而改善了图像边缘细节模糊的问题。

图1 U-Net网络结构示意图

1.2 试验数据

为了验证基于U-Net模型在高分遥感影像变化检测中的可行性，本研究拟采用两种数据集进行分析验证。

数据集1为2016年和2017年两期的河南省禹州市高分一号遥感影像，变化类型主要是土地利用/覆盖的变化，空间分辨率为2 m(图2)。数据集2是一包含大场景、高分辨率的遥感建筑物数据库(WHU building datasets)，本文试验采用的是建筑物的变化检测数据集，数据影像为新西兰Christchurch市，地面分辨率为0.075 m，是由武汉大学的季顺平教授团队[19]在ArcGIS软件中采用全人工方式前后进行了3次的检查与修订，提供了高质量的高分遥感影像变化检测数据集(图3)。

图2 GF-1号遥感影像

图3 Christchurch市航空建筑物数据遥感影像

1.3 试验环境与模型参数设置

本文的试验环境为i7-8700处理器，NVIDIA GeForce GTX1080显卡，16 G内存，GPU加速库采用CUDA-9.2。深度学习框架为PyTorch。由于计算机GPU硬件的限制，并不能直接将影像输入网络中训练，需要对预处理后的遥感影像进行分割，将前后两期影像样本以及变化参考图采用大小为960×960的滑动窗口进行同步分割，以确保影像样本和变化参考图能够一一对应。在训练U-Net模型前首先需要对参数进行设置，参数优化器为Adma函数，学习率(learning rate)用来调整模型的学习进度，初始学习率为1.00×10-4；学习率变化指数(gamma)用来调整学习率的变化速率，本文试验将gamma设置为0.1；当验证集的损失值不再继续降低时，对学习率进行衰减，衰减后的学习率等于初始学习率与学习率变化指数的乘积。模型训练的损失函数采用交叉熵损失函数(categorical cross entropy)，由于发生变化样本数量与未变化的样本数量不平衡，Maxwell等人[20]研究表明，基于深度卷积神经网络的语义分割模型对正负样本的平衡度比较敏感，故需要对其进行加权处理。通过对变化像元和未变化像元的个数进行统计，将其权重设置为1∶9对正负样本进行平衡。

1.4 模型训练与测试

为了增强模型的泛化能力，采用垂直和水平翻转等数据增强的方式对训练样本进行90°，180°，270°旋转。在U型神经网络模型的输入端，将两期三通道的遥感影像叠加形成一幅六通道的遥感影像进行输入，影像在经过网络左侧的收缩路径进行多次的卷积、池化等操作对特征进行提取。为准确的预测每一像素是否发生变化，需要将特征图恢复到输入时图像的大小，因此，在网络的右侧扩张路径通过反卷积操作对特征图进行上采样，并采用softmax分类器对特征图进行预测，最终得到一幅包含变化和未变化的二分类变化检测图。

2 试验结果与分析

为了分析U-Net模型在高分遥感影像变化检测中的有效性，同时使用FCN[17]和SegNet[21]两种模型对两期影像进行变化检测试验并进行对比验证。通过与变化参考图对比统计分析，获取3种变化检测模型试验结果的准确率(precision)、召回率(recall)、漏检率(omission)、F1值(F1-score)等定量的评价指标[22]。其中准确率、召回率、F1值越高，说明检测的效果越好；漏检率越低，则说明检测的效果越好。

定量分析3种模型在禹州市两个植被变化检测验证区域的试验效果。在验证区域1(图4)中，U-Net模型与SegNet和FCN相比在准确率、召回率和F1值均优于其他两种模型，其中准确率、召回率和F1值分别高出5.4%和4.1%，3.6%和13.4%，4.5%和9%。漏检率低出分别低出3.6%和13.4%。在验证区域2(图5)中，U-Net模型与SegNet和FCN两种模型相比，在准确率、召回率以及F1值均高于其他两种模型，其中F1值分别高出10.6%和4.3%，漏检率低于其他两种模型(表1)。以3种模型所检测出来的变化图斑为例(详见图4实线框范围)，SegNet模型试验结果图斑存在边缘细节模糊的问题，FCN模型试验结果图斑具有明显的拼接痕迹，相对来说，U-Net模型检测出来的变化图斑与变化参考图较为接近；然而3种模型都未能将道路检测出来(见图4虚线框范围)。在验证区域2中，3种模型都存在错检的情况(图5)，相比之下，SegNet模型与FCN模型都存在较大面积的错检，U-Net模型的错检面积较小，得到的变化检测图也与变化参考图更加接近。

表1 禹州市验证区域变化检测结果对比

图4 禹州市验证区域1的变化检测结果

图5 禹州市验证区域2的变化检测结果

在Christchurch市的建筑物变化检测试验中，FCN和SegNet两种模型依旧存在上述描述的缺点，U-Net模型检测出来的建筑物的边缘轮廓较为清晰并且和变化参考图更加接近(图6)，并且U-Net模型在各项精度指标上均优于其他两种模型(详见表2)，这里不再做过多的赘述。

表2 Christchurch市区域1的变化检测结果精度对比

图6 Christchurch市验证区域1的变化检测结果

总体而言，U-Net模型检测的变化图斑轮廓信息较为完整，漏检图斑和错检图斑较少，与变化参考图更加接近。U-Net模型之所以优于其他两种模型，主要原因有以下两点： ①FCN模型在上采样过程中，直接对尺寸小的特征图进行反卷积操作扩大尺寸，而U-Net模型则是对特征图进行多组卷积操作，一方面可以将不同层次的特征图进行更好地融合，另一方面也加深了模型的深度，使得模型可以学习到深层复杂的特征； ②U-Net模型采用跳跃连接的方式将浅层特征和深层特征在波段维度上进行拼接，保证最终的特征图尽可能多的包含原始输入影像各个尺度的特征。因此，U-Net模型在变化检测试验中的检测精度优于其他两种模型。

3 结 论

本文将U-Net模型应用到高分辨率遥感影像变化检测，实现了对两期影像变化区域的自动提取。试验结果表明，基于U-Net模型的高分辨率遥感影像的变化检测结果在漏检率、F1值等定量评价指标上具有较好表现。但是，仅考虑像元辐射信息和相邻像元空间纹理等特征来判断是否发生变化是不全面的，变化检测结果会受到季节、光照等因素影响。因此，高分辨率遥感影像变化检测研究中，如何利用深度学习模型提取有效的地物特征、减少伪变化并提高变化检测的精度，是今后研究的主要方向。