基于U-Net卷积神经网络的遥感影像变化检测方法研究

麻连伟，宁卫远，焦利伟，薛帅栋

(1.河南省地球物理空间信息研究院，河南 郑州 450009； 2.河南省地质物探工程技术研究中心，河南 郑州 450009)

为响应自然资源部关于建立对各类违规或突发问题的实时发现机制，紧紧围绕“实时发现”的总体建设目标，基于人工智能、大数据等先进技术，亟需开展研究一种提高自然资源动态监测效率的方法。现阶段，随着社会和经济的高速发展，不论是自然现象，还是人类活动，时时刻刻都对地球表面产生不断的影响，动态、高效、精确的提取地球表面的变化信息对于生态环境修复和保护、自然资源长效监管、社会经济蓬勃发展，以及各类数据的更新维护，均有非凡的意义[1-2]。然而，在目前的自然资源监管中，比较常规的方法仍是通过人工目视解译，勾画出变化图斑，然后进行后续工作。这些传统方法不仅耗时、耗力，而且满足不了各类违规行为的及时发现，监管总是滞后。因此，注重精度的同时，研究提高变化检测的效率已经迫在眉睫[2]。如今，人工智能、大数据等先进技术随着海量数据的增长、计算机硬件设备的提高，深度学习迅速成为了一种高效且精确的方法，基于深度学习方法进行遥感影像的变化信息提取也成为目前研究的重点方向[3]。

目前遥感影像传统的变化检测技术体系中有两大类比较常用，分别是基于影像直接比对的方法和先分类后对比的方法。基于影像直接比对的方法是利用像素之间的差异性得到变化区域的范围，是在像素这一层级上，不能获得变化像素的属性信息。而且，由于噪声的干扰使得精准范围线的提取成为了难点。先分类后对比的方法是基于对象级的变化信息提取方法，由于这是在对象这一层级上。因此，不仅可以得到变化区域的范围，而且还可以得到该变化区域的属性信息。另外，该方法可以抵抗一定的影像噪声[4]。Hinton等[5]于2006年提出深度学习方法后，沉寂多年的深度学习方法再次因为其优秀的性能为大众所熟知，直至今天一直有学者进行不断的研究，拓展到了各行各业3[6]。随着海量数据的增长和计算机硬件设备的提高，神经网络机器学习方法在遥感影像的像素级变化检测中也有着不俗的表现。徐真等[7]利用卷积神经网络(CNN)对SAR图像进行变化检测，取得了不错的效果。张鑫龙等[8-9]将神经网络机器学习方法引入到了高分辨率遥感影像中，验证了该方法的有效性。李进[10]更加深入的研究了各种深度学习网络模型，如高斯金字塔等，提升了神经网络机器学习方法的变化提取的精度。王庆[11]结合传统方法和深度学习方法，综合两者各自的优势，分别对面向像元、面向对象和面向区域进行了非常细致的研究。

总的来说，这些学者推进先进技术应用到传统领域迈出了坚实的一步，但是大多数研究还停留在理论层面，本文主要是结合实际工程项目，基于深度学习方法，提出一种基于Pytorch深度学习平台实现U-Net神经网络进行遥感影像变化检测的方法，探索深度学习在实际应用中的可行性。本文选择了一种典型的地物—水体进行试验，首先，制作水体样本；其次，对样本数据进行清洗，并以最终清洗后的样本训练出精度较好的水体提取模型；然后，利用该模型对试验区前后时相影像进行水体提取，再通过分类后比较法得到前后时相分类后的遥感影像变化检测结果；最后，通过对比基于支持向量机(SVM)的分类后比较法后发现，相比传统方法精度有所提升，说明本文方法进行变化检测有一定的可用性。

1 U-Net卷积神经网络

Hinton等[5]于2006年发表了利用RBM编码的深层神经网络，在特征提取方面表现优异，它可以通过大数据分析的方法，自动提取影像的代表特征，而传统的特征提取方法大多只能对特定的影像有比较好的提取效果和精度。卷积神经网络结构如图 1所示。卷积神经网络(CNN)是深度学习方法的一种，其权值共享的网络结构明显降低了模型的复杂度，减少了权值数量，可以直接将图片作为网络的输入，自动提取特征，并且对图片的变形具有高度不变形。神经网络的基本组成包括输入层、隐藏层、输出层，卷积神经网络的特点在于隐藏层分为卷积层和池化层，卷积层通过一块块卷积核在原始图像上平移来提取特征[12]。

图1 卷积神经网络结构Fig.1 Structure diagram of CNN

Ronneberger等[6]提出U-Net神经网络模型，从此成为深度学习中非常重要的语义分割模型。U-Net网络结构如图2所示。

图2 U-Net网络结构Fig.2 Structure diagram of U-Net network

它是一个非常对称的结构，类似U形。因此，命名为U-Net。其网络结构由2部分组成：左半部分为下采样和右半部分为上采样。下采样对输入的影像进行卷积和池化操作，主要是用来得到更多的信息。上采样则是为了对图片中所需要分割出来的部分进行精准定位。对影像进行反卷积和上采样操作，最后得到与输入影像尺寸相同的影像输出[13-15]。

2 数据和技术路线

2.1 数据介绍

本文选择泌阳县范围内一块比较有代表性的区域作为试验区，来研究水体变化检测的可行性。其中，泌阳县位于河南省驻马店市西南区域，县域内有平原、丘陵、山地等地貌类型，森林资源、水资源丰富，矿产资源种类多、储量大，其区域情况能够体现河南省整体特征[14]。本文试验采用的数据是2017—2019年的2期多源遥感影像，投影坐标系为高斯—克吕格3度分带，带号为38，分辨率为1 m。试验区域大小均为2 000×3 000像素，如图 3所示。

图3 试验数据展示Fig.3 Image data of test

2.2 技术路线

本文结合实际工程项目，基于深度学习方法，提出一种基于Pytorch深度学习平台实现U-Net神经网络进行遥感影像变化检测的方法。该方法主要有以下6个步骤：配准影像、制作样本、网络训练与试验、数据清洗、分类后变化检测、精度评价。详细的技术路线如图 4所示。

图4 技术路线Fig.4 Technical routes

2.3 制作样本

以泌阳县除试验区以外的其他区域作为水体样本的制作范围，人工勾画标记出水体的位置。勾画完成的标记图经矢量栅格化处理后，标记图中水体的像素值为1，其他值为0，就形成了标记栅格图。为便于质量检查，将水体内像素值为1的映射为蓝色，其他值为0的映射为黑色，检查合格后方可进行小样本的制作。最后，将影像数据与标记图同时分块裁切为512×512像素大小的小样本，方便用于深度学习深度学习训练。

2.4 网络训练与试验

实验基于 Windows 10专业版操作系统配置Pytorch深度学习平台，利用2块显存为24 GB的英伟达显卡并行处理。样本的数据为4 000张小图，宽和高均为512像素，试验过程中，样本进行了数据增强操作。训练过程中，采用2.5×10-4的学习率，每次迭代处理16张图片，共迭代25 000次，以最佳结果保存模型。

2.5 数据清洗

深度学习模型较好的性能取决于样本库的质量。样本库的质量越好，神经网络模型的训练越快、精度越高。本文数据清洗主要针对样本库，思路：①先利用初始未经过清理的样本，训练一个初始模型；②利用该初始模型，对所有的初始未经过清理的样本进行评价；③对评分较低的单个样本，处理方法是直接剔除和修正错误标记；④按照前3步，再重新处理2次，或者继续循环得到理想的结果为止。

2.6 精度评价

为客观公正的评价本文方法的效果，本文采用2种精度评价的指标，分别为总体精度(OA)和卡帕系数(Kappa)。总体精度(OA)是神经网络模型在所有测试集上预测正确的个数与总体数量之间的比值，数学公式如下：

(1)

式中，xii为分类正确的样本数；N为所有样本数。

卡帕系数(Kappa)是评价模型预测结果多大程度上符合真实参考值，数学公式如下：

(2)

式中，N为像元总数；xii为混淆矩阵对角线元素；xi+和x+i分别为混淆矩阵各行、各列的和。

3 提取结果与精度验证

利用数据清洗后的最终样本对U-Net神经网络进行训练，得到最优的模型情况如下：样本训练损失值为0.014、精度为93.7%；同时验证集的损失值为0.017、精度为94.7%。这些数据表明，通过数据清洗后的样本库的质量较好，数据一致性较好；模型的训练也比较充分，基本达到了最优解。

3.1 人工目视分析结果

分别利用支持向量机(SVM)先分类后变化检测方法、本文方法对泌阳县试验区进行变化提取后的结果(图5)可以看出，基于SVM的先分类后比较法的提取结果中，虽然主体的变化信息已经提取出来，但是还有一些地方，比如左上部分存在错提，右下部分存在漏提，而且整体上有比较大的噪声点。通过分析发现，基于SVM的先分类后比较法容易将深色的耕地、林地、阴影等与水体光谱特征相似的区域误提为水体导致误检，而采用深度学习的方法则能够有效避免耕地、林地和其他阴影造成的影响，提取到的水体变化信息范围更精准且没有噪声点。

图5 不同水体变化检测方法结果Fig.5 Result of different methods of water body change detection

3.2 精度评定结果

为便于精度计算，首先利用预测图像和真实值图像计算出混淆矩阵；然后通过混淆矩阵，计算出总体精度和卡帕系数。SVM先分类后变化检测方法，与本文方法精度评定结果见表1。前者总体精度为96.47%，卡帕系数为0.85；本文方法总体精度为97.06%，卡帕系数为0.88。相比传统方法精度有所提升，说明本文方法进行变化检测具有一定的可用性。

表1 2种方法的精度评定结果Tab.1 Result of precision of two methods

4 结论

结合实际工作业务，基于大数据分析与挖掘和人工智能等时下先进的技术，提出了一种基于深度学习的遥感影像变化检测技术，探讨了先进技术在实际应用中的可行性。通过试验结果分析，本文方法相比传统方法精度有所提升，验证了本文方法的有效性。但是，本文方法也存在一些不足之处：①本文方法的试验还不够充分，还需要大量不同季节、不同地形数据的分析验证；②本文方法还有待提高，还有很多优秀的神经网络模型，如Deeplab、PSPNet、SegNet等模型都可以进行试验，这些都可以作为以后的研究方向。