基于深度学习和高分辨率遥感影像的露天矿地物分类方法

宋仁忠，郑慧玉，王党朝，尚 志，王兴娟，张成业，李 军

(1.神华北电胜利能源有限公司，内蒙古 锡林浩特 026015；2.中国矿业大学(北京)地球科学与测绘工程学院，北京 100083)

0 引 言

矿产资源是十分重要的自然资源，矿区开采促进了区域经济发展，但也会造成地表景观发生改变[1]。随着时间的推移以及开采力度的加大，正常土地利用格局会发生改变，同时也进一步对生态环境造成影响[2-3]。在露天矿开采过程中，由于其土地利用类型较为特殊，地表会产生很大的变化，改变原区域的土地利用类型[4]，因此对露天矿区各地物土地利用变化的监测是行业关注的重点问题[5-6]。

目前部分研究者利用露天矿区的遥感影像数据，通过不同的方法进行土地利用类型分类的应用研究仍在发展。董佰山等[7]对面向对象的SVM分类和基于像素的SVM分类法进行对比研究，表明前者能有效对矿区土地利用进行精度分类，但是SVM算法对大规模遥感图像分类难以实施；高文龙等[8]研究比较不同的分类方法，结果得出随机森林法的分类精度更高，但是在某些噪音较大的分类或回归问题上效果不太理想；蔡来良等[9]对矿区点云数据进行自动分类研究，可对研究数据进行快速分类识别地物类型，进行精细分析，但是该研究需要进行彩色三维激光扫描，并提前进行扫描工作，还要考虑扫描仪测量的精度问题。

基于深度学习的遥感影像分类逐渐应用到各个领域，通过自动学习原始数据中的特征及规律能够准确识别“同物异谱，异物同谱”型的地物[10-11]。LECUN等[12]对卷积神经网络开展研究工作，但是当时对海量遥感影像数据的应用效果并不理想。LONG等[13]提出了全卷积神经网络(FCN)的概念，实现了逐像素分类的方法，这也为深度学习解决图像的语义分割问题奠定基础。在遥感领域，FCN被广泛应用于目标检测、影像分类和信息提取中。随后U-Net模型[14]、SegNet模型、DeepLab模型、PSPNet模型等语义分割的网络模型开始不断发展，语义分割网络在遥感地物分类中的应用研究也逐渐增多。李帅[15]构建具有高精度的农田识别与分类的应用系统，有效地提高了对研究区的分类精度，但是仍然存在些许不足。MAGGIORI等[16]构建了一种基于FCN的遥感图像分类框架，实现了高分辨率遥感影像的逐像素密集分类。刘倩等[17]提出一种顾及空间信息与FCN的高分辨率遥感影像分类方法，改善了空间信息缺乏和特征信息提取困难等情况。王协等[18]提出了一种神经网络模型，基于多尺度学习进行研究分析，表明该方法的分类精度与传统方法相比更高。李文斌等[19]利用图像底层特征制作像素级标签完成FCN模型训练，克服了背景复杂和目标尺度变化大等问题。通过上述研究可以看出，高分辨率遥感数据在很多领域都发挥了重要的作用。将高分辨率影像中的各种地物特征信息相结合研究分类情况，在有效提高分类精度的同时，分类后的图像也包含更多的信息[20]。与传统的分类方法相比，基于深度学习的方法，有利于提高矿区土地利用分类的精度[21]。但是目前对于露天矿区地物的分类研究方法还难以有效利用高分辨率影像数据的优势[22]，并且当前阶段鲜有将深度学习应用于露天矿区高分辨率遥感影像开展土地利用识别工作中。

本文基于高分二号遥感影像的露天矿区数据，采用U-Net模型对露天矿区进行分类研究。首先建立不同的矿区类别样本库，构建U-Net模型的训练集、验证集以及测试集，进行地物特征信息提取；然后对不同的样本数据进行训练，优化网络模型的精度，训练出最优的模型；最后对露天矿区土地利用进行分类研究，并且对模型识别的结果进行精度评价。本文采用的方法可以适用于不同的露天矿区高分辨率遥感影像数据的自动识别与分类。

1 数 据

1.1 地物类型分类数据

本文露天矿区遥感影像数据来源于高分二号影像，其地理坐标系为WGS84坐标，全色影像分辨率为1 m，多光谱影像分辨率为4 m。本文在综合研究露天矿区分类类别体系的基础上，将露天矿区的地物类型分为7类，分别为露天采场、矿区建筑物、堆煤场、道路、水体、裸地以及植被，构建了露天矿区分类类别的样本库，露天矿区各分类类别和对应的特征描述见表1。

表1 露天矿区典型地物解译标志Table 1 Interpretation of typical feature signs in open-pit mining areas

1.2 矿区分类样本数据集

分类样本的数据制作主要分为高分数据预处理、影像裁剪、样本数据制作与裁剪，具体流程如下：首先获取高分二号数据进行预处理，主要有辐射定标、大气校正、正射校正和图像融合。由于深度学习程序计算量大，需对影像数据进行裁剪，裁剪成像素为2的n次方的大小有助于计算识别。本文数据裁剪是对研究的露天矿区高分二号影像进行裁剪，创建尺寸为512×512像素的矢量文件，即每个矢量文件都是像素大小为512的矩形，再通过代码利用矢量文件将露天矿区影像批量裁剪成512×512像素的子影像。然后根据裁剪好的子影像利用ArcGIS软件创建面状矢量数据，进行样本勾画，并将样本矢量数据转为栅格数据，栅格化时需注意分辨率和裁剪得到的高分二号子影像相同，并对栅格化后的样本栅格数据进行裁剪，得到尺寸为512×512像素的标签数据。最后，获得多组一一对应的子影像和标签。其中划分露天采场共有597幅图像，矿区建筑物共有482幅图像，道路共有280幅图像，水体共有125幅图像，裸地共有349幅图像，堆煤场共有200幅图像，植被共有200幅图像，共计2 233幅图像，样本总面积为585.37 km2，部分样本数据如图1所示。

图1 部分子影像及其对应标签Fig.1 Selected sub-images and their corresponding labels

数据集划分为训练集、验证集以及测试集，将训练集和验证集输入到U-Net模型网络中，构建分类模型。由训练集训练得到最优的网络模型，再用验证集进行验证，最后对测试集的不同地物类型进行预测，得到预测的分类结果并进行精度分析。

2 方 法

本文首先获取高分二号数据进行预处理；然后对露天矿区地物进行目视解译识别分类，建立矿区分类样本库，分为训练集、验证集和测试集，并对样本库进行数据扩充，将训练集和验证集放入U-Net模型中进行训练，通过多次迭代构建和优化分类模型，再用测试集进行测试，得出分类结果；最后进行精度评价，继而得到露天矿区土地利用类型分类情况，开展基于深度学习和高分影像的露天矿区土地利用分类研究，技术路线如图2所示。

图2 技术流程图Fig.2 Technical flow chart

2.1 U-Net网络模型

本文使用的U-Net网络模型方法采用的是完整的编码器-解码器思想，是一个全卷积网络(FCN)，呈现出一种对称的U形结构。该网络由左半边的收缩路径(contracting path)和右半边的扩张路径(expansive path)组成。收缩路径部分由4层网络组成，每一层包含两个卷积核为3×3的卷积特征提取层和一个池化核为2×2的最大池化层。扩张路径与收缩路径对称，同样由4层组成，每一层包含两个卷积核为3×3的卷积特征提取层和一个卷积核为2×2的反卷积层，并且收缩路径与扩张路径之间通过跳跃连接将低层级特征与高层级特征进行融合，通过跳跃连接将收缩路径的图像细节传递到扩张路径，有利于恢复特征细节信息，缓解网络训练过程中可能产生的梯度消失问题，加快网络训练速度。在扩张路径的最后一层，通过卷积核为1×1的卷积层和Sigmoid激活函数输出识别结果。图3为本文使用的U-Net模型架构图。U-Net模型是一个轻量级的网络结构，网络参数少，支持小样本条件下的训练模型，其最早应用于医学影像语义分割中，目前在遥感影像处理领域也呈现出较强的应用潜力，能够对高分辨率遥感影像的不同地物进行识别，如建筑物[23-24]和水体[25]。

图3 U-Net模型架构图Fig.3 Architecture diagram of U-Net model

2.2 数据增强

在构建模型的同时还对影像数据进行了增强，使实验的网络模型训练效果更好，并且提高样本的质量和数量，数据增强的方法如图4所示。

图4 数据增强的方法Fig.4 Methods of data enhancement

3 结 果

3.1 分类方法对比结果

本文为了更好地体现U-Net模型对地物识别的优势，对比了最大似然法、随机森林算法和支持向量机的分类结果。四种分类方法对露天矿区各地物的识别结果如图5所示。由图5可以看出，最大似然法对地物的分类结果与参考值范围差别最大，支持向量机和随机森林算法次之，基于深度学习的U-Net模型对影像的各地物分类结果与参考值范围差别最小，精度最好。

图5 四种分类方法结果图Fig.5 The results of the four classification methods

为了定量分析四种分类方法的精度，本文根据三个指标对结果进行评价，分别是精确率(Precision)、召回率(Recall)和F1分数(F1-score)。

精确率(Precision)是精确性的度量，即被预测为正样本的样本中有多少数量为真正的正样本，其数学表达式见式(1)。

(1)

召回率(Recall)是覆盖面的度量，即正样本总数中有多少实际正样本数被预测出来，其数学表达式见式(2)。

(2)

F1分数(F1-score)是Precision和Recall的调和平均数，找到Precision和Recall的最佳组合，也是分类问题的一个衡量指标，其最大为1，最小为0，数学表达式见式(3)。

(3)

式中：TP为实际是正数据预测也为正数据的数量；FP为实际为负数据预测为正数据的数量；FN为实际为正数据预测为负数据的数量；TN为实际为负数据预测也为负数据的数量，将上述概念用矩阵示意表显示见表2，四种分类方法的精度结果见表3。

表2 不同概念矩阵示意表Table 2 Illustrative table of different concept matrices

表3 四种分类方法精度结果Table 3 Accuracy results for four classification methods

由表3可知，U-Net模型对露天矿区地物分类的精度最高，识别效果最好，精确率(Precision)、召回率(Recall)和F1分数(F1-score)分别达到0.86、0.82、0.84。最大似然法的分类精度最低，可能是由于最大似然法是对近似正态分布的目标光谱特征进行分类，而本文露天矿区地物的分布不符合该条件。随机森林算法和支持向量机在三个精度指标模型上均低于U-Net模型，说明基于深度学习的U-Net方法可以有效提高高分辨率遥感影像的分类精度，能更好地对露天矿区的地物进行识别。

3.2 U-Net模型实验结果

通过U-Net模型对露天矿区各地物类型进行识别，部分结果如图6～图12所示。将识别区与参考值进行对比分析，得出相应结果的精度指标。

图6 露天采场识别结果Fig.6 The results of open-pit identification

图7 矿区建筑物识别结果Fig.7 The results of mine site building identification

图8 水体识别结果Fig.8 The results of water body identification

图9 道路识别结果Fig.9 The results of road identification

图10 堆煤场识别结果Fig.10 The results of coal stockpile identification

图11 裸地识别结果Fig.11 The results of bare ground identification

图12 植被识别结果Fig.12 The results of vegetation identification

从图6可以看出，露天采场的边界部分存在较多的漏识别区，且识别边界较为破碎。图10和图11为堆煤场和裸地的部分识别结果，从识别结果和参考值的对比可以看出，识别结果在边界处存在较多漏识别区，但是与露天采场的边界识别结果相比更为整齐。从图12可以看出，植被识别的结果中存在些许空洞，这主要由于矿区的地表异质性导致的模型没有完全将植被识别出来。从图7、图8和图9可以看出，矿区建筑物、水体和道路的模型识别结果较为理想，识别区与参考值的区域相对吻合。

3.3 U-Net模型精度评价

构建网络模型并且完成模型训练后，还需对模型的精度进行评价，本文从精确率(Precision)、召回率(Recall)和F1分数(F1-score)，U-Net模型对各地物识别结果的具体精度见表4。

表4 分类结果精度Table 4 Accuracy of classification results

由表4可知，矿区建筑物、水体、植被的分类精度较高，堆煤场的分类精度最低，可能是由于不同地区不同年份的堆煤场情况不同，在遥感影像上显示的地物特征有所区别，导致模型识别时预测出现误差。

研究区域中水体、植被、矿区建筑物的Precision、Recall和F1-score值较高，分别是0.94、0.89、0.91，0.93、0.89、0.91和0.92、0.87、0.89，这三项指标均高于露天采场、道路、裸地和堆煤场，可能是由于水体、植被和矿区建筑物具有更明显的地物特征，对模型能更好地进行训练，误差相对较小，从实验结果也可以看出模型对于水体、植被和矿区建筑物的预测识别更加准确。道路和裸地的精度评价结果相似，属于易混淆的类别，原因是它们的影像特征相似，在进行深度学习识别时，模型存在一定程度的预测误差，精度结果表明模型能够对露天矿区的土地利用类型进行有效识别与分类。

4 结 论

本文针对矿区的实时监测和生态环境管理的重大需求，提出了基于深度学习的高分辨率遥感影像的露天矿区地物识别方法，主要结论如下所述。

1) 对于矿山开采过程与环境评价问题中常规的监测方法费时、费力、频次低，无法进行定期大面积同步观测[26]。而本文基于U-Net模型使用高分辨率遥感影像数据，能在较短时间内自动识别出特定的地物类型，有利于快速高效地研究矿区地表变化以及分析对周边环境的影响情况，可以实现对大数据的预测。

2) 通过不同方法的分类结果和精度评价进行对比，结果表明，本文使用的U-Net模型对露天矿区地物识别的精度最高，优于最大似然、随机森林和支持向量机的分类方法。说明深度学习的分类方法能有效的进行地物特征提取并对露天矿区的各地物进行自动识别分类。

综上所述，本文方法可以为露天矿区的地物分类提供技术支撑，开展对矿区生态环境的监测与修复应用。但是本文在取得结果的同时仍有不足之处，比如本文研究的模型是对研究区域进行二分类，可将模型优化改进为多分类识别。同时可以对长时间序列的矿山地物变化进行动态监测研究，进行更多优化的深度学习网络模型对比，更快更精准地识别出目标类型。