基于遥感影像的生产建设项目扰动图斑人机协同智能提取方法

王松伦,马晓楠,潘子轩

(河南省水利勘测有限公司,河南 郑州 450000)

生产建设活动会使原状地貌或土壤结构遭到干扰或破坏,从而加剧区域内的水土流失,存在较大的安全隐患,如洪涝灾害、土地资源匮乏、生态环境失调等[1]。遥感信息技术的进步和高分辨率卫星影像的普及为水土保持遥感监管提供了丰富的数据,但目前仍主要采用目视解译的方法从遥感影像中获取生产建设项目扰动图斑信息,存在耗时费力、经济成本高及具有一定的人为主观性等问题[2],无法适应现阶段生产建设项目水土保持遥感监管任务中监测对象变化快、监测范围广、监测频次高的需求[3]。因此,如何在大范围内实现生产建设项目扰动图斑的高效自动化、精准化识别和提取成为研究的热点问题。

近年来,深度学习已经被证明是一种强大的遥感图像处理技术,在土地覆盖分类、目标提取、变化检测等方面均有广泛应用[4-6]。部分学者也在此基础上开展了生产建设项目扰动图斑自动识别技术的探索性研究,文献[7]基于深度学习原理,参照VGG16网络架构构建生产建设项目扰动图斑自动识别分类模型,区分给定区域的影像数据为扰动还是非扰动,但并未实现对扰动图斑范围的识别;文献[8]将深度学习理论应用到不同时期影像的变化检测分析中,分别采用基于语义信息和端到端的变化图斑提取方法,对重庆市水土保持扰动变化图斑实现自动识别。深度学习为基于大范围高分遥感影像的扰动图斑提取提供了新的技术思路,但相关研究较少且精度无法满足现阶段水土保持遥感监管的应用要求。

针对上述生产建设项目扰动图斑提取的局限性,本文从人类和人工智能深度相结合的角度出发,提出 “智能提取模型+遥感监管协同解译平台”的生产建设项目扰动图斑人机协同智能提取框架。

1 研究区概况

本文以河南省生产建设项目水土保持遥感监管为依托开展相关研究。河南省位于我国中东部,全省总面积为16.7万km2。河南地处亚热带向暖温带和山区向平原双重过渡带,地跨长江、黄河、淮河、海河4大流域。地貌自西向东突变,山区到平原过渡带短,特殊的气候条件和复杂的地貌类型,造成自然灾害频发,而且人口分布密集,生产活动频繁,加剧了水土流失。严重的水土流失导致水土资源破坏、生态环境恶化、自然灾害加剧,成为制约河南省经济和社会可持续发展的突出因素。

2 研究内容与方法

总体技术路线如图1所示。首先,对双时相高分遥感影像数据进行预处理,并依托河南省2022年第三季度生产建设项目扰动图斑目视解译成果制作标签,通过数据增强的手段创建生产建设项目扰动专题数据集;然后,基于专题数据集对改进的U-Net++模型进行训练,训练后的模型可对指定区域高分遥感影像中的生产建设项目变化扰动图斑进行自动提取;最后,构建遥感监管分布式并行协同解译平台,可实现图斑后处理、协同编辑、统计分析及用户管理等功能,解译人员基于该平台利用先验知识对自动提取的图斑进行综合判定与验证,得到满足生产要求的规范性解译成果。基于协同解译平台产生的最终成果可作为新样本反馈给模型进行自主学习,进一步提升模型精度和自动化程度,形成良好的循环机制。

图1 总体技术路线

2.1 数据集构建

2.1.1 高分辨率遥感影像预处理

遥感影像数据源主要选取高分六号、资源三号等卫星数据,前时相为2022年4—6月,后时相为2022年7—9月。双时相遥感影像数据对于变化扰动地块提取任务而言,存在的主要问题包括:①原始数据存在几何和辐射变形、缺失值等;②因季节原因导致前后两时相影像风格不统一,存在较大的地物地貌差异。

对于上述问题,本文通过辐射定标、正射校正、几何配准、插值填充、傅里叶变换和逆变换等操作对影像进行预处理,以满足任务需要。快速傅里叶变换和逆变换可消除不同时期影像之间的风格差异,其主要包括:①通过傅里叶变换(FFT)将图像空间域转换为频率域;②将其中一幅图像的低频域部分替换为另外图像的低频域部分;③再通过傅里叶逆变换(iFFT)将频率域转换为空间域,实现图像间的风格迁移。经过预处理后的影像包含红、绿、蓝3波段,空间分辨率约为2 m。

2.1.2 数据集标注

有监督的深度学习模型需要大量的标签数据辅助其学习训练。本文以河南省2022年第三季度生产建设项目遥感监管解译成果作为标注数据,制作生产建设项目扰动图斑标签。

为保证两期影像及对应变化标签的尺寸统一,首先构建研究区渔网数据(网格大小为256×256像素),筛选出与矢量图斑相交的网格作为裁剪样本的矢量数据A;然后利用ArcGIS对已有的遥感监管解译图斑数据进行矢栅转换和重分类(变化扰动区域栅格值为1,非扰动变化区域栅格值为0);最后利用矢量数据A对两时相的遥感影像数据及变化扰动图斑栅格数据进行批量裁剪,最终得到前时相影像、后时相影像及标签数据,且位置一一对应,共得到2071组标注样本。

2.1.3 数据增强

在卷积神经网络的算法中,算法的最终效果很大程度上依赖于数据的质量,鉴于目前样本数据量有限,本文通过数据增强的手段扩充样本量,从而提高模型的泛化能力。充分利用已有样本,分别采用单样本和多样本数据增强的方法对样本数据集进行扩增,扩增后总样本量约为10 768组。将处理好的样本数据集随机划分,训练集和验证集的比例为8∶2。

单样本数据增强即在增强一个样本时全部围绕着该样本本身进行操作,本文主要进行水平翻转、垂直翻转、旋转、平移缩放等几何变换,如图2所示。

图2 单样本数据增强

多样本数据增强则是利用多个样本产生新的样本。为了增加正样本的比例,采用混合粘贴增强[9]的方法提升样本多样性,该方法是通过随机抽取另一样本数据,利用掩膜提取将其变化区域以对象的方式分别粘贴到当前样本中,从而得到一个新的混合样本,如图3所示。

图3 多样本混合粘贴增强

2.2 生产建设项目扰动图斑智能提取模型

2.2.1 U-Net++网络架构

U-Net++是一种基于深度监督的编码器-解码器网络结构,具有较强的特征提取和细节保留能力[10]。原始U-Net网络首先利用4次下采样获得高维信息,然后利用4次上采样将特征图恢复到原始大小,并通过4个跳跃连接合并特征图。基于U-Net的改进方法并不总使用4层结构,但下采样、上采样和跳跃连接的组合保持不变,它可以从不同深度的结构中提取不同特征。无论低层次还是高层次的语义特征对于目标识别任务而言均很重要,U-Net++[11]通过稠密连接的方式将每层的细节信息和全局信息都尽可能多的保留,且每层之间架起桥梁实现多尺度特征融合,最终共享给最后一层,减少由于卷积层增加而导致的信息丢失。

2.2.2 模型构建及参数优化

选用高效的轻量型网络Effici-entNetb0作为编码器骨干网络。此外,为了获取更加有用的重点信息并抑制非重点区域的特征,在解码器网络中加入了注意力机制模块scSE(spatial-channel sequeeze & excitation),模型结构如图4所示。

图4 U-Net++(scSE)模型结构

在训练网络模型学习参数的过程中,使用基于ImageNet数据集的预训练模型进行参数初始化,选取AdamW优化算法,学习率为1E-3,权重衰退系数为1E-3,最低学习率为1E-5。由于部分样本数据中非变化扰动区域和变化扰动区域的比例差距较大,存在样本不均衡影响,因此模型训练的损失函数采用Dice损失函数和二值交叉熵损失函数(BCE Loss)的组合。Dice损失函数训练更关注前景区域的挖掘,即保证模型有较低的目标值识错率,但会存在损失饱和的问题,而BCE Loss平等地计算每个类别的损失,当背景区域大于目标区域时,训练时会使模型严重偏向背景,导致预测效果较差。两者单独使用往往无法取得较好的效果,因此本文选择组合使用,从而提高模型预测精度。

2.2.3 变化检测评价指标

变化检测的评价指标多种多样,本文选择准确率(Precision,P)、召回率(Recall,R)、F1得分和交并比(IoU)4个指标对模型提取效果进行评定。通过变化检测得到的预测值和真实值的组合见表1。

表1 变化检测任务混淆矩阵

(1)准确率(P)表示预测值和真实值均为正的样本在预测为正样本中的占比,其表达式为

(1)

(2)召回率(R)表示在已知的正样本中有多少被正确预测,其表达式为

(2)

(3)F1得分是综合了准确率和召回率的综合评价指标,提出该指标的原因是P和R会出现矛盾的现象,导致无法判断模型好坏,因此通过计算两个指标的调和平均值进行综合性评价。其取值范围为0～1,值越接近1表示模型训练效果越出色,公式为

(3)

(4)交并比(IoU)是指模型预测变化扰动区域与真实变化扰动区域的交叠率或重叠度,即两者交集与并集的面积比,取值范围为0～1,值越接近于1表示预测图与真实图的重合程度越高,即模型预测效果越好,其计算公式为

(4)

2.3 遥感监管分布式并行协同解译平台

深度学习技术使生产建设项目扰动图斑解译工作效率得到了大幅提升,但由于多时相的卫星遥感影像不可避免地会存在伪变化、云雾遮挡等问题,使得模型对于遥感影像的变化检测存在一定局限性,尤其在兼顾检测速率的基础上,精确获取变化地物的轮廓信息仍具有较大难度,单一利用模型自动化手段难以满足生产应用需要。基于此,本文通过构建遥感监管分布式并行协同解译平台,充分发挥人机协同技术在遥感信息提取领域的重要性,将深度学习与专家知识、模型自动提取与目视判读相结合,实现人与算法之间的优势互补,全面提升扰动图斑要素提取的精度及自动化程度。

协同解译平台的技术流程如图5所示。搭建的深度学习模型可对大范围内的生产建设项目扰动图斑进行快速提取,智能提取结果经过矢栅转换、定义投影、属性赋值等前期处理后,发布标准化数据服务供平台调用。协同解译平台能够实现对自动提取图斑的可视化展示、批量后处理、协同编辑及统计分析等操作,可由专业解译人员通过多人在线协作的工作模式,凭借视觉感知及综合认知决策能力对模型自动化提取的图斑进行判定与验证,判断其边界和属性信息是否与实际扰动相符,若不相符则选择相应的人机交互工具进行要素协同编辑,最终将符合实际生产需要的图斑存入解译成果库。通过验证的解译成果将会作为新样本反馈给模型样本库,使模型再次进行自主学习,不断迭代优化模型参数进而提升模型性能。

图5 协同解译平台技术流程

协同解译平台主要包括图斑智能提取、后处理、协同编辑、统计分析及用户管理等模块。图斑智能提取模块的主要功能是基于本文构建的模型实现大范围遥感影像的变化扰动图斑自动化提取;后处理模块主要是对模型自动提取的图斑进行孔洞填充、轮廓规则化、碎化图斑剔除等批处理操作,可对模型输出结果进行初步调整和优化;协同编辑模块则由解译人员对经过后处理的大量图斑数据进行边界修正、属性赋值、合并拆分、采集新面等增、删、改操作,并同步完成对现有扰动图斑的质量检查;统计分析模块包括工作进度统计、图斑分类统计、解译人员工作量统计等功能;用户管理模块可实现账号注册、人员管理、任务分配;此外,本平台可以实现对多期遥感影像数据、历史扰动图斑及最新解译成果的可视化管理及展示。

3 结果分析

将本文搭建的U-Net++网络模型在制作好的数据集上进行训练,通过调节超参数获得最优变化检测模型,并对在验证集上的提取结果进行精度评价。采用五折交叉验证进行模型评估:将所有的样本数据集随机分为数量近似相等的5份,轮流选取其中1份为测试集,其余为训练集依次训练模型,使数据集中的所有数据都得到了充分的利用,五折交叉验证的损失-精度随迭代次数的变化曲线如图6所示。模型的总体提取精度见表2。

表2 模型验证精度评价结果

图6 五折交叉验证损失-精度

本文构建的生产建设项目扰动图斑智能提取模型可基于深度学习算法自动提取高分辨率遥感影像中的扰动图斑要素,相较于人工目视解译而言,智能提取模型在解译效率方面具备明显优势,对比结果见表3。根据项目经验可知,采用目视判别的方法初步实现河南省全域16.7万km2的生产建设项目扰动图斑遥感解译,至少需要10名解译人员花费约20 d(8 h/d)的时间完成,其特点是操作简单且对设备性能要求较低;而利用本文构建的智能提取模型,完成相同工作量的解译任务只需2台较高性能计算机(NVIDIA GeForce GTX 1070 8 GB显存)同时运行8 h即可完成,极大地缩减了扰动图斑遥感解译任务的时间成本。

表3 解译效率统计

为保证模型能够将遥感影像中的疑似生产建设项目扰动图斑尽可能地都提取出来,在模型训练过程中通过调整阈值提高了模型的查全率。整体而言,模型对于由耕地(或裸地)变为建筑(或施工动土)的区域具有较强的识别和提取能力,漏提少、边界相对规则。图7为利用本文模型对验证集中疑似生产建设项目扰动图斑提取的部分结果。可以发现,模型能够较为准确地定位到影像变化扰动区域,提取到的变化图斑与实际变化范围基本一致,尤其对引调水工程、工业园区、公路工程等规模性的生产建设活动有良好的提取效果,如图7(a)—(c)所示。

图7 生产建设项目扰动图斑提取结果

智能提取模型很好地解决了人工目视解译不客观、效率低等问题,但同时也会存在“误提取”的情况。如图7(d)将邻近的不同生产建设项目合并解译为同一图斑,而图7(e)则将因农事耕作等非生产建设活动引起的地表变化区域误判为扰动图斑。以上情况只需后期由解译人员充分结合项目及解译经验进行综合判定,并做出简单的编辑修改即可。

针对扰动图斑智能提取模型存在的少量“误提、漏提”等情况,通过搭建遥感监管协作解译平台对自动化提取图斑进行人机交互修正,在保证解译效率的同时全面提高解译精确性,为水土保持监管后续的核查和查处提供可靠的作业依据。遥感监管协作解译平台部分子模块的图斑编辑如图8(a)—(d)所示,孔洞消除和轮廓规则化子模块可对自动提取的图斑结果进行快速批处理,分别实现矢量面数据的微小孔洞填补和复杂线段简化。协同编辑模块可将经过后处理的矢量图斑数据进一步精确化,由解译人员通过多人在线协作的方式逐个对图斑进行综合判定,对不满足要求的图斑进行合并拆分、边界修整、错提图斑剔除等操作。图8(b)所示模块是将位置邻近但明显不属于同一生产建设项目的图斑进行切分,并修改其对应的属性值。图8(c)所示的边界修整子模块是通过编辑折点调整矢量范围,使解译图斑边界更加清晰准确。图斑剔除子模块则可删除如图8(d)所示的农业大棚搭建等模型误提取的非生产建设项目扰动图斑。

图8 遥感监管协作解译平台图斑编辑

4 总结与讨论

本文利用高分遥感影像和河南省生产建设项目水土保持遥感监管成果构建专题数据集,并从人与机器深度相结合的角度出发,基于深度学习理论提出一个生产建设项目扰动图斑人机协同智能提取框架,主要实现了以下内容:①针对扰动图斑变化检测任务特点对双时相的遥感影像进行预处理,消除其误差及风格差异,并通过多种数据增强方法进行扩充,构建丰富的数据集。②通过融合注意力机制的U-Net++网络模型深度挖掘生产建设项目扰动图斑的影像特征,实现变化扰动范围的自动化提取,模型准确率和召回率分别为79.59%和80.90%,IoU为0.752 0。表明模型对于目标要素具有良好的提取效果,但同时也存在少量“误提、漏提”的情况。③通过搭建遥感监管分布式并行协同解译平台实现对自动化解译图斑的批量后处理、协同编辑、统计分析等操作,在保证解译自动化、高效化的基础上,充分发挥专业解译人员的综合知识决策能力,对“误提、漏提”图斑进行修改。最终将规范化解译成果作为新样本存入样本库,并反馈给模型进行自主学习,进一步提高模型精度,实现人机协同感知、交互和决策。

本文提出的人机协同智能提取技术框架实现了生产建设项目扰动图斑的高效精准提取,但仍存在不足。首先由于样本数据集制作时,非生产建设项目扰动的负样本数量有限,虽然模型最终收敛但同时增加了过拟合的风险,使其容易对非生产建设项目扰动进行错分。因而在下一步工作中应充分考虑非生产建设项目扰动的干扰,丰富数据集,增强模型的稳健性。其次耦合深度学习算法和综合知识图谱的遥感影像解译方法有待进一步探究和完善,以自主学习为核心、领域先验知识为引导,全面提升遥感解译的效率和质量。