图像识别算法在自然资源执法中的应用研究与实践——以南京市为例

黄 锋, 刘礼国

(1.南京市国土资源信息中心,江苏 南京 210003;2.南京师范大学地理科学学院,江苏 南京 210023)

0 引 言

为深入贯彻党中央、国务院决策部署,落实最严格的耕地保护制度和最严格的节约用地制度,坚决遏制耕地“非农化”、防止“非粮化”,牢牢守住18亿亩耕地红线,保障国家粮食安全,近年来,国家自然资源督察机构对全国31个省(区、市)和新疆生产建设兵团,开展以耕地保护为重点的土地例行督察,通报了典型案例。

自然资源部在印发的《自然资源调查监测体系构建总体方案》中提出要组织开展自然资源调查监测方面的重大理论研究和技术创新,以保障自然资源监测监管体系构建,监管要素增多、时效性要求提高、智能化要求明显增强。 传统的自然资源监管模式侧重“事后监管”,存在违法建设行为发现不及时、处置周期长等问题。基于塔基监控视频的“事前预警”监管模式应运而生,化“被动监管”为“主动发现”,但其依赖人工值守监控大厅的监管模式存在智能化程度较低、监管效率不高等问题。如何提高自然资源监管效率和时效性,实现对自然资源的智能化实时动态监管是亟待解决的重要问题。

1 南京自然资源执法现状及问题

1.1 慧眼守土

2017年根据江苏省厅推广“慧眼守土”国土资源综合动态智能监管系统的工作要求,南京市局结合南京实际和江宁区试点建设情况,依据“信息化、精细化、规范化”的要求,综合采用数字摄像和图像识别、云服务、无线通信、物联网、移动互联、大数据等先进技术,加速资源整合,全力完成南京市“慧眼守土”综合动态智能监管系统建设工作[1],以此为契机切实提高全市国土资源监管的信息化水平。

该项工作完成以下几项建设内容:① 建立了动态监测标准体系,主要包括《南京市“慧眼守土”综合动态智能监管系统管理办法》等文件内容;② 建成了覆盖“市-区-所”的三级监测网络,基于VPN专线组网和视频管理云平台初步建立了总计844个塔基视频监控的新型慧眼守土监测网络;③ 建成了南京市“慧眼守土”综合动态智能监管平台,实现了地块变化智能分析与预警、项目视频监管、应用考评考核、系统管理等功能;④ 建成了南京市“慧眼守土”监控指挥中心。

1.2 智能执法信息系统

2020年,立足国家自然资源管理“两统一”以及南京市“网格化巡查、网络化处置、清单化管理、一体化考核”“四化”管理的新形势新要求,以构建“天、空、地、网”执法动态监测体系为目标,建设集监测、处置、指挥、评价、管理于一体,移动端、PC端和大屏端多端协同的智能执法信息系统,实现自然资源执法动态监测发现、监管处置、核查指挥、辅助决策的自动化和智能化,全面提升自然资源执法监测与预警能力。

智能执法信息系统主要完成以下3项工作内容[2]:① 构建了自然资源执法“天、空、地、网”动态监测发现体系;② 建立移动执法平台,实现“巡查任务自动规划、巡查工作全程留痕、自动定位分析、辅助违法判断”的功效;③ 建立综合监察子系统,它是“动态监测”和“移动执法”的“大脑”,和他们一起实现“四化”管理,提供指挥中心、辅助决策、违法调查、违法查处和人员管理等功能。

1.3 存在问题

“慧眼守土”平台上线初期,针对所有塔基监控视频都设置了默认预置位,每天监控视频都会在预置位自动拍照。平台建成以来,南京市“慧眼守土”综合动态智能监管平台拍摄了上百万张照片,为后续的人工智能图像识别算法在自然资源智能执法工作中的应用提供了大量的样本基础。

“智能执法信息系统”建成为违法建设行为“早发现、早处置”提供了技术基础,但是塔基监控视频图像识别率低的问题成为系统在全市范围内推广应用的拦路虎,这一问题亟待改进。

2 深度学习算法及具体应用

随着深度学习算法在图像识别领域的广泛应用,基于深度学习的目标检测方法也取得了良好的检测效果,这为解决塔基监控视频图像识别率低的问题提供了路径。

2.1 Faster R-CNN网络

针对R-CNN[3]系列算法特征提取效率低的不足,Ren, S在Fast R-CNN[4]基础上提出了Faster R-CNN[5],Faster R-CNN是R-CNN系列两阶段目标检测模型的最新优化版本之一,也是目前R-CNN系列算法中性能最优的算法模型,整个Faster R-CNN的大致框架依然是沿袭了Fast R-CNN的基本结构,可以分为:主干网络(backbone)例如VGG16[6]或Resnet50[7]、候选检测框生成网络(Region Proposal Networks),Roi pooling与分类网络3个部分。

首先,输入图片表示为 Height × Width × Depth 的张量(多维数组)形式,经过预训练 CNN 作为特征提取器,得到卷积特征图;然后,RPN(Region Propose Network) 对提取的卷积特征图进行处理,寻找可能包含目标的预定义数量的区域,Roi pooling层收集输入的特征图和候选区域,综合这些信息后提取候选区域特征图,送入后续全连接层判定目标类别,最后通过bounding box regression获得检测框最终的精确位置。

Faster R-CNN最大的创新之处就在于通过添加RPN网络,基于Anchor机制来生成候选框,(代替selective search),最终将特征提取、候选框选取、边框回归和分类都整合到一个网络中,从而有效的提高检测精度和检测效率。

如图1所示,直接使用RPN生成检测框,在网络结构上实现了将目标检测的四个步骤:图像特征提取、候选区域生成、候选区域分类和定位、位置精修整合到一个统一的网络中,这也是Faster R-CNN的巨大优势,能极大提升检测框的生成速度。RPN网络的提出使得两阶段算法可以进行端到端的训练,在保证精度的同时大幅提升了检测的速度,特征图先经过一次卷积计算得到特征映射图,在经过两个并行的卷积层得到网络输出,网络输出共包含两项内容:当前Anchor内的目标属于前景或背景的概率;候选框的中心坐标和尺寸信息。在提取候选框的过程中RPN网络会以滑动窗口中的中心像素点为中心,生成不同面积大小、不同长宽比的锚框,默认情况下锚框的有3种面积(128×128、256×256、512×512)和3种长宽比(1∶1、1∶2、2∶1),因此在默认情况下滑动窗口每滑动一次都会生成9个Anchor,这些Anchor在对候选框中心位置和大小进行参数回归时起到桥梁的作用,在提高精度的同时,也大大提升了检测的速度。

图1 RPN网络图

2.2 数据集构建

本文通过检测塔基监控视频图像达到及时发现违法建设行为[8]的目的。因此,在模型训练前首先需要对模型检测的建设行为对象做明确定义,以便对训练样本中符合定义的目标对象进行准确标注,提升训练样本的质量。对现有的自然资源疑似违法行为案件进行分析,将疑似违法行为归为5大类21小类,顾及不同疑似违法建设行为的差异性,同时也为提升本文目标检测模型的普适性,本文在深入分析各类疑似违法建设行为的基础上,选取如表1所示的共计10类建设行为作为本文目标检测模型的检测对象,并给出具体样例。通用的目标检测标注工具如LabelImg、Labelme、Bbox-label-tool等只能对存储在本机的图像进行标注。如果进行一项大型的目标检测标注工作,这类标注工具无法做到大量数据分发、数据检核等工作。因此本文基于Flask框架的一套在线标注工具——“标签易”网站,该工具可实现多人同时在线标注,通过建立任务统一管理,每次标注任务可以获取固定数量图像进行标注。在图像标注页面,该工具提供了多种标注方式,如矩形、圆形、多边形等标注形式,如图2所示。

经过标注的原始图像会生成一个xml格式的标注数据文件,标注数据文件的文件名与原始图像文件的文件名一一对应。

标注数据文件中保存了该图像的基本信息包括存储路径、图像大小等同时还保存了该图像中存在的建设行为对象类别,以及该对象被标注标后获取的标注框的左上角和右下角像素坐标,具体内容如表2所示。

表2 标注数据文件内容

2.3 样本数据处理

本文训练样本数据均获取自某区塔基监控摄像机拍摄的真实图像,通过对原始图像进行预筛选、标注后制作生成目标检测的标准数据集格式。由于塔基监控摄像机是全天候、全时段进行图像采集的,原始图像中包括了大量的黑夜图像、模糊图像、错误图像等,这类图像的数据量大且属于无效数据,因此需要对原始图像进行数据预筛选并进行预处理。

数据处理如图3所示,主要包括4个步骤:① 设置关键参数灰度阈值α、灰度直方图比率阈值γ;② 使用OpenCV读取原始图像,若读取成功则将其转成为灰度直方图并获取图像大小,否则认为该数据为错误数据;③ 使用Numpy从灰度直方图中获取灰度值小于灰度阈值α的偏暗像素点个数Num;④ 计算偏暗像素点个数Num占整个灰度图像素个数的比率β,当β大于灰度直方图比率阈值γ时,则认定这幅原始图像为黑夜图像,否则将该图像认定为白天图像。

图3 无效数据处理流程

在经过数据预处理后,获得符合模型训练标准的待标注照片,对处理后的图片进行标注,并生成xml格式的标注数据文件,最后本文将标注数据文件转换生成符合MSCOCO数据集标准规范的JSON格式建设行为目标检测样本数据集。最终,通过对错误图像和黑夜图像的筛选,共获取到27 688张符合本文建设行为目标检测模型训练要求的样本图像,经过预处理的塔基监控图像上的10类建设行为进行标注,共获得78 100个标注结果。其中各类建设行为的标注结果统计如表3所示。

表3 标注结果统计

2.4 模型训练

本文使用Facebook开源的Detectron2框架进行Faster R-CNN模型的构建与训练。模型的基础学习率BASE_LR为0.001,模型迭代训练次数为40万次,对样本数据集进行随机裁剪和数据随机旋转增强。每张图片在训练和预测过程中生成512个RPN的Proposals结果,这样既能保证模型预测精度也能保证模型训练与预测的效率。模型的训练Loss结果如图4所示,从图中可以看出模型损失函数Loss呈现下降趋势,最终稳定在0.1附近。在模型训练过程中,每10 000次训练存储一次模型训练结果,模型训练结果保存为pth格式的模型文件。

图4 模型训练Loss图

本文将采用准确率(Precision)、召回率(Recall)、AP(Average Precision)、mAP(mean Average Precision)4个评价参数指标对Faster R-CNN模型训练获取的建设行为目标检测模型的精度进行评价,得到如表4所示的评价结果。

表4 模型精度评价结果

3 结果分析

本文首先在分析各类疑似违法建设行为的基础上,选取10类覆盖面较为广泛的建设行为作为本文建设行为目标检测模型的检测对象,其次通过对获取的7万多张塔基监控图像进行预处理与图像标注工作,获取符合模型训练标准的xml格式训练样本数据,并通过自行编写的格式转换程序将xml格式的训练样本数据转换成符合MSCOCO数据集标准规范的JSON格式标准训练样本数据集,再次基于Detectron2框架开发构建Faster R-CNN模型并训练,经过40万次迭代训练获取建设行为目标检测模型,最后利用测试数据集对训练获取的疑似违法建设行为目标检测模型的精度进行评价。

结合实际检测效果来看(图5),测试图像中存在符合本文定义的建设行为大多能够被有效识别,因此可以得出,本文基于Faster R-CNN模型训练的算法能够满足实际疑似违法建设行为智能监测的要求。

4 结 语

基于塔基监控摄像头图像对特定要素自动识别的监管模式的建设与应用是自然资源监管向智能化发展的突破性尝试,实现了自然资源违法行为由事后处置向事前防范的转变。但是,经过一段时间的系统运行发现该项工作对于监控在线率要求很高,这就导致了需要花费大量的人力成本和时间成本开展前端设备维护。结合自然资源部办公厅近日下发的《关于开展2021年卫片执法工作的通知》要求,对自然资源违法行为,“按照‘月清、季核、年度评估’的工作要求,督促各地早发现、早制止、严查处,检验各地严格规范公正文明执法情况,评估一个地区自然资源管理秩序特别是违法占用耕地情况,推动落实最严格的耕地保护制度,保障国家粮食安全,助力生态文明建设”。需要将原来以“塔基监控摄像头”为主要监测手段的工作思路调整为以“卫片图斑”+“执法人员日常巡查”为主要发现手段,以“塔基监控摄像头”+“无人机”为补充手段。

在此大背景下,将图像来源调整为“卫星影像图斑”,继续研究人工智能图像识别算法在卫星影像图斑识别中的应用,结合疑似违法图斑周边历年土地利用现状调查成果、现势国土空间规划数据及征地批文信息,为自然资源智能执法提供更加精准的数据支撑。