李昊阳 陈龙升 张子涵 吴以婕 李宛桐
关键词:耕地保护;动态监测;GNSS;深度学习
0 引言
耕地是人类赖以生存的根本资源,而撂荒、种树、建房及耕地范围内大型机械车辆的占领等耕地破坏行为严重威胁了我国耕地资源的安全。在此背景下,相关责任人以及政策制定者不仅需要掌握耕地资源数量和现状,更需要对耕地破坏行为进行长期、全面、科学、高效的动态监管,以保证耕地资源的完全利用,确保粮食生产及生态安全。
基于此,本文拟使用GNSS位置采集传感器对耕地违法行为进行实时位置信息采集,以耕地影像数据为研究对象对耕地破坏行为进行监测与分析,并研发耕地智能监测系统。利用安置在无人机上的 GNSS 位置传感器采集实时位置信息,再利用深度学习技术对耕地破坏行为的影像数据进行建模与训练,从而使模型可以识别出耕地破坏行为。根据 GNSS 位置数据判别出破坏位置,有利于及时识别、定位耕地破坏行为并进行预警,减少国家耕地破坏行为检测中人力物力的浪费,更高效地打击违法行为、保护耕地资源、保障粮食安全。
1 研究方法
本文拟研发基于GNSS和深度学习的耕地智能监测系统,实现对耕地破坏行为的自动识别以及精准定位,从而及时识别耕地破坏行为并进行预警。基于此,本文将从以下3个方面对本文的技术方法进行阐述。
1.1 GNSS 定位技术
GNSS (全球导航卫星系统)定位是利用一组卫星的伪距、星历、卫星发射时间、用户钟差等观测量进行定位的技术,能在地球表面或近地空间的任何地点为用户提供全天候的三维坐标和速度以及时间信息。全球导航卫星系统在不同区域有不同的具体系统作为支撑,主要包括:中国的北斗卫星导航系统(BDS) 、美国的全球定位系统(GPS) 、俄罗斯的格洛纳斯(GLONASS) 和欧洲的伽利略卫星导航系统(Galileo) 。上述四种定位系统均采用了子午仪卫星导航系统的设计原理,即卫星运动引起的多普勒频移效应,但彼此在具体功能细节上又有差异[1]。
1.2 电子围栏技术
电子围栏是目前常见的防盗报警系统,传统的电子围栏由主机、前端配件和后端控制三大部分组成[2],但它具有铺设复杂、成本高昂等问题。随着计算机软硬件技术的飞速发展,使用计算机处理视频、图像的能力也不断提升,计算机视觉的应用越来越广泛,近年来基于计算机视觉的智能监控等市场趋于成熟壮大[3]。
1999年前后,一系列国外脉冲式电子围栏品牌进入国内,其中包括法国的佐辉和莱克米以及以色列的GM、英国的克罗兰和澳大利亚的帕克顿等品牌[4]。随着网络集成化的发展,新时期的电子围栏更注重多学科的交叉应用。2017年,李其元[5]弥补其他周界探测预警装置对环境的严苛要求等缺点,设计了一款基于STM32微处理器的张力式电子围栏;2018年,冉自烜等人[6]设计了一款基于北斗高精度电子围栏的共享单车管理研究系统;2019年,吴蓉波[7]将人脸识别技术应用到安防监控中;同年,何豪杰等人[8]设计了一款基于智能电子围栏技术的老年人监护系统,将老年人的运动轨迹与智能电子围栏结合,解决部分生活自理困难的老年人轨迹管理和行为监控问题。2021年,张朝峰等人[9]波运用北斗定位与电子围栏技术,设计了环保运输车辆轨迹管控系统。
1.3 深度学习目标检测算法
深度学习是近年来人工智能领域的一项重要成果,应用领域非常广泛,包括计算机视觉、语音识别、自然语言处理、推荐系统、金融等。在这些领域中,深度学习的应用都取得了非常显著的效果。深度学习基于神经网络技术,在大量数据的支持下,通过不断调整模型的参数,能够实现对复杂数据的分析和理解。其概念源于神经网络,是对神经网络的一种改进和拓展。
目前,深度学习在目标检测领域的应用主要集中在两个方面:一方面是基于卷积神经网络的目标检测模型,例如YOLO、SSD等;另一方面是基于可分割网络的目标检测模型,例如Mask R-CNN等[10]。基于卷积神经网络的目标检测模型是目前应用最广泛的模型之一。它们通过在图像中提取特征,进行目标位置和类别的预测。
YOLO作为新兴的目标检测模型,其基于卷积神经网络技术,具有较高实时性和检测精度。近年来,越来越多的科研工作不断对其进行改进。张陈晨等人[11]采用部分卷积层替换池化层的方式和动态调整Anchor的方式,对YOLOv3-Tiny模型进行改进,提高了对中大型目标的识别率;袁小平等人[12]通过对YO?LOv3 的特征提取网络Darknet-53 进行改进,使用ResneXt残差模块替换原有残差模块,优化网络结构。同时在Darknet-53中引入密集连接,显著提高了在远处目标检测上中等目标和小目标的平均精度;李坤亞等人[13]在主干网络引入通道-全局注意力机制和在上采样阶段使用密度上采样卷积替代最邻近插值法,有效提高遥感图像目标检测精度。如今使用YOLOv 算法进行目标检测已经成为深度学习在计算机视觉领域的重要应用之一。
2 数据采集与处理
系统实现所依赖的数据主要包括:无人机飞行时的位置数据以及耕地的影像数据。其中位置数据依赖 GNSS 位置采集传感器进行获取,耕地影像数据通过摄影相机获取,主要包括有正常影像数据和各类异常影像数据,用于作为深度学习模型的数据集。
2.1 位置数据的获取
将GNSS数据采集设备置于运行无人机上进行实时的位置、时间等信息采集。本文将采用 GNSS+北斗的混合定位模式进行无人机位置的实时定位,根据JT808协议的标准规范,将获取的位置等信息通过串口监听的方式传递至系统后台进行统一解析与处理。
2.2 耕地破坏行为的影像数据
耕地的影像数据通过无人机摄影获取,无人机遥控系统主要包括载机、飞控、陀螺云台、视频传输、地面站以及通话系统等,获取的影像具有高清晰、大比例尺、高现势性的优点。对采集的影像数据进行存储与分类,用作后续卷积神经网络模型的数据集。
3 模型的搭建与训练
3.1 数据预处理
使用Labelimg将耕地破坏行为的影像数据中的目标对象标注为 VOC标签格式、保存为xml文件,并转化为YOLO格式数据,处理为深度学习目标检测数据集。对数据集进行数据标签和随机打乱后,按照0.7:0.2:0.1的比例,将数据集分为训练集、验证集和测试集。
3.2 模型构建
系统采用PyTorch 作为后端,在此基础上搭建YOLOv5模型环境。YOLOv5模型主干上使用了残差网络Residual,通过增加深度来提高准确率。同时采用CSPnet神经网络结构,其在保留了DenseNet的特征重用特性的基础上,增添截断梯度流功能,以此来防止过多的梯度信息重复。最后使用Mish 激活函数解决梯度消失问题,提高非线性能力,更好地拟合数据。模型网络结构图如图1所示。
通过在原来YOLOv5上做出模型改进,将损失函数IOU Loss替换为EIOU Loss,加速了收敛提高了回归精度,同时引入了Focal Loss优化了边界框回归任务中的样本不平衡问题,使回归过程专注于高质量锚框。此外还将CBAM注意力模块嵌入YOLOv5网络中,解决了原始网络无注意力偏好的问题;将轻量型的Ghost模块与YOLOv5算法相结合,降低网络参数量,在满足模型轻量化的同时,加快原始网络推理速度等处理。通过这一系列改进,提高目标检测识别速度和精度。模型精度图如图2 所示,损失图如图3 所示。
此外通过调整模型超参数,优化模型拟合结果,提高模型精度,降低模型损失,得到满意模型后,将模型存储为PT格式的权值文件,供后续系统开发利用。
4 系统架构及功能设计
4.1 系统框架设计
系统采用浏览器/服务器(即 Browser/Server) 的多层网络架构模式,分别为数据层、支撑层、网络层及应用层。系统体系架构如图4所示。
数据层:主要是对数据进行存储与管理,包括由无人机运行的位置数据以及深度相机采集的耕地影像数据等;
支撑层:主要对整个系统的运行提供技术支持,主要包括Ajax软件技术(用于实现对无人机的精准定位)以及 PyTorch 技术(用于搭建深度学习模型并对耕地影像数据进行识别);
网络层:是对系统运行提供网络支持,系统可支持移动网络、计算机网络以及无线网络进行访问;
应用层:主要对系统进行展示以及功能应用,主要包括实时定位、信息展示以及模型检测三大模块。
4.2 系统功能设计
耕地智能动态检测模拟系统主要有实时定位和信息展示功能等。系统功能结构如图5所示:
5 系统客户端功能介绍
5.1 实时定位及地图渲染
GNSS 位置采集传感器连接计算机后就开始进行位置信号的采集,系统使用Django框架搭建客户端,采用串口监听的方式对 GNSS 定位设备的工作状态进行监听以及对位置数据流的获取,将定位数据进行解析后存入后台数据库,并实时将解析后的位置数据发送给前台,用于对无人机轨迹进行地图渲染(如图 6所示)。
5.2 异常信息识别与展示
系统使用实际采集的无人机采集图像进行识别操作,利用训练好的模型進行异常图像的识别分类,同时将识别后的信息存入后台数据库,在客户端显示无人机的位置信息及提取的信息异常信息。系统模型识别展示和异常点位详细信息展示如图 7、图 8 所示。
6 结果与讨论
目前应用的耕地监测系统主要以拍摄卫星图像后供分析人员人工判断为主,然而单一的遥感监测模式在耗费人力物力的同时,很难对异常位置进行准确定位。鉴于此,本文研究的主要内容为耕地破坏行为的智能监测与快速定位,系统主要从识别和定位两个模块进行功能设计与编码实现。采用Django框架进行系统搭建,使用 SQL Lite 数据库进行数据的存储,借助Jquery、Layer等前端插件进行界面 UI 的设计,使用PyTorch进行深度学习模型的训练,从而实现各个模块的独立开发与系统集成,打造了一款具有实用性的系统平台,为耕地实时监测和分析技术的发展提供了技术支持。