输电线路无人机自主巡检系统的设计与实现

余晓明,郝后堂,钟 平,黎华灿,原来钰

(国网电力科学研究院(南京南瑞集团公司),江苏 南京 210003)

0 引言

近年来,国家电网有限公司不断开展新型巡检技术研究,构建新型智能运检模式,无人机、巡线机器人等先进设备和巡检技术已成为输电线路重要巡检手段[13]。无人机巡检具有受地形限制小、塔头巡检效果好、成本低等优势[4],在巡检内容和频次上可对人工巡检进行有效协同。2013年以来,国家电网有限公司积极推进构建直升机、无人机和人工协同巡检工作模式,大力推广无人机巡检应用,运检效益明显提升,架空输电线路运维已由传统人工巡检发展为“机巡+人巡”的协同巡检模式。

随着无人机的大量应用,目前仍存在作业自主化程度低、数据分析智能化程度不足、发展水平不均衡等问题,缺乏任务联动和统一管理,巡检数据没有系统化管理,线路异常依靠人为判断,紧急缺陷通报不及时,造成无法充分发挥无人机的优势,也无法有效提升人员的生产效率。

随着人工智能、无人机技术的不断进步,国家电网有限公司不断深化智能运检体系建设,2020年,编制了《无人机智能巡检作业体系建设工作方案》,提出了以打造无人机为主的协同自主巡检模式,以提升无人机自主巡检作业、智能分析水平为抓手,落实无人机智能巡检作业体系建设3年工作计划,攻克无人机自主巡检、巡检影像智能识别等实用化难题,健全无人机智能巡检作业管理体系和技术支撑体系,结合智慧线路建设打造无人机应用示范区,初步实现无人机为主的协同自主巡检模式转变,提升无人机智能巡检水平,开创输电巡检新局面。

1 输电线路无人机自主巡检技术

尽管线路所在的地形地貌、风速风向等现场环境和作业时的起始地点、天气有所不同,无人机巡检路径规划都需要遵循面向大号侧先左后右、从下至上(对侧从上至下)、先小号侧后大号侧的基本原则。依据这个基本原则,不同飞手因对业务的熟练程度不同所拍摄的巡检图像大相径庭,经常出现虚焦、部件主体不突出等问题,图片拍摄效果不好将直接影响后续根据图像识别诊断部件缺陷的准确率。同时,面对输电线路巡检复杂的应用环境,无人机受其自身软硬件条件的限制,如自身的续航能力、重量和尺寸,无法形成持续有力的作业能力。无人机巡检采集的大量影像,需由人工逐一筛选、识别线路设备缺陷,并分类归档存储,工作量大,效率低。

针对上述问题,提出了一种输电线路无人机自主巡检的实现方案,分析了无人机自主巡检作业全流程体系架构,研制了输电线路无人机全自主巡检系统,通过固化作业点,建立标准化航线库,用户可在无人机运维管控系统一键触发巡检任务,无人机将自主执行巡检任务并实时回传巡检视频,自动下载巡检图像,运维管控系统自动分类、分析巡检图像、生成巡检报告,并将自主巡检技术应用于电力输电线路巡检。巡检结果验证了无人机自主巡检技术的有效性,无人机自主巡检规模化应用将大大降低运维人员的工作难度,降低其对操控无人机技能的掌握,摆脱繁琐的数据整理,集中精力到输电专业核心技术的学习研究和电力通道隐患的治理检查。

2 输电线路无人机自主巡检总体设计

输电线路无人机自主巡检系统包含3大部分:无人机及机载计算平台、无人机机场和无人机运维管控系统(简称“管控系统”)。无人机机载计算平台基于GPU的高性能前端计算分析在作业过程中实时识别对象。无人机机场内置多组电池,可进行充电或自动更换电池,可以实现对无人机自动回收、野外存放、能源补给。管控系统对巡检任务、机场、无人机飞行作业进行实时监视和管控,实现巡检数据闭环化管理。无人机自主巡检系统网络拓扑关系如图1所示。

图1 无人机自主巡检系统网络拓扑

3 输电线路无人机自主巡检的实施方案与关键技术

3.1 总体方案与流程

为保证巡检的质量,需要制定科学巡检流程。首先收集杆塔线路的地理坐标信息,并结合现场实地勘察,设计最优的自主飞行航线。航线规划的基本原则是最短的飞行路径并保证安全高效地完成既定目标设备的巡检。航线由一系列航点组成,每个航点包含无人机的位置信息(高度、纬度、经度)和相机的参数设置(俯仰角、偏航角、翻滚角、缩放比例),航线格式设计为:{“speed”:fl oat,points:[{"altitude":float,"latit ude":fl oat,"longitude":float,"pitch":float,"yaw":float,"roll":fl oat,"zoo m":float},…]},float表示属性值为浮点数。将航线坐标设置为控制点,利用无人机提供的API接口函数,控制无人机顺序遍历各控制点,并在航拍控制点按摄像头设置信息调整进行杆塔的精细化巡检[5-6]。航线数据录入管控系统后,即可选择航线执行后续的自动化巡检作业,具体步骤如下:

(1)管控系统接收巡检任务,根据每个机场气象杆回传的天气信息(温度、湿度、风速以及风向数据),判断当前天气是否具备巡检条件,若为异常天气将闭锁巡检任务执行,否则自动触发常规化巡检。

(2)无人机机场进行机场准备,机械手取满电池装到无人机,停机坪上升到安全位置,顶门打开,停机坪上升到上极限,无人机起飞并按照预先设置的航线到达巡检任务区域,在巡检目标区域无人机自主完成巡检任务,并实时回传巡检视频,管控系统监视无人机机场、无人机的运行工况并实时播报巡检视频。巡检完成后,无人机归航到起飞点,机场顶门打开,平台上升到上极限,无人机降落至停机坪,巡检图像上传至管控系统,传输完成后,停机坪下降到安全位,顶门关闭,平台下降到下极限,机械手从无人机取下电池放至充电座。

(3)管控系统采用深度学习算法识别巡检图像设备主体类型[78],按照设备类型自动分类存储,自动分析标注设备缺陷生成巡检报告。

自主巡检流程如图2所示。

图2 无人机自主巡检流程

3.2 核心系统方案设计

该方案包括2个核心部分:无人机自主精准降落和无人机巡检管控。

3.2.1 无人机自主精准降落

无人机实现完全的自主化作业,其中需解决的一项关键的技术是“无人机自主精准降落”,只有实现该技术,才能保障无人机的安全回收和循环作业。

本文采用基于深度卷积神经网络的YOLO V3算法,对网络参数和结构进行适应性的改进,用图像识别的定位技术识别无人机机场停机坪标志,通过对采集的摄像头图像进行实时分析识别,计算出无人机当前的相对位置,并使无人机自动调整飞行姿态和角度,从而精准地降落在标志物上。

无人机执行巡检任务后,准备返航,管控系统计算附近的机场位置、机场空闲状态,并返回离无人机最近的机场坐标到无人机机载计算平台,同时通知对应的返航机场就位。无人机以预定的高度和飞行速度飞向返航机场,到达返航机场坐标上空,下降至30 m高度悬停待命。接着,控制可见光相机旋转至正下方角度,机载计算平台的图像识别模块对机场降落标志进行识别,如成功获取降落标志焦点,则继续降落直至降落成功,否则,机载计算平台控制无人机飞往机场预设紧急备降点,管控系统发送信息提醒相关责任人进行处理。无人机自主降落流程如图3所示。

图3 无人机自主降落流程

3.2.2 无人机自主巡检管控

利用分布式组件技术、动态化的软件构建技术,采用J2EE技术体系[9-10]研制了无人机运维管控系统,其包括运维管控Web子系统、图像识别分析子系统与前置通信子系统,各子系统间交互见图4。

图4 运维管控系统各子系统交互

系统分为作业全过程监视、无人机二维地图管控、自主巡检预警闭锁、巡检数据自动分析归档统计4大部分。

3.2.2.1 作业全过程实时监视

为保证界面展示信息与当前巡检作业实时同步,系统对命令、数据、视频进行设计,实现了实时交互的机制。作业调控命令是通过点击页面按钮,通过Ajax和Springmvc技术将命令存入Redis数据库(Redis是一个开源的基于内存的Key-Value数据库),后台实时检测到Redis中的命令发生改变,处理命令下发到无人机机场,机场执行命令,命令包含航点下载、机场准备、一键起飞、机场复归等。机场、巡检无人机以及气象等数据的实时展示是通过Ajax技术从Redis中定时读取实时数据,并对获取到的实时数据进行封装处理,动态展示在web页面中,实时监视机场连接状态、机场命令执行状态、无人机状态、电池电量、气象数据等。

3.2.2.2 无人机二维地图管控

基于百度地图API,使用二维地图构建无人机二维地图管控模块,该模块可将管辖区域内无人机显示在地图上,使管控人员直观地查看无人机的位置和工作状态,点击地图上具体无人机图标,将进行巡检视频直播,巡检视频直播分为两部分设计,转码推流和定时推送,转码推流主要是将rtsp视频流数据转换为rt mp视频流数据,并向rt mp服务器推流。定时推送通过quartz定时器定时开启视频直播。

转码推流采用JavaCV技术,JavaCV是对各种常用计算机视觉库封装后的一组jar包,其中封装了FFmpeg、Open CV等计算机视觉编程人员常用库的接口,可以通过其中的Utility类方便的在Java平台上调用这些接口。其中使用最多的就是FFmpeg。

转码推流实现逻辑见图5。

图5 转码推流实现逻辑

3.2.2.3 自主巡检预警闭锁

为保证无人机实时运行安全,管控系统在监视的基础上对无人机可能遭遇的危险源进行识别与预警、闭锁,以避免无人机在不知情或准备不足的情况下遭遇危险,从而最大程度地减轻危害所造成的损失。影响无人机安全运行的要素包括空域划设情况、自然地理条件、天气条件以及其它飞行目标。本系统对执行飞行任务中的无人机进行空域边界预警,依据无人机GPS位置信息,与预警边界坐标范围进行实时比对判断,当无人机未侵入该类空域(如危险区、限制区、禁飞区和净空区),但有侵入该类空域范围的趋势,系统自动预警。系统通过获取巡检区域天气数据,划定危险天气区域,并依据无人机的飞行态势,对无人机即将遭遇的危险天气进行预警,避免其遭遇危险。当出现危险情况预警时,无人机执行预定策略如原路返回、禁止起飞、就地降落。

3.2.2.4 巡检数据自动分析归档统计

将当地巡检部门管辖的杆塔、线路、部门层级、飞手、无人机等基础信息录入系统,以线路、杆塔为基础数据,巡检任务关联具体的线路、杆塔数据,管控系统将巡检作业采集的原始图片通过图像识别分析子系统结合传统模式识别和深度学习2个方向进行综合研究。采用深度学习模型Faster-Rcnn[11]选用resnet-101作为生成建议框网络解决大小金具、鸟巢、绝缘子、间隔棒、防震锤等部件缺陷判别,辅以模式识别对输电线路建模分析杆塔、导线的纹理结构,尽可能实现线路设备组件的全面高效辨识。以杆塔为中心自动归档影像数据、缺陷报告,这些自动关联形成网状数据,实现对巡检数据的综合规范一体化管理,系统可以饼图、柱状图、地图等方式统计线路和杆塔上的缺陷信息。将无人机巡检的海量数据创建缺陷样本库为智能诊断系统积累训练样本,使数据得到有效应用。

4 无人机自主巡检技术应用

无人机自主巡检系统已在国家电网有限公司输电线路试点运行,配置无人机、无人机固定机场和无人机运维管控系统,实现了无人机一键自主巡检、精准起降、精细化巡检、远程监控等电力巡检任务。系统投运至今已多次执行常规化巡检任务,自动完成数据分类存储和生成巡检报告,实现了巡检的全过程管控,推进了巡检数据分析应用的精细化和精益化管理水平,提升了无人化作业能力,具备一键启动巡检任务,实现对巡检过程的远程视频直播、实时监控以及巡检数据的自动分析处理。使用计算机技术进行图像分析与自动归档,通过实际工程应用对比,可以发现该功能极大的提升了线路巡检工作效率,降低了运维成本。以3 600张照片为例,无人机管控系统分析归档处理时间比人工处理时间快了近30倍。图6是管控系统展示的巡检过程实时监视功能。

图6 无人机巡检过程实时监控

随着输电线路规模的不断增长,单台无人机及机场作业范围有限。因此下一步的研究计划是进一步研究多机场、多无人机协同巡检方案,研究多机场多无人机并行作业,适用例行常规化巡检和各种突发状况巡检,扩大无人机连续自主巡检范围。同时,不断改进图像识别算法,提升无人机巡检图像人工智能识别实用化水平,全力保障电网安全可靠运行。

5 结束语

无人机自主巡检系统实现了从任务制定、作业执行、缺陷闭环处理的全流程智能化管控。从实际应用情况看,输电线路无人机自主巡检系统有效扩大了无人机作业范围,全面提升了运检质效,促进了线路运维向“数字化”、“智能化”迈进,将有力支撑智慧输电线路及设备运检数字化建设。