前端化目标检测技术在电力巡检中的应用研究

杨学杰，宋 凯，曹付勇，王一夔，许荣浩

（1.国网山东省电力公司淄博供电公司，山东 淄博 255000；2.国网智能科技股份有限公司，山东 济南 250101）

0 引言

当前深度学习模型在输变电巡检中的应用不断深入，为适应输变电巡检中巡检目标种类繁多、巡检场景复杂的现状，深度学习巡检模型采用深网络、大参数进行训练。其最终模型体积大，对硬件资源占用大、推理速度慢、功耗高，过度依赖后端服务器，响应不及时，不适用于移动设备和嵌入式设备［1］。

为解决此问题，针对输电线路巡检，方远征等［2］研究了无人机自动避障在输电线路巡检中的应用，但无法使用无人机实现输电线路自动巡检；李宁等［3］提出了无人机巡检数据智能管理平台的方案，此方法需无人机将巡检图像回传至后台分析；陈嘉琛等［4］提出改进的YOLOv3算法，需依赖高算力服务器，且识别速度无法满足实时性要求；周仿荣等［5］提出的另一种YOLOv3 改进方法，可在GTX 1080Ti 显卡实现40 帧/s 的推理速度，但须回传服务器；冯源等［6］提出了一种基于深度学习模型小型化技术的输电线路智能巡检方案，该方案主要将深度学习小型化模型应用于输电线路通道可视化监拍中，其识别速度为0.5帧/s，无法满足实时作业要求；针对变电站设备巡检，林炜等［7］提出通过红外图像采集，实现变电设备的巡检与缺陷检测，但需将巡检图像回传至服务器，实时性较低；尹子会等［8］提出融合边缘计算和改进Faster R-CNN 的变电站设备典型视觉缺陷检测系统，将Faster R-CNN 模型移植进入前端模块，但其检测速度低，实时性差；苏华权等［9］提出基于边缘计算的电网边缘侧设备缺陷智能识别模型，采用动态时间规整算法和树突神经元模型对设备缺陷进行识别，但对在视野内占比较小的缺陷识别率低。曾林等［10］研究了变电站机器人多维巡检技术，结合空间区域融合滤波实现变电站视频实时监控跟踪，但其识别模型部署于后台服务器，实时性差；周博曦等［11］设计了基于人工神经网络与有限状态机的变电站告警处理系统，对变电站告警信息进行处理，但其拓扑结构复杂，网络特征要求高，鲁棒性较差。综上所述，当前在电力巡检中，还未出现可同时满足边缘侧部署、实时性高和识别精度高的巡检模型或系统。

研究深度学习模型轻量化方法，提出层间合并、参数量化的模型压缩方法，将深度学习模型体积压缩为原模型的60%，降低模型内存占用和推理显存占用，模型推理效率提升10～20 倍；研究轻量化模型在电力巡检边端侧的应用方式，结合输变电巡检场景，设计电力巡检图像前端化目标检测系统，与输电线路巡检无人机及云端无人机管控系统结合，形成输电线路无人机智能巡检系统，与变电站巡检机器人和变电站监控设备结合及集控站服务器结合，对变电站巡检设备进行智能化升级，构建输变电“云-边-端”协同运检体系，提升电力巡检效率、降低了巡检成本。

1 模型轻量化方法

针对模型轻量化要求模型体积小、推理速度快的特点，基本模型选择目标检测经典网络YOLOv3［12］，YOLOv3 为单阶段检测方法，共107 层网络，其中，0～74 层为卷积层和res 层；75～106 层为YOLO 网络的特征交互层，具备检测、分类和回归功能［13］。其模型占用存储空间最小为240MB，在移动设备对1 920×1 080 分辨率视频最快推理速度为0.5 帧/s。为降低模型占用内存，提高推理速度，须在保持模型精度的同时，减少模型网络层数、权重参数个数及推理计算复杂度［14-17］，针对此问题提出层间合并、参数量化的模型轻量化方法，对模型网络层进行合并剪枝与参数复用合并，降低网络层数和权重参数数量；对权重参数进行低精度量化，减少模型推理计算过程的复杂度和计算量。层间合并剪枝，首先对竖直方向网络结构进行整合，竖直方向同一结构的网络层合并为一个卷积层、偏置量和激活函数的合并层（Convolution Bias and Relu，CBR），然后将水平方向同结构的CBR 层合并为一层，最后将cancat的输入和input 合并，减少数据在网络结构的传输路径，减少传输吞吐量，最终实现复杂网络结构的精简。层间合并剪枝如图1 所示。其中，conv 为卷积层；bias为偏置量；relu为激活函数；concat为网络层连接计算；max pool 为最大池化层；input 为网络层输入；next input为下一层网络输入。

图1 层间合并剪枝实现方案

权重参数整型量化，主要是通过减少表示每个权重所需的比特数来压缩原始网络［18］，主要方式包括二值化网络［19］、三值化网络［20］转化及int8 量化等。因YOLOv3 模型每个层的权重参数范围基本确定，且波动不大，故可以通过量化实现模型内存占用的减少和计算量的降低。int8量化相比二值化网络和三值化网络，保留的权重特征更多，更容易通过微调实现精度的保留［21］，本文使用int8 对卷积计算过程中的float32类型数据进行量化。

float32 量化为int8，首先准备一个校准数据集，并对模型的每一层收集激活值的直方图，基于不同的阈值将激活值映射到±128 范围内，对校准数据进行推理，产生不同的量化分布，然后计算每个分布与原分布的相对熵，选择相对熵最小的分布，作为最终的模型映射阈值。int8量化过程如图2所示。

图2 int8量化过程

经层间合并、参数量化的模型轻量化方法对YOLOv3 模型进行压缩后，YOLOv3 模型性能比较如表1所示。

表1 YOLOv3模型轻量化前后性能

经模型轻量化方法对YOLOv3 进行轻量化压缩后，其模型占用存储空间降低为原模型的60%，显存占用降低为原模型的40%，推理速度比原模型提升20倍。

2 电力巡检图像前端化目标检测系统设计

边缘侧设备可通过部署轻量化模型，形成电力巡检图像前端化目标检测系统，对终端执行部件进行智能控制，实现边缘侧执行设备的智能作业。轻量化模型在边缘侧设备的部署内容主要包括：轻量化模型的移植、视频图像等信息流的采集与预处理、信息流的推理及结果输出和边缘侧设备与执行设备的交互。电力巡检图像前端化目标检测系统整体设计架构如图3 所示。电力巡检图像前端化目标检测系统包括信息流处理接口模块、处理器模块、推理结果显示接口模块、交互通信接口模块。其中，处理器模块作为边缘设备的中心模块主要负责对信息流数据的分发和轻量化模型加载及对信息流的推理；信息流接收处理接口模块负责由设备获取视频图像等信息流，并对信息流进行预处理，然后送入处理器模块，有推理芯片对信息流进行推理检测，将检测结果传入推理结果显示接口和交互通信接口；交互通信接口负责与终端执行机构的交互控制，根据处理器推理结果，控制执行机构进行相应的运动；推理结果显示接口负责将推理结果以可视化的方式呈现在显示设备上。

图3 电力巡检图像前端化目标检测系统整体设计架构

电力巡检图像前端化目标检测系统的核心在于获取视频图像等信息流，并对信息流进行推理的过程，此过程直接对1 920×1 080 视频流进行推理最快只有10 帧/s，实时性不够强，本文采用批处理的方式，可实现20 帧/s 的处理速度，具体实现方案为：以h264 格式的视频流为例，首先获取一批8 帧的h264视频流进行解码，获取完整的视频流信息，将8 帧h264 数据流信息按顺序合并为一帧视频流信息，将视频流信息送入推理芯片进行推理，将推理结果重新解析为8 帧数据结果输出。视频流推理实现方案如图4所示。

图4 视频流推理方案

3 电力巡检图像前端化目标检测系统在输变电巡检的应用

电力巡检图像前端化目标检测系统在输变电巡检中的应用，基于视觉反馈伺服控制策略，实现机器人相机视频流推理，自动检测识别输变电设备缺陷在图像中的位置，实时调整云台保持目标在视场中央，并控制相机自动变焦，对缺陷进行自主采集。视觉反馈伺服控制策略实现方案如图5所示。

图5 视觉反馈伺服控制策略实现方案

3.1 电力巡检图像前端化目标检测系统在输电线路巡检无人机的应用

将电力巡检图像前端化目标检测系统与输电线路巡检无人机及云端无人机管控系统结合，设计了输电线路无人机智能巡检系统，建立了输电线路巡检“云-边-端”协同运检体系。其系统组成如图6 所示，无人机管控系统作为云端，负责整体无人机作业管控规划，无人机与电力巡检图像前端化目标检测系统构成“边-端”侧，可实现大视场下小目标的实时搜索定位与载荷平台视觉反馈控制和巡检过程中杆塔、绝缘子、金具等设备缺陷的实时自主辨识与自主采集。电力巡检前端化目标检测系统由无人机云台相机获取视频流，对视频流进行实时推理检测，获取缺陷设备在相机视场的位置，通过飞控系统，调整无人机飞行姿态和相机的云台方向，将缺陷设备调整至视野中央，开启自动采集功能，实现缺陷设备的现场实时自主识别和自动采集，同时将设备缺陷信息上传至云端无人机管控系统，生成设备缺陷信息，下发至巡检人员。

图6 输电线路无人机智能巡检系统组成

输电线路无人机智能巡检系统与人工巡检功能比较如表2所示。

表2 智能巡检系统与人工巡检比较

智能巡检系统与人工巡检相比，图像分析方式由人工上传后台的非实时升级为实时分析，图像分析效率为20 帧/s，可实现设备缺陷的全自主分析和自动采集，作业效率提升至原来的5倍。

3.2 电力巡检图像前端化目标检测系统在变电站巡检机器人中的应用

变电站巡检机器人和变电站监控终端搭载电力巡检图像前端化目标检测系统，与变电站边端后台及集控站云端大脑结合，构建变电站“云-边-端”协同运检体系，对变电站巡检机器人和变电站监控终端进行智能升级，如图7 所示。能够实现变电站设备缺陷的边缘侧智能识别与缺陷自主采集，并将结果上传至集控站；集控站云端服务器开展样本收集及模型训练，将更新后的模型推送至边端设备，实现模型迭代更新。

图7 变电站巡检机器人和变电站监控终端智能升级

将机器人巡检相机、激光传感器、双目相机、双自由云台等多种模块与电力巡检前端化目标检测系统结合，对变电站巡检机器人进行智能化升级，架构如图8 所示，由双目相机、激光雷达及GPS/惯性导航数据获取导航数据，实现机器人导航自主规划、并控制巡检相机完成巡检数据智能分析，同时控制云台和机器人移动平台对巡检相机位姿进行调整，实现变电站设备缺陷智能采集。

图8 变电站巡检机器人智能化升级架构

变电站巡检机器人升级前后功能及指标对比如表3所示。

表3 变电站巡检机器人升级前后功能及指标对比

变电站巡检机器人智能化升级后，图像分析方式由后台的非实时升级为实时分析，图像分析效率为20 帧/s，可实现设备缺陷的全自主分析和自动采集，巡检范围可实现变电站自主覆盖巡检，巡检时间由48 h提升至3 h，作业效率提升至原来的16倍。

4 结语

研究前端化目标检测技术，提出层间合并、参数量化的深度学习模型轻量化方法，模型体积压缩为原模型的60%，模型推理效率提升10～20 倍，解决了深度学习模型网络层数深、结构复杂、存储占用多、推理效率低的问题；将轻量化模型部署在边缘侧设备中，设计了电力巡检图像前端化目标检测系统，分别与无人机、变电站巡检机器人和变电站监控终端进行了集成，实现输电站巡检无人机的全自主巡检与缺陷自动采集和变电站巡检机器人对变电站巡检路径自主规划、巡检数据智能分析和变电站缺陷的实时定位与智能采集，实现输变电站机器人智能化升级，同时与后端服务器进行协同交互，建立了“云-边-端”协同运检体系，输电线路巡检效率提升至原来的5 倍，变电站巡检机器人巡检效率提升至原来的16倍。