基于深度学习与边缘计算的变电站安全管控技术研究

刘子豪,赵智龙,杨世博,孟 荣,孟延辉

(国网河北省电力有限公司超高压分公司,河北 石家庄 050000)

0 引言

在当前变电站实际生产作业中,巡检作业人员安全意识不强,忽视电力系统规章制度的违章作业行为(如未规范佩戴安全帽、未穿着工作服等)较为常见,给巡检人员的人身安全以及电力系统的安全稳定运行都会带来极大的隐患[1-2]。目前,针对工况下巡检人员安全问题主要依赖人工监督检查,存在工作量大、效率低、安全隐患高等缺点,无法实现对整个变电站工况现场作业人员安全的实时、高效、全局管控[3]。因此,提升对变电站工况现场的安全管控水平,对于保障变电站安全与电力系统的安全稳定运行具有重要意义。

在变电站安全施工监测管控方面,国内外学者已进行了相关研究[4-6]。结合物联网技术,文献[4]提出了一种“传统安全+物联网安全”的创新管控模式,建立可移动电子围栏系统、人员行为轨迹监控系统、车辆定位监控系统以及一体化智慧监管云平台等,实现了对作业现场全方位、一体化的远程管控;文献[5]利用可穿戴设备无线传感自组网技术,实现了人体与环境的信息反馈以及工作人员的精准定位,提升了电力施工安全性。但上述方法大都只能完成对变电站巡检人员行动轨迹及位置信息的管理,无法实现对变电站施工现场护具佩戴情况的有效监管,且无法满足变电站安全管控的实时可视化。

随着人工智能技术的发展,将计算机视觉和深度学习等技术应用于变电站内人员安全管控成为了可能。基于传统机器视觉技术,文献[7]提出了一种施工区安全帽智能识别方法,该方法采用混合高斯模型进行前景检测,通过对连通区域人体边缘的检测处理,实现对作业人员的自动判别和跟踪,最后对估测矩形内的像素进行统计分析,实现了安全帽佩戴情况的自动识别检测,但该方法较为复杂,计算量大,无法满足复杂施工场景下的实时检测。

近年来,深度学习目标检测算法日益成熟,相关学者也逐渐将深度学习算法应用于变电站管控场景中[8-10]。针对小目标安全帽识别、数据集中类别不平衡以及安全帽预测区域不匹配等问题,文献[8]对Faster R-CNN 网络框架进行改进,提升了对施工现场个人防护用品佩戴情况的有效监管;文献[9]运用SSD 目标检测框架和自注意力机制,通过对原始SSD 目标检测框架进行调参并添加自注意力模块,提升了小目标检测的准确率;文献[10]利用人体关键点检测模型从摄像头拍摄视频中提取现场人员图像,而后利用YOLOv3算法完成对现场作业人员安全帽佩戴情况的检测;但上述方法大都只针对安全帽佩戴情况进行离线检测,无法实现对“未穿着工作服”、“未佩戴绝缘手套”等违规施工行为的有效检测,且无法实现变电站复杂施工场景下的算法部署应用与在线实时安全管控。

针对变电站安全管控现状的不足以及管控的实时性和准确性需求,提出一种“深度学习+边缘计算”变电站安全管控方法。通过在变电站实地拍摄,构建变电站巡检人员行为数据集,将深度学习算法模型在服务器计算平台进行训练以及测试;开发变电站安监边缘计算设备,并部署所训练的深度学习算法模型,从而实现变电站复杂施工场景下巡检人员违规施工行为的实时精准识别检测与预警。

1 深度学习理论依据

随着深度学习理论的发展,目标检测算法日益成熟。以R-CNN 系列算法为代表的基于区域建议网络的目标检测算法精准度较高,但速度较慢,无法满足目标检测的实时性需求;以YOLO系列算法为代表的one-stage目标检测算法,没有使用区域建议网络(Region Proposal Network,RPN),检测速度较快,可应用于变电站工作人员安全的实时管控。

1.1 YOLO 系列网络模型

YOLO 系列算法为典型one-stage目标检测算法。2015年,one-stage目标检测算法的开山之作YOLOv1正式发布,大大提升了目标检测的速度;YOLOv2算法的提出从识别准确率、速度、识别类别数3个角度对YOLOv1算法进行了改进;YOLOv3算法利用残差模型Darknet-53 实现了对特征的提取,并利用特征金字塔FPN 网络结构实现了多尺度检测;YOLOv4在YOLOv3的基础上,针对数据处理、主干网络、网络训练、激活函数、损失函数等方面进行优化,实现了检测速度与精度的最佳权衡,此外,YOLOv4 较前几代YOLO 算法更适合在单GPU 上部署应用。

1.2 YOLOv4网络模型

YOLOv4[11]网 络 是Alexey Bochkovskiy 在YOLOv3网络模型上进行的改进。YOLOv4 网络模型结构主要由输入端Input、特征提取骨干网络Backbone、进行特征融合的Neck 部分和检测头Head四部分组成[12],如图1所示。在输入端,YOLOv4网络引入Mosaic数据增强技术[13],增加了小目标图像数据,丰富了检测数据集,提升了网络的鲁棒性,且减少了对GPU 的性能需求。

图1 YOLOv4网络框架

在YOLOv3主干网络Darknet53的基础上,YOLOv4借鉴跨阶段局部网络(Cross Stage Paritial Network,CSPNet)思想,形成准确性高、计算瓶颈小、内存成本低的主干网络CSPDarknet53。CSPDarknet53结构包含5个CSP模块,可以减少网络计算量,同时可以保证准确率。

YOLOv4的Neck部分由空间金字塔池化网络[14](Spatial Pyramid Pooling,SPP)、特征金字塔网络(Feature Pyramid Network,FPN)和路径聚合网络(Path Aggregation Network,PAN)组成。SPP网络可增加网络的感受野,在FPN 网络基础上通过PAN 网络加入自下向上的路径增强,有效避免了路径丢失的问题,可实现骨干网络深层特征与浅层特征的融合。

YOLOv4检测头Head 部分沿用YOLOv3检测头,进行两次卷积完成检测。FPN+PAN 网络如图2所示。

图2 FPN+PAN网络

2 模型训练与测试

2.1 变电站巡检人员行为数据集构建

变电站巡检人员行为数据集拍摄的地点为国家电网有限公司某变电站。采用高清相机对变电站室内室外不同场景以及不同光照条件、摄像头角度下的巡检人员施工行为进行拍摄存储,构建了一个包含“违规施工行为”和“正常施工行为”共计8 000张的变电站巡检人员施工行为数据集,变电站巡检人员施工行为样图如图3所示。

图3 变电站巡检人员行为数据集样图

2.2 数据集划分与数据标注

变电站巡检人员施工行为数据集中6 400张图像用于模型训练,剩余1 600张图像用于模型的测试与评价。采用LabelImg图像标注工具对数据集进行标注,其中bounding box标签YesHelmet表示佩戴施工安全帽、No Helmet表示未佩戴施工安全帽、YesClothes表示穿着工作服、NoClothes表示未穿着工作服、YesGlove表示佩戴绝缘手套、NoGlove表示未佩戴绝缘手套、Body表示人体、ElectricPole表示验电杆、EarthedPole表示接地杆、BlackoutPole表示绝缘杆。变电站巡检人员行为数据集标注样如图4所示。

图4 变电站巡检人员行为数据集标注样

2.3 模型训练

选用服务器作为目标检测模型的训练测试计算平台,其相关性能参数如表1所示。选用具有12 G 显存的NVIDA GeForce1080Ti显卡来满足模型训练对GPU 计算力的需求。

表1 服务器计算平台参数

在Ubuntu系统中采用Darknet深度学习框架分别搭建YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny 4种代表性YOLO 网络模型。根据变电站巡检人员施工行为数据集对预训练模型参数进行微调,并通过调整训练过程中的学习率(learning_rate)、动量常数(momentum)、权值衰减系数(decay)等参数,使各网络模型训练效果良好。

2.4 检测结果及分析

YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型的识别准确率对比结果如图5所示。

图5 迭代次数与准确率关系

由图5可知,YOLOv4、YOLOv3模型与轻量化的YOLOv4-Tiny、YOLOv3-Tiny模型相比,拥有较高的准确率,且YOLOv4网络模型的准确率要高于YOLOv3。YOLOv4 模型在迭代了前2 000次后,识别准确率上升到0.8左右,最终稳定在93.80%。

测试集中,YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型对不同目标类别的检测准确率与平均检测准确率对比见表2。

表2 __模型准确率对比 %

由表2可知,YOLOv4模型针对不同目标类别的检测准确率以及平均检测准确率高于其他3种模型。YOLOv4模型针对复杂施工背景下大目标类别(Helmet类、Clothes类、Body类)的检测准确率与YOLOv4-Tiny和YOLOv3模型相近,但针对小目标类别(Glove类、ElectricPole等)的检测准确率要明显高于其他模型;YOLOv3-Tiny模型除Clothes类和Body类目标检测准确率与其他算法相近外,其他目标类别的检测准确率明显低于其他3种模型。

YOLOv4模型检测结果如图6所示。

图6 YOLOv4检测结果

3 现场应用

3.1 变电站安监装置设计

变电站安监装置为监督变电站施工作业的边缘计算终端设备,可部署深度学习算法,实现对现场施工情况的本地端记录以及违规施工行为的实时识别预警。变电站安监装置的核心处理器为NVIDIA Jetson XAVIER NX 模块,其体积小巧、接口资源丰富、计算功能强大,且拥有NVIDIA 深度学习加速器引擎,可满足深度学习算法的嵌入以及边缘端计算的需要;本装置采用STM32F103RBT6单片机模块作为协处理器,其为一款基于ARM 架构的32 位微处理器,支持I2C、USART、SPI、CAN、USB 等通信;本装置选用萤石无极巡航系列互联网摄像机作为第三视角摄像头,搭配3D 数字降噪算法,画质清晰,摄像头云台支持水平360°循环转动,垂直俯仰转动,且摄像头模块支持本地存储、云存储等功能;本装置选用10.1英寸电容式可触控IPS屏幕,分辨率高,亮度可达500 cd/m2;本装置选用锂电池供电方案,锂电池容量为6 000 m Ah,满电状态下装置续航时间可达5 h。

3.2 模型部署与应用验证

上述变电站安监边缘计算设备的核心处理器为NVIDIA Jetson XAVIER NX,在该计算平台下进行OpenCV 的编译,开启DNN[15](Deep Neural Networks)模块,可以实现深度学习网络的正向推理加速。

将 训 练 好 的 YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型部署在变电站安监边缘计算设备,并开启OpenCV DNN 推理加速进行模型的应用测试;YOLOv4等模型在NVIDIA Jetson XAVIER NX上的正向推理速度如表3所示。

表3 模型正向推理速度对比

由表3可见,YOLOv4模型的正向推理速度为28.12 FPS,虽低于其他3种模型的正向推理速度,但YOLOv4模型的检测准确率相对较高,且该推理速度可满足实时检测的应用需求,因此YOLOv4模型相比于其他3种模型可实现边缘端识别定位准确度与推理速度的最优平衡,满足变电站巡检人员安全的管控需求。

4 结论

本文提出了一种基于“深度学习+边缘计算”的变电站安全管控方法。通过在服务器计算平台对YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型进行训练与测试,并将其部署到开发的变电站安监边缘计算终端设备进行应用对比分析,得出YOLOv4 模型检测准确率最高,可达93.80%,在边缘端的正向平均推理速度为28.12 FPS,可实现边缘端识别定位准确度与推理速度的最优平衡。针对变电站复杂施工场景下巡检人员违规施工行为的实时精准识别检测与预警,具有一定的推广应用价值,为深度学习与边缘计算在变电站安全管控中的综合应用提供了参考。在后续的研究工作中,可尝试加强安监边缘计算终端设备与工况现场视频监控设备的通信连接,并实现与电力系统内网运维系统之间的数据共享与融合应用。