基于视觉AI的移动安全监控系统在电力临时高危作业场景的应用研究

闫印强，姚兴仁，赵子刚

（长扬科技（北京）有限公司，北京 100195）

0 引言

在电力临时和特殊作业中，常见动火作业、升压站和充电房的巡检、高处/吊装及受限空间等作业，安全监控仅仅依赖于制度条例进行安全管理，杜邦百年统计96%的安全事故由人为因素造成。在临时作业中，作业过程基本由承包商完成，承包商员工流动性大，人岗不匹，人员素质不高，安全意识淡薄，制度执行不严，存在“少投入、赶工期、多回报”的潜意识和“事故不一定发生”的侥幸心理。同时临时作业具有临时性、机动性、人员变动大等特点。

目前传统视频安全监控系统普通存在着以下问题：（1）针对临时作业，监控系统不能实时监控的现场作业。电厂传统视频安全监控系统是通过安装固定位置的摄像机来监控现场的，同时由于资金、设备、场地变迁等历史原因，并没有在所有区域安装摄像机，也没有实现全方位无死角的监控，这样，当发生临时和特殊高危作业时，就不能临时快速地部署安全监控装置，来实时监控人员的作业安全违规行为，因而不能满足临时作业对安全监控装置的便捷性、移动性的要求。（2）监控系统不能实现事前预警。电厂传统视频安全监控系统对故障的诊断和分析是事后的，主要通过人工来分析判断的，也没有引入人工智能机器视觉技术来实现故障诊断的智能分析和事前预警。

针对电力生产中临时高危作业进行无死角全程监控和承包商人员的安全管理的挑战，本文提出基于AI视觉技术的智能视频监控系统，通过深度学习技术及移动监控设备的快速临活部署，不仅实现了实时监控人员的作业安全违规行为，满足临时作业对装置的便捷性、移动性的要求；而且实现了安全监控的无人值守，节省人力物力；还能进行故障的远程诊断和事前预警，及早及时发现问题，避免引起重大伤亡或停产事故，造成重大经济损失[1-2]。

1 相关技术

1.1 AI机器视觉技术

深度学习技术的应用是移动视觉AI安全监控装置实现安全行为诊断的关键，计算机视觉在人工智能领域的高速发展，通过深度学习技术获得了自主学习能力，从而为移动视觉AI安全监控装置智能预警提供了技术保障。图像、视频流识别和红外成像分析等技术本质上都采用了人工智能的AI深度学习技术，通过大量的图像、视频的样本数据，提取了电力行业业务领域的图像、视频的典型特征，并构建专业诊断模型，再通过对模型的长期训练学习，来不断提高算法的准确率和识别准确率。

深度学习的理念源于人工神经网络的研究，深度学习结构是包含多个隐藏层的多层感知器。属性类别或特征是通过组合低层特征形成更加抽象的高层来表示，用以发掘和表示数据的分布式特征。深度学习的研究目的是模拟人脑来构建进行分析学习的神经网络，模仿人脑的机制来解释数据，例如视频、图像、声音和文本等。

1.2 目标检测算法

基于深度神经网络的目标检测算法目前已经非常成熟，在工业界已经有很多应用场景落地[2]。经典的目标检测算法模型有faster-rcnn系列[3-4]、SSD[5]、YOLO系列[6-8]、ViT系列[9]等，本文烟火检测、动火设备检测、入侵检测等目标检测场景中，使用了其中一些模型。本文挑选其中工业界普遍使用的YOLOV3版本模型进行介绍。

图1 darknet53 结构[8]

YOLO系列网络是目标检测网络中端到端检测架构网络的典型代表。YOLOv3版本的backbone使用Darknet-53来进行图片特征提取，比YOLOv2时期的Darknet-19加深了网络层数，并借鉴引入了ResNet的跨层加和连接，保证网络加深后不会出现特征消失。Darknet-53的网络结构如下图1。

如图1所示，Darknet-53网络采用256×256×3作为输入，最左侧那一列的1、2、8等数字表示重复的残差组件的个数。Darknet-53与其他网络的性能对比如下图2。

图2 backbone 网络性能对比[8]

由图2所示，尽管Darknet-53速度比Darknet-19慢了很多，但是Darknet-53的Top-1和Top-5精度与ResNet接近的情况下，FPS比ResNet高了很多。

YOLOv3吸取了ResNet、Densenet、FPN的精髓，融合了目标检测当前业界各种优秀网络模型的技巧。（1）借鉴了特征金字塔的原理，使用3个尺寸的特征图来检测大小不同的目标。（2）借鉴了ResNet的跨层连接加和操作来进行特征融合。（3）借鉴了Densenet的concat操作来进行特征融合。YOLOv3的网络架构图如下图3所示。

图3 YOLOv3 网络架构图[8]

由图3可知，YOLOv3有3个特征图层，小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体。对每个特征图层有3个Anchor框，总共输出9个先验框。YOLOv3的Loss函数可分为3个特征图的Loss之和。第1个特征层的loss函数N1如下式（1）所示。

YOLOv3的Loss函数如下式（2）所示：

其中，λ为权重常数，控制检测框Loss、obj置信度Loss、noobj置信度Loss之间的比例，通常负例的个数是正例的几十倍以上，可以通过权重超参控制检测效果。表示若是正例则输出1，否则为0；表示若是负例则输出1，否则为0；忽略样例都输出0。x、y、w、h使用MSE作为损失函数，也可以使用smooth L1 loss[4]作为损失函数。smooth L1可以使训练更加平滑。置信度、类别标签由于是0，1二分类，所以使用交叉熵作为损失函数。

2 基于视觉AI的移动安全监控系统的设计研究

2.1 移动安全监控系统总体设计

基于视觉AI技术的移动监控系统包括软件系统和硬件设备。

软件系统是一套完整的视频监控体系，包括视频数据采集、视频流解析、算法模型推理、结果生成、告警展示、分析统计以及校验处理等功能。其核心在于利用深度学习技术，根据不同的应用场景定制化构建的一系列智能作业区域入侵监控及安全生产预警模型，能及时发现临时高危作业中的安全隐患，避免安全事故的发生，为安全作业保驾护航。

硬件设备是搭载软件系统的载体，同时需要能适应实际应用场景的“刚性”需求。本文设计提出硬件设备包括电源设备、搭载GPU推理芯片的边缘分析器、DC稳压系统、自然光和热成像的摄像设备、光纤交换机等硬件设备，既能支撑AI模型的推理分析所需求的算力要求，又能解决临时高危作业过程中的机动性、敏捷性、实时性、高效性等应用需求难点，真正的实现了AI智能监控系统的落地应用。

本文设计提出的AI移动安全监控系统针对电力临时高危作业场景的安全智能监控，软硬件整体结构流程图如下图4所示，从摄像机采集到的实时视频画面，经过无限网络及交换机转发到自给供电的AI边缘分析器，视觉AI模型解析视频流并进行安全检测和分析，并将分析结果以无限网络的方式发送到云端平台进行展示。

图4 软硬件结构流程图

2.2 移动安全监控系统硬件设计

移动安全监控系统硬件设计需要满足临时移动作业场景的客观需求，即临时性、机动性、便捷性等需求，同时又要能稳定支撑AI软件系统的持续运行服务，应具备如下表1特性：

表1 移动安全监控系统硬件功能特性

由表1可知，移动安全监控系统硬件设备具备了各种功能特性，能适应多种临时作业场景的苛刻条件，具备高可用性和强适应性。本文提出的移动视觉AI安全监控系统硬件设备如下图5所示：

2.3 视觉AI安全场景模型设计

图5 移动视觉AI 安全监控系统硬件

视觉AI安全模型的构建流程是，多种图像视频数据流经过实时数据处理，存储至特征工程并生成离线的原始样本。在离线系统，对原始样本进行专业化针对性的数据处理、特征提取、特征映射，从而生成训练样本；根据电力业务场景，选择不同的算法模型，进行模型训练、预测、测试和评估；待模型迭代满足业务要求后，通过云中心自动部署将模型文件部署上线。线上系统根据业务规则逻辑，对摄像头捕获的视频流信息进行实时检测，最终将预测结果输出，供线上服务调用。本文针对临时高危作业设计安全模型如下表2所示：

表2 视觉AI 安全模型描述

3 AI移动安全监控系统在电力临时高危场景的应用研究

本文将基于视觉AI的移动安全监控系统实际运用到电力行业临时高危作业场景中，在实际应用中验证了AI移动安全监控系统的可用性、便捷性、高效性、智能性等优势及特性。本文在电力行业临时高危作业中验证AI移动安全场景如下。

3.1 电力临时高危作业区域入侵检测

在电力行业临时作业中，将AI移动安全监控系统装置固定在临时作业区域边缘，例如场区闸门、油库、锅炉汽机生产、升压站、风电/光伏子阵、风机塔筒平台、充电房等区域，调整好监控角度，配置启动对应的入侵检测AI安全监控服务，划定一个或多个电子警戒区。当作业过程中，警戒区内出现行人时，AI移动安全监控系统会立即告警，发出带告警事件的图片信息，立即推送给相关管理人员，并启动喇叭，发出声音告警，提示闯入人员立即撤离危险预警区域。警戒区域边界入侵示意图如下图6所示：

3.2 电力临时作业区域人员资质稽核

将AI移动安全监控系统设备固定安置在临时作业区域边缘，调整摄像机监控高度和角度，使用近距离摄像机拍摄作业人员脸部特征，配置并启动人脸识别模型，通过人脸识别技术针对临时作业区域的作业人员进行点名与统计、人证稽核，若发现非工作人员进入临时作业区域，立即发出告警，推送相关管理人员，并现场喇叭提示非工作人员离开作业区域，避免临时作业中私自替换作业人员、非专业作业人员违规作业等带来的安全隐患，减小人员管理方面存在漏洞导致的安全事故发生概率。

图6 警戒区域边界入侵告警示意图

3.3 电力临时作业现场烟火、动火设备检测

将AI移动安全监控系统设备固定安置在临时作业区域边缘，调整摄像机监控高度和角度，使摄像机能拍摄到整个临时作业现场，配置并启动火烟、灭火器等动火设备实时检测模型，若临时作业中检测到明火、烟雾，同时未能检测到相应的灭火器等动火设备，立即告警，推送相关管理人员，并提示作业人员检查配备，避免违规作业，降低安全事故发生概率。AI移动安全监控系统设备在临时作业动火设备检测场景的应用示例如下图7所示：

4 实验结果及分析

图7 临时动火作业监控应用场景示例

为了验证AI移动安全监控系统在电力行业临时作业实际应用场景的优势和特性，本文选择了边界入侵、人员资质稽核和动火设备安全检测这三个应用场景作为实验验证场景，主要验证AI移动安全监控系统设备的部署时间、FPS、AI检测精度、事件响应时间等指标，并与不使用移动安全监控系统设备下的安全监控实验进行对比，实验中采用的摄像头为普通家用高清摄像头，像素为1080P，型号是DS-IPC-E12H-IWT，实验结果如下表3所示：

其中，表3部署模型均为本文针对临时作业移动安全监控系统应用训练的AI模型，表中“非移动监控”场景是指在临时作业场景安装临时摄像头监控，并使用AI模型进行监控的场景，表中“传统监控”场景是模拟部署临时摄像头监控监控，人员值守监控实验。

表3 AI 移动安全监控系统应用场景实验结果

由表3实验可知，本文设计的AI移动安全监控系统在临时作业场景应用实验中，使用AI监控的场景能达到实时检测的效果，本文AI移动安全监控系统设备能在“秒级别”迅速产生事件响应，而使用传统监控技术只能依靠值守人员来进行事件响应，只能在“分钟级别”。另外，本文提出的移动安全检测系统设备能在10分钟内快速部署检测，而传统布控方式只能以小时计算。综上所述，本文提出的AI移动安全监控系统能实现快速布控、精准实时检测、及时告警响应的目标，相对于“传统监控+AI”和“传统人工监控”的方式，大大提高了临时作业监控的便捷性、移动性和准确性，改善了人工耗时耗力且低效的临时作业监控现状。

5 结语

本文提出的基于视觉AI移动安全监控系统充分利用了视觉AI技术的实时性和可靠性，构建临时高危作业场景下环境、人员、行为的安全分析模型，由被动监控转换为主动智能分析，针对临时作业场景实现实时监控，第一时间感知风险、第一时间处置，弥补临时高危作业场景安全管控的空白，实现了临时作业区全程监管，减少安全违规，降低安全事故风险的目标。另外，文本提出的基于视觉AI移动安全系统的整套软硬件系统可实现便捷快速部署和移动，能满足电力行业临时高危作业场景的环境需求，加速工业AI应用场景落地化进程。