视频识别技术在作业现场违章行为预测方面的应用

刘玉林

（中国石化集团胜利石油管理局有限公司电力分公司，山东东营 257091）

0 前言

长期以来，安全管理工作均以事前风险识别告知、现场监督检查、事后总结处罚的模式进行。然而，由于行业特点和其他多种因素，石化领域安全生产事故屡见不鲜，安全生产成为整个石化产业应当妥善处理的首要问题。视频监视范围的全面覆盖为现场违章行为的智能识别和人员行动轨迹预测技术相结合提供了基础，从而对可能发生的违章行为进行预测，并给现场作业人员发出预警信号，实现以视频预判为基础的阻止违章的功能，从而提升现场作业的安全性，消除触电风险。

针对作业现场安全生产智能管控技术，由于需要变电站视频监控系统里实时的数据源进行后续的图像识别，因此要求变电站的数据接口可提供稳定、精确的大流量服务，拥有较快的响应能力。视频识别技术主要用于与变电站现场视频图像识别检测的交互，与国内主流图像监控厂商的视频分析服务器进行数据传输，以及处理分析用户已经上传的视频图像并迅速返回检测与识别结果，快速做出违章行为预测，以此来减小事故的发生概率。

1 视频识别技术的应用

从人员作业区域开始，首先进行人脸识别并核查身份，然后利用开发人员身份鉴别模块实现工种及许可作业范围与人员的关联。在整个作业过程中，配合移动目标的检测技术可以准确地将未按规定正确佩戴安全帽和工装的人员实时上报给监控平台。为了保障变电站内设备的安全、提升变电站作业过程的管理效率，智能管控平台需要具有对识别出的变电站人员的运动轨迹进行全程的跟踪和预测功能，因此拟采用卡尔曼滤波策略与行人重识别技术实现此功能。增加施工区域越界告警模块可以实时地识别施工人员在施工过程中是否跨越安全区域，当施工人员翻越警戒线时可实现系统自动报警。

采用变电站内的固定摄像头和移动摄像头相结合的方式，实现变电站内视频的全面覆盖。可以实现现场人员从入场到作业以及作业终结的全过程监控和提醒，从而有效降低作业风险和事故发生概率。

2 现场系统应用的主要技术

该研究是利用变电站内不同时期投入使用的各种型号的视频设备所采集的视频数据进行识别分析，并通过测试和修正确保目前运行的大多数视频设备能够满足智能识别的要求。

2.1 人员身份鉴别技术

研究基于SeetaFace来进行人员身份的鉴别，通过在vggface2数据集上预训InceptionResnetV1模型来提取检测到每个人脸图片的特征向量。并利用作业现场的视频设备对所有人员进行自动捕捉，来判定现场人员是否具备作业资质，识别流程如图1所示。

图1 人员身份鉴别流程

2.2 移动目标检测技术

YOLO(You Only Look Once)是基于深度卷积神经网络的目标识别和定位算法，整个网络结构只由卷积层组成，输入的图像仅仅经过一次网络就能完成目标的分类与定位，所以检测速度比较快，能够满足变电站的实时性要求。它创造性地将目标候选区域选择与识别这两个阶段任务合成一个，仅仅使用一次特征提取，就能准确地检测出目标并定位其位置。YOLO的网络设计遵循了GoogleNet的思想，但与之有所区别，它所采用的是24个级联的卷积层和2个全连接层。其中卷积层包括3×3和1×1两种Kernel，最后的全连接层的输出为YOLO的输出，长度为：7×7×30。

YOLOv4是YOLO中一个高效快速的目标检测框架，主要目的在于设计一个能够应用于实际工作环境中的快速目标检测系统，且能够被并行优化，并没有很刻意去追求理论上的低计算量(BFLOP)。从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面引入一些优化方法，使得模型在检测速度和精度上达到了目前为止的最优匹配。YOLOv4目标检测算法在网络结构上比YOLOv3更复杂，使用了很多训练技巧来提升神经网络的准确率。YOLOv4通过引入Mosaic数据增强方法与GA算法来选择最优超参数，并对现有方法进行改进使其具有更低的训练门槛，能够在GPU资源有限的条件下得到更好的结果。

目前采集到的变电站监控视频图像一般都是24位的彩色图像，由于RGB彩色图像变换很大，并不能较好地表示图像的特征信息，而且分别计算R、G、B分量值会增加图像处理的计算量，不能满足视频图像的实时性要求。所以采用图像的灰度变换作为图像预处理中的重要方法之一。

以一帧图像为例，首先通过图像预处理对输入的实时视频帧信号进行灰度化、图像去噪以及图像增强，然后再通过融合多种数据增强的目标检测算法YOLOv4对变电站内的安全措施进行检测，从而得到视频序列中目标的检测框，而后筛选出置信度评分大于0.8的检测框。

采用深度神经网络的算法，来实现对变电站内安全措施的识别。采集大量数据进行训练，将训练好的安全措施识别模型运用到实际环境中，实现变电站内的安全措施识别。将识别出的未按规定佩戴安全帽和穿工作服的人员信息发送给平台，并在前端实时显示分析界面，同时平台会对违规情况进行及时提醒，以此来保护人员和设备的安全，形成更高效、安全的电力保障。识别效果见图2。

图2 场景一安全措施识别

2.3 移动目标跟踪技术

定位跟踪时，可以通过某种定位技术得到一个位置估计(观测位置)，也可以根据经验由上一时刻的位置和速度来预测当前位置。通过卡尔曼滤波进行轨迹预测，并采用关联算法与优先分配策略，从小到大匹配消失时间相同的轨迹，不仅保障了最近出现目标的优先权，同时也很好地解决了目标由于遮挡造成的无法再识别问题。主要流程如图3所示。

图3 卡尔曼滤波流程

2.4 电子围栏生成及越界检测技术

调度自动化系统中停电设备情况与视频设备关联，在摄像机上划定特定的安全区域，当有人攀爬或穿越预定的区域时，能实时进行报警，并且能够联动视频监控精确定位报警区域，其次通过对接调配一体化系统数据，自动生成安全区域。越界检测采用几何引射线法来判断位置点是否在警戒区域内部。几何引射线法是从目标点出发引一条射线，检测这条射线和多边形所有边的交点数目。如果有奇数个交点，则说明在内部，如果有偶数个交点，则说明在外部。

射线法的关键在于单向发射，以水平线为例简单说明，O点向右发出射线与多边形交于B、C、D三点，O点向左发出射线与多边形交与A点，两边交点数都是奇数，而P点位于多边形以外，所以它无论向哪个方向发出射线，都会有两个交点。几何射线法同样适用于带内岛的形状，如图4所示。

图4 一条射线与内岛形状多边形交点

平台是以列表的形式发送工作区域信息，所以绘制工作区域的时候，既可以绘制单工作区域，也可以绘制多工作区域。单工作区域是将平台发送过来工作区域的端点连接起来，绘制成一个有进口的半封闭区域；多工作区域是将平台发送过来工作区域信息进行遍历，然后将得到的多个工作区域的端点分别连接起来，绘制而成的多个有进口的半封闭区域。当检测到有施工人员跨越施工区域时，会在分析视频中实时的进行文字越线提醒，同时将人员的越线信息、越线图片实时发送至平台，并结合现场作业票据和设备停电范围自动生成安全作业区域，以防止人身触电事故的发生。

3 现场测试数据及结论

3.1 测试环境及测试方式

在变电站内选取多站点、不同摄像机分别进行识别分析。分别对作业过程中运动中的人脸进行识别，并对作业行为进行测试。

3.1.1 人脸识别测试方式

每个摄像机选取5段帧率为25 fps、时长为3 min左右的视频(约22 500张图像)作为识别样本，视频中包含3 m以内、3～5 m、5 m以内的人员活动场景；人脸库内不少于300个样本，所有的测试人员均在人脸库中；分别测试距离约在3 m以内、3～5 m、5 m以内的情况，通过人工识别来掌握各场景下有效图像张数，系统记录算法识别成功且准确张数。各样本单独计算不同场景下的准确率，用成功张数/有效图数即得到识别准确率，再汇总计算整体识别率。

3.1.2 作业行为的识别测试方式

每个摄像机选取5段帧率为25 fps、时长约为3 min的视频(约22 500张图像)；场景内需包括单人、多人在15 m内的正身和侧身情况；分别对单人正身和侧身身着工装和脱掉工装场景、安全帽穿戴、人员作业区域划分等在15 m以内的有效图象进行人工计数和识别计数，识别计数除以人工计数为识别准确率；并对多人进行测试，分别记录人工计数应识别的人次和系统算法识别人次，其中识别计数除以人工计数为识别准确率。

3.2 摄像头现场测试数据

如表1～表3所示，通过不同摄像机型号对不同距离的施工人员是否佩戴安全帽、不同距离的正侧脸以及不同距离的越界识别率进行比较可以得出结论，识别准确率与采集时间、设备像素、距离等因素有关。摄像头像素的升高、采集时间的延长等可以使识别率提高，识别物与摄像头的距离增加则会导致识别准确率下降。

表1 安全帽识别现场测试数据

表2 人脸识别现场测试数据

表3 越界识别现场测试数据

4 结语

在对石化企业进行安全管理研究的时候需要增强系统化意识，其中大部分安全事故是由于现场操作不规范引起的，随着信息技术的发展，视频作为常规数据进行存储分析逐步成为常态，通过作业现场违章行为和作业区域的实时监控，可以大幅度降低安全事故发生的概率，有利于企业的安全发展。在工业应用场景中将工业控制数据与现场监控视频相结合进行安全风险分析，对于实现违章行为的预先报警和危险提示有重要意义。