基于深度学习的变电站人员安全装备检测应用研究

田有文，姚春霖，林 磊，郝 涛，张楠楠，吴 伟，王芳禄

（1.沈阳农业大学 信息与电气工程学院，沈阳 110161；2.国网丹东供电公司，辽宁 丹东 118000）

随着国家智能电网的建设和无人变电站的普及，对于变电站设备和变电站员工的安全保护显得尤为重要。通常为了保证变电站的人员安全和设备安全，都会在变电站入口处设置门禁系统，只有正确识别出身份信息的人员才会被允许进入变电站。但是目前很多变电站的门禁系统功能过于单一，大部分是只对员工的人员身份进行识别，而对员工是否有违反安全规定的行为，例如不穿戴绝缘服、佩戴安全帽等信息没有识别，从而对变电站员工的人身安全和设备安全存在着一定的隐患。因此，在门禁系统当中除了要对人员身份进行识别之外，还需要对员工所穿戴的安全装备进行检测与识别。这对于保障变电站的设备安全、人员安全和稳定运行具有重要意义。

目前有很多学者对变电站门禁系统进行相关的研究。赵希洋等采用了将RFID 技术和红外线技术结合建立变电站门禁系统，可利用RFID 阅读器读取安全帽、绝缘鞋上的电子标签而检查了员工安全装备的佩戴情况。张奎奎设计了一个变电站人脸识别系统，使用机器学习LBP 算法来对人脸特征进行提取；曹怡等设计了基于IC卡的身份识别及登记装置，该方法只能检查变电站人员的进出情况；马鹏姬等采用条码技术设计了变电站门禁系统，可以实现对人员进行筛选；KRAMBERGER 等采用语音识别技术设计了门禁系统，同时使用了嵌入式麦克风阵列的方法来提高识别效率；UMAMAHESWARI 等通过使用Opencv 和Qt GUI 框架设计了一个对语音和人脸进行识别的门禁系统；HUNG 等设计了一中基于智能手机NFC 功能的门禁系统。这些系统在一定程度上实现了识别变电站员工的功能，但是在实际应用当中识别率还比较低，而且识别信息比较单一。近年来随着深度学习技术的快速发展，其在门禁系统方面得到了应用。李俊驰采用深度学习技术，设计了一个基于人脸识别的公司考勤门禁系统，该门禁系统以改良的VGG 模型对数据进行训练和预测，具有较高的识别效率；孙乐采用深度学习技术，设计了一个基于双摄像头的人脸识别门禁系统，可以捕捉到更多的信息，识别效果也有提高；钱宇骋等使用了深度学习技术，提出了针对人员闯入的智能检测系统。该系统以Hi3559A为计算单元，可以实现对监控区域的人员检测；RAMESWARI等采用FaceNet人脸识别算法建立门禁系统，取得了比较好的效果；KHAWLA 等提出一种基于卷积神经网络的人脸识别系统，通过使用三个预训练的卷积神经网络，利用迁移学习对数据进行训练来保证了模型的识别效果；WU提出了一种采用多任务级联卷积神经网络MTCNN实现快速人脸检测，然后使用改进损失函数的FaceNet实现高精度人脸识别的门禁系统。

以上研究表明，深度学习技术在门禁系统人脸识别中识别精度有所提高，对于变电站运行的安全性有一定的帮助，但是很少考虑变电站员工是否穿戴绝缘服、佩戴安全帽等信息，对其人身安全带来一定问题。本研究提出了一种将安全帽、绝缘服检测和人脸识别结合到一起的深度学习模型。首先利用Pytorch 框架搭建模型，而后对输入的图像使用YOLOv4 目标检测模型和RetinaFace+Facenet 人脸识别模型进行识别，最后将目标检测和人脸识别的结果显示在预测结果中。该检测模型可以很好的识别变电站人员信息，并且还可以对员工进行是否佩戴安全帽和绝缘服装进行识别，对变电站人员安全和设备安全具有一定的应用价值。

1 深度学习模型简介

1.1 YOLOv4模型

YOLOv4是在YOLOv3的基础之上，结合了大量现有的技术，并将技术加以组合和适当创新的one-stage 算法，在设计上很好的平衡了速度和精度。YOLOv4使用CSPDarknet53作为模型的特征提取网络，解决了主干网络中信息重复的问题，提升了检测速度。相对于YOLOv3 所使用的Darknet53 网络，进一步的保证了推理的速度和准确度。在特征增强网络中，YOLOv4使用了SPPnet和PANnet结构。其中SPP为特征金字塔池化层，目的是增加感受野，从而将显著的特征区分开；PANnet是一种特征图（feature map）融合方式，即通过卷积+上采样的方式进行自下而上的特征提取。通过对特征图反复的提取操作实现特征交互。YOLOv4 的网络结构如图1，以输入图片608×608的像素大小为例。最后的预测结果会自动判断是否有目标，并且会使用模型中DIOU损失函数对先验框进行收敛，最终得到预测结果。相比于YOLOv3，YOLOv4的目标检测算法的平均精度AP值提高10%，每秒传输帧数fps提高12%。

图1 YOLOv4模型结构Figure 1 Model structure diagram of YOLOv4

1.2 RetinaFace算法

RetinaFace算法是由Insight face团队所提出的一种one-stage人脸检测算法，在人脸检测应用中具有非常良好的效果，可以对不同尺度的人脸进行像素级别的定位。在本研究中使用的主干网络为具有轻量化优势的Mobilenet。

RetinaFace 的网络结构如图2。在RetinaFace 特征提取网络中使用了特征金字塔，其中P2-P5 通过使用自顶向下和横向连接计算相应的ResNet残差阶段C2～C5的输出。P6 是通过一个步长为2的3×3卷积对C5计算得到的。C1～C5采用了在ImageNet-11k数据集上预先训练好的ResNet-152分类网络，P6是采用“Xavier”方法进行随机初始化。RetinaFace 算法将P2～P6 的5 个特征金字塔层应用于5 个独立的上下文模块，来提高感受野的作用，同时增加建模的能力。

图2 RetinaFace网络结构Figure 2 Network structure diagram of RetinaFace

RetinaFace 也可以在单个CPU 上进行实时多尺度的人脸检测、对齐和分析人脸关键点的信息。本研究采用的RetinaFace网络中，设置其输出的人脸框有5个关键点，分别是左眼、右眼、鼻尖、左嘴角和右嘴角。

1.3 Facenet人脸识别算法

Facenet 是由谷歌团队开发的人脸识别算法，该算法对多角度、多姿态以及局部遮挡具有一定的鲁棒性。本文同样使用具有轻量化优势的Mobilenet 作为Facenet 的特征提取网络。Facenet 的网络结构如图3。首先将三元组图像输入到深度结构中进行人脸特征提取，而后将得到的人脸特征进行L2归一化。因为人脸特征通常在1000维以上，所以通过Embedding将人脸特征降维至128维特征向量，然后采用三元损失函数（triplet loss）进行训练，得到三元损失函数值。最后利用对比图像之间的欧氏距离对人脸进行识别。

图3 Facenet网络结构Figure 3 Network structure diagram of Facenet

Facenet 最大的特点就是使用了三元损失函数进行训练，直接从最原始的图像当中学习特征表示，进行端到端的从图像到欧式空间的编码方法的学习。Facenet中提到的“三元组图像”指的是由模板、正例和反例图像组成的一个训练样本。在网络的训练过程中，在训练所使用的文件夹保存着模板和正例即一个人在不同的动作中的两张人脸图像。反例则为其他人的一张图像。训练过程中，每次处理

n

个样本，通过对样本的特征提取，得到三个128维向量，计算出三元损失。

2 数据采集与扩充

2.1 数据的采集和处理

本研究模拟实际工作情况，对员工佩戴安全帽，穿戴绝缘服的图像数据进行采集。然后将其导入图片增强网络中进行模糊、明暗度调整、翻转、添加噪声等处理方式以扩充数据集。这样不仅可以扩充数据量，也可以对实际的应用情况的变化进行更好的适配，示例如图4。

图4 数据集扩充示例Figure 4 Example pictures

2.2 数据标签的制作

在经过数据扩充之后，图像数据的数量总共为3260张,大小均为2736×2648。将这些图片进行训练集和测试集的划分，将数据中的10%作为测试集，90%作为训练集。然后利用图像标签制作工具labelimg对图像进行标注处理，图像标注示例如图5。标注的标签总共有5 个，分别为佩戴安全帽（hat）、没有佩戴安全帽（uncap）、穿着绝缘服（clothes）、没有穿着绝缘服（unclothes）和人脸（person）。最后标注的结果保存为VOC 数据格式的XML文件，即为本试验中YOLOv4模型训练所需的数据集。

图5 数据集标注示例Figure 5 Data set annotation example

本研究RetinaFace和Facenet的训练数据大部分都是从Git hub开源社区的WIDER FACE数据集获取到的，对数据集进行迁移学习之后的权重保存在RetinaFace+Facenet网络中以做后续实验。

3 结果与分析

3.1 训练与识别过程

本研究基于Pytorch 框架搭建深度学习模型，对进入变电站的工作人员进行人脸、安全帽和绝缘服检测。首先将员工佩戴安全帽、穿戴绝缘服的预处理图像数据集导入YOLOv4模型中进行训练，在训练过程中对超参数进行微调，如训练周期、学习率等参数，使其可以在应用阶段中具有更好的适配性。当摄像头检测到视频信息或者图片信息输入时，会将信息分别传入用于检测安全装备的YOLOv4模型和用于人脸识别的RetinaFace+Facenet 模型中进行识别。最后再将人脸检测结果与是否穿戴安全帽、绝缘服的检测结果进行结合后输出。具体流程如图6。

图6 检测系统的具体流程Figure 6 Specific process of the check system

3.2 评价指标

本研究选取精确度

P

(Precision)、召回率

R

(Recall)、平均精度

AP

(Average Precision)和所有类的平均精度的平均值

mAP

共4 种指标作为衡量YOLOv4 模型对员工是否佩戴安全帽、穿戴绝缘服的检测性能。选取精准度

P

（Precision）指标作为衡量RetinaFace+Facenet 模型对员工人脸信息的识别性能。3.2.1 精确度

P

在YOLOv4 模型评价指标中，精确度

P

表示在模型中判定正确，且实际结果的确正确的样本在判定正确的样本中所占的比例。在本研究中表示为变电站员工是否穿戴安全帽、绝缘服等安全装备被正确识别的几率，即：

式中：

TP

（True Positives）为正样本中预测出的正样本数量；

FP

（False Positives）为负样本中实际预测出的正样本数量。3.2.2 召回率

R

在YOLOv4模型评价指标中，召回率

R

表示有多少正例被成功的正确预测，即：

式中：

FN

（False Negatives）为该样本是正样本，但被识别为负样本而错误的数量。3.2.3 平均精度

AP

在YOLOv4 模型评价指标中，平均精度

AP

（Average Precision）代表的是不同的

P

和

R

值所组成图形的面积，即：

3.2.4 所有目标类的平均精度的平均值mAP 在YOLOv4 模型评价指标中，所有目标类的平均精准度的平均值mAP（Mean Average Precision），即：

式中：

C

为检测的目标类个数；

C

为第

i

个目标类；

AP

为平均精度。3.2.5 准确率 在RetinaFace+Facenet 模型评价指标中，准确率

P

代表的是在模型中判定正确，且实际结果的确正确的样本在判定正确的样本当中所占的比例，在本研究中表示为变电站员工是否穿戴安全帽，绝缘服等安全装备被正确识别的几率，即：

式中：

TP

（True Positives）为正样本中预测出的正样本数量；

FP

（False Positives）为负样本中实际预测出的正样本数量。

3.3 试验结果

本研究模型的算法编程在Pycharm 中实现，采用的语言版本为Python3.8，深度学习框架为Pytorch 1.10.0，采用的工作站为 Intel Core i9-11900K 3.50 GHz CPU、Quadro RTX 5000 16G GPU 和 64G 内存，采用 Python 语言进行编译。关于YOLOv4 和RetinaFace+Facenet 模型学习的各项参数：学习率为0.001；Batchsize 为8；训练周期（Epoch）为50。训练过程完毕后对模型进行验证。试验结果如表1，第二行为YOLOv4 目标检测模型对各个类别的平均精度，第三行为RetinaFace+Facenet 人脸检测模型对人脸识别的精确度。检测到的员工穿戴安全帽、绝缘服的示例如图7。检测到员工未穿戴安全帽、绝缘服的示例如图8。

表1 YOLOv4和RetinaFace+Facenet模型的检测结果
Table 1 Detection results of YOLOv4 and RetinaFace+Facenet models %

网络模型Network model YOLOv4 RetinaFace+Facenet未穿戴绝缘服的平均精度AP of unclothes 85.81穿戴绝缘服的平均精度AP of clothes 99.22未佩戴安全帽的平均精度AP of uncap 77.80佩戴安全帽的平均精度AP of cap 98.41识别到人脸的平均精度AP of person 97.82平均精度的平均值mAP 91.81人脸识别准确率Precision of face 98.22

图7 员工佩戴安全帽，穿戴绝缘服的检测示例Figure 7 An example of employee wearing safety helmet and insulation suit

由图7和图8可知，采用YOLOv4网络模型可对变电站员工是否佩戴安全帽、穿戴绝缘服进行识别，将员工的人脸、是否穿戴安全帽和绝缘服在图中用预测框标记了出来。由图8a 可知，当员工不佩戴安全帽时预测框名称显示为uncap；由图8b可知当员工不穿戴绝缘服时预测框名称显示为unclothes。由图8c可知，当员工不佩戴安全帽、不穿戴绝缘服时预测框名称分别显示为uncap和unclothes；同时RetinaFace+Facenet模型识别出人脸信息的结果，并将识别结果显示在输出图像人脸的下方。因此，本研究采用的方法可实现对变电站员工人脸信息、安全帽、绝缘服进行识别。

图8 员工未佩戴安全帽，穿戴绝缘服的检测示例Figure 8 Examples of employees not wearing helmet and wearing insulating suit

3.4 YOLOv4与不同CNN网络检测性能对比

基于YOLOv4目标检测算法实现了对变电站人员人脸信息，安全帽，绝缘服进行了识别。为了体现出本研究所采用的检测方法的优越性，分别与Faster-RCNN、YOLOv3和SSD 模型对变电站员工人脸信息、安全帽及绝缘服识别进行对比。试验中以精确度

P

(Precision)、召回率

R

(Recall)、平均精度

AP

(Average Precision)和所有类的平均精度的平均值

mAP

这4种指标来对模型性能进行对比评估。采用同样的数据集，参数设置为：学习率为0.001；Batchsize为8；训练周期（Epoch）为50轮。得到的试验结果如表2。由表2 可知，YOLOv4 模型与Faster-RCNN、SSD 模型相比，在训练时具有更好的检测性能，平均精度

mAP

分别提升7.08%和8.18%。与上一代YOLOv3 模型相比，在检测所有类的平均精度

mAP

比YOLOv3 高2.39%。由此可知，YOLOv4模型比其他主流模型具有更好的检测性能。

表2 不同模型的性能对比
Table 2 Comparison of performance of different models %

网络模型Network model Faster-RCNN SSD YOLOv3 YOLOv4未穿戴绝缘服的平均精度AP of unclothes 77.58 79.10 82.53 85.81穿戴绝缘服的平均精度AP of clothes 95.36 98.59 97.42 99.22未佩戴安全帽的平均精度AP of uncap 63.91 44.06 76.11 77.80佩戴安全帽的平均精度AP of cap 93.65 98.31 96.03 98.41识别到人脸的平均精度AP of person 93.13 97.11 95.01 97.82平均精度的平均值mAP 84.73 83.63 89.42 91.81

4 讨论与结论

本研究针对以往变电站门禁系统识别效率不高且识别信息量过于单一的问题，以及员工不穿戴安全装备，也会给变电站正常运行和施工过程中带来风险，从而造成经济损失的问题。本研究基于Pytorch 框架搭建了一种识别员工安全装备穿戴情况和人员信息的变电站门禁系统的识别模型。模型采用了YOLOv4和Retina-Face+Facenet 深度学习模型来对员工进行人脸信息、安全帽和绝缘服的识别。当模型检测到变电站人员信息输入时，会将输入信息同时传送到YOLOv4和RetinaFace+Facenet 模型当中分别进行安全装备和人员信息的识别。而后会在输出结果中将两个模型的识别结果进行结合，从而实现对员工信息与是否合格穿戴安全装备的识别。相对于传统检测方法，YOLOv4 模型由于结合了大量现有的调优技术，例如：WRC(加权残差链接)、CSP（跨阶段部分连接）、SAT（自对抗训练）、Mish 激活函数、GIOU Loss 损失函数等。这也使得YOLOv4模型在目标检测当中具有更好的表现。因此，本研究采用YOLOv4目标检测模型进行研究。

本研究所设计的模型对员工信息与是否合格穿戴安全装备的识别结果表明，YOLOv4 模型对员工是否穿戴安全装备的检测平均精度为91.81%，RetinaFace+Facenet 模型的人脸识别精确度为98.22%。在不同的自然光线和不同的背景下，采集员工穿戴绝缘服，佩戴安全帽的样本图像，并做图像扩增处理，使训练网络的数据集保持充足。在一定程度上保证本文模型在实际应用中的适配性和鲁棒性。此外，YOLOv4模型与其他3种主流的深度学习模型对比可知，基于本研究所使用的图像测试集，YOLOv4 模型表现出了更高的精确度，与Faster-RCNN、YOLOv3、SSD模型相比平均精度

mAP

指标分别提高7.08%、2.39%和8.18%。