基于ResNet-18-KNN的变电站人员电气违规行为识别

白景涛，周照宇，王中一，孙黎霞

(河海大学 能源与电气学院，江苏 南京 211100)

0 引言

电力生产中，工作人员必须安全规范地进行电气设备操作及高空作业，否则容易发生事故。资料表明，电力系统事故的发生大部分与工作人员的违规操作行为有关。为了减少不必要事故的发生，电力企业一方面对工作人员进行学习教育，提高个人素质，另一方面，在电力生产过程中配置了视频监控系统。但是，监控系统只能进行事后人工取证，不能发挥其主动性和实时性的作用，无法及时制止不安全行为的发生，减少电力事故出现的频次。如何有效地利用视频监控数据，在电气违规操作发生前或者在发生过程中及时、有效地发出警示，降低电力事故的发生率，是建设坚强智能电网不可缺少的一部分[1-3]。

行为识别是人工智能研究领域的热点之一，其目的是对检测的行为进行识别，比如，判别哪些行为属于异常，哪些行为属于正常。19世纪的中后期，JOHANSSON教授使用点模型进行人体的描述开始，研究人员通过人工设计的人体特征进行行为识别[4]，但是，该类方法泛化能力不强，实际应用受到局限。此后，随着技术的发展，基于深度学习的行为识别方法得到了快速发展，该方法省略了特征设计过程，具有深度神经网络自主学习数据的特征[5]。常用的深度神经网络有卷积神经网络[6-9]、循环神经网络[10-15]等。但是，研究者发现，深度神经网络的性能有时不会随着网络的宽度和深度的增加而提高，并且会出现网络退化、计算速度下降及模型过拟合等问题。残差网络的出现缓解了深度学习模型随网络深度增加模型性能下降的问题，而且该网络容易优化，使其得到了广泛应用[16]。

基于深度学习网络行为识别模型的建立需要高质量的数据集，它能使深度网络更好地完成识别任务。但在实际电力生产中，正常行为发生频次较高，但少有被记录下来；违规行为发生的频次相对较低，但多被记录下来；这导致样本数据中正样本和负样本不平衡。而且，数据采集设备质量参差不齐，高质量的数据很难获得。如何在数据质量差的情况下选择合适的深度学习方法，在电力生产过程中进行有效且准确的变电站工作人员违规行为识别是电力安全管控中值得研究的课题之一。

针对数据集的不均衡和样本少，文中采用图像增强的方法生成数据，实现数据的均衡；使用深度残差网络ResNet-18进行迁移学习，减弱数据质量对评估性能的影响；使用K最近邻(K-nearest neighbor, KNN)分类器提升模型识别能力。文中以某电网实际数据为基础，采用文中所提方法，能够准确识别变电站工作人员的违规行为，评估准确率达到90.7%。

1 残差网络算法

残差网络(residual network, ResNet)一经提出，就影响了深度学习在各个领域的发展。残差网络借助跳跃结构，减少了深度学习模型逐层特征提取过程中的信息损失，可以显著解决深度网络训练过程中的梯度消失和梯度爆炸问题，从而保证良好的模型性能。它是由多个残差块连接一起而构成的，残差块由残差部分和直接映射两部分组成，其结构如图1所示。

第i个残差单元可表示为：

xi+1=f(F(xi,Wi)+h(xi))

(1)

式中：xi、xi+1和Wi分别表示第i个残差单元的输入、输出和权重矩阵；f()是ReLU非线性激活函数；h(xi)是直接映射部分；F()为残差映射部分。

图1 残差网络块结构示意图

2 基于残差网络的违规行为识别

2.1 电气违规行为识别的思路

为了实现变电站人员电气违规行为的识别，文中使用ResNet-18-KNN模型建立变电站工作人员的工作状态图像数据同其行为类别之间的非线性映射关系，图2为电气违规行为识别的模型设计框架。

图2 电气违规行为识别的模型框架

2.2 训练数据增强

原始数据集来自某实际电网，该数据有两个特点：第一，由于受到成像设备和环境以及成像对象本身特点等诸多因素的影响，大多数图片都存在光照不均，图像色彩偏暗，图像质量不佳等特性；第二，图像数据样本有限，且不均衡，“行为正常”(正样本)占比较少，行为异常与行为正常的样本数量的比例达到9∶2。以上特点，均会导致训练出来的模型预测性不佳。为了获得较高的预测准确率，对图像数据进行了增强与扩充。

文中使用图像增强技术[17-18]对原始图像进行增强，减少环境噪声对评估模型性能的影响。在此基础上，将去雾算法、对比度增强、降噪等方法进行耦合，对原始数据进行数据扩充，使得数据中的“行为正常”和“行为违规”样本比例基本达到1∶1。

图3(a)和图3(b)分别是原始图像以及数据增强后的图像，可以明显看出数据得到了增强。

图3 图像增强

2.3 迁移学习模型

从深度学习的角度来说，高质量的训练数据有利于提高所建模型准确度。但是，在很多情况下，特别是针对某个特定的应用场景，都不可能找到绝对充分的数据样本。为了解决这个问题，文中将残差网络和迁移学习相结合，大大缓解数据源不足的问题。迁移学习可以将某个领域中已经学习好的模式或者知识充分应用到不同但有一定关系度的领域或者问题中，实现目标领域的学习任务。文中使用ResNet-18网络进行迁移学习，其结构和参数可参考文献[16]。

2.4 KNN分类器

文中使用KNN分类器对提取的特征进行分类并标签。距离d用来衡量不同数据的特征值之间的相关程度：

(2)

式中 ：Xi和Xo都为n维向量，且Xo为目标向量，Xi为第i个数据向量；di为数据i的距离。

2.5 模型的评价指标

文中采用混淆矩阵，以正确率和F1度量(F1-Measure)作为评价指标，综合评估模型性能的优劣。混淆矩阵如表1所示，其中，TP和FN分别为真阳性和伪阳性，表示为行为违规样本被正确或错误评估的数目；FP和TN分别为伪阴性和真阴性，表示行为正常样本被错误或正确评估的数目。

表1 混淆矩阵

根据混淆矩阵，可以计算模型的准确率和F1度量，其数学表达分别为：

(3)

(4)

3 实验结果与分析

3.1 数据集分析

文中数据均来自实际现场，违规行为表现形态多样，有未带安全帽、未使用保险绳、未设置隔离栅栏等。总数据为165个，其中“行为违规”数据135个，“行为正常”数据30个。数据增强后，训练验证数据758个，其中“行为正常”数据为380个，“行为违规”数据379个。训练验证数据集80%数据进行训练，20%数据进行验证；测试数据322个，其中“行为正常”数据160个，“行为违规”数据162个。

3.2 迁移学习有效性分析

采用文献[16]所示的网络结构和参数，对网络进行训练。图4为训练过程图，训练结果收敛且验证准确率较高，达到88%，验证了迁移学习的可行性和有效性。

图4 训练过程图

3.3 不同迁移学习模型的特征提取能力分析

文中使用扩充后的数据进行迁移学习，将ResNet-18网络同其他预训练模型AlexNet网络、SqueezeNet和GoogleNet网络的识别能力进行了比较，测试结果如表2所示。

表2 评估结果

测试结果表明，从准确率指标和F1度量指标上来看，ResNet-18网络的性能要远远高于AlexNet网络、SqueezeNet网络和GoogleNet网络，准确率指标分别高16.2%、4.4%和10.9%；F1度量指标分别高0.18、0.05和0.14。为更加直观体现ResNet-18的性能，文中使用类激活可视化(class activation map, CAM)方法将表中性能最好的两个神经网络进行可视化，色标值越高意味该区域对识别结果影响越大，如图5所示。

图5 原图和不同模型类激活图

图5(a)为一张设置隔离栅栏的照片，理想的关注区域应该为人和栅栏所在区域。由图5(b)、图5(c)可知，ResNet-18网络的关注区域相比于GoogleNet，更接近人们理想的关注区域，说明该模型更接近人类智能，特征提取能力强。

为进一步提升模型的性能，本文使用ResNet-18网络进行特征提取，然后使用KNN进行分类，建立ResNet-18-KNN模型。

3.4 ResNet-18-KNN模型能力分析

原始数据由ResNet-18网络特征提取的特征向量为512维，形成758512的训练数据集；322512的测试验证集。文中使用5折交叉验证的方法训练KNN分类器，并将它与支持向量机(support vector machine, SVM)和决策树(decision tree, DT)分类器做了对比，评估结果如表3所示。

表3 评估结果

由表3可知，相比于ResNet-18、ResNet-18-SVM和ResNet-18-DT，ResNet-18-KNN的准确率指标和F1度量分别高0.9%、6.5%、28.6%和0.02、0.09、0.32。这说明ResNet-18-KNN模型拥有很好的性能，可以准确识别变电站人员行为是否违规。

4 结语

本文研究基于深度学习的变电站人员电气违规行为的识别方法。运用迁移学习和数据增强技术解决了数据样本不足且数据样本类别不均衡的问题。利用ResNet-18网络进行迁移学习，完成原始数据特征提取；利用KNN分类器完成变电站人员电气违规行为的识别。实验结果表明，ResNet-18-KNN模型的准确性和F1较高，可以准确识别变电站人员是否有违规行为。该模型具有很强的应用价值，可以及时发出预警，减少违规事件的发生。本文后续研究工作将丰富更多电力行为相关场景，扩充更多的样本信息，更好地实现电力系统变电站的安全智能管控。