基于高精度机器视觉的电力违规作业动作监控识别算法设计

贺洲强，夏 天，陈 亮，杨 康，胡进栋

（1.国网甘肃省电力公司，甘肃兰州 730030；2.国网甘肃省电力公司兰州供电公司，甘肃 兰州 730070）

随着人工智能技术的不断进步，对电力作业人 员违规动作监控也提出了更严格的要求。但由于监管部门的责任缺失，违规动作易引发安全事故的发生[1-3]。为提高电力施工的安全系数，采用智能化技术对施工现场进行监控识别成为当前的主流[4]。移动巡检机器人搭载高清摄像头获取电力施工现场的实时数据，并基于高精度机器视觉技术形成智能分析算法。当发现有电力作业人员出现违规动作时，即可在控制中台实时反映[5-7]。近年来，机器视觉与深度学习算法被研究者广泛关注，卷积神经网络在目标识别中也取得了突破性进展，增加了算法的应用场景[8-10]。文献[11]利用神经网络在目标数据集上进行测试与识别，取得了高达90%的识别率，为深度学习的进一步推广奠定了良好的基础。文献[12]采用双流网络结构，通过从CNN（Convolutional Neural Network）中提取有效信息并优化视频的参数与特征，进而获得了包含4 种数据流的网络模型，且取得了良好的效果[12]。国内学者利用前端管理系统对电力作业现场进行了智能巡查，通过海量数据的对比分析，可有效降低电力作业的安全风险[13]。但在实际应用中，由于作业人员的轨迹动态变化以及周围环境错综复杂，在监控识别方面存在精度较低、误差较大的问题。因此，该文开展了基于高精度机器视觉的电力违规作业动作监控识别算法设计研究。

1 高精度机器视觉算法

1.1 改进FP-FRCNN模型

为解决数据规模较小、特征提取困难的问题，建立了改进FP-FRCNN 模型。该模型主要由金字塔结构组成，包括主干网络与压缩激励网络，通过对信息层的不断压缩来实现单元网络的信息压缩操作，使神经元之间形成相互依赖的联系[14]。为降低设置参数对过程带来的影响，故而减少通道因子，并对数据进行重新校准。建立特征网络的基本结构如图1 所示，图中对每个SE-Dense Net 网络均进行了卷积操作与采样分析，从而形成网络结构。

图1 金字塔网络结构

1.2 池化层调整

为了使RPN（Region Proposal Network）模块与预测层相连接，需先将各个模块相连，进而建立改进的FP-FRCNN 模型，整体结构如图2 所示。通过池化与卷积操作形成特征融合层，并通过预测层连接到RolAlign 层，进而建立模型的整体结构。

图2 改进FP-FRCNN模型的整体结构

1.3 特征提取

该文通过交叉混合操作提取图像的目标特征，基本思路是将若干个独立并行的卷积神经网络进行混合操作，并对全连接层进行拆分与混合连接，以得到图像特征。为了提取反映不同违规操作的典型特征，需对每组CNN 特征进行交叉处理。若特征向量过多将会造成图像特征的叠加与冗余，不利于分类处理，所以需要对全连接层进行扩充。CNN 模型的运行速度由收敛速度决定，而收敛速度的快慢取决于神经元数量。但神经元的数量同卷积与步长相关性较大，因此为保证特征提取的一致性，需增加样本特征的鲁棒性。此过程具体操作为：对输入神经网络的图像信息进行变换，并将该信息进行归一化处理，经HSV 变换后提取图像的V 通道分量[15-16]。

在进行图像训练时，通过多次卷积操作获取图像特征。并根据反向传播机制向前传播，再基于链式求导法则获取权值，其步骤如下：

1）样本数据设置。对输入神经网络的样本数据进行归一化设置，调整图像的长与宽，并以相同比例变换原始数据，得到的数据库即为CNN 的输入集。

3）应用FP 算法。假设XL为输入，wL、gL分别为权值矩阵和激活函数，则算法的输出z可表示为：

在网络层中，损失函数可表示为：

式中，λ为正则化系数，n为样本数据集中的样本数量，xi为数据输入值。

4）应用BP 神经网络算法。假设目标函数为：

在求取目标函数的最优解过程中，不断迭代上述模型，以达到最优收敛值。在统计最大池化层的误差时，需计算卷积层的误差。假设卷积层输出个数为M，则最大池化层的误差计算公式为：

式中，Kij为池化层对应的权值。

2 电力作业现场监控识别

2.1 电力违规作业动作分类

根据算法检测流程，需对电力违规作业进行动作分类，常用的机器学习方法有支持向量机（Support Vector Machine，SVM）、贝叶斯方法（Bayesian Analysis）等。贝叶斯分类法需提前采集前期数据；而神经网络分类方法则需准备大量的样本数据及参数，所占用的资源过多。综合各种分类方法的优缺点，选择SVM 分类算法具有更优的效果。在SVM 分类算法检测之前，需获得违规动作的关键坐标数据。动作监控识别需进行两次人体关键点检测及动作分类。其中，第一次是为了检测电力工作人员是否发生违规动作行为。第二次检测是为了检测电力工作人员是否采取了接地措施。为防止电力工作人员在违规过程中设备发生放电现象，故在训练时分成两个分类器，以分别针对不同的违规行为。

大功率参量阵定向扬声器声学空间覆盖特性如图5所示。由图5可知，大功率参量阵定向扬声器区别于普通扬声器的特性在于它有着极强的指向性，声音发散角度达到±15°，在其指向区间范围外几乎无声音；且定向扬声器的发声强度超过100 dB，该指标非常先进，目前国内外类似产品均未达到该水平。当定向场声器安装于室内空间通道内时，没有了致命的强近场声音反射，仅仅产生远端反射(见图6)。远端反射通常比直接传播到听者的声强要低2个dB左右，而人耳的定向能力则在0.1 dB范围内即可明确方向，因此在封闭的室内空间，大功率参量阵定向扬声器有着极强的音源方向性。

通过对比物体的关键坐标点，定义物体的高度与宽度，得到高宽比因子为：

由于发生电力违规动作时，人体的关键部位位置会发生肉眼可见的偏移，因此可通过坐标的改变反映动作的变化。在相机视野内，当工作人员靠近电气设备时，二者之间的间距显著变小。但由于相机与人体间的距离会发生变化，所以不能作为特征进行识别，而是利用二者间的比值作为特征向量，便可增加识别的鲁棒性。

2.2 间隔帧间差分法

间隔帧间差分法是识别两相邻灰度图像素差别的经典方法，其可检测两帧图像间的差异。此外，在间隔差分法之间融合HSV 颜色特征还能够检测相对运动的变化。图3 所示为该方法的流程，将两图像进行差分，利用重叠影响扩大运动特征差异，可有效减少运动物体的干扰。该方法不易受到周围光线及声音的影响，具有较强的鲁棒性。

图3 间隔帧间差分法流程图

假设第t帧图像和第t+n帧图像的灰度值分别为ft(x,y) 与ft+n(x,y)，取二者的灰度值并作差可得到：

式中，dt+n(x,y)表示两帧图像的差分值。对其进行二值化，可得到二值图像b(t,t+n)，根据二值图像像素点的位置来判断两帧图像间是否发生运动轨迹的改变。

2.3 特征识别

作为有监督学习的神经网络算法，特征提取依赖于卷积与池化操作来实现。其权重参数的选取主要依赖于梯度下降法，并通过不断地反复迭代训练提高网络的识别精度。在对提取到的典型特征进行分类时，采用Logistic 分类器，其常用于解决二分类问题。假设X1、X2、…、Xn分别为特征向量，其对应的图像类别分别为y1、y2、…、yn，并用二值数字0 或1 代表其二分类问题，则二者间关系的计算公式为：

式中，z=β0+β1xi1+β2xi2+…+βdxid，且f是在[0,1]之间呈单调递增的函数，yi的极大似然函数可表示为：

其中，P为yi的概率函数。

电力违规作业种类较多，且电力施工现场环境错综复杂，导致获取的图像背景也异常繁杂。虽然Logistic 分类器常用于二分类问题，但其容易混淆特定目标，故通常会造成较大的误差。而机器学习在语音及语言处理方面均取得了较大突破，且在精度方面也得到了显著提高。因此，该文提出一种高精度机器视觉算法，实现对结果的高预测性能。该算法采用了随机森林分类器，通过在多个样本子集中形成决策森林，以得到高精度的分类结果，其基本框架如图4 所示。从图中可知，该分类方法由训练及测试两部分构成。通过在DCNN（Diffusion-Convolutional Neural Networks）库中选取特征，并根据适应性对图像特征进行在线分析。同时采用特征子集的最终特征对输入图像加以分类，得到最终的特征分类结果。

图4 随机森林分类框架

为训练随机森林树，在每个根节点确定分割规则，以降低损失值。假设随机森林F={si=(xi,yi)}，对于给定的随机森林节点，从x1开始，当其数值大于阈值时，该节点将发送特征信息至左子树；当x1的值小于或等于阈值时，该节点将发送特征信息至右子树，并持续分类样本数据，直至样本测试完毕。

3 算例分析

采用搭载在巡检机器人上的摄像头进行数据采集，配置的计算机内存为8 GB、Intel Core i5-9300H，使用64 位操作系统连接Visual 软件平台；并采用特征融合的高精度机器学习算法对电力施工现场进行实时数据跟踪与采集，以获取工作人员的位置信息；再通过Yolov3 算法进行人脸识别，最终输出监控识别结果。

根据算法流程，在获取H-S 二维直方图的基础上，设置特征融合系数，实验数据的相关属性如表1所示，并将该文算法与传统方法进行对比分析。

表1 实验数据相关属性

表2 视频编号1的实验结果

表3 视频编号2的实验结果

在进行实验时所采用的评价标准主要包括算法的运行速度、准确帧数占总帧数的比例（正确跟踪电力违规作业情形）及误差参数。其中，视频编号1-2的实验结果如表2-3 所示。

由上表可知，编号1 中FRCNN 算法和该文所提改进FP-FRCNN 算法的准确率均高于传统的SVM算法，且分别提高了1.22%、4.83%，且帧率也有所提高；同理，编号2 中FRCNN 算法和该文算法的准确率相对于SVM 算法分别提高了0.74%、3.56%，帧率也同样有所提升。综合两组实验可知，该文所提算法的综合性能更为理想。

为获取违规人员的检测坐标，将坐标值输入到算法中，记录每帧图像的有效帧数以及正确帧数，其实验结果如表4 所示。

表4 违规检测实验结果

根据实验结果分析，在实验设定的情形中，该判断算法性能优越且平均准确率超过90%。通过对比实验，验证了该文所述方法的优越性。

4 结束语

该文采用CNN 模型对电力作业人员的违规作业动作进行智能化识别，为了提高识别结果的精确度，用随机森林分类器对采集到的视频信息进行处理，再通过间隔帧间差分检测两帧图像之间的差异，进行两次人体关键点检测及动作分类，可有效识别出违规作业现象。实验结果表明，该算法具有更高的精度，并具备良好应用价值。下一步将继续研究改进机器视觉与随机森林的识别算法，并对该算法进行实时检测与验证，以取得更高的精度。