电力作业现场智能安全监督研究与应用

权 杰,李富祥,常政威,丁宣文,杜春忠

(1.国网四川省电力公司,四川 成都 610041;2.国网四川省电力公司电力科学研究院,四川 成都 610041;3.华能西藏雅鲁藏布江水电开发投资有限公司,西藏 拉萨 850000)

0 引 言

在电力生产过程中,安全监督对于保证作业人员的安全具有重要意义[1]。电力作业现场现有的安全监督主要包括作业班组监护人监护、领导或管理人员到岗到位检查、安监专业人员安全督查以及相关人员“四不两直”安全巡查等形式,均受到人员主观能动性、业务水平及监督检查覆盖率等限制。近年来,借助基建和生产作业现场便携式视频终端、变电站站内视频监控以及移动互联网系统开展远程监督,可实现远程实时监控、远程资料查阅以及全程录像备查,提高了监督检查覆盖率和威慑力,但也存在着不能近距离和多角度准确监督、难以长时间集中精力专注监督以及无法在线实时智能分析、风险预警等不足,安全监督手段仍然需要进一步创新。

相比完全靠人进行安全监督的传统方式,依靠智能化的机器人开展安全监督能充分展现“机器代人”的优势,与人容易出现疏忽、监督水平参差不齐以及固定摄像头受局限相比,智能安全监督机器人可实现移动、智能、一丝不苟的全过程监督,弥补仅靠人监督人的不足,切实提高监督质效。

经统计,电力作业现场的违章大部分都属于行为违章,其次是管理违章,再次是装置违章;同时行为违章也是最容易引发人身伤亡的一类违章。因此,下面针对电力作业现场的安全生产行为提出了以机器人为载体的智能监督方法,智能监督技术是研究的重点。

1 智能安全监督内容及方法

电力作业现场智能安全监督主要是指以机器人为载体,通过高分辨率可见光摄像机传感设备,采用基于图像处理分析算法提取视频源的结构特征,实现安全生产行为实时监控;同时,通过建立多层次的特征标准库,利用基于特征库的机器学习系统,提高机器人的识别成功率,从而提高安全监督的有效性。

结合电力作业现场特点,不安全生产行为一般有不挂接地线、不系安全带、不戴安全帽、误入试验(带电)区域、吊臂下站人、监护不到位等。针对这些典型违章,展开安全生产行为智能监督研究。

1.1 设备接地操作监督

主要监督在变压器耐压、局部放电等高压试验结束后,工作人员是否用接地棒对高压被试设备表面进行接地操作。系统判定流程如图1所示。智能安全监督系统获取摄像头图像,同时获取标准特征库特征,使用单目标模板匹配算法,获取标定区域,以此获得接地棒区域以及接地操作区域。再利用基于混合高斯背景建模技术的背景差分减除算法,实时监督接地棒是否拿起以及接地操作是否完成。

图1 设备接地操作监督流程

1.2 安全带(帽)穿戴监督

主要监督在现场作业过程中,高处作业人员是否穿戴安全带以及现场作业人员是否佩戴安全帽。系统判定流程如图2所示。智能安全监督系统获取摄像头图像,利用基于方向梯度直方图(histogram of oriented gradient,HOG)特征的支持向量机(support vector machine,SVM)分类器,检测画面中的工作人员,再提取感兴趣区域(region of interest,ROI)作为新的检测对象并利用混合高斯背景模型建立背景图。预先提取安全带(帽)颜色,获得ROI区域与安全带(帽)同颜色范围A;然后获得ROI区域运动区域范围B。系统将A和B做交集运算,得到检测结果,实现安全带(帽)穿戴实时监督。

图2 安全带(帽)穿戴监督流程

1.3 目标入侵监督

主要监督在现场作业过程中,是否有目标入侵到根据真实围栏所划分的虚拟围栏内。系统判定流程如图3所示。智能安全监督系统获取摄像头图像,同时获取标准特征库特征,使用单目标模板匹配算法,获取标定区域;然后,用漫水填充算法获得具体虚拟围栏区域,再利用三帧差分法检测到运动目标;最后,用人员闯入检测算法判断运动目标是否闯入虚拟围栏区域。

图3 目标入侵监督流程

1.4 吊臂下危险源监督

主要监督在变电站现场作业过程中,高空作业车的吊臂等危险源下方是否有工作人员。系统判定流程如图4所示。智能安全监督系统获取摄像头图像,同时获取标准特征库特征,使用单目标模板匹配算法,获取标定区域;通过标定区域以及漫水填充算法就可以获得吊臂下方危险区域;再利用HOG+SVM进行危险区域周围的人员检测并利用人员闯入算法判断人员是否在危险区域。

图4 吊臂下危险源监督流程

1.5 叉车人员协助监督

主要监督在现场作业过程中,是否有工作人员在装载电力设备的叉车边进行协助工作。系统判定流程如图5所示。智能安全监督系统获取摄像头图像,同时获取标准特征库特征,使用单目标模板匹配算法获取叉车位置;然后使用Meanshift算法实现对叉车的实时跟踪;再利用基于HOG特征的SVM分类器,检测画面中的人;最后,根据安全距离,判断画面中检测得到的人是否为叉车协助人员。

图5 叉车人员协助监督流程

2 智能安全监督算法

为实现第1章中提到的智能安全监督功能,采用了以下检测分析处理算法。

2.1 人员检测算法

基于统计学习的人员检测算法流程如图6所示。首先,进行图像特征提取,需要将大量含有识别目标和不含识别目标的图片所组成的样本集特征进行提取;再使用分类算法对这些特征加以机器学习训练并得到分类器;然后,利用训练好的分类器进行判别和检测,即可确认是否包含目标[2]。

图6 人员检测算法流程

人员外观的特征算子和特征分类器使用的是HOG算子和SVM分类器。HOG是一种经典的对形状特征(尤其是人体形状特征)进行描述的方法,与其他特征算子相比较,HOG有很多适合做人员检测的优点,例如HOG特征提取是在输入图像的局部单元格上进行操作,而不是对整体或者大面积图像进行操作,所以HOG特征具有良好的光学不变性和几何不变性[1]。SVM 是一种二分类算法,可以理解为是分离两类样本的分类函数。SVM分类器原理就是取超平面,令不同类别间的特征距离最大化从而实现图像快速分类[3],进而实现二分类以达到人员识别、检测的目的。HOG特征结合SVM分类器已经被广泛应用于图像识别中,尤其在人员检测中获得了极大的成功。

2.2 漫水填充算法

漫水填充算法的主要功能是把一片连通区域填满,就是在图像处理中给定一个种子点作为起始点,向附近相邻的像素点扩散,把颜色相同或者相近的所有点都找出来,并填充上新的颜色使这些点形成一个连通的区域[4]。具体算法步骤如下:

1)标记种子点M(x,y)的像素点;

2)检测该点的颜色,若它与边界色和填充色均不同,就用填充色填充该点,否则不填充;

3)检测相邻位置,继续步骤2,这个过程持续到已遍历区域边界范围内的所有像素为止。

图7为实验室演示实例,图中四边形ABCD中取一点M(x,y),记为种子点,向四周填充为白色直到到达极值点即四边形ABCD的边,停止填充。此时,形成如图8所示的掩膜图,掩膜图在后期检测人员闯入时将发挥关键作用。

图7 漫水填充算法实验室演示实例

图8 漫水填充算法形成的掩膜图

2.3 运动目标跟踪与运动目标检测算法

2.3.1 运动目标跟踪算法

运动目标跟踪算法基于均值漂移(Mean Shift)算法,其实质是一种梯度下降算法,通过不断迭代直到收敛到相似性函数的局部极大值点[5]。Mean Shift基本思想为,假如在d维空间中存在n个样本点,那么在任意点x处的Mean Shift向量基本可定义为

(1)

式中:Sh是一个区域半径为h的高维球;k为落入高维球区域Sh中的i个样本点xi的个数。从式(1)可以得出,样本点xi到x的偏移量为(xi-x),对k个Sh中(xi-x)的值求和,取得均值后赋值给Mean Shift向量Mh(x)。由于不同的采样点到x的距离对于Mh(x)的最终结果影响很大,因此用核函数来表示样本点距离对均值漂移计算的影响[5]。那么,Mean Shift形式就可以扩展为

(2)

式中:G(x)为一个单位核函数;w(xi)为采样点xi的权值,w(xi)>0。

Mean Shift迭代步骤是以(xi-x)<ε时结束。假设给定x和核函数G(x),首先计算Mh(x),然后把Mh(x)赋值给x,直到不等式‖Mh(x)-x‖<ε成立才结束循环,否则继续执行Mh(x)的计算[5]。

图9为Mean Shift算法具体流程。以事先存储的运动目标区域作为输入,将运动目标区域确立为目标搜索窗口的初始大小;在当前帧中对目标进行建模,在下一帧图像中,采用相似度度量函数计算出目标模型与候选模型的相似度;当满足收敛条件时即确定目标在当前帧的位置,依此循环计算就可实现对目标的跟踪[6]。

图9 Mean Shift算法流程

2.3.2 运动目标检测算法

图像识别中运动目标检测运用三帧差分法,将相邻的三帧图像作为一组进行差分,这样能较好地检测出运动目标轮廓。三帧差分流程如图10所示。

图10 三帧差分法流程

选取视频流序列中的连续三帧图像Ij-1(x,y)、Ij(x,y)、Ij+1(x,y),分别计算相邻两帧的差值。

d(j,j-1)(x,y)=|Ij(x,y)-Ij-1(x,y)|

(3)

d(j+1,j)(x,y)=|Ij+1(x,y)-Ij(x,y)|

(4)

对得到的差值图通过选择合适的阈值T进行二值化。

(5)

(6)

在每个像素点(x,y)将得到的二值图像进行逻辑“与”运算,进而得到三帧图像中的中间帧的二值图像。

(7)

2.4 人员闯入检测算法

该算法主要利用基于OpenCV的图像处理技术。首先,通过程序划分警戒区域;然后,利用漫水填充算法获取同原视频帧相同像素尺寸参数的掩膜图像,将警戒区域部分填充为白色,非警戒区域则为黑色,以该掩膜图像作为是否闯入的判断依据[2]。综合考虑人员进入情况,通过判断识别点在掩膜图像中同坐标点的像素取值,判断人员矩形框是否闯入警戒区域。如果该识别点的像素值为(0,0,0),则表示该点不在警戒区内;如果该识别点的像素值为(255,255,255),则表示该点闯入警戒区[2]。警戒区则是通过漫水填充算法得到。图11为检测人员闯入示意图;图12为人员闯入实例图。

图11 人员闯入检测

图12 人员闯入实例

图中不规则红色四边形为虚拟围栏。图12(a)中人员的脚闯入禁区,为危险状态,用红色矩形框表示;图12(b)中人员的脚未闯入禁区,为安全状态,用绿色矩形框表示。

2.5 模板匹配算法

模板匹配是一种高级的计算机视觉技术,可识别图像上与预定义模板匹配的部分。模板匹配算法从待识别图像中提取若干特征向量与模板对应的特征向量进行比较,计算图像与模板特征向量之间的距离,用最小距离法判定所属类别进而在图像中找到目标。

模板匹配通过二维卷积实现。在卷积中,输出像素的值通过将两个矩阵的元素相乘并对结果求和,其中一个矩阵代表图像本身;另一个矩阵是模板,为卷积核。

将原始图像和模板设定为f(x,y)和t(x,y),卷积后的增强图像为g(x,y),离散卷积结果为

(8)

式中,M、N为模板的尺寸。

模板匹配通常事先建立好标准模板库,但是如果进行暴力匹配,算法的效率会很低。故使用归一化相关系数匹配法,先建立金字塔从顶层粗略计算大概范围,再使用傅里叶变换来进行比较,经过一系列的预处理,可以大大提高匹配速率。模板匹配算法流程如图13所示。

图13 单目标模板匹配算法流程

3 现场应用

所提以机器人为载体的智能安全监督方法已在多个变电站、换流站成功应用,可以实现对典型作业场景的安全监督。下面着重对6个作业场景的安全监督应用情况进行展示。

安全监督机器人监视设备接地操作时,需要在此环节监测试验人员是否做放电接地操作;同时试验人员是否按顺序先拿起接地棒,然后做接地放电操作,以此保证试验人员的安全。操作人员未做接地操作时机器人会一直报警,软件弹出告警提示信息提示操作人员进行接地操作,如图14所示,在完成接地操作后会提示接地操作已完成。

图14 设备接地操作告警

在登高作业时,安全监督机器人实时监测试验人员是否按要求穿戴安全带进行规范作业,当检测到有人员未正确穿戴安全带时会发出告警提示信息,如图15所示。

图15 未按要求穿戴安全带告警

安全监督机器人监视目标入侵时,当有人员闯入警戒区后机器人能够立刻发出告警,并且在界面弹出告警提示信息,如图16所示。

图16 人员闯入警戒区告警

在设备吊装过程中,安全监督机器人能够在较远的距离对吊臂及吊起的设备下方进行实时监控,避免吊臂或者其他危险源下方发生砸伤人员的安全事故,并在界面弹出告警提示信息,如图17所示。

图17 吊臂下站人风险告警

当设备叉装过程中无人监护或者监护人员距叉车较远时均会发出告警,能够100%无死角识别监护人员的到位情况,并在界面弹出告警提示信息,如图18—图19所示。

图18 叉装过程无人协助告警

图19 协助人员距离叉车较远告警

4 结 论

上面通过对基于机器深度学习的电力作业现场安全生产行为辨识技术的研究,提出了以机器人为载体的智能安全监督方法。该方法适用于典型作业场景的智能安全监督,成功实现了典型场景下的作业安全风险智能识别和告警,弥补人工安全监督存在的方式单一、长时工作易疲劳、易出现疏忽、水平参差不齐等不足。所提方法在多个变电站、换流站得到成功运用,具备较为广阔的工程应用前景,对智能安全监督相关技术的向前发展具有一定借鉴意义。