融合视觉感知与RTK定位的变电站越界违章检测

丁俊峰,肖文韬,李明远,吴德勇,顾德扬,陈 轩,陈 蕾*

(1.国网江苏省电力有限公司,江苏 南京 211102;2.南京邮电大学,江苏 南京 210023;3.国网江苏省电力有限公司超高压分公司,江苏 南京 211102)

0 引 言

近年来,随着中国国民经济的快速发展和居民生活水平的不断提高,一些老旧变电站无法满足居民生产生活的用电需求,对这些老旧变电站进行改建或扩建也逐步提上日程。不同于民用施工场景,变电站改扩建施工作业现场带电设备众多,并且在改扩建施工时仍需满足正常的供电需求,因此只能采用局部断电的改扩建方案,而未断电的变电站区域则成为施工人员禁止进入的危险区域。但是在变电站改扩建施工过程中,施工活动范围往往难以控制,传统防护方案是设置物理围栏,然而该方案不仅无法实时预警,而且由于围栏高度所限仅能防护地面周界越界,高空高程越界则难以防护。为了克服物理围栏防护方案的不足,一些电子围栏防护方案被提出,常见的电子围栏防护方案包括脉冲电子围栏[1]、红外电子围栏[2]、张力式电子围栏[3]等,然而这些电子围栏防护方案也仅能防护地面周界越界,不能有效防护高空高程越界,且同时存在部署代价高、设备易损坏、难以维护的诸多不足,不能很好地适用于变电站改扩建场景。

为了克服上述缺陷,基于近年来流行的轻量级目标检测模型YOLOv5及载波相位差分实时动态定位技术(real-time kinematic,RTK),提出一种融合视觉感知与RTK定位的变电站越界违章检测算法代替传统的物理围栏和电子围栏。该算法不仅继承了YOLOv5目标检测模型实时性高和部署灵活的优点,而且通过引入RTK定位技术弥补了视觉定位精度不足的缺陷。此外,为了提升变电站改扩建场景中用于辅助计算机视觉与RTK定位融合的特定小目标检测精度,算法在YOLOv5模型中引入了注意力模块CBAM[4],使重要的小目标特征占有更大的网络处理比重,增强了网络对感兴趣区域的特征学习能力。另一方面,由于实际应用中难以采集到分布完备的配准参照物,导致训练数据量往往偏少,为此算法还在YOLOv5模型中引入了alpha-IoU[5]度量边框框回归损失,以增强对此类长尾小目标数据的鲁棒性。最后,真实场景中的实验结果验证了所提出的越界违章检测算法能有效检测出变电站改扩建施工地面周界及高空高程的越界违章行为。

1 相关工作

传统变电站改扩建场景下的安全防护方式是人工搭建物理围栏,该方法不仅费时费力,而且即使施工人员跨越围栏也无法做到实时预警,且更为重要的是该方法无法防护高空高程越界违章行为。为了克服物理围栏的上述缺陷,虚拟围栏技术如脉冲电子围栏、红外电子围栏、张力式电子围栏等应运而生。脉冲电子围栏可无视地形随意架设,且不受气候、环境等变化的影响,但易受电磁干扰,因此不适用于变电站改扩建施工场景。红外电子围栏是一种不易受电磁干扰的虚拟围栏技术,然而却容易受到环境和遮挡影响,具有高误警率。张力式电子围栏通过拉力探测器、合金线等一系列部件组成虚拟电子围栏,虽然其检测性能较好,但场景布置极为复杂,且部件容易损坏,不适用于变电站改扩建场景。因此,研究者又提出将无线定位技术[6]引入电力施工场景,刘等人依据RSSI模型计算原理建立RSSI信号传输模型,有效降低了无线传感器网络定位的平均误差[7]。黄等人在SRP-PHAT定位算法中引入TDOA,有效提升了三维定位的实时性[8]。这些定位算法虽然定位精度较高,但仅能进行单点定位,无法获取定位目标的周身位置信息,不能适用于变电站施工应用场景中的越界违章检测需求。

为此,研究者们提出将基于目标检测的视觉感知越界违章检测方法引入电力施工场景。杜等人采用像素级的视觉背景提取算法首先提取前景目标,再结合人体的几何特点识别出安全帽目标,克服了变电站环境复杂干扰性强的问题[9]。吴等人针对工人衣着安全帽颜色相近、ViBE算法对运动目标会产生残影、安全帽目标较小等问题提出了卡尔曼滤波、多特征融合和支持向量机相结合的方法,并通过计算前景及背景区域的差异消除残影[10]。许等人针对牵引变电站内静态场景监视的特殊情况,研究了一种差值区域分类识别法,通过对感兴趣目标的前景背景作进一步细分并提取差值范围的图像,从而提取出HOG特征并加以分类[11]。Kang等人提出了一种基于计算机视觉、机器学习和图像处理的新颖实用的安全帽检测框架,采用ViBE背景建模算法,基于运动物体分割的结果,将实时人体分类框架C4应用到变电站行人的准确快速定位[12]。这些传统的视觉感知方法都是针对感兴趣目标结合上下文环境进行人工判别特征提取,在一些施工环境较为稳定的场景下检测效果较好。然而真实的电力施工场景环境错综复杂,特别是在面对天气变化、光照改变等情况时,传统视觉感知方法效果往往急剧下降。

近年来,随着深度学习技术的日益成熟,研究者们先后提出了多个性能鲁棒的基于深度卷积网络的目标检测模型,如R-CNN[13]、FastR-CNN[14]、Faster-RCNN[15]、SSD[16]和YOLO[17]等,这些深度目标检测模型有效解决了人工特征过于依赖场景的问题。受深度学习领域鲁棒目标检测模型的驱动,一些基于深度学习目标检测的越界违章检测方法也开始出现,以实现在电力施工场景下对譬如安全帽、异物侵入[18]等感兴趣目标的监测。陈等人采用深度卷积网络作为基础网络,增加特征金字塔模块融合浅层与深层语义信息,并引入SE-Ghost模块进行轻量化,提高了检测速度[19]。郑等将YOLOv4[20]模型与DeepSORT[21]目标跟踪算法相结合,使得监控人员随时都能观察到人员的安全帽佩戴状态[22]。杨等人基于YOLOv3进行改进,利用变电站巡检机器人开展电力巡检工作[23]。房等人基于二维和三维卷积提取时序和空间特征,提出一种智能化的围栏跨越违章检测与识别方法[24]。王等人利用目标检测算法结合帧差判断法识别施工现场的违规动作,提出一种基于Faster RCNN的跨越围栏违规行为检测方法[25]。然而,上述基于深度学习目标检测的越界违章方法虽然克服了单点定位方法无法获取感兴趣目标周身位置信息的缺陷,也克服了传统目标检测方法人工提取特征稳定性差的不足,但是,这类视觉感知方法也存在因视觉畸变导致定位精度不足的固有缺陷。为此,该文基于轻量级目标检测模型YOLOv5提出一类融合视觉感知与RTK定位的变电站越界违章检测方法,该方法不仅继承了YOLOv5目标检测模型实时性高和部署灵活的优点,而且通过引入RTK定位技术弥补了视觉定位精度不足的缺陷,还克服了传统物理围栏和电子围栏硬件成本高、场景布置复杂、易受环境影响等缺点,能满足变电站改扩建施工越界违章行为的实际检测需求。

2 问题建模

该文提出将变电站改扩建越界违章检测问题建模为一类计算机视觉应用问题,如图1所示,移动端视频摄像头正交摆放在所监控区域的前方与侧方,实时拍摄并检测作业区域的工况,以三角锥检测框底部内侧端点连线围成的多边形区域作为安全区域,多边形区域外的区域均为带电危险区域,以此判断地面作业人员是否在安全区域内。

图1 变电站改扩建越界违章检测问题建模示意图

对于高空作业人员,通过施工区域检测摄像头、辅助摄像头获取图像中高空作业人员在地面的投影点,并将高空作业人员投影至地面,以此判断作业人员是否在作业区域内。根据上述高空作业人员在地面的投影,计算高空作业人员在图像中的视觉高度,并结合RTK人员定位模块测得的单点物理坐标、RTK设备(该设备置于安全帽中)在图像中的视觉高度生成比例尺,根据比例尺计算高空作业人员的真实高度,并判断作业人员是否高程越界。

3 改进的YOLOv5骨干检测网络

该文采用改进的YOLOv5目标检测模型作为越界违章核心检测算法,该算法综合了YOLO算法及其他视觉感知算法的优点,既保证了检测精度,又能够保证检测速度,且权重较小,训练时间更短。YOLOv5总体上分为四个部分,输入端负责处理图像的输出,包括图像预处理等,骨干网络负责图像特征的提取,Neck负责多层次特征的融合,检测头负责网络的输出。考虑到变电站改扩建越界违章行为检测应用中安全帽和三角锥均属于小目标检测问题,在YOLOv5模型中引入注意力模块CBAM,使重要的目标特征占有更大的网络处理比重,增强网络对目标区域的特征学习能力。CBAM模块同时关注了空间和通道信息,通过通道注意力模块CAM(Channel Attention Module)和空间注意力模块SAM(Spatial Attention Module)对网络中间的特征图进行重构,强调重要特征,抑制一般特征,达到提升小目标检测效果的目的,其结构如图2所示。

图2 CBAM模块

CAM模块流程如图3所示,输入的特征图长为H,宽为W,通道数为C。首先,进行最大池化,提取每一通道最重要的信息;其次,进行平均池化,提取每一通道的综合信息;然后,将它们送入全连接层,进行信息的进一步提取;最后,将这两部分信息融合,生成通道注意力模块。

图3 CAM模块

SAM流程如图4所示,获取添加了空间注意力模块CAM后的特征图F'先在通道上做最大池化,提取最重要的通道信息,然后在通道上做平均池化,提取通道的综合信息,再将两部分提取出来的特征图拼接,送入卷积层进一步提取空间信息,得到空间注意力模块。

图4 SAM模块

改进后的YOLOv5网络结构如图5所示,部分层间添加了CBAM模块。此外,改进后的YOLOv5还引入Alpha-IoU作为边界框回归的损失函数,此前的IoU、GIoU、CIoU、DIoU虽然解决了多种问题,但收敛速度不快。

图5 融合CBAM的YOLOv5网络结构

该文引入Alpha-IoU,如公式(1)所示,当Alpha等于2,IoU大于0.5的时候,收敛速度更快,并且Alpha-IoU能有效增强模型对长尾小目标的鲁棒性。

La-IoU=1-IoUa/a,a>0

(1)

4 融合视觉感知与RTK定位的变电站越界违章检测算法

该文拟采用PNPOLY算法[26]快速地根据定位信息判断目标是否越界,该算法的基本原理为:从任一目标点水平向右引出一条射线,与凸多边形边界的交点个数可以被用来判断该点是否在凸多边形区域内,若交点个数为奇数,则该点在凸多边形内;若交点个数为0或为偶数,则该点在凸多边形外。有两点需要特别说明的是:(1)当射线与多边形相交于多边形顶点(如图6中的ABDE)时,此时应将该顶点提升至射线水平面上方(如图6所示,将顶点A提升至射线x上方后变成顶点A'),然后再重新计算射线与多边形边界的交点,以图6中目标点xyz为例,顶点ABED提升后交点个数分别为21;(2)以上规则不适用于目标点位于多边形边界及顶点上的情形(如图6所示目标点m和n),事实上判断这类目标点与多边形边界与顶点是否重合的情形在算法上是容易实现的,比如对于目标点m,仅需直接将其与各顶点比对,而对于目标点n,则可计算目标点与两个多边形顶点的连线斜率是否相等,相等则在边上。

图6 PNPOLY算法中交点计数特殊情况示例

在地面周界越界检测场景中,以三角锥检测框底部内侧端点的连线围成的多边形区域作为安全区域,多边形区域外的区域均为带电危险区域,以作业人员检测框底部两个坐标点作为检测点,根据PNPOLY算法判断检测点是否在多边形区域内。如图7所示,作业人员b,c检测框底部两个检测点引出的射线均与边界只有一个交点,作业人员b,c在区域内;作业人员a检测框引出的射线均与边界有两个交点,作业人员a在区域外;作业人员d检测框底部左检测点引出的射线与边界只有一个交点,右检测点引出的射线与边界点没有交点,所以作业人员d在跨越区域。

图7 地面周界越界检测示意图(辅助摄像头视角)

在高空高程越界检测场景中,首先在辅助摄像头S拍摄的图片中得到人员P在作业区域中的位置,如图8所示,通过改进的YOLOv5检测模型可获取三角锥及人员的坐标,若三角锥A、B、C、D以及作业人员P检测框的左上角坐标分别为:

图8 高空高程越界检测示意图(辅助摄像头视角)

右下角坐标分别为:

图9 高空高程越界检测示意图(检测摄像头视角)

右下角坐标分别为:

假设在M点存在一虚拟三角锥E,且三角锥检测框右下角坐标与M点重合,则三角锥A、E、C的高度在视觉图像中存在近似等比数列的性质,若公比为q,由检测摄像头F获取的比例系数K1可得:

(2)

则公比为:

(3)

虚拟三角锥E的高度为:

(4)

由A、E、C的线性关系可求得比例系数KM,KM表示M点在A、C间的位置KM=(hE-hC)/(hA-hE),则三角锥E的右下角坐标即M点的坐标为(xM,yM),其中:

(5)

(6)

同理由B、F、D间的线性关系可求得比例系数KN,KN表示N点在B、D之间的位置:

(7)

则虚拟三角锥N的左下角坐标为(xN,yN),其中:

(8)

(9)

yH=yM+KH/(KH+1)*(yN-yM)

(10)

Hp=hp*K

(11)

通过比较估算高度Hp与施工单位所规定的越界高度HT,可判断作业人员是否存在高空高程越界。

5 实 验

为了验证所提出的越界违章检测算法在变电站复杂环境下的适应性,从国家电网无锡斗山变电站以及江苏省送变电有限公司南京实训基地收集了2 000张现场图片用于构建训练和测试数据集,这些图片涵盖了施工人员、安全帽、三角锥等识别目标。此外,为扩充数据集以及增强模型的鲁棒性,补充使用了公开数据集BDD100K(https://bdd100k.com)及Safety Helmet Wearing Dataset(https://github.com/njvisionpower/Safety-Helmet-Wearing-Dataset)以分别扩充三角锥、安全帽及施工人员样本,部分数据集实例如图10所示。

图10 部分数据集实例

为了定量分析越界违章检测算法的性能,采用以下指标进行衡量:

(1)准确率(Accuracy,A):

A=(TP+TN)/ALL

(12)

其中,TP表示被判定为正样本,事实上也是正样本的数量;TN表示被判定为负样本,事实上也是负样本的数量;ALL表示总样本数。

(2)定位精度(Location Accuracy,LA):

LA=PT-PA

(13)

其中,PT表示真实场景中施工人员与区域边界的距离,PA表示算法测得施工人员与区域边界的距离。

(3)查准率(Precision,P):

P=TP/(TP+FP)

(14)

其中,FP表示被判定为正样本,但事实上是负样本的数量。

(4)查全率(Recall,R):

R=TP/(TP+FN)

(15)

其中,FN表示被判定为负样本,但事实上是正样本的数量。

(5)平均精度均值(mean Average Precision,mAP):

(16)

(17)

其中,p(r)为以查全率r变量,查准率p为因变量的precision-recall曲线函数,N为总类别数。

实验1:骨干检测网络性能验证。

为了验证骨干检测网络的检测性能,该文将其与其它经典的卷积神经网络进行了对比,包含同样为轻量化网络的YOLOv3-Tiny、Mobilenetv3-YOLOv4,以及EfficientNet和RetinaNet,对比结果如表1所示。从表中可以看出,提出的网络在性能上超过了已有的先进网络。在小目标物体上的性能远远高于EfficientNet和RetinaNet,mAP值与YOLOV3-Tiny、Mobilenetv3-YOLov4相比,分别高出15.8百分点、9.59百分点。实验证明,改进的模型是有效的。

表1 轻量级骨干检测网络性能比较 %

为了进一步验证所使用模块的必要性,设计了如表2所示的消融实验。从表中可以看出,当同时采用CBAM和Alpha-IoU时,网络在Recall、Precision和mAP上取得了最好的平衡,Precision达到了63.50%,相比于原网络提升了3.88百分点,Recall达到了90.70%,提升了2.99百分点,mAP@.5达到了88.30%,提升了2.54百分点,mAP@.5:.95达到了59.90%,提升了3.89百分点。消融实验表明所采用的网络设计策略均缺一不可,使得模型最终获得了较高的性能。

表2 改进的YOLOv5骨干检测网络消融实验 %

实验2:越界违章检测性能验证。

(1)地面周界越界违章检测。

现场拍摄的视频素材送入地面周界越界检测系统经检测后即可输出识别结果,图11所示为视频素材部分识别结果。图像中地面白色线条连成的多边形区域表示施工范围,检测框左上角字符“In”表示人员在施工区域内,“Out”表示人员在施工区域外,“Cross”表示人员正在跨越施工区域。

图11 地面周界越界违章检测实例

将100分钟的现场视频素材,按照每20秒一次截图的频率,一共截取了各种场景的300张施工图片,并将识别结果进行统计,如表3所示。

表3 地面周界越界违章检测性能验证

表3结果表明,该系统对处于安全区域内、外的人员比正在跨越区域的人员识别精度高。在安全区域内的人员检测准确率为91.7%,在安全区域外的人员检测准确率为92.8%,正在跨越区域的人员检测准确率为89.2%,平均准确率为91.3%,经分析,这三种场景中由于视觉畸变,算法对于在区域边界的人员的识别结果较差,分别错检了10、7、9人,均为靠近施工区域边界的样本。但不妨碍对施工人员的安全保障,若将在安全区域外和正在跨越区域均视为危险行为,则如表3第2、3组检测结果所示,真实状态为在安全区域外和正在跨越区域的样本总数为180个,被误检为在安全区域内的样本仅有3个,也就是说危险行为的识别错误率仅为1.67%。综上所述,检测算法能较好地满足施工现场违章行为智能化识别的需求。

(2)高空高程越界违章检测。

图12展示了视频流经高空高程越界检测算法推理后的部分检测结果。实验中假设施工限高为3米,图像上方线条标注了越界高度,右侧字体标注了人员当前高度,白色矩形框表示人员在越界高度下方,黑色矩形框表示人员超过越界高度。

图12 高空高程越界违章检测实例

为了定量衡量检测算法的精度,在变电站施工现场测量了5个场景的实际距离,并将实验数据进行整合,如表4所示。所提算法测距误差均在6 cm以内,平均误差为3.3 cm,若设置越界警示距离为6 cm以上,能较好地满足施工现场的要求。

表4 高空高程越界违章检测性能验证 cm

6 结束语

该文旨在面向变电站改扩建工程设计一种基于深度学习模型的变电站改扩建越界违章检测方法。然而,在实际变电站改扩建场景中,安全帽和三角锥目标尺寸较小,且基于视觉的定位方法误差较大。针对这两个问题,提出一种融合视觉感知与RTK定位的变电站越界违章检测算法。该算法一方面对YOLOv5模型进行了改进,提升变电站改扩建场景中小目标的检测精度,并增强模型对小数据集的鲁棒性,另一方面在视觉定位中融合了RTK定位信息,弥补了视觉定位精度不足的问题。实验结果表明,与已有算法相比,所提检测模型识别准确率更高,且能较好地适用于所述的变电站改扩建场景。