面向输电线路的异常目标检测方法

李 辉，周 航，董 燕，张淑军

(青岛科技大学信息科学技术学院,山东 青岛 266061)

0 引 言

电力行业是国家经济发展的基础行业、支柱行业。为保证电力系统的正常运行，电网公司逐步加大了智能电网建设以及安全运营方面的投入。然而，输电线路多铺设在野外，具有距离长、高空高危、地理条件和气象气候条件复杂等特点，使得日常巡检工作依旧存在着较多问题[1-3]。原有的人工巡检方式受主观因素影响较大，巡检周期长且难以保证结果准确无误，而且会耗费大量的人力财力和物力，同时也不能做到实时在线检测，效率很低，已经无法满足当下的客观需求。无人机和巡检机器人技术尚未成熟，采用这些方法反而对输电线路带来较多的安全隐患。因此，从监控的角度保证电力系统的安全稳定运行是非常值得研究的方向。在监控视频中迅速发现异常，检测出各种异常目标，就能够快速预警防患未然。因此，输电线路异常目标检测能够预防和减少事故发生，对提高输电系统安全性、稳定性起到十分重要的作用。

1 相关工作

由于输电线路场景复杂、受气象气候因素影响大、目标尺度变化大，当前很少有针对输电线路场景的检测方法，已有的传统检测方法如HOG+SVM、DPM、AdaBoost等[4-5]，需人工提取特征对目标进行识别，高压输电线路场景中的异常目标种类多且不确定，因而会造成适应性、鲁棒性差。而基于深度学习目标检测方法，目标特征则是通过神经网络自动提取，所提取的特征针对不同物体各不相同，具有表达能力强的优势[6-7]。

R-CNN[8]是第一个引入神经网络的目标检测的方法，首先使用选择性搜索在原始图像上获取建议区域，然后按建议区域裁剪原图再缩放到固定尺寸送入卷积神经网络提取特征，最后用SVM进行分类和边界框预测。R-CNN中要对每个建议区域提取特征，这些区域通常存在大量重叠，因此存在大量的计算冗余。Fast R-CNN[9]先对整张图片进行卷积得到特征图，再按建议区域对其进行裁剪，然后经过兴趣池化层变成尺寸相同的特征图，送入全连接网络中进行预测，使得训练速度得到提升，但使用的选择性搜索仍然十分耗费时间。Faster R-CNN[10]将选择性搜索改为区域建议网络，成为了端到端的训练框架。Cascade R-CNN[11]针对Faster R-CNN仅有一个目标检测器，从而导致部分检测性能不高的问题，将目标检测器级联，逐步改善预测质量。该框架是目前目标检测性能较优秀的框架，故而选用其作为输电线路异常目标检测的框架。但是上述方法采用ResNet[12]网络进行特征提取，特征表达不够精细。Mask R-CNN[13]将目标检测及实例分割相结合，用一个统一的框架同时完成2个任务，但实例分割标注比较复杂，需要较为费时的人工标注，成本过高。YOLO[14]算法采用一个单独的CNN模型实现端到端的目标检测，速度快但精度低。YOLOv2[15]、YOLOv3[16]则是在YOLO的基础上加入锚框，提高了性能但降低了速度。然而，输电线路目标检测虽然对实时性有一定要求，但需要较高的异常目标检测性能为系统提供预警和决策支持。

因此，输电线路场景的异常目标存在尺度变化大，部分目标样本少(如异物)、无明确边界(如烟火)等现象，而现有深度网络并未针对输电线路场景进行有效设计，所提取的特征表达不够充分，造成检测方法缺乏鲁棒性。针对上述问题，本文以输电线路监测现场的视频图像为研究对象，采用HRNet[17]改进主干网络，结合HRFPN融合多尺度特征，通过均衡RPN[18]阶段产生的正负锚点比例，使用级联的目标检测器实现输电线路异常目标检测。

2 高分辨率特征融合的异常目标检测

针对高压输电线路监测图像，本文提出一种面向输电线路的异常目标检测方法，首先使用HRNet提取高分辨率特征，结合HRFPN融合多尺度特征获得目标高质量的特征表示。然后在RPN中均衡正负锚点数量并进行兴趣池化，得到相同大小特征图。最后采用级联的目标检测器实现多目标检测。输电线路异常目标检测方法技术路线如图1所示。

图1 输电线路异常目标检测方法示意图

2.1 高分辨率特征的提取与融合

目标检测首先需要得到用于描述目标的特征来表示不同的目标。不同类别的特征差别应较大，才能较好地区分不同的目标，特征表示的优劣对目标检测非常关键。而卷积神经网络可以对输入图片提取出特征，网络不同层级得到的特征不同，浅层特征倾向于目标的表观信息，深层特征倾向于物体语义信息。因此，本文充分利用浅层的表观信息和深层的语义信息，主要包括HRNet高分辨率特征提取、HRFPN高分辨率特征信息融合。

1)HRNet高分辨率特征提取。在目标检测网络中，多采用ResNet作为主干网络与FPN结合进行多尺度特征提取，ResNet网络结构如图2所示。但ResNet网络只得到不同层级的特征，并未进行不同层级信息的融合，仅依靠结合FPN[18]从高层向低层方向进行融合，限制了目标检测器的性能进一步的提升。本文采用HRNet作为主干网络，该网络能够在整个过程中维护高分辨率的表示，其结构如图3所示，从高分辨率子网作为第一阶段开始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接。在整个过程中，通过在并行的多分辨率子网络上反复交换信息来进行多分辨率的重复融合，因此，用HRNet输出的不仅包含高层语义信息，同时也融合了低层表观信息。

图2 ResNet网络结构示意图

图3 HRNet结构示意图

2)HRFPN高分辨率特征融合。在传统的FPN中，FPN是将ResNet在不同层级输出的特征，各自通过一层1×1的卷积降低通道数，由高层到低层依次放大2倍后相加，在每个低层上实现与上一层的语义相融合。与FPN只单向融合多尺度特征的方法不同，HRFPN能够得到更高质量的特征，如图4所示。HRFPN先将各层的特征图用双线性上采样到与最大的特征图相一致的尺度，拼接到一起形成一张新的特征图，然后将特征图依次池化成不同尺度的特征图即可。提出的检测方法是在4个尺度上预测，因此还需3个池化层获得不同尺度的特征图，池化层卷积核大小依次是[2, 4, 8],池化层步长与池化层卷积核大小相对应，依次也是[2, 4, 8]。

图4 FPN与HRFPN过程对比图

2.2 RPN提取ROIs

对HRFPN得到的特征图，输入到RPN网络，在每个层级中，使用滑动的锚点anchors来生成兴趣区域，根据区域得分和回归位置，裁剪得到多尺度的感兴趣区域ROIs。此阶段的损失函数如式(1)：

(1)

(2)

其中，参数x是预测结果与真实值的差。

在RPN网络中，根据anchors与目标真实区域的交并比(IoU)，把锚点区域分为正锚点和负锚点。然而，当输入的图片中只有小尺度目标，并且目标的数量也比较少的情况下，通过RPN区域建议网络得到的负锚点的数量会远高于正锚点，这会让网络提取到较多的背景语义信息，却忽视了对于前景目标的特征提取，从而使训练得到的目标检测器更加偏向于对背景的识别，并减弱了对前景目标的识别，进而对最终的目标检测器造成干扰。基于这个问题，本文的检测方法随机去除部分负锚点，使其数量不超过正锚点的3倍，进一步均衡了RPN阶段产生的正负anchors的数量比例，防止因为其悬殊的差距而影响到最终的目标检测，从而提高目标检测网络的性能。

2.3 级联的目标检测器

对兴趣池化后的特征图，使用级联的目标检测器进行分类和边界框回归，得到预测目标的类别及相应边界框的位置。所谓的级联就是使用3个结构相同但参数不同的目标检测器，并将前一级目标检测器的边界框预测结果作为新的RPN建议区域，再根据其来重新裁剪特征图，最后将裁剪后的特征图输入到下一级目标检测器。级联目标检测器在训练时累计每个目标检测器的损失，其中每个目标检测器组成如图5所示，由3个部分组成：1)第一部分为卷积层，这组卷积层将特征进一步融合；2)第二部分由全连接层组成，接收第一部分生成的特征，得出预测的各类别概率，训练时使用softmax测量损失；3)第三部分也由全连接层组成，接收第一部分生成的特征，但预测的是边界框的位置，并且与第二部分的全连接层不共享参数，训练时使用smoothL1来测量损失。

图5 级联的目标检测器

3 实验结果及分析

为了验证本文方法的有效性，实验主要分析高分辨率特征的提取与融合、混合兴趣池化对异常目标检测性能的影响，采用相同的输电线路数据进行测试，对Faster R-CNN、Cascade R-CNN和本文方法进行对比。

3.1 实验环境与参数设置

本文实验使用的Linux系统版本是Ubuntu 16.04，服务器的硬件配置如下：CPU使用的是Intel® Xeon® CPU E5-2678 v3 @ 2.50 GHz×2，GPU使用的是NVIDIA GeForce GTX 1080 Ti ×2，内存为32 GB。本实验使用的深度学习框架是PyTroch，为了提高GPU利用率，使用了CUDA 8.0以及cuDNN 6.0，同时使用nccl v2作为GPU间的通信方案。在实验中所使用的Python库为Anaconda 3，Python版本为3.6。实验数据集是来自电网输电线路监控平台实际环境采集的数据，共有3650张图片，根据电网公司需求，认定的异常目标分为5类，分别是施工机械、塔吊、吊车、烟火、导线异物，按4:1的比例将数据集划分为训练集和测试集2部分，每轮用训练集训练后再用测试集测试。

使用的优化器类型为随机梯度下降优化，学习率为0.02，冲量为0.9，权重衰减为0.0001，训练的epoch为75。为了统一尺寸、增加数据量以及保持训练稳定，对输入图像预处理如下：1)图像缩放到1280×960；2)对输入图像进行翻转；3)按ImageNet数据集的标准，将图像按照均值[123.675, 116.28, 103.53]，方差[58.395, 57.12, 57.375]进行标准化。

3.2 训练结果及对比分析

将训练数据作为网络的输入，进行神经网络的训练，用matplotlib与tensorboardx来进行可视化，网络中每轮训练后的总损失值如图6所示。

图6 神经网络总体的损失值

实验中各个神经网络的总体损失值变化如图6所示，可以看到，随着训练迭代次数的增加，整个神经网络总体损失值下降，由此可知组合的神经网络能够正常训练。由于Cascade R-CNN和本文方法均有多个目标检测器，总体的损失要高于使用单个目标检测器的Faster R-CNN。值得注意的是，在使用Cascade R-CNN架构后，触发了momentum的特性，在训练前期损失值有一定的上升，这是正常现象，此后随着训练进行，损失开始下降。

训练过程中，神经网络每轮训练后的精度如图7所示，单纯使用Faster R-CNN进行检测并不能较好地完成识别任务。分析其中精度较低的类别特性后，分别采用高分辨率特征网络和级联的目标检测器，检测精度有一定的提升。本文方法不仅采用级联的检测器，而且采用HRNet作为主干网络，替换掉原始的ResNet，使得检测精度有了进一步提高，优于前面提及的检测方法。

图7 神经网络每轮训练后的精度

3.3 检测结果及分析

图8为输入的检测图片，图9为该检测图片输入网络后2种主干网络的特征图对比。前2列采用的主干网络组合是：ResNet+FPN，后2列是本文采用的主干网络组合：HRNet+ HRFPN，从2种主干网络提取的特征可以看出，低层特征图表示的都是局部细节，高层特征图表示的都是物体大区域。对于主干网络提取的特征，希望低层特征尽可能保留有用的细节，高层特征尽可能是抽象语义。在低层特征图上，ResNet基本上将局部的细节表示出来，而HRNet会融合高层的语义信息，产生的细节特征噪声更少，更加清晰。在高层特征图上，ResNet生成的语义特征仍然包含大量的细节，而HRNet会融合低层的细节信息，将细节从中去除，生成更加干净的抽象语义信息。因此，高低层特征相互融合的HRNet比依次提取特征的ResNet能够生成更好的特征。

对于FPN和HRFPN生成的特征，目标检测将会从高分辨率的特征图上寻找小物体，从低分辨率特征图上寻找大物体。可以看出，在高分辨率特征图上，FPN会强调大物体语义，HRFPN则会专注局部细节，在低分辨率特征图上，FPN强调语义过于抽象，HRFPN大物体的细节也能表示出来。

图8 输入的检测图片

图9 2种主干网络的特征图对比

表1为5种异常目标检测精度对比。实验首先选用Faster R-CNN作为基线模型，可以看出其有一定的作用，不过对于烟火和导线异物这2个类别，精度并不是很好。其原因分别是：烟火是没有明确边界的，难以确定其边界框；而线路异物则是由于样本数量过少，即使使用了数据增广，精度提升效果有限。针对以上问题，分别使用级联的目标检测器和高分辨率网络进行提升，最后将二者相融合。实验结果如下：1)通过高分辨率特征信息融合，各类的精度有了一定的提升，尤其是小样本的线路异物，HRNet能够充分地学习出其特征，此类检测精度提高14%；2)在引入3个级联的目标检测器后，整体上各类的精度有了提升，特别是烟火的精度，通过级联逐步估计烟火难以界定的边界框，使得这一类提升达10%以上；3)最后将两者相融合，由于两者的相互补充，最后的精度达到0.777，高于之前的任何一个模型。

图10～图14为5种异常目标的部分检测结果，可以看出本文的检测方法在输电线路复杂场景下，对不同尺度目标具有较好的检测性能。

表1 5种异常目标检测精度对比

图10 施工机械部分检测结果

图11 塔吊部分检测结果

图12 吊车部分检测结果

图13 烟火部分检测结果

图14 导线异物部分检测结果

4 结束语

本文对神经网络的主干网络、特征提取、RPN、检测器等部分进行了一系列的优化改进，提出高分辨率特征信息融合的异常目标检测方法，从而实现对输电线路异常目标的高质量检测。主要贡献如下：1)采用HRNet改进主干网络提取高分辨率特征，并结合HRFPN进行多尺度特征信息融合，获得目标高质量的特征表示；2)平衡RPN阶段产生的正负锚点的数量，均衡学习目标与背景的特征；3)采用级联的目标检测器进行分类和边界框回归，进一步提高目标检测性能。将本文提出的方法用于电网输电线路监控环境采集的数据集上，实现了高于使用Faster R-CNN(NIPS15[10])、Cascade R-CNN(CVPR18[11])进行异常目标检测的实验结果。

然而，目前输电线路监测系统实际场景中出现的异常目标情况的不确定，造成烟火和导线异物类别的样本数量少，影响该类别的检测精度，未来可考虑引入目标上下文信息进一步改善特征提取质量[21]，以及使用OHEM[22]和focal loss[23]来提高检测性能。