改进CenterNet的高压输电线路巡检故障实时检测方法

赵 锐，赵国伟，张 娟，王 强，赵杰伦，董红月，张兴忠

1.国网大同供电公司，山西 大同037008

2.太原理工大学 软件学院，山西 晋中030600

现代社会对电力的日益依赖为电网的检查与维护提出了巨大挑战。日常巡检是应对该挑战并保障电网安全稳定运行的必要手段[1]。随着近年来无人机技术的发展，“以无人机巡检为主，人工巡检为辅”已成为我国高压输电线路巡检的方向[2]。基于无人机航拍巡检图像进行输电线路巡检故障检测也成为当今的热门研究方向[3]。

无人机电力巡检是指借助无人机采集实时巡检图像，结合计算机视觉与模式识别、图像处理等相关算法对所采集图像进行故障的自动检测与分析。常见输电线路巡检关键故障，如绝缘子自爆、防震锤脱落、鸟巢等，严重危害电网系统的安全运行[4]。随着深度学习目标 检 测技术的发 展 ，RCNN[5]、Faster RCNN[6]、SSD[7]、YOLO[8]等具有代表性的目标检测模型在标准数据集上已取得了优异的成绩，结合深度学习技术解决输电线路巡检故障检测问题也成为该领域的主流趋势[9]。在此趋势下，Han等[10]以ResNet-50[11]为骨干网络建立多尺度绝缘子检测模型进行绝缘子定位，再使用基于ROI的绝缘子故障定位方法进行绝缘子故障检测。该方法取得了较高的检测精度，但不能满足实时检测的需求。Wang等[12]先使用Faster RCNN对绝缘子进行快速定位，再对定位区域进行语义分割后再分类，判断绝缘子是否爆裂，故障检测过程十分繁琐。陈文贺等[13]基于SSD算法进行绝缘子精确识别的改进，在提取绝缘子所在的矩形区域后，提出一种基于K-means[14]和双特征约束法进一步提升精确，并使用最大距离法对提取绝缘子的自爆缺口进行快速有效定位。赖秋频等[15]训练YOLOv2[16]网络，学习复杂背景下各种绝缘子的特征并准确识别，结合边缘检测、直线检测、图像旋转和垂直投影方法，对识别出各种状态的绝缘子进行缺陷诊断。除此之外，蒋欣兰等[17]先使用基于LSD直线段检测算法获取鸟巢可能出现的感兴趣区域，再使用YOLOv3[18]网络对ROI区域的鸟巢进行检测。

总结以上方法，基于通用深度学习模型虽然在电力巡检故障检测这一领域做了大量研究且对比传统方法有效提升了检测性能，但大都基于某一种故障进行分析。在模型训练与推理时，锚窗计算占用了大量计算资源，后处理阶段需非极大值抑制操作。并且，以上方法的故障检测工作大都被分为两步进行，即先检测到待检测目标位置再对检测到的对象进行故障分析，致使无法做到端到端的学习，难以实现实时故障检测。

在此现状下，亟须一种针对多类高压输电线路巡检故障的单步检测方法，对航拍巡检图像进行实时检测。因此，本文提出了一种改进CenterNet[19]的高压输电线路巡检故障实时检测方法，直接针对绝缘子故障区域、防震锤脱落区域与鸟巢三类故障进行识别，具有模型架构简单，可端到端的训练优势。该方法基于CenterNet架构，结合深层特征融合网络DLAnet[20]、挤压-激励SE模块[21]与可形变卷积[22]设计了DLA-SE特征提取网络，最后通过DLA-SE特征提取网络获取对象的中心点热力图，回归对象的宽高、偏移信息，得到对象边界框。实验结果表明，本文的方法对小目标检测效果显著，并在精度和推理速度性能上相比于基线方法都取得大幅度提升。

1 CenterNet目标检测模型

目前，基于深度学习的目标检测技术框架主要分为两大类：两阶段检测器与单阶段检测器。两阶段检测器首先使用建议生成器生成稀疏建议，并从每个建议区域中提取特征，再使用区域分类器预测建议区域的类别，如RCNN、Faster RCNN、Cascade RCNN[23]等。单阶段检测器无须级联区域分类步骤，直接对特征图上每个位置的目标进行分类预测，如YOLO、SSD、CenterNet等。两阶段检测器在公共数据集上获得了更好的检测性能，单阶段检测器具有更高的时间效率，对实时对象检测具有更大的适用性，更加适合工业应用。

CenterNet[19]是一种单阶段检测器，架构简单且检测性能优异。与传统目标检测模型相比，它使用目标的中心点来代替锚窗，解决了锚窗所带来的正负样本不平衡与计算量的缺陷。它将对象的边界框中心建模为一个点对象，通过提取关键点特征图上局部峰值点得到中心点，并回归到对象大小等属性。在训练过程中，采用标准的密集监督进行学习，且每个目标仅产生一个中心点，无须非极大值抑制操作即可得到目标位置。相比于SSD、YOLOv3等实时检测模型，CenterNet使用更大分辨率的输出特征图（原图缩放4倍）进行检测，更适于小尺度对象的检测，贴切本课题所解决的问题。CenterNet模型架构可分为从边界框到点与从点到边界框两部分，架构如图1所示。输入图像通过DLA-SE特征提取网络得到输出特征图，分别训练目标中心点Y、中心点偏移O、目标尺寸S三个分支，实现从边界框到点的过程。之后将训练得到的Y、O、S三个分支结果解码为对象边界框，实现从点到边界框的转化。

图1 本文网络架构示例图Fig.1 Network architecture in this article

1.1 从边界框到点

从边界框到点的过程如图1所示，将带有标签的图像输入特征提取网络，得到输出特征图。在CenterNet[19]中提供了Resnet-18、Resnet-101、DLA-34与hourglass-104四种特征提取网络。之后关键点预测Y分支、中心点偏离量O分支与对象尺寸S分支共享同一个特征提取网络分别进行训练，最后整个网络预测出每个对象中心点位置的84个值，即关键点预测Y分支结果80个关键点、中心点偏离量O分支结果x和y、对象尺寸分支结果w和h。

在关键点预测Y分支中，将图像I∈RW×H×3输入CenterNet的特征提取网络，生成关键点热图Y∈，即高斯分布图。其中，分布图中的峰值处对应于对象中心，4为输出尺寸缩放比例，80为输出特征图的通道数。当Yx,y,z=1时，表示检测到的关键点。在训练关键点预测网络时，对于每个类c的真实框关键点p∈R2，首先计算一个低分辨率的等价值再使用高斯核将每个真实框的关键点映射到热图。最后使用focal loss[24]进行像素级的逻辑回归。

在中心点偏移量O分支中，每个中心点的局部偏移为，使用L1损失进行所有对象中心点偏移值的训练，所有同类对象共享一个预测偏移值，以恢复由输出步长引起的离散化误差。

在尺寸S分支中，在目标中心位置回归对象的宽高。令为目标k的边界框，则中心位置为。该方法使用关键点估计器来生成的中心点，且回归每个对象k的大小为为了减少计算负担，每一种类的目标使用单一的尺寸预测结果

1.2 从点到边界框

图2 边界框生成步骤Fig.2 Step of generating bounding box

2 DLA-SE特征提取网络

本文受DLA-34[19]和mobilenet-v3[25]工作的启示，结合DLANet[20]，通过在指定卷积层添加SE模块[21]实现通道级别的注意力机制；在指定阶段连接与上采样时使用可形变卷积，实现了特征有效提取，从而完成特征提取网络DLA-SE的构建。

SE模块是SEnet[21]中所提出的一种自动学习不同通道特征重要程度关系的结构，使网络更加关注信息量最大的通道特征，抑制不重要的通道特征，结构图如图3所示。图中X→U代表卷积神经网络中的通用操作，例如卷积或一组卷积，特征图通过该操作维度由W'×H'×C'转为W×H×C。此后，特征采用Squeeze-Excitation机制学习。在Squeeze操作中，Fsq()⋅将输入特征图U进行全局平均池化采样压缩为1×1×C维度。Excitation操作使用通道级的全局特征得到不同通道的权重，并与原来的特征图求积得到最终特征图X。文中将SE模块嵌入至DLA-SE特征提取网络中，在特征融合前对特征进行通道级的优化，提升网络对高压输电线路巡检故障有效特征的提取能力。添加SE模块的卷积网络图如图4所示，在一组由3×3卷积、BN（Batch Normalization）层与hard-swish激活函数构成的卷积操作后，加入SE模块。SE模块由自适应平均池化层与两组卷积操作构成。

图3 SE模块结构图Fig.3 Architecture of SE module

图4 添加SE模块的卷积网络图Fig.4 Diagram of convolutional network with SE module

可形变卷积[22]可增加空间采样位置，适应缩放变换和旋转变换，仅增加少量模型复杂度和计算量，即可提高识别精度。在检测时，可形变卷积感受野会随物体大小进行适应性变化，使得对大物体的感受野可以有效地覆盖该物体。对小物体的识别感受野可以集中在物体周围，而不会过多地采集背景信息。在DLA-SE特征提取网络的构建过程中，在每个采样层使用3×3可形变卷积进行上采样，在插值投影与阶段3至阶段6之间使用3×3可变形卷积以得到更有效的特征表示。

DLA网络从网络架构层面出发，目的是更好地融合不同层次的特征信息，功能与FPN[26]（Feature Pyramid Networks）结构相似。它将层分组为块，将同分辨率的块分组为阶段。如Resnet-34[11]网络中，卷积层组成BasicBlock，相同分辨率的BasicBlock被分为同一阶段。本文DLA-SE网络结构如图5所示，图像输入网络经过阶段1~6得到各阶段的输出结果，之后阶段结果通过插值投影和逆卷积上采样增加深度和分辨率，得到信息丰富的特征图结果。网络结构图中的数字代表该阶段特征图对于原图像的下采样倍数，表示该阶段特征图的大小。具体网络阶段信息见表1，阶段1与阶段2使用独立的BasicBlock；阶段3与阶段6使用深度为1的树状BasicBlock结构，记为T-BasicBlock1；阶段4与阶段5使用深度为2的树状BasicBlock结构，记为T-BasicBlock2，树状BasicBlock结构图如图6所示，根据图中箭头流向，在根结点处直接将BasicBlock生成的特征图相加。阶段1、阶段2与下一阶段的连接方式采用图4所示的添加SE模块的卷积进行连接；其余阶段之间采用可形变卷积进行连接，详细结构见图7中可形变卷积所示。

表1 DLA-SE特征提取网络阶段信息Table 1 Stage information of DLA-SE feature extraction network

图5 DLA-SE特征提取网络结构Fig.5 Architecture of DLA-SE feature extraction network

图6 树状BasicBlock结构图Fig.6 Architecture of T-BasicBlock

图7 聚合结点生成过程Fig.7 Step of generating aggregation node

当图像（512×512×3）输入至DLA-SE特征提取网络，得到阶段1至阶段6的结果后，再经过聚合结点上采样与插值投影，将阶段4至阶段6的特征图映射至阶段3特征图大小进行融合，聚合结点生成过程见图7，融合示意图如图8所示，最后输出大小为128×128×64的特征图。特征提取网络采用hard-swish激活函数[25]，见公式（2）：

图8 阶段3~6特征图融合结果Fig.8 Fusion result of feature maps of stages 3 to 6

3 实验

3.1 数据集

本文数据集共采集到国家电网公司标准化无人机巡检故障图像2 509张，涵盖田野平原、山川、森林、城镇等环境，分辨率为3 000×1 700，其中包含绝缘子自爆区域377个、防震锤脱落区域2 655个、鸟巢692个。三类故障图像如图9所示，第一行为绝缘子自爆图像、第二行为绝缘子防震锤脱落图像、第三行为鸟巢图像。该数据集3 724个对象中，3 665个对象在图像中所占比例小于5%，小对象占比达98.42%，本文方法侧重于小部件检测。

图9 数据集图示Fig.9 Illustration of data set

3.2 实验环境与方案设计

本文实验环境为微星深度学习工作站，Ubuntu 16.04 64位操作系统，8 GB内存，NVIDIA GeForce GTX1080显卡，Intel i7-6800K CPU，在Pytorch 0.4.1、CUDA 9.0、CUDNN 7.1下实现模型的搭建及训练工作。

训练时，通过在大型数据集COCO上训练得到预训练模型进行权重进行初始化，使用Adam来优化总体目标，模型均迭代140次。训练样本均采用512×512分辨率，所有模型的输出分辨率为128×128。训练完成后，分别在CenterNet架构下与ResNet-18、ResNet-101、DLA-34、Hourglass-104四种特征提取网络的训练性能对比。最后将本文方法与SSD[7]、Yolov3[18]主流实时检测模型进行性能对比，分析本文方法性能。

3.3 模型评估

本文采用AP（Average Precision）、MAP（Mean Average Precision）与模型推理速度FPS（Frames Per Second）三项指标进行模型评估。精准度（Precision）、AP、MAP与模型推理速度是目标检测模型常用评估指标。精准度指所有判断为正确的对象中，真正正确对象所占的比例。AP指PR曲线（Precision-Recall）上精准度的均值、MAP指每个类别AP的均值，计算公式见公式（3）~（5）。模型推理速度通过在本文微星深度学习工作站单块NVIDIA GeForce GTX1080显卡环境下，使用摄像头模拟无人机获取的视频流进行检测。对100张图像的检测时长求均值得到本文模型推理速度指标。

3.4 实验设计与结果分析

本文共设计两组对比实验，分别为不同骨干网络性能对比与主流实时检测模型性能对比。通过两组实验，首先在CenterNet架构下分析本文DLA-SE特征提取网络性能，再通过本文方法与主流检测网络SSD[7]、YOLOv3[18]进行性能对比，综合分析本文方法性能。本文方法训练过程中损变化情况如图10所示，红线代表总损失，绿蓝橙线分别代表目标中心点Y、中心点偏移O、目标尺寸S三个分支的损失。随着训练次数的增加，loss曲线不断下降，模型收敛，训练过程中未出现过拟合现象。

图10 训练过程中的损失变化Fig.10 Diagram of variation of loss during training

3.4.1 不同特征提取网络性能对比

本文基于CenterNet[18]架构进行特征提取网络DLASE的设计，并在CenterNet架构下与ResNet-18、ResNet-101、DLA-34、Hourglass-104特征提取网络进行性能对比，其中ResNet-18、ResNet-101、DLA-34、Hourglass-104为CenterNet改进后的特征提取网络。不同特征提取网络性能对比结果见表2。DLA-SE特征提取网络的mAP值为0.917，在检测精度上大幅度超越ResNet-18、ResNet-101与DLA-34，并对于精细设计的深层Hourglass-104网络性能提升1.4%。模型推理速度为27.03 frame/s，在检测精度最高的前提下，实现实时推理的速度，满足高压输电线路巡检故障实时高效检测的需求。

表2 不同骨干网络性能对比Table 2 Performance comparison of different backbone networks

3.4.2 主流实时检测模型性能对比

本文方法在CenterNet架构下使用DLA-SE作为特征提取网络进行高压输电线路巡检关键故障的实时检测。通过与主流实时检测模型SSD、YOLOv3对比，本文方法在检测精度与模型推理速度上具有较高的检测性能，性能对比结果如表3所示。图11为绝缘子自爆、防震锤脱落、鸟巢三类高压输电线路巡检故障的检测结果。

表3 主流模型性能对比Table 3 Performance comparison of mainstream models

图11 检测结果图Fig.11 Detection result

4 结束语

本文针对通用深度学习目标检测技术难以在高压输电线路巡检时实现实时高效的故障检测，提出一种改进CenterNet的高压输电线路巡检关键故障实时检测方法。该方法基于CenterNet网络架构，结合深层特征融合网络、SE模块、可形变卷积与hard-swish激活函数设计了高效的DLA-SE特征提取网络。实验表明，本文方法在NVIDIA GTX 1080测试条件下mAP达到0.917，速度为27.03 frame/s，实现了实时且高精度的检测，性能高于通用实时检测模型。下一步将在嵌入式NVIDIA Jetson AGX Xavier设备上进行模型的性能改进，进一步改进网络结构，以实现移动端实时故障检测。