基于注意力机制学习的变电设备缺陷检测方法

伍艺佳，华 雄，王丽蓉，陈红波

(1.国网湖南省电力有限公司检修公司，湖南 长沙 518052；2.安徽南瑞继远电网技术有限公司，安徽 合肥 230088；3.中国科学院合肥物质科学研究院智能机械研究所，安徽 合肥 230031)

0 引 言

随着变电站数量的逐步增多，传统人工巡检方式存在劳动强度大、效率低的问题，难以胜任变电站设备及时、准确的巡检工作要求。近年来计算机技术快速发展，基于计算机技术的变电检测在变电站应用越来越广，成为变电站设备巡检的新应用方向[1-4]。对于变电设备缺陷图像检测来说，其核心难点是如何处理变电站内不同光照、不同天气等情况下的缺陷图像定位与检测。传统的目标检测方法可分为3个主要过程：区域选择、特征提取和分类器。其面临的问题主要体现在：一方面图像中目标区域选择策略没有针对性，时间复杂度高，候选窗口冗余；另一方面传统特征提取的特征鲁棒性较差。随着深度学习的出现，目标检测领域取得了巨大的发展，就现有基于深度学习的图像检测算法来说，可分为单阶段目标检测框架和双阶段目标检测框架2大类。单阶段目标检测框架的代表有YOLO[5-6]系列算法、SSD[7-8]系列算法，以YOLO、SSD为方向目标检测框架主要是基于回归方法的深度学习目标检测。双阶段目标检测算法代表有R-CNN[9]、Fast R-CNN[10]、Faster R-CNN[11]等以RCNN为基础的基于Region Proposal的深度学习目标检测算法。单阶段目标检测框架优缺点体现在：1)将目标检测任务转换成一个回归问题，加速了检测的速度，时效性好；2)采用全局特征图进行预测；3)针对小目标的检测和相互靠近的物体，单步检测框架精度有限。双阶段目标检测框架优缺点体现在：1)获取区域候选目标比较费时，需要先训练分类模型网络，进而对目标边框进行回归计算；2)目标检测整体精度较高。

上述基于深度学习的目标检测是典型的数据驱动型技术，因此，上述大部分检测识别框架在训练样本多样性丰富、数量充足的前提下，模型鲁棒性好、泛化能力强。而在变电站缺陷图像的检测应用中，实际的变电站内图像面临着光照、天气、尺度等多种因素的影响，造成检测精度低，难以运用到实际中。为了解决这种问题，一个较为有效的思路是收集大量不同状态下的变电站内缺陷图像数据，经过基于深度学习的检测模型训练来提升目标检测精度，以达到实际应用程度，但是大规模地收集各种类型与情况的变电站缺陷图像数据，短期内无法完成，进而影响工程化推广应用。另一个思路是通过数据增强来增加语义信息，引入注意力机制等方法增强现有检测框架的鲁棒性。本文重点是通过引入注意力机制来提升现有目标检测算法精度，以适应变电站缺陷图像检测识别需求。

尽管基于单阶段与双阶段目标检测框架能在一定程度上解决变电站图像中光照、尺度差异问题，但直接运用卷积神经网络提取缺陷图像多尺度特征无法做到自适应，且目标检测框架泛化能力相对较弱，尤其是对于单阶段检测框架下的小尺寸目标无法准确检测。为此，本文基于单阶段目标检测框架，提出一种基于注意力机制学习的变电设备缺陷图像检测方法。所提方法融合注意力机制原理，通过提取不同注意力机制下变电站缺陷图像特征，设计特征融合学习函数，将不同注意力机制下的缺陷图像特征输入到最终检测模型。实验结果表明，所提方法增强了变电设备缺陷图像检测的准确性。

1 相关工作

对于基于Faster R-CNN的目标检测框架，文献[12-14]分别将目标检测技术应用到输电线路缺陷识别中。为辅助高压巡线人员提高发现缺陷的能力,熊小萍等人[12]设计出适用于无人机图像识别的输电线路缺陷目标检测识别模型，在其自建的输电线路缺陷图像数据库基础上,分析对比深度神经网络不同预训练模型对检测效果的影响，优选最适合自建图像数据集的训练模型及参数，并最终完成输电线路缺陷识别网络模型。刘召等人[13]提出一种基于改进的Faster R-CNN高压线缆目标检测方法。首先为了获取深度神经网络高层语义特征，引入跳转连接并调整神经网络激活层、卷积层的连接方式，改进目标候选框的生成机制，提升对小目标检测的响应能力，最后应用池化层提取每个区域的特征，同时实现定位与识别任务。金昊等人[14]研究不同的预训练网络模型对输电线缺陷检测的正确率，重点通过图像数据增强方式，如图像旋转、加入正态分布的高斯噪声、尺度变化等扩充训练图像数据库，进一步提升目标检测效果。

与双阶段目标检测不同的是，文献[15]基于YOLO单阶段目标检测框架，将其技术应用到输电线路故障的检测识别中。张迪等人[15]利用TensorFlow框架搭建基于深度学习的目标检测网络,并提出了一种基于YOLO改进目标检测方法,使得检测与定位输电线路上的螺栓和破损导线更加快速和准确。

Lin等人[16]构造的特征金字塔网络FPN(Feature Pyramid Networks)，通过融合浅层视觉信息和高层语义信息，对小目标具有良好的检测能力，在目标检测领域取得了良好的效果。赵小鱼等人[17]采用传统的SIFT算法对变电站异物进行检测。文献[18]结合深度神经网络特征提取模型，应用随机森林算法对电气设备图像进行分类，实现了对绝缘子、断路器、电线杆等5种电力设备的识别。文献[19]通过将生成的对抗网络和传统的图像增强用于扩展电力设备图像样本，使用深度森林方法获得鲁棒的网络模型应用到电力设备图像检测中。随着大数据与人工智能技术的快速发展，变电站无人巡检与自动识别监控等智能化必将是未来发展趋势[20-22]。从提升变电站设备智能化运维出发，本文重点关注变电站设备缺陷图像检测算法的有效性，引入注意力机制从原始变电设备图像中提取高可靠性、高辨识度的特征实现变电设备的缺陷检测。所提方法能够充分利用不同注意力机制下的深度卷积神经网络特征，并在特征融合的基础上，植入到现有目标检测框架中，实现变电设备缺陷图像检测的高鲁棒性。

2 本文方法

本文提出的基于注意力机制学习的变电设备缺陷图像检测网络框架是在卷积神经网络特征提取基础上，借鉴注意力机制学习，设计特征融合优化模型，实现不同注意力下的深度卷积神经网络特征的提取与融合，以此提高变电站缺陷图像检测网络模型的表达能力。所提方法框架主要分为6个部分：输入原始图像、不同注意力机制下图像表示、卷积神经网络特征提取、特征融合、分类与回归器、输出结果。与传统目标检测方法相比，本文基于注意力机制学习的目标检测方法的最大优势在于有效融合不同注意力机制下目标图像区域特征，并将候选区域特征通过学习函数有效级联，最终送入Softmax函数实现目标检测与识别。

2.1 深度卷积神经网络

标准卷积神经网络主要包括卷积层、池化层、激活函数、全连接层，将深度卷积神经网络用于图像检测识别任务时，还会定义其损失函数完成模型训练。

卷积层(convolutional layer)的功能是对输入图像进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量。在处理多个维度的卷积运算时，例如输入图像数据为一个二维矩阵X时，此时卷积运算变成：

(1)

其中，k为二维卷积核，m和n分别为卷积核的宽和高，在图像的特征提取中，卷积核在输入图像上滑动，同时将对应位置的输入与核函数值相乘后输出。

池化层(pooling layer)在卷积层进行特征提取后，输出的特征图会被传递至池化层进行信息过滤。池化操作使用像素附近的统计信息作为网络特定位置的输出，由大小固定滑动窗口在特征图中滑动计算。通常，池化采用最大池化操作(max pooling)或平均池化操作(average pooling)，分别以滑动窗中的最大值和均值作为输出，是卷积神经网络中流行的下采样方式。

全连接层(fully-connected layer)的作用则是对提取的特征进行非线性组合以得到输出，卷积层和池化层能够对输入数据进行特征提取，全连接层主要是利用现有的高阶特征完成特征学习。

激活函数的特性是需要具备非线性映射能力，并且能反向传播训练网络。而卷积运算是一种线性操作，因此仅仅通过堆叠卷积层来增加神经深度网络则只能学习到线性映射关系，而线性模型特征表达能力有限。因此，通常会在卷积层后添加非线性函数从而提供网络的非线性建模能力。常用的激活函数有Sigmoid、Tanh、ReLU[23]等，其中最常使用的ReLU公式如下：

ReLU(x)=max(0,x)

(2)

损失函数是指导一个神经网络训练的标准，由它来控制网络学习优化方向，监督整个数据训练的正确性。一般来说神经网络在最后一层输出结果，可以通过设计不同的损失函数来衡量该结果与样本数据间的差异，再通过反向传播方式训练整个网络。目标检测是一个多任务学习的问题，一般由分类和回归2个损失函数共同衡量识别与定位的准确性。

2.2 注意力机制设计

注意力(Attention)机制最早是在视觉图像领域提出来，2014年Google Deep Mind团队[24]基于RNN模型应用Attention机制实现图像分类。Attention机制的本质来自于人类视觉注意力机制。随后注意力机制被广泛应用在基于RNN/CNN等神经网络模型的各种视觉、自然语言等任务中。人们的视觉在感知东西的时候一般不会从头到尾全部都看，往往是根据需求观察注意特定的一部分，当人们发现经常在某部分出现自己想观察的东西时会进行学习，在将来再出现类似场景时把注意力放到该部分上。

借鉴注意力机制原理，本文从不同观察距离，把变电站鸟巢原始图像通过注意力网络分为3个层次，分别是原始距离、中间距离以及近距离。由图1不难发现，经过注意力网络后，原始尺度图像能更明确地表现出图像全局特征，中间距离尺度图像则清晰定位所要检测识别的物体特征，而近距离的鸟巢图像则更能表现出目标的高辨识性特征。这种聚焦了图像全局特征、中间特征以及局部特征的方式能够更有效地提升检测识别算法的鲁棒性，特别是小目标物体的检测成功率。

图1 注意力机制模型

2.3 基于注意力机制的缺陷图像检测模型

图2 基于注意力的变电设备缺陷图像检测框架

这里假设A∈Rd×M为多注意力下变电缺陷图像在最后卷积神经网络中卷积层上抽取的特征映射图，构造如下特征融合模型：

(3)

其中，ai为特征矩阵A第i列特征映射，φ是特征映射图权值，s表示不同注意力下尺度参数。此外，在识别与定位的分类层(Softmax)，通过如下方式构造对应的损失函数以完成整个网络训练学习：

(4)

(5)

(6)

2.4 模型训练

2.4.1 实验数据

如表1所示，为验证所提方法的有效性，建立变电站缺陷图像数据集，具体包含表计破损、绝缘子破裂、硅胶变色、油封破损、高空悬浮物、鸟巢、地面油污、金属锈蚀8类，数据集每一类都包括300个图像，共计2400个图像样本。采用LabelImg工具，人工标注实验数据集。为了使得算法验证更准确，针对本文数据集，在模型训练之前每类样本进行翻转、裁剪等扩充数据集的操作，使得每类样本实际参与训练的数目增加2倍。

表1 变电设备缺陷图像数据集

2.4.2 实验平台环境

为了验证本文的方法，使用Python接口在Pytorch框架上实现，使用12 GB Tesla P40 GPU进行运算，设计了一些实验来与其他最常见的卷积神经网络架构进行比较，主干网络采用ResNet-50，网络结构如表2所示。

表2 ResNet50深度残差网络结构

2.4.3 训练参数设置

所有的训练数据的分辨率被调整到1333×800，选择RMSprop作为卷积神经网络反向传播时的优化器，动量参数被设置为0.9。针对可能存在的过拟合问题，本文在训练网络前进行了图像样本的翻转、裁剪、平移等操作进行扩充，在训练网络时采用了dropout策略以及BatchNormal批归一化操作，通过随机隐藏部分神经元及批归一化改变神经元输入数据的分布，避免出现过拟合问题。学习率修正策略采用阶梯式下降策略，初始化学习率为0.0025。此外，一个批次的大小被设置为16。

3 结果分析

3.1 PR曲线与mAP精度分析

为验证所提方法的有效性，通过查全率(Recall)、查准率(Precision)和均值平均精度(mean Average Precision, mAP)3个指标来进行结果分析。查全率为正确检测出测试集中缺陷变电图像目标总个数的占比；查准率为实际检测出来的缺陷样本总个数占比(含正确和错误)。

交并比IOU用于判断每一个检测框的正确性，其定义如图3所示，表示目标预测框与真实边界框的交集与并集的比值。

图3 交并比定义

mAP是目标检测中衡量精度的重要指标，是多个类别的AP的平均值，mAP定义如下：

(7)

(8)

本文对真实场景变电设备缺陷图像数据集在IOU阈值设为0.5的情况下，计算Precision-Recall，图4为各个缺陷类别的PR曲线。

图4 基于注意力机制检测的各类PR曲线

本文算法训练的loss曲线如图5所示，从图中可以看出，随着epoch的增加，loss呈不断下降的趋势，在第25个epoch时趋于稳定，模型收敛。

图5 训练loss曲线

为进一步验证本文算法的有效性，本文对比主流的目标检测算法，主要包括单阶段目标检测算法YOLO、SSD，双阶段目标检测算法RCNN、Fast-RCNN、Faster-RCNN以及对小目标检测效果较好的特征金字塔网络FPN，考虑到实时性及计算量，主干网络均采用ResNet-50。从表3可以看出，由于本文算法融合了注意力机制的思想，通过综合不同注意力下的缺陷特征，使得特性表达更丰富，相比其他算法在变电设备缺陷图像检测的精度分别提高了4.3个百分点、4.1个百分点、4.4个百分点、4.0个百分点、0.9个百分点和0.3个百分点。通过实验进一步验证了本文提出的变电设备缺陷图像检测方法的有效性。

表3 不同神经网络模型下的变电站缺陷检测mAP

3.2 检测可视化结果

从实际模型检测的可视化结果(图6)不难发现，与其他常见的目标检测算法相比，本文方法在检测效果上优于其他类型算法。特别是，当变电站待检测缺陷图像目标出现在复杂场景下，如目标尺寸不一、部分遮挡等情况发生时，相比于通用方法，本文方法能够较好地融合多种注意力下的图像特征，检测鲁棒性更好。

图6 不同检测算法可视化结果图

4 结束语

受复杂背景(如目标尺寸不一、部分遮挡等因素)影响，现有的变电站缺陷图像检测算法误检率高、鲁棒性弱。对此，本文基于注意力机制学习提出了一种变电设备缺陷图像检测识别模型。通过引入注意力机制，构建了不同注意力机制下变电设备缺陷图像特征模型，增强了图像表示能力。为了有效融合不同注意力机制下的图像特征，设计了新的特征融合方法，进一步增强变电缺陷图像特征可辨识性。实验结果表明了所提算法的有效性和可用性。

本文所提算法也存在一定的不足，虽然多种注意力机制下图像生成方式对图像特征表示方面有巨大优势，但随之而来的是目标检测的时效性较弱。在下一步工作中，将应用特征降维操作以及相关优化算法，在不降低算法精度的前提下，提升变电缺陷图像检测算法的时效性。