基于迁移学习和R-FCN的电力设备红外图像识别算法*

王 勋， 毛华敏， 李唐兵， 曾 晗， 程宏波

(1.华东交通大学 电气与自动化工程学院，江西 南昌 330013；2.国网江西省电力有限公司电力科学研究院，江西 南昌 330096)

0 引 言

利用红外热像仪采集电力设备红外图像进行设备的故障诊断是一种运用广泛且行之有效的方法[1]，利用现场获取的电力设备红外图像进行图像处理，诊断设备的故障状态、确定设备的故障区域[2]。这种方法高度依赖人工经验，效率低下，误判率高。随着检测技术的发展，可以依靠计算机对海量的电力设备红外图像进行分析，从中对电力设备进行识别和定位,为后续电力设备故障诊断提供可靠依据[3]。

研究者已提出了多种电力设备红外图像的自动识别方法。文献[4]采用Zernike不变矩来提取变电站设备红外图像的特征，利用支持向量机(support vector machine,SVM)构造分类器，对变电站设备红外图像进行分类，具有人为选择计算特征的缺陷。近年来, 图像识别[5]领域最著名的方法是深度学习方法。常见的基于深度学习的目标检测算法包括有(region-based fully convolutional networks，R-CNN)[6],YOLO[7],Fast R-CNN[8],SSD[9]等。2017年，文献[10]利用R-CNN算法对电力设备进行识别，验证了利用深度学习算法可以对高压电线路小部件进行目标检测和识别；文献[11,12]提出了一种结合CNN和随机森林的电力系统关键电力设备图像识别方法，这种方法由于CNN算法的局限性，检测图像大小必须为正方形，这极大影响到形状复杂的电力设备的定位。

本文以避雷器、断路器、电压互感器和电流互感器4种设备为例进行电力设备的自动识别研究。制作了避雷器、断路器、电压互感器和电流互感器的红外图像数据集；对R-FCN[14],Faster RCNN[15],RON[16]和SSD等4种算法的检测效果进行对比；将Imagenet数据集的预训练模型的权重作为初始参数，训练基于迁移学习和R-FCN的电力设备红外图像识别模型；结合Resnet101网络和在线难例挖掘(online hard example mining,OHEM)等优化方法，提出一种改进的电力设备识别方法。将本文算法与传统算法进行对比，识别精度得到很大提升。所提方法可应用于变电站电力设备红外图像识别，为后续电力设备故障诊断提供可靠依据。

1 迁移学习与R-FCN算法

1.1 迁移学习原理

迁移学习[13]是机器学习的一个分支，传统的机器学习方法要求：1)训练数据样本和测试数据样本服从相同的特征分布；2)训练数据足够多，这样才能得到一个精度较高的模型。而迁移学习的应用可以放宽这两个要求。迁移学习利用数据、任务和模型之间的相似性，将在旧领域学习过的模型应用于新领域的学习过程[17,18]，从而显著降低深度学习所需的硬件资源。迁移学习可定义为

D(s)={χ,P(χ)},D(t)={χ,P(χ)}

(1)

式中D(s)为源领域，D(t)为目标领域，χ为域的特征空间，P(χ)为特征空间对应的边缘概率分布。

1.2 R-FCN图像识别算法

首先，输入采集的电力设备红外图像；将整张电力设备红外图像输入CNN，提取整张红外图像的卷积特征图；然后，利用卷积特征图和区域建议网络(region proposal network,RPN)生成建议(proposals)窗口，送入后面的感兴趣区域(region of interest,ROI)子网；将全卷积层的特征图与多层卷积核做运算，生成位置敏感的分数图(scores map)，将ROI和Score Maps输入后面的SoftMax层进行投票(Vote)，定位和识别出的物体位置和类别。R-FCN算法框架流程图如图1所示。

图1 R-FCN算法框架流程框图

1.2.1 RPN

RPN原理与经典算法Faster RCNN 的RPN原理相同。RPN的输入为卷积特征图，根据Anchor机制，针对每个锚点生成9个大小不同的矩形框。利用极大值抑制法(NMS)等方法筛选出得分最高的前300个ROI，将这些经过初步筛选出来的预选框送到后续ROI子网中。在RPN中采用OHEM方法可以大大提高初步筛选的ROI的精度。

1.2.2 ROI子网

ROI子网的作用是修正从RPN中得到的ROI的定位，以期实现电力设备的准确识别定位。

RPN筛选出尺寸为w×h的ROI，被分割成k×k个部分(bin)，与k2(c+1)个卷积核进行卷积操作，即每个部分映射到一张Score map上，其中，(c+1)为类别数加上背景，得到k2(c+1)层位置敏感分数图，对于ROI的第(i,j)个bin(0≤i,j≤k-1)的C个类别的池化响应为

(2)

式中 (x0,y0)为左上角的bin，n为每个bin中的像素数，θ为学习到的参数。

完成池化过程之后，再对ROI进行投票。对k×k个bin求和得到(c+1)维的输出，并通过SoftMax层进行分类。此时输出的结果为物体的定位坐标tx,y,w,h和类别。

2 对R-FCN检测方法的改进

2.1 改用Resnet101网络进行训练

Resnet101的结构与Resnet50的结构相比，主要区别在于Conv_4卷积层增加了卷积次数。Resnet101比Resnet50训练层次更深，能够学到更多的、更抽象的图像特征，从而提高R-FCN模型精度。

2.2 OHEM

区域生成网络中，生成了大量的矩形框，其中的数百到数千个区域会参与预测目标类别和位置的训练。本文样本中，电力设备居中且占比小，故设备背景区域与目标区域数量之比过大，造成样本不平衡。同样，识别具体的电力设备也存在较难识别的难例。

OHEM方法认为大部分背景区域和容易识别的目标区域关于类别的预测精度高，其损失(Loss)较小；训练时，当出现Loss较大的预选区域时，可以对该难例重新进行训练和分类，解决正负样本类别不均衡问题，提高电力设备红外图像识别模型的精度。

3 测试过程

3.1 实验平台

本文实验采用的硬件平台是Dell 塔式工作站，操作系统为Ubuntu 16.04，编程环境基于Python，GPU为NVIDIA Geforce 1080Ti，显存为11GB。实验基于深度学习框架CAFFE进行。迭代次数为80 000次，学习率为0.000 1。

3.2 原始数据整理

根据检测目标整理训练数据集，最终用于训练的类别数据量如表1所示。每类样本数量应该均衡，尽量避免出现样本严重不平衡。利用已经在VOC 2007数据集训练好的预训练模型，在此基础上进行样本训练，将采集到的2 451张电力设备红外图像随机选取1 986张红外图像作为训练集，随机选取245张图像作为测试集，剩下的220张图像作为验证集。

表1 各类别数据量

4 实验结果与分析

4.1 R-FCN与同类算法对比分析

对于相同的电力设备红外图像数据集，各种模型在本地服务器上的识别速度和平均精度均值(mean average precision,MAP)如表2所示。

表2 R-FCN及对比算法MAP及检测速度

由实验结果表明， Faster R-CNN算法在精度上表现一般，MAP为90.22 %，速度不快，检测性能一般；R-FCN模型精度最高，但速度稍慢，其在VOC数据集的MAP为90.48 %，速度为68 ms/幅；SSD模型速度较快，为22 ms/幅，但SSD识别准确率不高，为90.23 %；RON模型则在精度和速度上均未达到最优，速度和精度分别为42 ms/幅和87.62 %。

4.2 R-FCN改进方法比较

由表3可以看出，基于R-FCN与较深度的网络 Resnet101和OHEM方法结合模型算法的电力设备红外图像识别精度高于Resnet50浅层网络结合模型算法，电力设备识别精度为91.43 %，改进效果明显。

由表4可以看出，与传统方法相比，本文算法极大提高了电力设备红外图像识别精度，为后续电力设备热故障诊断奠定了基础。

表3 数据集实验结果

表4 与传统算法比较

4.3 电力设备红外图像识别结果

由图2的实验结果可以验证：无论是在复杂还是简单的变电站环境场景下，本文的方法均获得了较佳的识别效果。

图2 电力设备红外图像检测结果

5 结 论

本研究以电力设备的红外图像为研究对象，提出了基于R-FCN的电力设备红外图像目标识别方法。

1)采用Labelimg制作了电力设备红外图像数据标注，并采用迁移学习方法初始化网络权重，在Resnet101网络上完成了数据集的训练。

2)结合研究具体问题提出了一种基于R-FCN的电力设备红外图像识别模型与二种不同CNN相结合的策略来进行实验，并利用OHEM方法进行优化；分别对简单背景、复杂背景进行识别，验证了该算法确实有助于提高电力设备红外图像识别的准确性和鲁棒性，且平均识别精度达到 0.9143，优于传统方法，能够为后续电力设备热故障诊断提供技术支持。