基于改进RPN的孪生小样本电力目标检测

冯珺 潘司晨 赵帅 彭梁英 樊雄飞

摘 要：为了解决当前电力系统巡检难度大、效率低、数据不足以支撑大规模训练的问题，提出一种基于孪生网络的小样本检测方法。首先，在Faster RCNN（faster region convolutional neural network）目标识别算法的框架下，搭建支持图片和查询图片共享的孪生网络模型；然后，利用改进的RPN（region proposal network）模块产生更高质量的proposals；最后，在检测头上对支持图片和查询图片的RoI（region of interest）进行关联匹配。结果表明，将算法应用于自主构建的EPD（electric power detection）数据集，在仅利用10张支持图片的情况下，就能实现对电力背景下鸟巢异物和绝缘子相关类别的检测，检测指标mAP达到18.92%。与其他算法相比，应用于电力行业目标检测的孪生网络小样本模型，在极端小样本情况下性能优良，同时具有更加轻量化的优势，可为电力检测新方法研究提供参考。

关键词：计算机感知；孪生网络；电力场景；小样本；目标检测

Research on few-shot power detection of siamese network based on improved RPN

FENG Jun1， PAN Sichen1，ZHAO Shuai1，PENG Liangying1，FAN Xiongfei2

（1.State Grid Zhejiang Electric Power Company Information and Communication Branch， Hangzhou， Zhejiang 310014， China；2.College of Control Science and Engineering， Zhejiang University， Hangzhou， Zhejiang 310027， China）

Abstract：In order to solve the problems of difficulty， low efficiency， and insufficient data to support large-scale training in existing power system detection methods， a few-shot detection method based on siamese network was proposed. Firstly， under the framework of Faster RCNN（region convolutional neural network） object detection algorithm， a siamese network model supporting imageand querying image sharing was built. Then， the improved RPN （region proposal network） module was used to generate proposals of higher quality. Finallly， the RoI（region of interest） supporting and querying images was correlated and matched on the detection head. The results show that the proposed algorithm， applied to the self-constructed EPD（electric power detection） dataset， can detect foreign matters in bird nest and insulator in the power background， and the detection index reaches 18.92% mAP， in the case of only 10 supporting images. Compared with other algorithms， the siamese network model with small sample size has better performance under extremely few shot situations， and has the advantage of being more lightweight， which provides some reference for the new research direction of electric power detection.

Keywords：computer awareness; siamese network; electric power; few shot; object detection

電力传输设备具有户外部署、常年使用稳定性要求高的特点，受到很多室外不确定性因素的影响甚至被损害。电力系统故障，如绝缘子故障、均压环破损脱落、鸟类侵害（如筑巢）、防震锤故障等，造成很大的人力物力巡检成本。伴随着无人机领域的快速发展，无人机巡检开始替代人工巡检。无人机巡检具有携带方便、反应迅速、操作简单等优点，可以采集图像视频等多种素材。在电力行业走向智能电网时代的情况下，传统的建模方法越来越难以满足新形势下电网的运行维护需求。将深度学习引入电力行业恰恰可以弥补这方面的不足。深度学习从底层数据逐层提取高维度故障特征^［1］，有效避免了人工制造特征对于数据信息的选择倾向。在同步发动机的故障诊断上，代杰杰等^［2］根据变压器油溶解气体类型，建立了ReLU-DBN油色谱特征气体变压器诊断模型；在输电线路故障方面，魏东等^［3］采用双Softmax分类器，基于CNN提出了一种输电线路内外故障判别与选相方法，解决了内外故障判断和选相的非独立分类问题；在风速预测方面，SERGIO等^［4］解决了传统神经网络维度的问题，也表明深度学习在时序问题上的应用潜力；李争等^［5］基于CNN与K-means聚类，在非侵入式电器检测问题上实现了负荷识别。可以看出，深度学习因其强大的适应能力，在解决智能电网建设的很多问题上有着相对突出的表现。

利用目標检测算法对巡检素材进行检测分析，大大提高了巡检效率。但无论是一阶段算法（SSD^［6］（single shot multibox detector），YOLO^［7］（you only look once）），还是两阶段算法（RCNN^［8］类），都极度依赖大规模的标注数据，与电力行业故障和非正常样本少、有价值信息率低、样本量少的特点不匹配，在训练数据规模不足时极易出现过拟合的问题。而小样本学习正是研究如何以很少的标注数据达到传统深度学习的效果。现有小样本学习主要包括基于元学习的方法和基于微调的方法2大类。基于元学习的方法旨在训练模型获得任务无关的学习能力。GIDARIS等^［9］提出一种基于注意力的权重生成器为新的图像分类任务生成权重；WANG等^［10］构建了一种任务感知的feature embedding，为特征提取层生成权重。

在用于目标检测任务时，元学习在小样本数据集上训练，数据集分为支持集和查询集，通过共享权重的孪生网络^［11］同时提取支持图像和查询图像的特征，在分类网络中依照支持集的特征调整查询集的网络参数，最后达到检测查询图片中位置框和类别的效果。孪生结构是一种监督学习结构，共享的网络权重意味着训练需要更少的参数，也就意味着需要更少的数据并且不容易过拟合。而对于相同类型的输入，使用类似的模型来处理类似的输入是有意义的。FSRW^［12］基于YOLOv2模型进行小样本问题改进，利用支持图片的注意力向量融合查询图片特征向量，得到了轻量级的识别模型。而Meta RCNN^［13］基于经典两阶段目标检测框架Faster RCNN^［14］，利用RPN网络产生proposal，在RoI Pooling层融合小样本支持图片特征，增强模型识别新类的能力。DCNet^［15］在Faster RCNN的基础上，采用知识蒸馏的方法，在孪生网络提取支持集和查询集的特征后进行特征融合。在transformer进军目标检测领域后，小样本问题也有了相关的应用。Meta-DETR^［16］利用transformer编码解码框架融合支持集和查询集特征，进一步提高了小样本的检测精度。而微调的方法旨在通过更为简单的训练和模型结构，进行小样本新类识别，大规模训练后，冻结模型部分参数，只需要在同时包含小样本基类和新类的数据集上调整未冻结模型的参数即可。TFA^［17］是目前较为出色的微调框架，在微调阶段，利用包含小样本基类和新类的数据集，仅调整定位和分类模块，即不改变预训练环节特征的提取池化学习参数，默认模型已经获得足够的特征处理能力。De FRCN^［18］是一种解耦的Faster RCNN模型，通过对模型梯度传播的解耦来微调参数，进一步提升了小样本目标检测的识别精度。小样本研究兴起后，在国内相关电力行业也得到了应用。马鹏等^［19］改进了SSD算法，利用5个类别、200张变电站设备图片作训练集，实现了小样本复杂环境下的电力设备分类定位。陆继翔等^［20］采用微调方法，利用GAN网络扩充样本，在绝缘子脱离、导线断股等巡检故障检测方面做了尝试。本文提出将孪生网络小样本模型应用于电力行业目标检测，并在电力数据集上进行验证分析，证明小样本检测在电力行业中对数据痛点有相当重要的意义。

1 孪生网络模型算法流程

模型的整体流程如图1所示。图片输入由支持图片和查询图片并行输入，共同进入权重共享的特征提取网络，也就是孪生网络。RPN利用给定支持图片实例的信息，过滤出查询图片中潜在目标的proposal，proposal在最后的检测头完成类别和位置的回归。为了图片简洁，孪生网络只绘制了1个支持图片分支。在真实的模型中，对于N个类别的训练，每个类别都会扩展出自己的分支，独立分支中的RPN进行对应类别潜在proposal的过滤。

1.1 改进的proposal产生策略

RPN输入为backbone的输出特征，输出为一系列proposal，每个proposal对应一个是否为前景目标的得分。RPN的总体结构如图2所示。

原理上，RPN在目标检测中的作用是产生潜在的proposal，为网络下游的分类和回归任务做准备。理想的情况是，RPN在产生proposal的时候，判断标准为该潜在目标是否支持集图片中包含的目标类别，而不是仅仅进行前景和背景的区别（即简单的二分类）。然而，Faster RCNN采用的RPN网络只是盲目地在图片及其特征层中寻找任何潜在的目标，这其中包含不属于支持集图片的目标类别，因而产生大量冗余的proposal，为下游分类回归任务带来了更加庞大的工作量。同时，因为支持集的目标类别数量远少于

真实环境中存在的目标类别，导致在RPN产生的proposal中有效潜在proposal占比低，RPN的输出质量差，可能给后续分类任务带来了更大的误差^［21］。

究其原因，是因为RPN在产生proposal时没有充分利用支持集图片的特征，才产生了大量无关的proposal。本文改进了一种自适应目标类别的RPN网络，引导RPN产生proposal时着重关注和支持集有关的目标类别，抑制无关类别目标，减少产生的proposal数量和下游工作量。自适应改进的原理如图3所示。

定义支持集的特征为X∈t^S×S×C，查询集的特征为Y∈t^H×W×C，支持集的特征X被池化（average）到维度为1×1×C。查询集的特征层和支持集的池化特征按照通道维度进行卷积操作，计算两者的相似特征G：

式中：X为支持图片经过backbone提取的特征，S×S×C为其维度；Y为查询图片特征，H×W×C为其维度。相似特征G即为该模块得到的自适应特征图，将其输入RPN用于产生目标关联的proposal。这里的X相当于一个卷积核在对应通道上对查询集进行滑动卷积操作。在边缘提取等卷积操作中，通过设计不同的卷积核在图片中进行滑动卷积，提取出图片特征中与卷积核结构类似的区域。支持图片特征X，视为从不同支持图片中分别“精心设计”的卷积核，在对不同类别支持图片进行训练时，采用不同“设计”结构的卷积核，提取查询图片中相似结构的区域，得到的卷积结果就是自适应特征G。G作为补充信息输入到RPN网络，产生相应于支持集图片目标类别的proposal。值得一提的是，經过池化操作的X在本文中维度取1×1×C。原因为X的长和宽2个维度经过实验测试后，取值为1时效果最好。可行的解释是当支持集特征池化为1×1后，更好地代表了目标类别的全局特征，用该维度的支持图片特征X在查询集上做卷积，相当于衡量查询集图片各个部分和目标类别的特征相似度。

1.2 检测头分类与定位

RPN产生proposal后，通常需要一个检测头对proposal进行目标种类得分计算，并进行分类。这一步是孪生网络进行小样本检测的关键步骤。

良好的模型要求一个检测头具有很强的小样本下辨别不同类别的能力。在本研究的孪生网络中，支持图片和查询图片同时输入特征提取网络，产生proposal后在检测头上进行特征关联与匹配。采用的多关联检测头如图4所示。

检测头包含3个模块：全局关联、局部关联和交叉关联。全局关联学习支持集和查询集在图片尺度上的全局特征匹配关系，局部关联更加关注于两者在对应像素级别和通道上一对一的特征匹配，交叉关联是对局部关联的补充，衡量支持图片和查询图片一对多的像素级别匹配关系，有助于解决支持和查询图片的空间错位（即目标在支持图片和查询图片中位置不同）问题。

2 损失函数及模型训练过程

本文算法测试平台硬件环境为双卡NVIDIA GeForce RTX 3060 TiGPU，软件环境为Python 3.7，Pytorch 1.9.0，Torchvision 0.10.0，CUDA11.1，CuDNN 8.0.5。

2.1 损失函数

不同于计算机视觉中的图像分类任务，目标检测任务既需要完成对proposal目标的类别分类，也需要将类别的矩形位置框坐标进行回归。相应的输出变量也是由并行的2个输出层完成的。第1个输出层输出为1个离散的类别可能性置信度，p=（p0，p1，…，pK），对应于K个类别，有（K+1）个输出，包含K个类别的置信度和proposal属于背景的置信度。这里的置信度p是由（K+1）个FClayer输出通过softmaxlayer得到的，而后一个输出为目标位置边界框的偏移量。对于第K个目标类别来说，偏移量tk=（tkx，tky，tkw，tkh），这里的tk并不是指回归目标边界框的绝对位置坐标，而是在RPN产生的对应proposal位置坐标上的变换参数。

每个训练的RoI（region of interest））都有一个真实类别标签u和真实的位置框回归向量g。对于上述提到的目标检测任务，本文以RoI为单位采用多任务损失函数^［22］进行类别标签和边界框的回归训练：

式中Lcls（m，u）=-log mu，是对于类别标签u的log损失。

而对于边界框的回归损失则定义如下：定义目标类别u边界框的真值变量g=（gx，gy，gw，gh）和预测的边界框位置变量pu=（pux，puy，puw，puh）。

这里的u指的是目标类别预测的结果，u=0指的是训练样本中该proposal框定的目标不是支持集中的目标类别，而是背景，也就是说在第1个分类任务中已经出现了偏差，所以这里的回归误差没有意义。

2.2 模型训练过程

目标检测中常用的衡量训练效果的指标有查准率（Precision）、召回率（Recall）、平均精度（AP）、平均精度均值（mAP）。定义TP为正确预测的正样本，FN为错误预测的负样本，FP为错误预测的正样本，上述评价指标如下：

孪生网络模型训练分为2个阶段。预训练阶段，在公开的标准大规模数据集上进行迭代训练，使得模型获得针对多类别图像的提取特征的能力。本文依据公认的mAP评价指标评价预训练的程度，在COCO数据集上预训练mAP达到24.0。再训练阶段，在EDP数据集上调整网络参数。ResNet的基本结构由4个layer组成，再训练阶段冻结了Resnet前2个layer的权重，用EDP数据集信息调整后2个layer和全连接分类层，达到迁移数据集的目的。

3 结果分析

为客观评价本文改进的孪生网络模型在小样本领域的性能优劣，将模型在公开数据集VOC上进行了小样本测试。表1为VOC split1 5个新类的多算法效果对比（表中1 shot指的是在新类训练时，仅使用1张图片进行微调训练，以此类推，2 shot，3 shot，5 shot，10 shot表示在微调训练时，有2，3，5，10张图片作为新类的训练集）。

由表1可以看出，本文采用模型相较于网络MetaDet^［23］模型算法效果有了明显提升。而和Meta RCNN^［13］相比，本文改进后的结构在1 shot和2 shot上效果明显好于Meta RCNN，而在3 shot，5 shot和10 shot仍保持2个点左右的性能优势。k shot情况下，k值越小，问题定义的小样本程度越严格。可见，相比于Meta RCNN，本文改进的孪生网络模型具有更加优越的小样本性能。从原理上分析，Meta RCNN用支持集的特征图来调整询问集的RoI池化模块，使网络对小样本类别更敏感。而本文改进的孪生网络模型在产生proposal的RPN层利用了支持图片的特征和查询图片提取相似度，从而产生了更精准、高质量的proposal，相较于Meta RCNN，更早地利用了支持集特征，避免了对于无效以及背景目标RoI的处理，提高了模型效率。本文改进的孪生网络模型和TFA相比，结果略差，但是值得一提的是，TFA^［17］采用R-101作为提取特征的backbone，性能的提升带来模型结构和计算资源的代价，相比之下，本文改进的孪生网络模型采用R-50的backbone更具有轻量性的优势。

相比于标准数据集，算法的实际应用与落地性能仍然需要验证。故本文在自主构建的EPD数据集上进行了真实场景验证。实验采用自主构建的电力检测数据集EPD进行算法验证和效果分析。EPD数据集包含了鸟巢异物、正常聚合物绝缘子、绝缘子掉串、缺陷绝缘子、正常玻璃绝缘子5个类别。其中，鸟巢异物类别图片均由真实场景拍摄而得，绝缘子掉串图片由缺陷绝缘子与电力系统图片合成所得，玻璃绝缘子和其他金属器具由实验室场景拍摄而得。数据集划分为训练集和测试集，根据小样本问题的特殊性，训练集小于测试集，训练所需的10张支持图片随机从训练集中产生。数据集部分图像如图5所示。

表2展示了EPD数据集中进行电力检测的实验结果，测试结果的可视化效果如图6所示。

由表2可知，本文提出的模型在需要检出的鸟巢异物、绝缘子掉串、弯折绝缘子故障类型中的AP性能分别为22.9%，25.8%和18.1%，均高于正常聚合物/玻璃絕缘子类别的16.5%和11.3%，显示出模型对异常类别的敏感性，尤其是对于绝缘子掉串，具有很好的故障检出能力。从图6中可以看到，检出图片对于真实拍摄的鸟巢和绝缘子掉串类别分类正确，边界框清晰合理。对于虚拟图像生成的正常类别效果一般，从侧面说明了尽管小样本问题降低了对于数据的数量要求，但数据质量仍然是决定学习类方法效果的重要因素。因为模型在实际应用中更看重检出，而不是AP指标看重的IoU。5个类别检测的mAP达到18.92%，证明了该模型有一定的应用前景。

4 结 语

1）本文提出了一种基于改进RPN的孪生网络小样本检测方法。利用孪生网络提取的支持图片集合特征，产生目标关联特征，在RPN模块增强了proposal的质量。

2）与其他算法在VOC数据集上比较测试的结果表明，在极端小样本情况下，本文提出的模型性能优良，同时具有更加轻量化的优势。同时，在自主构建的EDP电力数据集上，mAP达到18.92%，满足一定的应用需求，可解决电力行业在巡检工作中效率不高的问题。

本文研究的孪生网络小样本模型，在实际应用方面仍然和成熟的大数据集目标检测方法存在一定的差距。今后在小样本电力检测研究方面，还要在排除复杂环境对检测目标干扰、探索新的模型评价方法、弥补训练样本和测试样本之间的差距等方面进行更为深入的探讨。

参考文献/References：

［1］ 孙博，王阿川.融合深度特征和FHOG特征的尺度自适应相关滤波跟踪算法［J］.河北科技大学学报，2021，42（6）：591-600.

SUN Bo，WANG Achuan.Scale-adaptive correlation filter tracking algorithm fusing depth features and FHOG features［J］.Journal of Hebei University of Science and Technology，2021，42（6）：591-600.

［2］ 代杰杰，宋辉，杨祎，等.基于油中气体分析的变压器故障诊断ReLU-DBN方法［J］.电网技术，2018，42（2）：658-664.

DAI Jiejie，SONG Hui，YANG Yi，et al.Dissolved gas analysis of insulating oil for power transformer fault diagnosis based on ReLU-DBN［J］.Power System Technology，2018，42（2）：658-664.

［3］ 魏东，龚庆武，来文青，等.基于卷积神经网络的输电线路区内外故障判断及故障选相方法研究［J］.中国电机工程学报，2016，36（sup1）：21-28.

WEI Dong，GONG Qingwu，LAI Wenqing，et al.Research on internal and external fault diagnosis and fault-selection of transmission line based on convolutional neural network［J］.Proceedings of the CSEE，2016，36（sup1）：21-28.

［4］ SERGIO A T，LUDERMIR T B.Deep learning for wind speed forecasting in northeastern region of Brazil［C］//2015 Brazilian Conference on Intelligent Systems （BRACIS）.Natal Brazil：IEEE，2015：322-327.

［5］ 李争，王泽，冯威，等.基于CNN与K-means聚类的非侵入式电器负荷识别方法［J］.河北科技大学学报，2022，43（4）：365-373.

LI Zheng，WANG Ze，FENG Wei，et al.Non-intrusive electrical appliance load identification method based on CNN and K-means clustering［J］.Journal of Hebei University of Science and Technology，2022，43（4）：365-373.

［6］ LIU Wei，ANGUELOV D，ERHAN D，et al.SSD：Single shot MultiBox detector［C］//2016 Computer Vision-ECCV.Cham：Springer，2016：21-37.

［7］ REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：779-788.

［8］ GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation［C］//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：580-587.

［9］ GIDARIS S，KOMODAKIS N.Dynamic few-shot visual learning without forgetting［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：4367-4375.

［10］WANG Yuxiong，RAMANAN D，HEBERT M.Meta-learning to detect rare objects［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul Korea （South）：IEEE，2019：9924-9933.

［11］BROMLEY J，GUYON I，LECUN Y，et al.Signature verification using a "Siamese" time delay neural network［C］//Proceedings of the 6th International Conference on Neural Information Processing Systems.Denver Colorado：Morgan Kaufmann Publishers Inc，1993：737-744.

［12］KANG Bingyi，LIU Zhuang，WANG Xin，et al.Few-shot object detection via feature reweighting［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul Korea （South）：IEEE，2019：8419-8428.

［13］YAN Xiaopeng，CHEN Ziliang，XU Anni，et al.Meta RCNN：Towards general solver for instance-level low-shot learning［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul Korea （South）：IEEE，2019：9576-9585.

［14］REN Shaoqing，HE Kaiming，GIRSHICK R，et al.Faster RCNN：Towards real-time object detection with region proposal networks［C］//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal：MIT Press，2015：91-99.

［15］HU Hanzhe，BAI Shuai，LI Aoxue，et al.Dense relation distillation with context-aware aggregation for few-shot object detection［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville：IEEE，2021：10180-10189.

［16］ZHANG Gongjie，LUO Zhipeng，CUI Kaiwen，et al.Meta-DETR：Image-levelfew-shot detection with inter-class correlation exploitation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2022.DOI：10.1109/TPAMI.2022.3195735.

［17］WANG Xin，HUANG T E，DARRELL T，et al.Frustratingly simple few-shot object detection［C］//Proceedings of the 37th International Conference on Machine Learning.Virtual Event：PMLR，2020：9919-9928.

［18］QIAO Limeng，ZHAO Yuxuan，LI Zhiyuan，et al.DeFRCN：Decoupled faster RCNN for few-shot object detection［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）.Montreal：IEEE，2021：8661-8670.

［19］马鹏，樊艳芳.基于深度迁移学习的小样本智能变电站电力设备部件检测［J］.电网技术，2020，44（3）：1148-1159.

MA Peng，FAN Yanfang.Small sample smart substation power equipment component detection based on deep transfer learning［J］.Power System Technology，2020，44（3）：1148-1159.

［20］陸继翔，李昊，徐康，等.基于迁移学习的小样本输电线路巡检图像处理方法［J］.全球能源互联网，2019，2（4）：409-415.

LU Jixiang，LI Hao，XU Kang，et al.Defect recognition using few-shot learning and transfer learning for transmission line inspection images［J］.Journal of Global Energy Interconnection，2019，2（4）：409-415.

［21］FAN Qi，ZHUO Wei，TANG C K，et al.Few-shot object detection with attention-RPN and multi-relation detector［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：4012-4021.

［22］GIRSHICK R.Fast RCNN［C］//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

［23］VINYALS O，BLUNDELL C，LILLICRAP T，et al.Matching networks for one shot learning［C］//Proceedings of the 30th International Conference on Neural Information Processing Systems.Barcelona：Curran Associates Inc，2016：3637-3645.