基于深度学习的输电线路关键部件视觉检测方法的研究进展

赵振兵，崔雅萍

(华北电力大学 电气与电子工程学院，河北 保定 071003)

0　引言

输电线路作为电力工业的重要基础设施，是电网的重要组成部分，其安全稳定运行关系到电力系统的可靠性和国民经济的持续发展。输电线路关键部件主要包括绝缘子、金具及杆塔等，若部件出现问题会危及整个电网运行的稳定性，因此，对关键部件缺陷的智能检测变得尤为重要。利用直升机、无人机巡线，可以减少运检人员登杆检查操作的工作量，快速且准确地判断缺陷情况并提供帮助[1]，已成为输电线路常态化的巡检方式，利用搭载的照相或摄像设备获取输电线路航拍多传感器的图像数量日益增多[2]。由于人员配置数量问题，目前，输电线路智能巡检技术实施的主要矛盾已转化为日益增长的输电线路航拍图像缺陷检测需求与人工检测精度、效率不匹配、不平衡之间的矛盾。“十三五”期间国家电网公司将新增110 kV及以上线路40.1万km(较“十二五”末增长45%)[3]，且外部环境更加复杂，面对输电专业基层一线运检人员数量无法同步增长的情况下，影响电网安全的风险因素将长期存在。传统运检模式难以适应电网发展及体制变革要求，探求一种可提高其缺陷检测的准确性，并使直升机、无人机巡线系统更为高效和智能的输电线路航拍图像的处理方法是破解智能运检发展难题的必由之路。

国务院于2017年7月20号印发的《新一代人工智能发展规划》中指出：“人工智能发展进入新阶段，成为国际竞争的新焦点，是经济发展的新引擎，带来社会建设的新机遇”。十九大报告也提出“推动互联网、大数据、人工智能和实体经济深度融合”。国家电网公司积极响应，支持传统产业优化升级，不断推进人工智能与电网巡检工作的融合开展。深度学习[4]是人工智能的一项关键技术且在近几年公共数据集的目标检测任务中都有出色的表现。基于直升机、无人机和深度学习的航拍输电线路关键部件的视觉检测方法研究是非常有必要的。

因此，面向智能电网和能源互联网建设需求，将深度学习技术引入到输电线路航拍图像处理中，并充分挖掘大数据中输电线路关键部件的先验专业知识，具有重要的实用价值，从技术层面上保障了电网的安全稳定运行，提高了输电线路巡检的效率。

1　研究现状

1.1　深度模型检测方法研究现状

目前常用、效果较好的目标视觉检测方法，均依赖深度模型对目标进行检测[5]。在基于PASCAL VOC[6]、ImageNet[7]等世界公共数据集的挑战赛中，表现突出、效果优异的目标检测算法也都纷纷采用深度模型的方法来完成。

在PASCAL VOC挑战赛上将检测准确率从35.1%提升到53.7%的R-CNN(Regions with CNN Features)架构[8]，就是将选择性搜索[9]与卷积神经网络CNN (Convolutional Neural Network)[10]进行结合。首先，在图像中生成多个候选目标区域，进而将这些区域设置为固定尺寸送入CNN中进行特征的提取和分类，最终实现目标检测的目的。文献[10]提出了基于AlexNet的图像分类与识别方法，它是对LeNet[11]的一种扩展方法，并且已取得了ImageNet竞赛的冠军。AlexNet能够学习更大、更复杂的目标层次的神经网络。AlexNet网络提出后，许多工作开始关注改进卷积神经网络的结构，相比于理论研究工作，深度学习模型的结构优化涌现出了更多更有代表性的工作。如在最初的若干个卷积层的模型基础上采用更小尺寸的卷积核与卷积步长[12]，采用多尺度的训练与测试数据[13]。在浅层卷积神经网络的基础上，文献[14]通过可视化神经网络的中层特征，分析分类器参数对结果的影响，提出了ZF-net，该模型提取到的特征含有的语义信息更丰富，并在ImageNet上的分类精度超越了AlexNet。牛津大学提出的视觉几何组VGG (Visual Geometry Group)模型是对深度卷积神经网络DCNN (Deep Convolutional Neural Network)的一次系统尝试，在2014年ILSVRC竞赛中取得了优异成绩。与传统的5～7层的浅层网络相比，其网络层数加深，模型复杂度增加，计算量加大，VGG模型将浅层网络中一个卷积核尺寸为7的卷积层拆分为3个卷积核尺寸为3的卷积层，使得模型的参数减少，增加了特征的区分度，提高了模型的判别准确性。文献[15]进一步缩小卷积核尺寸，在对卷积层感受野不产生任何影响的情况下改善了决策函数的非线性。如图1所示为近年来目标检测深度基础模型发展过程图，2013年发表在国际计算机视觉与模式识别会议CVPR (IEEE Conference on Computer Vision and Pattern Recognition)的R-CNN取得了准确率为58%的成绩之后，在此基础上进行的很多后续工作如Fast R-CNN[16]、Faster R-CNN[17]、SSD(Single Shot multibox Detector)[18]、YOLO(You Only Look Once)[19]、R-FCN(Region-based Fully Convolutional Networks)[20]等近几年在公共数据集的目标检测任务中都有突出的表现。

图1　目标检测深度基础模型发展过程图

1.2　输电线路关键部件检测方法研究现状

输电线路部件的传统图像检测研究从2000年开始陆续展开，最初是基于经典图像处理算法的思路，主要集中在针对目标的形状特征(如边缘、轮廓)检测方法上取得了一定的进展。如对于防振锤，可利用图像边缘信息采用改进的基于存在概率图的圆/椭圆检测方法和分层决策机制[21]；可提取边缘图像中某些图形基元并施加结构约束[22]；也可利用随机Hough变换检测防振锤的圆形部分[23]，实现对防振锤的检测。文献[24]采用小波与中值滤波相结合对杆塔图像进行降噪处理，再通过特征提取及匹配的方法对输电线路杆塔类型及状态进行识别；文献[25]提出了基于显著图的图像拼接方法，通过显著性检测算法得到杆塔图像中的感兴趣区域，减少图像匹配过程特征点提取的数量，提高了杆塔的拼接精度；文献[26]使用结合直方图均衡化、形态学处理和RGB的彩色模型，通过防震锤正常与锈蚀情况的对比来判断防震锤是否存在锈蚀缺陷；文献[27]利用灰度平均梯度与拉普拉斯算子建立形变模型，通过轮廓特征对分割后的间隔棒进行检测，但由于背景复杂，难以把间隔棒的边缘清晰地分割出来，同时二值图像使得信息丢失过多，导致漏检漏判。

近年来，利用深度学习方法检测线路部件的主要进展有：将类Haar特征与级联AdaBoost算法应用于输电线路防振锤的识别，可解决单一防振锤的识别问题[28]。文献[29]提出基于过完备字典稀疏表示来进行巡检图像缺陷检测的方法，把巡检图像是否有缺陷的问题转化为巡检图像能否能用过完备字典稀疏表示的问题。文献[30]于2017年提出了利用层次模型“与或图”对目标进行分解表达，建立部件之问的约束关系，构建多向的判别路径的方法。文献[31]研究了深度学习在电力部件识别中的应用，以及采用优化算法对参数进行调优，针对电力小部件识别问题分析了不同算法的效果和性能，验证了利用RCNN等深度学习算法对电力小部件识别的准确性和效率。

在输电线路的巡检中结合深度学习的方法，不仅可以大幅度减少运检人员数量，提高工作效率，而且还可以实现对电网更加准确有效的状态评估。但是，由于电力系统的特殊性以及航拍图像复杂的特点，直接将深度模型应用在输电线路关键部件的检测中仍存在较大的问题。挖掘适合输电线路关键部件的特征表达，构建专业的关键部件知识图谱对实现输电线路关键部件自动检测具有重要的指导意义。

2　发展方向

基于航拍图像的输电线路部件检测方法，目前很多是在实验室环境下进行的，具有很大的局限性。来源于输电线路的航拍图像具有如下特点：①输电线路中绝缘子、杆塔、金具等关键部件之间相连或相互遮挡；②来自视频中的图像或红外图像分辨率相对较低；③图像背景十分复杂，经常包含森林、山川、田地、房屋、河流、道路等不同自然景物，且随着四季的更迭背景外观会随时改变。输电线路航拍图像如图2所示：图(a)展示了航拍输电线路关键部件之间相互遮挡的实例；图(b)展示了红外图像分辨率较低，主要部件特征不明显的实例；图(c)展示了航拍输电线路关键部件图像背景复杂的实例。

图2　不同传感器所获得的航拍图像

这些特点会导致输电线路关键部件目标在图像中不够突出，且增加了对关键部件检测处理的难度，很难获得具有普适性的自动检测方法。所以直接用现有算法检测航拍输电线路关键部件，不能获得满意的效果，必须结合输电线路关键部件图像的特性，从理论体系和技术方法等方面对其自动检测方法进行更深入的探索和研究。

文献[32-34]研究表明，使用DCNN对目标进行特征提取，然后利用提出的基于方位角检测和二值形状先验知识对目标进行定位。仅利用深度卷积神经网络作为特征提取器，测试结果远远超过特征袋[35]等手工特征，将绝缘子的固有特征与Edge Boxes进行有效结合，使得输出结果呈现出了更多的高质量绝缘子候选目标区域，有效地减少了干扰区域，提高了航拍巡线绝缘子图像检测的准确率。可见深度学习在输电线路关键部件的检测中发挥了巨大的潜力。

深度学习对模型的训练和测试都依赖于一定数量级的样本图片，要想实现对输电线路航拍图像关键部件的精准检测，必须需要大量的输电线路关键部件图片作为训练集才能在深度神经网络中学习到更加准确的参数。目前深度模型的设计与应用都针对于公共数据集，其中，包含的类别并不专注于电力系统中的输电线路关键部件。为了能更好地学习到输电线路关键部件中的深度特征，利用这些深度特征进行巡检图像中关键部件的自动检测，必须构建一个包含输电线路关键部件的专业数据库—输电线路关键部件图像检测数据库。这是进行基于深度模型的航拍输电线路关键部件图像检测研究的基础。但是，由于输电线路具有不同电压等级，且外部环境复杂多样；另外，部件的种类繁多，材质、颜色多种多样，部件间连接关系复杂多变。即使是同一种部件在实际应用中也会因厂家及应用场所的不同造成其在视觉形态中存在较大的差异。由于电力系统的特殊性，且标注成本极其高昂，构建百万级航拍输电线路关键部件图像数据库还需要时间，因此，仍需继续探索更完备、更具有公信力的构建方法。

迄今为止，将深度学习应用到航拍输电线路关键部件检测中已经有初步研究，但是，由于电力系统的特殊性，没有大规模专业图像数据库，且输电线路关键部件的特征也会由于生产厂家和地域的不同而存在差异，故为了更智能地实现输电线路关键部件检测及其故障判定，需要利用专业的先验知识，建立具有一定普适性且专业性较强的知识图谱，并将其与现有的深度模型相融合，是实现航拍输电线路关键部件的自动检测的基础。航拍输电线路关键部件视觉检测可按照如图3进行，采用构建的航拍输电线路关键部件检测数据库微调已有的深度模型，对经过微调后的深度模型从两个方面进行改进。一方面增强特征表达，另一方面建立输电线路关键部件知识图谱，并引入到微调后的深度模型中，得到改进后的深度模型，输入输电线路巡检测试图像，最终输出目标检测结果。

图3　航拍输电线路关键部件的检测框图

3　结论

实现航拍输电线路关键部件的自动检测，是提高电网安全稳定运行的基础。深度学习在航拍输电线路关键部件的检测任务中具有很好的应有前景，但是，若使其具有较强的工程应用性仍面临巨大的挑战。本文对深度检测模型的研究现状以及输电线路关键部件检测的研究进展进行了总结，并从构建航拍输电线路关键部件图像数据集、建立专业的输电线路关键部件知识图谱及知识图谱与深度模型融合等方面分析了航拍输电线路关键部件未来的发展方向。

参考文献：

[1]张祥全,苏建军.架空输电线路无人机巡检技术[M].北京: 中国电力出版社,2016.

[3]国家电网公司运维检修部.智能运检白皮书[R].北京: 国家电网公司,2016,1-44.

[4]YANN LECUN,YOSHUA BENGIO,GEOFFREY HINTON.Deep learning[J].Nature,2015,521 (7553): 436-444.

[5]JAN HOSANG,RODRIGO BENENSON,PIOTR DOLLR,et al.What Makes for Effective Detection Proposals?[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2016,38(4): 814.

[6]MARK EVERINGHAM,LUC VAN GOOL,WILLIAMS CHRISTOPHER K.,et al.The pascal visual object classes (VOC) challenge[J].International Journal of Computer Vision,2010,88(2): 303-338.

[7]JIA DENG,WEI DONG,SOCHER R.,et al.Imagenet: a large-scale hierarchical image database[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2009: 248-255.

[8]ROSS GIRSHICK,JEFF DONAHUE,TREVOR DARRELL,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2013: 580-587.

[9]SANDE KOEN E.,UIJLINGS JASPER R.,GEVERS T.,et al.Segmentation as selective search for object recognition[C].IEEE International Conference on Computer Vision (ICCV),2012: 1879-1886.

[10]KRIZHEVSKY ALEX,ILYA SUTSKEVER,GEOFFREY HINTON.Imagenet classification with deep convolutional neural networks[J].Communications of the ACM,2012,60(2): 2012.

[11]YANN LECUN,BOTTOU LEON,BENGIO YOSHUA,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11): 2278-2324.

[12]LIN M.,CHEN Q.,YAN S.Network in network[C].Proceedings of the 30th International Conference on Learning Representations (ICLR),2014: 1-10.

[13]GONG YUNCHAO,WANG LIWEI,GUO RUIQI,et al.Multi-scale orderless pooling of deep convolutional activation features[C].European Conference on Computer Vision (ECCV),2014: 392-407.

[14]MATTHEW D.ZEILER,ROB FERGUS.Visualizing and understanding convolutional networks[C].European Conference on Computer Vision (ECCV),2014: 818-833.

[15]OQUAB MAXIME,LÉON BOTTOU,LAPTEVI I.,et al.Learning and transferring mid-level image representations using convolutional neural networks[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2014: 1717-1724.

[16]GIRSHICK R.FAST R-CNN[C].IEEE International Conference on Computer Vision (ICCV),Santiago,Chile,2015: 1440-1448.

[17] REN SHAOQING,HE KAIMING,GIRSHICK R.,et al.Faster R-CNN: towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,39(6): 1137-1149.

[18]LIU WEI,ANGUELOV D.,ERHAN D,et al.SSD: single shot multibox detector[C].European Conference on Computer Vision (ECCV),2015: 21-37.

[19]REDMON JOSEPH,SANTOSH KUMAR DIVVALA,GIRSHICK R.,et al.You only look once: unified,real-time object detection[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2016: 779-788.

[20]DAI JIFENG,LI YI,HE KAIMING.,et al.R-FCN: object detection via region-based fully convolutional networks[C].Conference and Workshop on Neural Information Processing Systems(NIPS),2016: 379-387.

[21]张运楚,梁自泽,傅思遥,等.基于结构约束的架空输电线路巡线机器人障碍识别[J].机器人,2007,29(1): 1-6.

[22]胡彩石,吴功平,曹珩,等.高压输电线路巡线机器人障碍物视觉检测识别研究[J].传感技术学报,2009,21(12): 2092-2096.

[23]陈晓娟,吴英石,赵亮,等.基于随机Hough变换的OPGW防震锤识别[J].黑龙江电力,2010,32(1): 1-2.

[24]赵君.基于航拍图像的杆塔类型判断及状态识别[D].保定：华北电力大学,2010.

[25]张旭,高佼,王万国,等.基于显著图的输电线路杆塔图像拼接方法[J].计算机应用,2015,35(4): 1133-1136.

[26]宋伟,左丹,邓邦飞,等.高压输电线防震锤锈蚀缺陷检测[J].仪器仪表学报,2016,37(s1): 113-117.

[27]WU HAIBIN,XI YANPING,FANG WEIMIN,et al.Damper detection in helicopter inspection of power transmission line[C].IEEE Fourth International Conference on Instrumentation and Measurement,Computer,Communication and Control,2014:628-632.

[28]金立军,门书佳,刘源,等.基于类Haar特征与级联AdaBoost算法的防震锤识别[J].系统仿真学报,2012,24(9): 1806-1809.

[29]卢君妥.飞行机器人巡检图像中关键部件缺陷[D].北京: 华北电力大学,2016.

[30]付晶,邵瑰玮,吴亮,等.利用层次模型进行训练学习的线路设备缺陷检测方法[J].高电压技术,2017,43(1): 266-275.

[31]王万国,田兵,刘越,等.基于RCNN的无人机巡检图像电力小部件识别研究[J].地球信息科学学报,2017,29(1): 256-263.

[32]ZHAO ZHENBING,XU GUOZHI,QI YINCHENG,et al.Multi-patch deep features for power line insulator status classification from aerial images[C].International Joint Conference on Neural Networks(IJCNN),IEEE,2016: 3187-3194.

[33]ZHAO ZHENBING,LIU NING,WANG LE.Localization of multiple insulators by orientation angle detection and binary shape prior knowledge[J].IEEE Transactions on Dielectrics and Electrical Insulation,2015,22(6): 3421-3428.

[34]ZHAO ZHENBING,ZHANG LEI,QI YINCHENG,et al.A generation method of insulator region proposals based on edge boxes[J].Optoelectronics Letters,2017,13(6):466-470.

[35]LI FEIFEI,PERONA P.A bayesian hierarchical model for learning natural scene categories[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2005: 524-531.