基于深度学习的输电线路视觉检测研究综述

赵振兵，齐鸿雨，聂礼强

(1.华北电力大学 电气与电子工程学院，河北 保定 071003；2. 山东大学 计算机科学与技术学院，山东 青岛 266237)

输电线路是我国能源互联网最重要的基础设施之一，其运行状态的安全稳定是电能传输的重要前提，也是我国能源发展的重要保障。随着我国电网的不断发展，各个电压等级的输电线路正处于快速建设中。截至2016年底，我国国家电网66 kV及以上电压等级输电线路总长88.91万 km，当年增长6.68万 km；南方电网110 kV及以上电压等级输电线路总长21.2万 km，当年增长1.30万 km；内蒙古电网110 kV及以上电压等级输电线路总长3.77万 km。截至2017年，全国220 kV及以上电压等级的输电线路总长为68.77万 km，500 kV及以上电压等级的输电线路总长为23.67万 km[1]。“十三五”期间，国家电网将新增110 kV及以上电压等级线路40.1万 km，较“十二五”末增长45%[2]。可见，在加快建设输电线路的同时，输电线路已有极大的覆盖范围。由于输电线路长期处在复杂的地理位置、不可预知气候变化的自然环境条件下，且与周围的动物活动和人类活动紧密关联，因而输电线路有较高的可能性出现故障，从而不可避免地导致跳闸事故的发生。

影响输电线路安全运行的主要因素有雷击[3-6]、鸟害[7-9]、外力[10-11]、山火[12-13]、风偏[14-15]、冰害[16-18]等，经过对这些引起输电线路跳闸的常见因素进行长期研究，研究者们提出了许多有效的防治方法，使现状有了明显的改善[19-21]，但问题依然突出。2016年我国国家电网输电线路发生线路跳闸与故障停运总体情况见表1。

表1 2016年国家电网输电线路跳闸与故障停运情况Tab.1 Tripping and fault outage of transmission lines of state grid in 2016

由表1可知，500 kV输电线路的跳闸次数最多。图1所示为2016年度不同跳闸原因导致的跳闸次数统计情况。从图1可知，导致输电线路跳闸的因素主要是雷击[22-23]，跳闸次数占比52.5%，其次为鸟害、外力、风害、冰害(占比依次为14.3%、14.1%、11.4%、6.8%)等其他原因[24-25]，以及相对少数的不明原因。

图1 各原因引起的跳闸次数Fig.1 Tripping times caused by various reasons

输电线路的基层运检人员数量增长缓慢，而影响电网安全的风险因素长期存在，使得输电线路规模快速扩大与人工运检效率提升缓慢的矛盾日益突出，传统运检模式无法适应电网发展与体制变革的要求。为了改善上述输电线路中长期存在的问题，构建智能运检体系是破解线路运检发展难题的必由之路[26]。

近年来，我国大力推进以现代信息技术为核心的输电线路智能化巡检技术，目的是实现重要输电设备的状态监测、状态评估、状态检修和风险预警，以及实现在线评估诊断与决策[27-28]。提升输电线路状态评估的智能化水平，以积极的方式防治与应对输电事故的发生，对我国能源互联网安全有重要意义。

深度学习是机器学习中的一个重要方法，因具有逐层信息处理、分布式的丰富模型特征、足够的模型复杂度等特点[29]，该方法能够有效提取到数据中更本质的特征，在语音、图像、视频等信息的处理任务上展现出了优越的性能；因此，基于深度学习的输电线路视觉检测作为输电线路智能化发展的关键技术，具有重要研究价值。

基于此，本文首先综述了国内外基于深度学习的视觉检测方法与输电线路视觉检测方法研究现状；然后，针对输电线路中能够应用深度学习进行视觉检测的主流巡检方式，对工作原理、特点以及结合深度学习过程中的主要问题进行分析，同时对深度学习在输电线路视觉巡检应用中的关键问题进行总结；最后，对该研究领域的未来发展方向进行探讨。

1 研究现状

1.1 基于深度学习的视觉检测方法研究现状

2006年，深度学习概念被首次提出，采用更多层的神经网络构建自编码器实现自监督与有监督结合的训练方式[30]。2012年，基于深度卷积神经网络(deeply convolutional neural network，DCNN)构建的AlexNet[31]首次应用于ImageNet[32]图像识别大赛，掀起了第2次人工智能研究的浪潮。DCNN[33]是一种针对二维图像处理的深度人工神经网络，提取的图像特征具有很强的辨别力与鲁棒性，其局部感知、参数共享等模型特点有效降低了算法的环境要求，目前在基于深度学习的视觉检测中被广泛应用。

2013年，文献[34]采用AlexNet的网络结构，通过对图像局部区域回归以及构建多尺度的方法，将DCNN首次应用于目标检测任务。同年，基于区域的卷积神经网络(region-base convolutional neural network，R-CNN)[35]被提出，借鉴滑动窗口的思想，利用支持向量机(support vector machine，SVM)[36]对DCNN提取的深度特征进行分类，是基于区域建议方法与DCNN相结合的目标检测基础框架。针对R-CNN的效率问题，何凯明等人提出空间金字塔池化(spatial pyramid pooling，SPP)网络SPP-Net[37]，将原本需要进行2 000次的区域特征提取过程压缩到一次完成，并通过SPP处理使得不同区域特征能够映射到统一大小，消除了大量的重复计算，很大程度加快了检测效率。在SPP-Net的基础上，Fast R-CNN[38]提出了感兴趣区域池化(region of interest pooling，RoI Pooling)对动态区域大小进行归一化，并且用softmax函数替换SVM对区域进行分类，同时构建回归器对目标的位置进行回归。最后，将它们的损失进行加和，构建多任务学习模型。为了更进一步提高模型的性能，Faster R-CNN[39]针对区域建议方法进行设计，利用共享DCNN构建区域建议网络(region proposal network，RPN)，对候选区域进行初步的分类处理，且不引来额外的网络体积增加，成为了目前目标检测的主流检测模型。至此，基于区域建议的两级目标检测基本框架较为成功地建立起来。以将更深的网络应用到目标检测中为出发点，基于区域的全卷积网络(region-base fully convolutional network，R-FCN)[40]构建基于全卷积的目标检测网络，提出位置敏感得分图(position sensitive score map)，对区域的特征进行优化处理，将感兴趣区域分为多个子区域，分别计算每个子区域在每个类别上的得分，通过利用得分图进行投票和softmax函数计算，得到每个区域的分类结果。

为了更进一步提升检测的效率，文献[41]针对检测模型的速度问题，提出单级检测框架YOLO(you only look once)，从输入到输出仅进行一次边界框的回归与区域的分类。与基于区域建议方法的两级检测框架相比，它们的共同点是都采用DCNN提取图像的视觉特征，区别在于YOLO没有目标区域建议机制，仅在网络的尾部利用固定区域的深度特征对目标位置进行回归与类别置信度计算。为了解决YOLO对区域的相对模糊处理带来的准确率瓶颈，SSD(single shot multibox detector)[42]将Anchor机制引入模型，同时采用特征融合与多尺度预测方法构建了一个速度与准确率更好的端到端单级检测框架。YOLOv2[43]针对YOLO的网络结构进行优化设计，利用残差网络结构、多尺度训练、特征融合、基于k-means的先验框生成等方法，改善了相对简略的约束框处理带来的低召回率和样本不平衡问题，同时优化了模型的深度特征提取能力，在公共数据集COCO(common objects in context)[44]与PASCAL VOC 2012[45]上获得了比上一代更快速、准确率更高的性能表现。随着基础模型研究的发展，YOLOv3[46]利用53层的DarkNet-53作为主干网络，并构建特征金字塔，同时利用多尺度预测和更多尺度的先验框生成，进一步提高了检测准确率。而多分类的softmax函数被替换为logistic函数则令YOLOv3能够执行目标的多标签检测。单级目标检测框架相对于两级目标检测框架速度更快，由于模型直观简练，成为现代工程应用中目标检测任务首要考虑的模型之一。

基于深度学习的目标检测是一种数据驱动的智能学习型算法，能够自动学习到可进行有效定位和分类的深度特征；但符合条件的高质量有监督数据总是有限的，特别是自然场景中获取的数据都呈现出长尾分布，比如缺陷数据。为了能够在有限的数据下提高检测的性能，数据增广是一个能够有效提高有限数据下模型检测能力的外部方法。传统的数据增广方法有几何变换、噪声扰动、颜色变换、对比度扰动、灰度增强与亮度变化等，将数据通过一些较为规则的映射来扩充数据集的规模，从而使得模型的泛化能力一定程度的提高。这些通用的数据增广方法的局限性在于：进行数据增强时，未考虑内容本身的整体数值分布变化；在对不同的数据集进行数据增强的同时，未结合已有数据的先验数据特征进行数据增强。即这些方法增加的变化是一种针对图像整体而言的变化；而针对图像中的语义目标所对应的二维视觉表征而言，并没有实际的类目标样本被扩充。这些问题指出了通过扩充目标检测数据集中语义目标、针对数据集自身特点的数据增广方式所蕴含的更多价值。

Ian Goodfellow等人提出生成式对抗网络(generative adversarial network，GAN)[47]，首次将深度学习应用于图像生成当中。GAN构建模型对已有数据进行学习，利用生成器对目标数据进行生成，并使用鉴别器对生成数据真假度进行评估，在生成器与鉴别器对抗的训练过程中，使得生成器能够生成与训练数据相似的目标样本。由于CNN对于计算机视觉的有效性，Alec Radford等人构建深度卷积生成式对抗网络(deep convolution generative adversarial networks，DCGAN)[48]，将其应用于图像生成当中。BigGAN[49]通过对生成器进行正交正则化改进，大大提高了生成器的生成图像质量，将GAN的应用能力再次提高。Nvidia提出StyleGAN[50]，以风格迁移为任务核心构建GAN，在人脸生成上取得了当时最好的效果，在保证语义目标高质量生成的基础上，对目标所处的环境也能够达到良好的变换效果。通过基于深度学习方法进行有效的图像增广，能够在数据有限以及样本不平衡的不理想情况中，提高检测模型的有效性。

在目标检测用于提取深度特征的主干网络选择上，目标检测网络会同时考虑网络深度、模型复杂度、任务难度以及计算能力的限制等，通过综合考虑进行主干网络的选择，网络的深度不是决定模型性能表现的唯一因素。常用主干网络如Vgg-16[51]、ResNet[52]、YOLOv3的DarkNet、InceptionNet以及Inception-ResNet[53]等。

1.2 输电线路视觉检测方法研究现状

输电线路视觉检测任务按传感器获取数据与进行检测的时间间隔，可以分为在线视觉检测和离线视觉检测[54]。在线视觉检测通过可见光传感器、红外传感器、紫外传感器等设备对输电线路运行状态进行实时的监督，其设备的安装要求、运行成本、维护成本相对较高[55]。离线视觉检测通过周期性的单次测量获取输电线路的视觉数据，在整体检测完毕后进行数据清洗与数据分析。对于覆盖面积广泛的输电线路而言，其灵活性更高且适用范围更广，在大范围区域的检测上成本相对较低[56-59]。

输电线路中基于视觉的检测任务可按检测对象的相对尺度大小分为4种类型：杆塔级视觉检测、部件级视觉检测、部位级视觉检测以及元件级视觉检测。杆塔级的视觉检测任务主要是对杆塔等相对尺度较大的视觉目标进行整体的检测(比如杆塔的定位、杆塔塔身范围的检测等)，检测对象尺度相对较大，在所获取的视觉数据中对应的目标信息占比多，因此检测相对较易。输电线路场景中的部件级视觉检测对象是导地线、绝缘子、金具、基础、附属设施、廊道环境、杆塔、接地装置等部件的某一类具体对象，比如金具的具体对象包含了保护金具、接续金具、联接金具、耐张线夹以及悬垂线夹。部位级视觉检测对象是相对于输电线路部件级对象尺度更小的视觉目标。不同的部件对象对应不完全相同的部位目标，而螺栓则是不同部件中出现得最多的相同部位目标。元件级视觉检测对象是输电线路中视觉检测尺度最小的一类目标，如在输电线路中大量存在的锁紧销、螺母等紧固件。该划分没有绝对分明的界线，因为目标的规格与目标视觉数据获取的尺度都具有多样性(比如不同大小的异物目标)。总体上，根据尺度的划分，对于一种相对稳定的输电线路视觉数据获取方式而言，可以将视觉检测任务分为不同等级，从而能够系统地分析不同检测对象之间的关系与检测难度，利于模型的选择与构建。图2所示为输电线路视觉检测任务按相对尺度划分的实例说明。

图2 输电线路视觉检测任务按尺度划分实例Fig.2 Examples of visual detection tasks for transmission lines divided according to scales

文献[60]基于机载多传感器自动巡检系统，通过可见光相机、红外热像仪对输电线路中的杆塔目标和绝缘子进行自动检测；同时，结合RTK(real-time kinematic)定位系统获取的差分经纬度和海拔高度等信息以及电子罗盘获取的飞行航向角、俯仰角、翻滚角等姿态信息，对拍摄系统进行实时的位置修正，实现拍摄过程的自动跟踪，有效提高了巡检的作业效率。文献[61]基于航拍输电线路图像对杆塔进行检测，首先利用小波变换进行图像去噪，然后通过边缘检测定位到杆塔目标区域，最后通过灰度直方图构建杆塔不良状态判别模型以完成检测；但该方法泛化能力差。文献[62]通过无人机获取电力杆塔图像，利用多种杆塔的三维模型对杆塔图像进行匹配；但基于模板匹配的检测算法在杆塔类型与所处环境的双重变化下鲁棒性差。文献[63]基于机载激光扫描设备获取的输电线路激光点云数据，提出了一种基于二维格网多维特征分析的输电杆塔自动定位方法，首先进行噪声滤波和规则化预处理，然后计算点云图像的高差、坡度、密度特征，最后利用所得特征对杆塔进行定位，具有较高的有效性与稳定性。文献[64]基于输电线路的无人机巡检图像，利用滑动窗口的思想，通过对每个窗口提取方向梯度直方图(histogram of oriented gradient，HOG)特征训练SVM分类器，从而实现杆塔的判别；该方法对于输电线路可见光图像的杆塔检测有较高的鲁棒性。

文献[65]基于输电线路航拍图像，对航拍图像中的绝缘子、塔材、防振锤和背景进行检测。作者构建5层CNN，将航拍图像分成不同粒度的网格，对每个网格区域进行分类训练，最终将统一类型的相邻网格对应原图区域进行整体掩码，从而完成多类部件的检测。文献[66]通过构建DCNN，获取多个层次的导线特征，将非导线目标背景完整切除，实现输电线的有效分割。文献[67]利用Faster R-CNN构建航拍图像中的绝缘子及其缺陷检测模型，对绝缘子的检测准确率为94%，对掉串缺陷的检测准确率达到了92%。对于同一任务，文献[68]将不同检测模型与不同的骨干网络进行对比实验，构建更优良的深度模型，进一步提升了深度学习在绝缘子检测任务上的性能表现。

文献[69]构建输电线路智能监控系统，通过服务器处理现场监控图像，进行鸟类入侵输电线路的检测，对于结构简单、背景单一的低压输电线路获得了较为理想的效果。文献[70]首先提取颜色特征对航拍图像进行预处理，然后通过训练Faster R-CNN得到自动锈蚀检测深度模型。该方法对分辨率较低或近距离的拍摄图像有一定的实用性。文献[71]基于无人机获取输电线路航拍图像，采用Fast R-CNN对航拍图像中的绝缘子、金具、悬垂线夹、塔材等进行检测，通过Vgg-16与ResNet-101构建多个目标检测模型，将不同分辨率的图像输入进行对比，在图像最长边的长度为1 000像素时，得到了最好的多类部件检测结果。

螺栓为复杂庞大的输电线路中广泛存在的紧固件，因相对尺度较小，受限于观测分辨率与观测距离，在光学卫星图像、激光雷达探测中较难对其进行状态检测，而基于固定监控摄像头的视觉信息又有较大的空间局限性。为评估不良螺栓缺陷对输电线路运行稳定与安全的影响，对输电线路中的螺栓目标检测需要提升视觉巡检的精细化程度。目前，直升机、无人机巡检在输电线路上获取的视觉信息具有更大的空间自由度，随着可见光传感器技术的发展，这些巡检方式能够对输电线路进行更精细化的感知，也使得基于飞行器航拍图像的螺栓缺陷自动检测成为可能。

通过定位与状态检测对杆塔本体、基础、架空导地线、绝缘子、金具、接地装置以及螺栓等部件的运行状态进行评估；根据评估结果，针对已有问题和潜在威胁进行及时处理和检修规划，从而为输电线路整体运行状态的可靠性与安全性评估提供合理的评估依据[72]。

2 深度学习在输电线路视觉巡检技术中的应用分析

2.1 无人机巡检

随着电网运行维护的输电线路里程快速增长，运行维护的需求增长与运行维护人员数量之间的矛盾逐渐显现，而且人工巡检的成本高、工作强度大、人员素质参差不齐，巡检效率低下；因此，无人机作为一种低成本、短周期、机动性强的巡检方式，在输电线路巡检中越来越被重视[73]。图3所示为无人机进行输电线路巡检时的场景。

图3 无人机进行输电线路巡检场景Fig.3 UAV inspection on transmission line

无人机作为一种智能、高效的输电线路巡检方式，具有非带电巡检、巡检空间自由度大、巡检精细度高、可调节性强等特点，能够广泛适应不同巡检任务的环境条件，代表了未来输电线路巡检的智能化发展方向。相比于其他巡检方式，基于无人机搭建的移动巡检平台具有安全性高、不受地理环境限制、巡线速度快等优势。融合了电子、通信、计算机视觉等多个领域的信息处理技术的整套无人机巡检系统，能够有效弥补人工巡检的局限性，安全快速地完成线路巡检工作，是电网运行维护由劳动密集型向技术密集型转变的关键巡检技术之一。目前，无人机巡检主要搭载的是可见光视觉传感器，运用无人机的日常巡检内容见表2。

表2 无人机的日常巡检内容Tab.2 Daily inspection contents of UAV

在Q/GDW 1906—2013《输变电一次设备缺陷分类标准》中，按照对电网运行的影响程度，将输电设备缺陷划分为危急、严重和一般缺陷3种类型，共有1 116项缺陷描述，其中严重缺陷213个，危急缺陷484个，一般缺陷419个。

无人机巡检可以迅速积累大量清晰的输电线路视觉数据，只要加上高质量的人工监督信息即可驱动基于深度学习的目标检测方法，进行输电线路中故障的智能检测。图4所示为利用基于深度学习构建的目标检测模型，对无人机航拍巡检可见光图像进行不同尺度的目标检测的结果。图4(a)为螺栓及其缺陷的检测结果，矩形框内为正常螺栓与缺陷螺栓的检测结果，椭圆形框表示工作人员在算法检测之前对缺陷的人工缺陷查找结果。可以发现，图中基于深度学习的航拍图像处理在检出已知缺陷的同时，可检出人工排查后漏检的缺陷，可一定程度地改善由于人工疲劳等原因导致的人力巡检效率低下情况。图4(b)为基于Faster R-CNN的多类金具的检测结果。

2.2 输电线路在线监测

通过在输电线路沿线安装远程智能巡线装置，对输电线路设备以及通道环境进行监拍，可构建输电线路在线监测系统。根据处理手段的不同，基于视觉的输电线路在线监测可分为图像监测与视频监测。输电线路在线视觉监测提供了实时监视与了解线路运行可靠性的手段，能够有效、快速持续地获取输电线路杆塔、廊道环境、地形变化等信息，及时发现绝缘子污秽、闪络定位、微气候、风偏、线路舞动、覆冰、外物入侵等情况[74-75]，大大提高被监测输电线路段的稳定性与安全性。图5所示为常规的视觉在线监测系统结构框图。

图4 基于深度学习的金具与螺栓检测结果Fig.4 Detection results of fittings and bolts based on deep learning

相比于其他巡检方法，基于视觉的输电线路在线监测实时性强，能够实现动态的巡检，对变化有更强烈的感知能力；其局限性在于成本高、监测范围相对较小、对设备硬件与工作条件的要求高。在通信方面，网络信号是该监测系统的重要部分[76]，但户外输电线路的通信环境难以保证；在电源方面，蓄电池及其户外保护机箱是设备采集信息的必要前提[77]，在持续监测与环境温度变化中电池损耗明显，使得在线监测系统发生故障的可能性不断增加，维护难度相对较大。

将深度学习应用于输电线路在线监测系统中的智能处理模块中，当远程输电线路视觉信息采集完毕后，通过通信系统传输到存储服务器与智能处理服务器，智能处理服务器对采集到的输电线路图像进行基于图像的观测对象静态状态检测和基于视频的观测对象动态状态检测。当有危急情况发生，通过状态检测结果，控制模块向可视化终端服务器发出预警命令并发送具体危急情况描述信息，同时控制远程设备对缺陷问题进行持续的重点检测。输电线路在线监测系统要求基于深度学习的视觉检测方法有较高的实时性。由于视觉信息采集的范围有限，对于单个采集器而言采集内容的重复性高，对于不同采集器而言采集内容差异大，使得训练数据的监督在考虑重复性干扰的同时还需考虑样本的多样性，以保证模型的泛化能力。

OPGW—光纤复合架空地线，optical fiber composite overhead ground wire的缩写。

图5 基于视觉的输电线路在线监测系统结构
Fig.5 Structure of vision-based transmissionline online monitoring system

2.3 激光雷达扫描

基于激光雷达的输电线路巡检能够快速获取输电线路路段的三维空间信息，非接触的工作方式使得带电情况下即可进行巡检，具有数据精度高、穿透力强、数据处理效率高等特点，能够很大程度地提高巡检效率。通过车辆、无人机搭载激光雷达扫描仪对输电线路信息进行巡线采集，获得输电沿线的激光点云数据，通过后期数据处理，可以实现输电线路的真实三维重建，得到杆塔、输电线、绝缘子、沿线地表形态、地表树木与建筑等目标的三维模型，同时可以准确测量线路弧垂与交叉跨越距离，最大限度真实地反映地表情况。图6所示为输电线路激光雷达巡检实例，对电力沿线情况进行准确的展示，特别是对于危险区域的安全距离测量。目前，激光雷达巡检还可用于输电线路的验收。激光雷达巡检可以采用手持、背包、车辆、飞行器、爬行机器人等多种搭载方式进行检测，相比其他视觉巡检方法，对输电线路的状态巡检完整性高、精度高、操作简单且模块性强。

图6 输电线路激光雷达巡检实例Fig.6 Example of radar inspection on transmission lines

三维点云数据具有无序性、稀疏性等特点。目前，基于深度学习的三维点云数据处理方法主要有3种类型：

a)构建能够对三维点云数据直接进行训练而不用经过降维预处理的深度模型[78]。

b)将三维点云映射到多视图或者转换为二维的深度图，采用常规CNN进行处理，最后聚合物体的二维特征表达，得到物体的三维特征表达[79]。

c)采用三维空间的体素描述物体，进行三维的卷积，实现对目标的检测[80]。

激光雷达技术在输电线路的精确测量与三维重建任务上有显著优势，在基于视觉的输电线路巡检中能够发挥独特的作用，随着激光雷达技术的发展，设备的价格逐渐降低，提高了其可应用性。

2.4 高分辨率光学卫星

高分辨率的光学卫星能够最大范围地对输电线路进行巡检，特别是可应用于特高压输电通道分布广泛的无人区[81]。随着高分辨率技术的发展，基于卫星数据的输电线路巡检的精细程度不断提高。获取基于遥感卫星的输电线路视觉检测关键技术支撑包括输电线路卫星数据获取技术、多源数据融合与超分辨率重建、图像增强、基于机器学习的有监督检测与无监督聚类等。2017年12月25日，中国电力科学研究院信息中心统筹建立的、国内首个面向电力应用的卫星大数据统一管理平台正式上线，为输电线路巡检提供了可靠的、高重访周期的卫星数据支撑。基于卫星数据的输电线路巡检可以对输电线路及其环境进行长时间的变化监测、建设进度监测、绝缘子潜在隐患检测、环境通道安全检测等，图7为输电线路关键要素提取与廊道环境检测实例。

图7 基于高分辨率光学卫星的输电线路关键要素提取与廊道环境检测Fig.7 Key element extraction and corridor environment detection of transmission lines based on high resolution optical satellite

在高分辨率光学卫星拍摄的输电线路图像处理上，可应用的深度学习方法除目标检测之外，还有超分辨率重建以及图像增强等方法，可作为预处理以提高检测的有效性。通过大量有监督或半监督的训练能够有效提高巡检的自动化程度。而在处理过程中，针对包含大量背景信息以及多个目标同时存在的高分辨率图像处理是应用的难点，特别是复杂背景下的相似干扰以及模糊等问题。

3 发展方向

3.1 专业化的数据管理与模型研究

数据驱动的智能视觉检测方法与数据的结构、内容特点密不可分。现有的公开数据集中，关于输电线路的数据极少，从一些人工智能应用比赛中能够获取少量处理过的无人机航拍数据，而真实输电线路场景的数据几乎无法从公共渠道获取。这决定了现有模型研究的出发点并没有向输电线路应用方面靠近，同时也无法发起更广泛的研究来推动该应用的实际发展，这使得现有模型对输电线路视觉数据的智能化处理整体缺乏针对性与适用性。而输电线路的结构复杂，从整体到局部的规格多样，且在自然环境中的变化不可预知，故不同输电线路段的巡检数据有较大差异，这直接导致模型的适用范围受到局限；因此，为了更好地将深度学习应用于输电线路巡检中，专业化的数据管理是驱动有效研究的首要因素。

基于视觉的输电线路巡检内容需要标准化。输电线路的构建以功能为基础，而基于视觉的检测则是基于目标视觉内容与其抽象语义。在多样性方面，同一类输电线路部件有非常多的类型，不同类型之间视觉相似度有高有低，这意味着对基于视觉的检测需要更精细的视觉语义划分。在一致性方面，对输电线路的缺陷的标准描述是基于功能考虑的，而基于功能考虑的缺陷描述并非全部能够转换为基于视觉的缺陷描述，故基于视觉的缺陷检测对于输电线路而言缺乏专业的视觉缺陷标准。通过将基于视觉的巡检内容特别是缺陷内容的描述专业化，可以一定程度地保障将深度学习应用于输电线路巡检中这一方向研究的一致性与有效性。

输电线路是一个庞大的有机结构，常规视觉检测方法应用的评估手段难以度量智能算法在更大范围上的有效性，特别是目前基于深度学习的方法往往将大多数采集到的数据用于训练，而仅留下少量数据用于评估的情况，可能严重低估了输电线路实际场景的丰富性与多样性带来的难度，得到不真实的评估结果，对该方向的实际应用研究具有阻碍作用。针对不同类型的巡检场景获取的输电线路视觉状态信息，建立专业化的任务评估方法，是该方向应用研究能够有效持续向前发展的必要前提。

3.2 无监督数据构建与学习自动化

深度学习是一种基于大数据的方法，深度模型的训练需要大量、高质量的监督样本支撑，对于输电线路视觉检测任务而言，这不仅需巡检专家对大量的高分辨率数据进行长期的标注，还要考虑监督信息的有效性，避免不同监督信息之间的数据矛盾。有效的标注方案在高质量、大规模标注的要求上进一步加大了标注的难度，甚至需要标注人员对视觉检测相关原理有一定了解，才能保证标注的有效性。这是由输电线路的复杂性导致的，有别于公共数据集中的目标检测共性问题。随着输电线路的扩建与巡检的进行，大量的视觉巡检数据被积累，自动、高效地构建高质量数据集，是该方向研究中亟待解决的问题。

目前主流深度模型最好的训练结果的获得均依赖于复杂的参数调节，而深度学习技术往往比较复杂，从头开发的难度相对较大。为了解决深度学习模型对人工依赖性较强的问题，自动化的深度学习模型训练方法和开放式、可迁移的输电线路预训练模型，能够使得该方法被更多非深度学习的电力专业人员使用，特别是面向输电线路巡检的自动化深度学习开发平台，能够更有效地推动该方向的应用发展。

在缺陷故障检测方面，视觉检测的难点之一在于目标样本的匮乏。自然情况下，通过巡检获得的输电线路视觉信息中，正常样本占比远远多于缺陷样本，导致用于学习的样本类别比例不平衡，模型对大量样本的类别产生偏见，从而无法有效学习到缺陷目标的视觉特征。针对缺陷样本过少的问题，数据增强是一个重要的解决办法，通过数据增强对小样本进行有效扩充。目前，基于深度学习的数据增强主要利用GAN。

3.3 结合知识表达的视觉检测

输电线路的结构复杂多样，但内在结构清晰。为了能够利用视觉检测方法对输电线路的运行状态进行充分有效的评估，对输电线路的场景理解是进行视觉检测中必不可少的环节。基于深度学习的输电线路视觉检测主要是对输电线路场景中目标的语义与视觉内容对应关系进行学习，从而能够检测出对应的语义目标；但这仅仅是局部的，深度模型不能理解目标之间的关联以及目标在场景中的结构化信息。视觉场景理解的目的是为了理解图像的语义，从而对场景中目标检测、识别进行指导。目前，基于深度学习的视觉场景理解已被应用于无人驾驶、无人机自动导航、视觉问答等领域。对于输电线路的部分可观测缺陷(如部件完全丢失、不规则异物目标、错误安装等)的检测任务，对场景理解的需求更为迫切。

针对待检测的视觉目标，训练好的深度模型通过前向传播对目标的视觉特征进行分布式表达，能够有效提取出使得目标区别于图像中非目标的模式特征；但对于目标的特征表达仅仅基于训练数据中目标的视觉内容，而无法从中获取目标相关的专业知识。巡检人员对目标缺陷的准确判断不仅需要观察，还需要利用专业知识，综合考虑后得到判断结果。比如，对于目标的结构化知识、目标区分于其他更广泛对象的几何规则、正常边界理解等，深度模型极度缺乏可解释性，检测结果没有明确的原因解释。输电线路巡检对于保障输电线路运行稳定至关重要，要求严谨准确、结果完整可解释，结合先验知识的视觉检测能够弥补深度学习在该方面的不足。同时，结合先验知识的表达能够一定程度地改善缺陷数据样本少的问题。

4 结束语

随着我国能源经济的快速发展，输电线路的规模持续增长，基于视觉的输电线路智能化检测在维护输电安全与稳定方面扮演着越来越重要的角色，特别是基于深度学习的智能检测方法，在大数据时代下优势显著，具有极高的应用价值。通过不同巡检方式采集视觉信息，利用深度学习方法对输电线路视觉检测进行智能化升级，能够实现更全面的状态感知、更有效的数据处理，基于此构建的智能化视觉检测系统，能够大大提高对输电线路的运维能力，有效推动我国泛在电力物联网的加速建设。