基于深度学习的输电线路航拍照片目标检测应用

麦俊佳，曾懿辉，胡壮丽，冼世平

(广东电网有限责任公司佛山供电局，广东 佛山528000)

近年来，随着航空工业技术与定位技术的不断进步，输电线路运维巡视方法也逐渐多样化[1-2]，有人机、无人机等机巡方式以其高效、精确、适用范围广等特点在输电线路运维中逐步推广应用[3-7]。然而输电线路机巡在减少运维人员现场巡视工作量的同时，也采集了大量的输电线路设备航拍照片，目前这些照片依然需要专业人员逐张查看，查找缺陷。这种方法工作量大，耗时耗力，效率低下，还存在着漏检的情况[8]。图像识别技术的发展为输电线路航拍照片查看与处理提供了新的思路[9-13]。

近年来国内外众多专家学者对输电线路图像识别技术做了大量的研究。李昭廷等提出了远程在线系统的覆冰厚度图像测量方法，更直观地观察输电线路覆冰情况[14-15]。Zhao等提出利用多片卷积神经网络(convolutional neural network，CNN)特征提取方法进行绝缘子状态检测，以划分正常与缺陷绝缘子[16]；王子昊对深度学习在输电铁塔关键部件缺陷检测中的应用进行了研究，较为全面地阐述了对于输电线路航拍照片中的绝缘子和销钉2类部件的缺陷识别技术[17]；Tao等构建了2级深度卷积神经网络对输电航拍照片中的玻璃绝缘子缺陷进行识别[18]。虽然较多的学者已对图像识别技术在输电线路部件缺陷检测中的应用进行了较为详细的分析，但该类研究大多集中在少数的几类缺陷，如绝缘子片缺失和销钉缺失缺陷，而且往往只对单一种类缺陷识别技术进行分析，缺乏对该技术进行系统的分析及应用研究，对于其他复杂缺陷或多类缺陷综合识别应用方面的研究鲜有描述。

本文在学习总结国内外相关研究的基础上，进一步探索改进，提出基于深度学习的输电线路航拍照片目标检测应用系统及方法，重点介绍了系统结构、工作流程、关键技术及应用分析。该系统的实现会极大提高输电线路机巡照片处理效率，有效地解决输电专业巡检照片处理方面的实际问题，具有较强的实际意义。

1 系统结构

输电线路航拍照片目标检测应用系统主要运用基于深度卷积神经网络的相关技术来构建。卷积神经网络提供了1种端到端的深度学习模型，收集一定量的原始图像数据，进行相应的处理后输入到模型训练框架中，经过反复迭代即可生成合格的图像识别模型。通过调用该识别模型，可对输入图像的特征进行提取和分类，由此完成大量图像数据的智能化分析和识别[19-20]。输电线路航拍照片的自然背景十分复杂，而且原始照片尺寸较大，信息众多，很难直接识别出销钉级的缺陷；因此设计了1个2级缺陷检测框架，即构建具有2级深度卷积神经网络结构的缺陷识别模型，检测框架结构如图1所示。试验表明，该检测框架能有效识别出多类输电设备部件缺陷(如螺栓销钉缺失、玻璃绝缘子自爆、复合绝缘子均压环脱落等)，虽然对于较大类型的缺陷，其识别时间将比常规只经过1级缺陷检测框架识别时间有所增加，但其识别准确率明显提高，检出率明显提升，检测效果更好，更具实用价值。

图1 系统总体结构框架Fig.1 System overall structure frame

该检测框架主要由一次裁剪层、第一级识别网络、二次裁剪层、第二级识别网络和图片标记层5个部分组成，其中一次裁剪层用于裁剪输入的原始航拍照片。常见的输电线路航拍照片为5 000×4 000像素照片，本文均以该类图像进行分析。由于原始图片尺寸较大，为保证图像识别效果，系统以2 500×2 500像素大小尺寸裁剪，初次裁剪将从原始图片的正中间截取图片，再依次从左上方、右上方、左下方和右下方截取2 500×2 500像素图片。由于该4个方向已经覆盖整张航拍照片，故保证了图像中所有部件均可识别，即使输电部件位于初次裁剪的边缘位置，也可在4个方向的裁剪图像中较为完整地显示出来。裁剪所得图片将依次输入至第一级识别网络。

第一级识别网络用于识别输电设备部件，在一次裁剪层输出的照片中识别定位输电设备部件(如地线线夹、复合绝缘子、玻璃绝缘子、防震锤等具体设备部件)，最终输出1个或多个包含设备部件的矩形框的坐标、部件标签以及识别置信度信息，该信息将输入到二次裁剪层。同时对于部件识别结果还可进一步进行反事故措施分析，即结合输电线路重要交叉跨越区段表格，统计重要区段铁塔类型、挂点类型、绝缘子串数量等信息，若存在重要交叉跨越区段地线单挂点、复合绝缘子单串等情况，则说明该区段线路反事故措施没有落实到位，以此形成待实施反事故措施清单。

二次裁剪层依据第一级识别网络得到的信息对输电设备进行截取，如对输入图片中的地线线夹、复合绝缘子、玻璃绝缘子、防震锤等具体设备部件进行裁剪，截取输入至第二级识别网络。

第二级识别网络用于识别上一级网络截取的设备部件照片，检测定位具体缺陷(如螺栓销钉缺失、玻璃绝缘子自爆、复合绝缘子均压环脱落等缺陷)，最终输出1个或多个包含部件缺陷的矩形框的坐标、部件标签以及识别置信度等信息。

图片标记层依据第二级识别网络得到的信息对输电设备缺陷(如输入图片中的螺栓销钉缺失、玻璃绝缘子自爆、复合绝缘子均压环脱落等)进行标记，最终形成缺陷识别结果图片。

本系统框架主要应用飞桨(PaddlePaddle)开源深度学习平台进行搭建。PaddlePaddle是高效、灵活、支持多种语言接口的深度学习开源开放平台，它具有简单易用、灵活高效、占用内存小、速度快等优点，与其他深度学习平台框架相比，运用该框架可较为轻松高效地搭建图像识别模型。

2 系统工作流程

输电线路航拍照片目标检测应用系统主要运用图像识别技术对输电线路航拍照片进行识别，分别完成照片中的输电设备部件识别定位和缺陷识别定位，其中输电设备部件识别定位还可进一步延伸开展输电线路反事故措施情况统计。系统工作流程如图2所示。

图2 系统工作流程Fig.2 System work flow chart

首先输入前期采集的输电线路航拍照片，系统自动遍历照片，截取2 500×2 500像素尺寸大小的图片。初次裁剪将从原始图片的正中间截取，再依次从左上方、右上方、左下方和右下方截取2 500×2 500像素图片。

然后系统对遍历是否完成进行判断。若遍历完成则将截取图片依次输入至第一级识别网络结构，对设备部件进行识别；若遍历没有完成，则继续以固定尺寸遍历图片并截取。对于第一级识别网络依次输入的图片：若存在1张以上图片识别成功则获取识别部件类型和数量，并在截取图片中进行标记，再以部件尺寸大小截取保存图片，同时在数据库部件识别结果表中记录识别结果；若所有输入图片均识别失败，则保存不识别的原始图片，并在数据库部件识别结果表中记录识别结果，对于不识别的结果可人工判别与标注，完善数据集，增量训练形成新的部件识别模型。

接着对于已经识别截取保存的部件图片，运用第二级识别网络对部件缺陷进行识别，系统自动标记缺陷位置，在数据库缺陷识别结果表中记录识别结果，以此完成航拍照片缺陷识别。而对于数据库部件识别结果表中记录的设备部件信息，系统根据日常运维统计的输电线路重要交叉跨越区段统计表格，自动比较得出输电线路重要交叉跨越区段塔型、挂点类型、绝缘子数量统计表格，若线路在重要交叉跨越区段内存在直线杆塔地线单挂点的情况，系统再自动提取形成待实施反事故措施清单，以此完成输电线路反事故措施智能统计。

最终归类汇总所有数据和分析结果，完成输电线路航拍照片综合识别分析。

3 系统关键技术

输电线路航拍照片目标检测应用系统关键技术包括数据扩增方法、输电设备部件定位网络核心算法、缺陷识别定位网络核心算法和模型训练方法等，下面分别进行重点阐述。

3.1 数据扩增方法

缺陷识别中难以避免的问题是正负样本的严重不均衡性，即完整无缺陷图像的数量远远大于有缺陷图像的数量。基于深度卷积网络的目标检测模型如果直接利用正负样本不均衡的数据集进行训练，那么训练出来的模型会发生偏移，缺陷检测结果会很不理想，因此针对缺陷样本数据有必要进行数据扩增[17]。

具体数据扩增流程如下：①利用Labelme开源图像标注工具对缺陷部件图片(如带有缺陷的地线线夹、复合绝缘子等部件轮廓)进行标注，形成样本数据集；②运用该样本数据集，训练U-Net全卷积神经网络模型；③将少数缺陷部件图片输入至训练好的U-Net全卷积神经网络模型，对缺陷部件进行语义分割，输出分割结果；④利用仿射变换技术将已经分割的缺陷部件变换为具有不同尺度、角度的多个缺陷部件图像数据；⑤利用图像背景融合技术将这些不同尺度、角度的缺陷部件与不同背景图像进行融合，从而得到更多的缺陷样本图像。

其中U-Net是运用于图像分割的全卷积神经网络，它采用了编码-译码架构。编码过程通过池化层逐渐减少位置信息，抽取抽象特征；译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接，因此能够更好地恢复目标细节[17]。该网络只使用少量数据，就可以训练出较好的全卷积神经网络模型。仿射变换是图像样本扩增的常用方法之一，它通过一系列的原子变换的复合(包括平移、缩放、翻转、旋转和剪切等等)来实现，通过参数的随机设置，可以将已经分割的缺陷部件变换为具有不同尺度、角度的多个缺陷部件图像数据。背景融合技术主要应用了泊松融合算法融合已分割的缺陷部件图像和背景图像，其主要根据背景图像的梯度信息以及缺陷部件图像的边界信息，利用插值的方法构建成边缘过渡区域内的图像像素，以此保证背景图像中的缺陷部件边缘过渡平滑，使背景与缺陷能够更好地融合在一起。

因缺陷部件图片数量较少，也可从样本中选取数量较少的一部分图片进行仿射变换增加样本数量，进一步完善U-Net全卷积神经网络模型，提高语义分割效果。玻璃绝缘子自爆缺陷数据扩增示意图如图3所示，通过图像分割、仿射变换和图像背景融合技术使得缺陷样本数据得到了较好的扩增，形成可靠的缺陷样本数据集。

图3 数据扩增Fig.3 Data amplification

3.2 输电设备部件定位网络核心算法

输电线路航拍照片的自然背景复杂多样，设备部件众多，而且部件在照片中的占比相对较小，综合考虑检出率和准确率，第一级识别网络选择检出率较高的快速区域卷积神经网络(fast region-CNN，Fast R-CNN)算法实现输电设备部件的识别和定位。

Fast R-CNN结构如图4所示，其具体步骤如下：①采用选择性搜索算法(selective search)提取2 000个候选框兴趣区域(region of interesting，ROI)；②通过1个卷积神经网络直接对全图进行特征提取得到feature map；③把候选框ROI映射到卷积神经网络的最后一层卷积feature map上；④使用1个ROI池化层(ROI pooling layer)在全图特征上摘取每一个候选框对应的特征；⑤对候选框中提取出的特征，使用分类器判别是否属于1个特定类，对于属于某一特征的候选框，用回归器进一步调整其位置。

图4 Fast R-CNN结构Fig.4 Fast R-CNN structure

Fast R-CNN多任务损失函数

L(p,u,tu,v)=

Lcls(p,u)+λf(u)Lloc(tu,v).

(1)

式中：Lcls为分类损失函数；Lloc为回归损失函数；p为每个ROI输出离散概率分布；tu为预测边界框的回归平移缩放参数，其中u为分类类别；v为真实边界框的平移缩放参数；λ为用以平衡2个损失函数的超参数；函数f(u)表示背景候选区域不参与回归损失[21-22]，不需要对背景候选区域进行回归操作，当u≥1时f(u)=1，其他情况时f(u)=0，其中约定u=0为背景分类。

3.3 缺陷识别定位网络核心算法

输电设备部件截取图片背景相对简单，虽然缺陷部位在图片中占比也较小，但缺陷数量相对较少，缺陷部位也比较固定，综合考虑速度和精度，第二级识别网络选择对小部件检测率较高、均衡性较好的YOLOv3算法实现输电设备部件具体缺陷的识别和定位。

YOLOv3网络结构如图5所示，其将输入图像分成S×S个网格，每个网格负责预测多个边界框及其置信度，以及多个类别的概率。其中边界框的大小与位置用(x，y，w，h)4个值表示，(x，y)为边界框的中心坐标，(w，h)为边界框的宽与高。置信度包含2个方面：一是这个边界框含有目标的可能性大小；二是这个边界框的准确度。前者记为P，当该边界框是背景，即不包含目标时P=0，而当该边界框包含目标时P=1。边界框的准确度用预测框与实际框(ground truth)的交并比(intersection over union，IOU)来表示，记为kIOU，因此置信度定义为PkIOU。YOLOv3网络将物体检测作为回归问题进行求解[17]，通过上述卷积计算和后处理过滤最后得到预测结果。其中YOLOv3以残差网络Darknet-53为基础分类网络，该网络模型的主要特点有以下3点：①能够输出3种不同尺度的特征图，实现多尺度预测；②采用logistic分类器代替Softmax分类器，以确保能够在不降低准确率的前提下完成多标签分类；③损失函数采用二值交叉熵(binary cross-entropy loss)。

图5 YOLOv3网络结构Fig.5 YOLOv3 network structure

YOLOv3的损失函数

(2)

(3)

(4)

式(2)—(4)中：lloc为预测框与真实边界框的位置误差；lcfd、lcls分别为置信度误差、分类误差；Iij表示第i个网格的第j个候选框是否负责这个对象，如果负责则Iij=1，否则为0；Iij,n表示第i个网格的第j个候选框是否没有目标，如果没有则Iij,n=1，否则为0；λn为权重系数；Cij为置信度；Cij,r为训练中的置信度真实值，其取值是由网格的边界框有没有负责预测某个对象决定的，如果负责则Cij,r=1，否则Cij,r=0；S2为网格总数；B为每个网格产生的候选框的数量；Pij(c)为第i个网格的第j个候选框预测结果为类别c的概率，Pij,r(c)为其真实值(0或1)[23-24]。

3.4 模型训练方法

目标检测模型的训练有一系列的步骤，根据不同算法网络结构的差异，模型训练步骤也所区别，但核心思想大体相同。简单概括就是：利用一定规则在训练图片上产生一系列的候选区域，然后使用卷积神经网络提取图片特征并预测候选区域的位置和类别，将预测值和真实标注值进行比较计算可以建立起损失函数，从而开启端到端的训练。利用PaddlePaddle深度学习平台可快速搭建模型框架，显著简化了训练操作。简化后的训练操作流程如图6所示。

图6 模型训练操作流程Fig.6 Model training operation flow chart

具体操作步骤如下：①利用labelImg开源图像标注工具软件对原始图片进行标注，形成样本数据集；②利用PaddlePaddle深度学习平台和对应目标检测算法训练模型，即输入样本数据集，通过迭代训练形成对应识别模型；③输入新的图片作为测试数据集，检测训练模型准确率和检出率，判断模型训练效果；④若模型评估合格，则说明训练模型较好，完成模型训练。若评估不合格，则提取不识别或识别错误结果，人工判别原因(如光线、拍摄角度、模型训练过拟合等等可能造成不识别或识别错误原因)，并根据不同原因采取不同的解决措施：若由于光线、拍摄角度等原因造成不识别问题，则增加同类图片进行标注，形成新的样本数据集，增量训练形成新模型；若由于模型过度训练或样本数据集噪声过多造成过拟合问题，则采用正则化、减少训练次数、增加真实样本等等手段解决。解决问题形成新模型后，再循环输入测试图片重新识别评估，由此不断完善训练模型，得出准确的图片识别模型。

其中对于前文所述第一级识别网络输电设备部件的识别模型，采用Fast R-CNN算法进行训练，并采用在目标检测领域被广泛使用的平均精度均值(mean average precision，MAP)进行评估。对于第二级识别网络运用YOLOv3算法训练输电设备部件缺陷的识别模型，针对不同的输电设备部件缺陷只需准备对应的缺陷样本数据集集中训练，进行具体部件缺陷识别时只需统一调用该模型即可。对于缺陷识别，由于检测目标较小，评价方面直接统计检出率。理论上评价指标越高越好，但实际应用中考虑到算力和算法限制，本文的模型平均精度均值或检出率只需达到80%，即可认为具备实用价值。对于训练迭代次数、学习率、正则化等详细参数配置，需要综合考虑目标任务、硬件性能、算法算力等影响因素，而且为达到最优检测效果，需根据实际检测情况不断优化调整，具体的参数设置本文不再详细说明。

4 系统应用实践

为了验证输电线路航拍照片目标检测应用系统的有效性，分别训练了输电设备部件识别模型和玻璃绝缘子自爆、金具销钉缺失缺陷识别模型。其中对于输电设备部件识别模型，在输电线路航拍照片库中选取了20条线路共5 454张图片作为训练集进行训练，通过训练可识别地线单挂点、双挂点、复合绝缘子、玻璃绝缘子、线夹、避雷器、防震锤等7类部件；对于玻璃绝缘子自爆缺陷识别模型，选取了105张缺陷绝缘子图片并通过前文所述的数据扩增方法得到了320张缺陷绝缘子图片；对于金具销钉缺失缺陷识别模型，选取了226张缺陷金具图片并通过前文所述的数据扩增方法得到了570张缺陷金具图片。选取这些图片作为训练集进行缺陷识别模型训练。

本次测试按照系统工作流程，在输电线路航拍照片库中选取了10条线路共3 245张图片进行部件识别，选取了86张缺陷绝缘子图片和125张缺陷金具图片分别输入2级缺陷检测框架进行缺陷识别。为了验证该缺陷检测框架的有效性，设计了对比试验，同样将所选图片仅输入1级缺陷检测框架(第二级识别网络)进行缺陷识别。其中对于部件识别，采用目标检测领域被广泛使用的平均精度均值和检测速度——单张检测时间进行评估。对于缺陷识别，由于检测目标较小，则直接统计检出率和检测速度。各目标训练集、测试集、识别平均精度均值或检出率和检测速度汇总见表1。

从表1中可以看出：部件识别的平均精度均值达到92.5%，单张检测时间约2 s；2级缺陷检测框架识别的玻璃绝缘子自爆和金具销钉缺失缺陷检出率均在80%以上，单张检测时间约2.5 s；只经过1级缺陷检测框架识别的玻璃绝缘子自爆缺陷检出率为65.3%，单张检测时间约0.6 s，金具销钉缺失缺陷检出率为39.7%，单张检测时间约1 s。从表1可以得出以下2个结论：①部件识别模型平均精度均值较高，满足实际应用要求；②2级缺陷检测框架虽然较1级缺陷检测框架识别时间有所增加，但其检出率明显提高，尤其对于较小缺陷检测效果更好，更具实用价值。

表1 识别成效Tab.1 Recognition effect

对于部件识别测试，部分识别结果如图7所示。通过图7(c)、(d)对比可以说明，在一定光线变化范围内，图片识别结果受光照影响并不明显。对于输电线路航拍照片，极大多数照片均在天气良好条件下拍摄，因此在实际应用中识别结果受光照、天气和背景等外部因素影响并不明显。

图7 部件识别结果Fig.7 Component identification results

对于缺陷识别测试，部分玻璃绝缘子自爆缺陷识别结果如图8所示，部分金具销钉缺少缺陷识别结果如图9所示。图8(a)展示的是经过2级缺陷检测框架识别结果，图8(b)展示的是只经过1级缺陷检测框架识别结果，从图8(a)、(b)对比可以说明，对于相同部件缺陷识别，2级缺陷检测框架较1级缺陷检测框架识别置信度明显提高，识别效果更好。图9(a)、(b)均为2级缺陷检测框架识别结果，通过图9(a)、(b)对比同样可以说明在实际应用中识别结果受光照、天气和背景等外部因素影响并不明显。

图8 玻璃绝缘子自爆缺陷识别结果Fig.8 Identification results of glass insulator self explosion defects

图9 金具销钉缺少缺陷识别结果Fig.9 Identification results of lack of hardware pin

相比常规的人工查阅输电线路航拍照片作业方式，本文提出的输电设备部件识别模型、玻璃绝缘子自爆缺陷识别模型和金具销钉缺少缺陷识别模型能更加高效地处理航拍照片，提升了处理效率，保证了作业效果的同时减少了数据处理工作量。

5 结束语

本文针对人工查阅输电线路航拍照片作业量大、效率低等问题，提出基于深度学习的输电线路航拍照片目标检测应用系统及方法，重点介绍了系统结构、工作流程、关键技术及应用分析，并通过应用实践证明了系统的有效性。该系统的实现可有效地提高输电线路航拍照片处理效率，解决输电专业巡检照片处理方面的实际问题，具有很好的应用前景。该系统还将进一步朝着智能化和自动化的方向发展[25]，通过大量图像信息的智能识别和分析，为输电线路运维提供基础的数据保障，为输电线路的检修运维决策提供更加全面准确的依据。