基于深度学习的配电网线路设备缺陷智能检测

李晨曦，邵蒙悦，冯 杰

（1.国网浙江温岭市供电有限公司，浙江 温岭 317500；2.浙江理工大学，杭州 310018）

0 引言

目前无人机巡检[1]广泛应用于配电网线路巡检。然而，随着作业量的快速上升，无人机巡检面临更高的挑战。配电网线路巡检往往以丘陵山地为主，环境复杂、地势起伏，无人机巡检过程中需要与巡检线路保持一定的高度和距离，才能确保采集视频的标准性、规范性，因此对无人机操控人员提出了较高要求。而且，设备缺陷识别无法在现场实时开展，需要由无人机将视频导入电脑，由后台人员逐帧识别。线路缺陷的识别效率低，耗时久，视频分析也要求人员具备丰富的巡检经验。所以基于深度学习方法的电杆检测与瓷瓶缺陷识别具有重要意义。

在过去的研究中，针对类似的目标检测问题，张征凯和齐浪[2]使用以ResNet50 为基础的Faster R-CNN 网络结构对螺纹孔进行检测，使得很小的螺纹孔也可以被有效地检测出来。陈为和梁晨红[3]针对航空发动机检测的目标小、难度大等问题，使用改进的SSD（单激发多盒探测器）模型识别凸台缺陷，但其没有解决外部环境（如光线等）对数据集的影响，因此准确率不高。张勤[4]等使用YOLOv3 网络结构检测秧苗列中心线，该模型主干网络借鉴ResNet 网络结构，并使用自适应聚类调整网络得到同列秧苗的检测框，最后达到91.47%的准确率。以上使用的网络模型大部分有ResNet 残差网络结构的影子，可见ResNet 结构在目标检测中起到重要作用，且上述模型都是检测单尺度目标。

本文基于普遍采用的ResNet101 网络搭建出双尺度模型对目标进行检测，相比以往只检测一种尺度物体的目标检测算法，本算法不仅可以检测大物体（比如电线杆），也可以检测小物体（比如瓷瓶），并且融合缺陷检测算法，对所标记出来的瓷瓶进行缺陷检测。本文提出的缺陷检测算法，从可见光、红外图像、精细化3 个方面进行研究，解决了外部环境影响数据集的问题，大大提高了缺陷检测的准确率。

1 研究数据集介绍

1.1 数据来源

本研究采用的数据来源于浙江省某电力公司。在已有素材中选取了视频图像数据236 GB，将数据按照多样化场景分类后（包括城市、山林、沿海等场景）进行算法实现和训练。如此，可使算法鲁棒性更强。

1.2 数据预处理

数据预处理主要包括对图像数据的标注、数据增广等工作。

（1）数据标注。为实现高效利用视频数据，本研究通过该电力公司自研的数据协同标注平台，对每段视频进行图片截取，并对有效目标进行标注，共生成图片近1 万张，其界面如图1 所示。标注目标包括铁塔、水泥杆、钢管杆等各类电杆，以及针式瓷瓶、绝缘子等杆上设备。考虑到实际环境中，配电线路周边可能存在0.4 kV 电杆、通信杆等杆塔，因此在标注过程中为各类杆塔进行单独标注，从而确保模型可以对不同类型的杆塔进行区分，有效剔除无关杆塔对模型识别的干扰。

该标注平台将标注好的数据信息转化为coco数据集格式，方便后续的网络训练。

此外，如图2 所示，本研究对飞行过程中发现的1 万多张缺陷素材也进行标注，缺陷种类主要包括：瓷瓶扎线不规范、瓷瓶缺失、瓷瓶破损、电杆爬藤、设备发热等。其中，检测的瓷瓶类型分为R12.5 型针式瓷瓶和U70B 型悬式瓷瓶两类，瓷瓶缺陷统计如表1 所示。

图1 视频标注界面

图2 巡检素材示例

表1 瓷瓶缺陷素材统计

（2）数据增广[5]。为提升检测和识别准确度，适应各种不同环境（光照、角度等），对已标注数据进行后续处理，包括随机裁剪、随机色度变化、随机角度变换等，使训练数据图像从1 万张左右扩充为10 万张。数据增广后的图像如图3—5 所示。

图3 随机裁剪图像示例

图4 随机色度变化图像示例

2 基于残差双尺度检测器的巡检目标智能检测算法

飞行过程中，为实现无人机线路通道飞行和精细化拍摄，需要同时识别水泥杆和瓷瓶等两大类目标（如图6 所示）。其中，识别出来的杆塔主要用于无人机飞行路线的自主调整，而瓷瓶等小尺寸目标的识别则用于无人机的近景检测和缺陷识别。

由于识别目标尺寸差异比较大，常规算法（如CNN 神经网络等）检测效果相对较差。为了更好地识别不同尺寸的目标，在基于深度学习目标检测算法的基础上，采用基于残差双尺度检测器算法模型，以便更加准确地检测出不同尺寸的目标。提出算法的具体检测流程如图7 所示。

图5 随机角度变换图像示例

图6 标记示例

2.1 残差双尺度检测器网络模型结构

本模型主要由骨干网络、微调模块和边界框桥梁模块组成，基础网络框架如图8 所示。

模型前端骨干网络部分采用基本的ResNet101残差网络模型[6-7]，并采用金字塔架构分别提取出不同尺寸维度的特征（s8，s16，s32，s64）。不同尺寸的特征对应不同的检测器，通过微调模块对检测位置进行微调，最后将2 个检测器的结果进行融合，通过边界框桥梁模块得到最终的双尺度检测结果。

图7 巡检目标智能检测算法流程

图8 残差双尺度检测器模型基础架构

2.2 骨干网络结构

骨干网络用于提取数据集不同尺寸维度的特征。核心是残差网络。

残差网络由一系列的残差单元组成，每个残差单元由残差映射和直接映射两部分组成，其结构如图9 所示，每个残差单元的计算公式为：

式中：x 是输入；w 是权重；y 是输出。直接映射便是x，残差映射为F（x，w）。F 表示对x 进行残差映射操作。

残差映射是x 经过一层3×3 的卷积层后，使用Relu 激活函数，见公式（2），最后再经过一层3×3 的卷积层。残差映射得到的结果与直接映射相加，得到最后的y 值。

图9 残差单元结构

2.3 微调模块结构

微调模块用于对检测目标得到的边框进行微调。微调模块与残差结构类似，也有直接映射，模块结构见图10。

图10 微调模块结构

计算公式为：

直接映射便是x；R（x，w）表示x 经过卷积层，反卷积层。最后使用sigmoid 激活函数，见公式（4）。与残差网络不同的是，R（x，w）得到的结果与直接映射x 相乘，得到最终结果y。

2.4 边界框桥梁模块结构

边界框桥梁模块将2 个微调模块得到的结果融合，得到最终的边界框信息，在图片中准确框出电线杆和瓷瓶的位置。其结构见图11，计算公式为：

图11 边界框桥梁模块结构

式中：x1表示微调模块1 得到的结果；x2代表微调模块2 得到的结果。B（x，w）是x1经过2 个1×1的卷积层，使用Relu 激活函数，得到的结果与x2相加，得到最终的输出。

3 基于多光谱设备的缺陷检测算法

无人机可搭载高灵敏度热成像相机，将热成像与4K 可见光传感器结合，可以从更多维度获取巡线场景信息，进而取得多种设备缺陷辅助识别能力。目前已实现瓷瓶缺失、扎线绑扎不规范、设备异常发热、电杆爬藤等缺陷辅助检测功能。其算法流程如图12 所示。

图12 缺陷检测整体算法流程

3.1 可见光缺陷检测

该算法使用的是MobileNetV2 模型[8-9]，该模型的结构如表2 所示，其中：t 为瓶颈层内部升维的倍数；c 为特征的维数；n 为该瓶颈层重复的次数；s 为瓶颈层第一个conv 的步幅。

MobileNetV2 模型由conv2d 卷积层、bottleneck 模块、平均池化层组成。该模型使用的激活函数为Rule6。

表2 MobileNetV2 模型结构

Bottleneck 模块由expand 层、Dwise 层和pointwise 层组成。

Expand 为1×1 的卷积层对数据进行升维处理；Dwise 层由3×3 卷积层、BatchNorm 层（归一化的作用）组成，使用的激活函数为Rule6；pointwise层为1×1 的卷积层对数据进行降维。

除此之外，Bottleneck 模块还有捷径分支，与上面残差结构的直接映射类似，当s=1 且输入维度等于输出维度时，便有捷径分支，其他情况都不存在该分支。而输入和输出的大小为表2 中，输入列“×”后面的数值。

3.2 红外图像缺陷检测

由于红外图像分辨率不高并存在一定噪声，首先进行灰度化和去噪滤波，之后根据亮度值对一定阈值以上的部分（该阈值根据效果自行调整）采用膨胀连通域融合等操作，获取矩形注意力区域进行重点分析，然后采用Densecut 无监督区域分割算法提取出重点温度提取点，再对这些点的温度值进行加权平滑处理，最后将超过一定温度阈值的可疑异常区域上报。

3.3 精细化检测

在检测到电杆等目标后，机载AI 算法自主决策控制飞行姿态与云台参数，当无人机接近高压电杆斜上方45°时悬停，自动调节摄像头焦距，对电杆或塔架上的瓷瓶等关键目标进行细节检测。同时人工控制无人机绕塔飞行，从不同角度对细节进行观测，从而实现精细化检测。

在精细化检测中，算法将自发对检测的瓷瓶等关键目标进行以下操作：计数和缺陷分类；对可疑场景进行标记；回传给工作人员进行确认。

经研究表明，该操作可以有效提高缺陷排查的工作效率。

4 研究结果分析

4.1 基于残差双尺度检测器的巡检目标智能检测算法性能分析

在检测网络部分，主要采用了残差网络结构。检测主网络有101 层，可以充分提取图像中不同分辨率的细节特征，训练采用Adam 算法[10]进行优化迭代，自适应调整学习率，共迭代30 000个epoch 后网络达到稳定。本模型采用单阶段目标检测方案，相较于传统的双阶段目标检测方案（例如Faster R-CNN[11-12]等），运行速度更快，更加适合在终端资源受限设备中运行。通过与其他算法的比对如表3 所示，可以看到在精度和速度方面，本模型都具有非常大的优势，适合本应用场景。

表3 不同目标检测算法性能对比

本算法模型目前仍在根据无人机飞行数据反馈不断更新改进，不但能使更多的杆塔被检测到，也可以动态调整杆塔识别置信度阈值，保障杆塔不漏报，对瓷瓶和电线杆的识别准确率高达99%。

4.2 基于多光谱设备的缺陷检测算法效果

缺陷检测算法从可见光、红外线以及精细化检测三方面入手，主要使用的是MobileNetV2 网络结构。通过实验发现，以瓷瓶缺失检测为例，在分离出瓷瓶、横担等子图像后，通过MobileNetV2 网络对缺陷进行分类识别。MobileNetV2网络迭代2 000 个周期后得到分类模型。算法对瓷瓶检测结果进行计数分析，由于可能存在遮挡情况，所以需要综合各个角度的检测结果进行统计，发现不足一定数量瓷瓶后将结果上报，大大提高了瓷瓶缺陷检测的准确性。缺陷检测算法的检测效果如图13 所示。

图13 缺陷检测

最后对2 321 张图片（正常1 345 张，缺陷976张）进行检测，检测报告正常瓷瓶1 232 张，缺陷1 089 张，检测准确度达到95.1%。

5 结语

针对人工利用无人机巡检耗时耗力、检测难度大等问题，提出基于残差双尺度检测器的巡检目标智能检测算法和基于多光谱设备的缺陷检测算法，并应用基于残差双尺度检测器的巡检目标智能检测算法，对电线杆和瓷瓶进行定位，使用基于多光谱设备的缺陷检测算法对电线杆上的瓷瓶进行缺点检测。研究结果表明，在对电线杆的目标检测中，本算法可高达99%的准确率，而对瓷瓶缺陷的检测准确率可达到95.1%。

本文将两大算法融合，结合机载处理器实现高效、快速、安全地作业，达到配电网无人机自动作业的巡检效果。