电力设备巡检缺陷图像智能识别技术研究

吕强，王伟，马国强，张益明，李晖，王力

（1.国网甘肃省电力公司超高压公司甘肃兰州 730070；2.国网甘肃省电力公司甘肃兰州 730050；3.国网甘肃省电力公司天水供电公司甘肃天水 741099；4.兰州倚能电力（集团）有限公司甘肃兰州 730071）

在采用无人机巡检时，地面遥控设备能将无人机采集的巡检图像传输到地面，但由于受到无线传输带宽的限制，传输的巡检图像质量、分辨率均受到影响，不能全面地、清晰地实时研判电力设备的缺陷，需要将高分辨率的巡检图像记录下来，事后分析其存在的缺陷。因此，当前无人机巡检的方式是利用图像采集装置快速将电力设备以连续图像方式拍摄记录下来，在无人机巡检时不进行过多的停留用以发现设备缺陷，而专注于采集并存储完整、清晰的电力设备图像，这样能有效提高无人机的巡检效率，而将采集的巡检图像在地面通过图像分析手段发现设备存在的缺陷［1-2］。

由于无人机一次巡检采集了大量的、高分辨率巡检图像，对电网巡检人员提出了新的要求，从以地面人工巡检方式转换到采用计算机从巡检的图像上发现设备缺陷，是一种对巡检人员素质要求较高、且劳动强度较大的工作。近年来随着无人机巡检电力设备的技术迅速发展，将电力设备识别技术应用在无人机巡检上，感知无人机所拍摄的设备区域，排除大量无用的图片，进一步检测电力设备部件可能存在的缺陷，可提高当前无人机巡检的效率。

当前对电力设备结构的研究集中在对电力设备显著的部件，如导线及绝缘子等方面的研究。而对于非显著的连接部件如防震锤、均压环等识别还没有涉及，尤其是没有考虑到电力设备的整体结构特性，没有建立识别电力设备这类复杂人造对象的约束机制。识别电力设备结构的关键是识别其各部分连接之处，这些区域是容易发生缺陷与故障的主要位置（如电力设备相连部件等）。

为了准确完整识别出电力设备目标，许多研究学者开展了基于改进Freeman链码、Radon变换、线段聚类、卡尔曼滤波器等经典图像处理算法的电力设备分割算法研究［3-4］，但传统图像分割方法只在简单背景下有一定效果，而在复杂背景中分割效果的稳定性不高。此外，对于电力设备缺陷检测，目前学者们主要对图像中缺陷特征和边缘统计特征进行分析，实现电力设备缺陷检测，但电力设备缺陷结构特性呈现复杂多样，现有方法极易出现错检、漏检，难以实现对电力设备本体缺陷状态的准确识别。如文献［5-6］利用颜色特征对电力设备的边缘提取方法进行了优化，通过电力设备边缘进行对比来检测分析。文献［7-8］使用阈值分割、Canny边缘检测和Hough直线检测来定位电力设备区域，再利用电力设备离散度来检测缺陷。万迪明等利用区域生长算法进行电力设备区域的提取分割，再利用视觉显著性来分析图像中的异常区域，以实现异物缺陷检测。

1 电力设备缺陷识别技术

电力设备具有显著的多尺度线结构特征，一方面近距离无人机拍摄的图像受背景纹理及光线变化影响较大，背景出现较多类似特征的区域，会造成较高的误判；另一方面无人机是在电力设备通道的一侧巡检的，电力设备本身是一种3D镂空的线结构，不同的拍摄角度存在大量的遮挡情况，分离其局部轮廓结构是一件困难的任务。有学者提出一种从底层到高层的多Gestalt感知处理机制来识别像电力设备人造设施的组成结构方法［9-10］。首先研究一种感知的分裂与合并算法，获取完整的局部轮廓；接着感知电力设备规则的结构，即平行特征、近似交叉对称特征，研究电力设备结构的连通特征，建立识别电力设备结构的约束机制；依据电力设备部件安装的上下文关系，在缩小的区域范围内，进一步识别电力设备上安装的连接部件，基于局部轮廓的形状识别部件［11-12］。

1.1 巡检图像中部件区域识别技术研究

图1提出了一种多感知人造对象结构识别方法。在图像底层分析中，考虑到在自然场景中，背景纹理亮度变化可能强于电力设备边缘的亮度变化，电力设备对象局部可能融入背景或被遮挡，特别电力设备对象是由金属构造时，在不同的光线下，其反射形成人造对象边缘呈现忽明忽暗特征。采用常规的图像边缘提取方法，常常提取到不连续的边缘，考虑线段之间的近似性、共线性及连续性，研究一种有效的图像底层处理方法，提取电力设备轮廓的完整直线对象与曲线对象。

图1 多感知电力设备结构识别过程Fig.1 Multi-sensing power equipment structure identification process

在图像中层分析中，依据对象之间的平行性、并列性、对称性、交叉性的量化计算判决进行编组聚类，可输出简单的感知组。在图像中层分析中，感知形状如图2所示，其中（a）可能表示的是平行的导线、梯田、道路；（b）可能表示的是引流线、向下凹的光滑曲线；（c）可能表示的是平行线段之间的折线关系；（d）可能表示的是可能是防振锤T或U形形状；（e）可能表示的是间隔棒或杆塔交叉的铁架；（f）可能表示的是间隔棒或杆塔交叉的铁架。

图2 感知形状Fig.2 Perceived shape

共连通性研究直线或曲线的线状对象空间分布之间的连接关系，对这些连接推理机制进行规范化描述，进而从语义上唯一识别电力设备设施。依附性提供了一种识别结构内部小尺度对象线索，通过依附规则的感知，可以在识别线状对象的基础上检索出小尺度对象所在区域，将识别小对象限定在一个小的区域内，再进一步识别小对象的形状特征，进而识别电力设备的内部结构。

在图像高层分析中，依据人造对象的连通特征与依附特征构建语义感知处理模型，进一步从语义上确认在图像中层分析中输出的简单感知组是否符合电力设备人造对象的知识模型，进而唯一、可靠识别电力设备内部结构。

传统方法中利用手工选取的特征是否明显，很大程度上靠经验和运气，且需要大量的时间。深度学习方法能够通过一定的特征采集，进行分析和判断，该技术较传统手工技术具有明显的优势。目前，针对电力设备图像检测和识别方面，最具代表性的模型是深度卷积神经网络（Convolutional Neural Network，CNN）模型，如图3所示，文献［13］采用CNN模型，建立了ImageNet数据库，有效降低了传统方法的图像误判率，由25%降低到17%。

图3 一种典型的深度卷积神经网络模型结构Fig.3 Structure of a typical depth convolutional neural network model

通过传统识别算法与深度学习算法对比分析，其对比效果如图4所示。从图4可以发现，深度学习对于杆塔区域的检测效果较好，识别的结果更加精细、准确；而对于绝缘子目标，则会出现较多的虚警。这是由于深度学习技术对训练数据量要求较大，在此，由于杆塔样本较多，所以采用深度学习方法可以达到很好的效果。而绝缘子串样本较少，由于缺乏数据造成了深度学习模型的过拟合，从而产生较多虚警。要克服深度学习技术的这一缺陷，需要寻找更多的样本，或在已有样本的基础上进行数据扩展，以满足深度学习算法对数据量的要求。采用深度学习方法部分电力元件识别及缺陷检测效果，使用矩形进行绝缘子串圈定并表示，绝缘子区域检测结果如图4。

图4 绝缘子区域检测结果图Fig.4 Inspection results of insulator area

玻璃绝缘子的自爆检测依赖于绝缘子区域检测的结果，如图5所示。

图5 玻璃绝缘子检测结果Fig.5 Test results of glass insulator

1.2 部件缺陷检测技术研究

电力设备有些部件缺陷具有显著的颜色、纹理、形状缺陷，通过图像处理与分析方法能诊断这类缺陷，另一类缺陷与部件位置、部件之间相互安装关系及电力设备知识模型相关的类型，需要通过高层次语义推理的方法来诊断这一类型缺陷。基于诊断方法将电力设备缺陷类型划分为5类。

（1）基于颜色与纹理特征诊断电力设备缺陷

一般，可以通过电力设备的颜色特征进行分析，例如电力设备锈蚀、鸟窝和玻璃绝缘子呈现的颜色具有明显的差别，均可以用度量颜色值来测量是否存在缺陷；通常电力设备表面的纹理存在一定的规律，如果存在缺陷情况，这些位置的空间频谱将会出现异常，可以采用傅里叶变化判断缺陷，然而该技术不能进行空域分辨率检测，无法得到频谱位置数据。

（2）基于平滑性与一致性诊断电力设备缺陷

电力设备的导线是由固定的材质构成，表面平整光滑，如导线存在断股或异物，破坏了其表面的平滑性与一致性。通过分析导线表面灰度图像的光滑性与一致性来诊断断股或异物缺陷。

上述两类缺陷是在巡检图像上有显著的物理特征缺陷，通过颜色、纹理、灰度统计特征量来来诊断其缺陷。有如下统计特征量用于诊断其缺陷：

a.共生矩阵纹理特征量。在纹理图像中，在某个方向上相隔一定距离的一对像素灰度出现的统计规律应当能具体反应这个图像的纹理特性。所以可用一对像素的灰度共生矩阵来描述这个统计规律，进而由共生矩阵计算出纹理特征参数来定量描述纹理信息。电力设备正常情况的纹理特征存在一定的特征，如果电力设备存在缺陷，那么缺陷位置便会产生空间频谱改变，破坏了纹理的规律性。比较常用的5个特征参数是：能量、熵、惯性矩、相关性系数、局部平稳性。

b.平滑度特征量。平滑度通过分析电力设备图像纹理的粗糙性，图像平滑度越低，图像灰度信息越小，图像越平坦。

c.灰度直方图特征量。通过灰度直方图分析电力设备纹理信息，图像的亮度信息表示每个灰度级概率，可以显示图像信息的分散情况、平滑度和峰值等，从而获得图像纹理灰度的准确信息。

d.灰度相似度特征量。灰度图像有256级差，灰度的深浅变化反映了特征的变化，计算一个区域的灰度均值avg，方差dev，可以用于衡量区域的相似度。

e.色度直方图特征量。RGB空间由于三个分量相关性很大，在分析颜色特征时需要在三维空间中分析，其效率不高，而HSI颜色空间（Hue色度［0，360］，Saturation饱和度［0，1］，Illuminate［0，1］，光强度）是基于人类对色彩感觉的非线性变换，H色度分量描述颜色的基本特性，主要反映了目标物体的颜色主体，对光线和阴影都不敏感，因此可以区分不同颜色的物体。

f.线对象宽度特征量。导线在某个位置的宽度是指与在该位置处切线垂直方向上的对象区域宽度。为了减少梯度方向的计算，线宽度指的是线对象在沿其延伸方向的垂直方向的宽度，线的宽度是导线的一个很重要的特征，对于同一个线对象，其线的宽度可能随着其延伸发生变化，可以通过在线延伸方向的垂直方向进行宽度投影获取其宽度变化曲线来描述线的宽度，其使用线平均宽度、线最大宽度、线最小宽度来描述。

（3）基于尺度测量诊断电力设备缺陷

通过设置电力设备正常运行的运行信息，当出现异常状态时，通过对比信息，便可以判断电力设备出现异常，例如导地线断股、防震锤脱落等现象，这种测量可以采用相对测量，研究恒定的比例尺度或采用绝对测量方法。

（4）基于形状特征诊断电力设备缺陷

对部件的形状描述有多种方法，如：傅里叶描述形状；编码方式：如链码；特征点检测与模板对比技术。分析电力设备形状信息，包括平移、旋转、尺度不变等信息，同时，存在噪声不敏感、方便实现的优点。诊断间隔棒掉抓、防震锤斜歪、均压环破损等缺陷均可以考虑采用形状来描述这些部件的缺陷特征量。

（5）基于安装几何位置诊断电力设备缺陷

如诊断防震锤与间隔棒的丢失，该条线路上导线、地线上是否有防震锤；在导线与引流线上是否有间隔棒；如存在防震锤与间隔棒输入其类型；依据在线路上安装位置的判决，其是否存在丢失缺陷；在正常安装的一组防震锤其位置固定，在导线垂直方向上的投影应存在重叠的区域，如存在不重叠区域，则可疑存在防震锤偏移。这些类型的缺陷与电力设备知识模型密切相关。

2 电力设备典型设备缺陷识别

无人机巡检电力设备时，通过无人机自动的对电力设备部件，主要针对杆塔、导线、绝缘子、防震锤等部件进行拍摄和信息采集。巡检一次完成后，采用人工判读的方式对不同的设备、不同类型的缺陷进行分类。

随着无人机巡检里程的增加，采集到的图像数据越来越多，发现的电力设备存在的缺陷种类增多。为了方便的使用这些数据，采用人工的方式提取存在缺陷的部件，并加以标注（标注缺陷的类型），统一存放到数据库中。当使用数据时可根据杆塔号、缺陷类型进行访问。存储的数据为后期的缺陷诊断提供最重要的数据支持，运用大数据手段分析缺陷的特点，以此为基础开发缺陷自动识别算法，实现缺陷的自动诊断，加速巡检后的处理能力，提高工作效率［14-15］。

因此，通过收集无人机巡检作业各试点单位的巡检数据，基于4T的巡检影像资料，研究建立了无人机巡检典型缺陷影像库。对电力设备常见的杆塔、导线、地线、绝缘子和金具等五大种类缺陷进行识别。电力设备五大类缺陷识别结果如下：

2.1 杆塔类缺陷识别

杆塔缺陷主要可以分为锈蚀、塔材被盗取、杆塔有异物、覆冰、螺丝松动等。在无人机航拍影像中，螺母呈圆形，销钉呈线形，利用图6将螺母-销钉结构分解。销钉缺失缺陷判断流程如图6所示。

图6 销钉缺失检测流程图Fig.6 Flow chart of missing pin detection

杆塔类主要缺陷识别结果如图7所示。

图7 杆塔类缺陷识别结果Fig.7 Identification results of tower defects

2.2 导线类缺陷识别

导线缺陷主要有断股、导线引流板故障、引流线变形、覆冰、导线有异物等。导地线的图像信息一般没有交叉情况，如果出现交叉点，可能存在断股情况，结合如下信息进行判断：导地线边缘点梯度出现明显变化、灰度值减小、凸起、变细、分叉。

无人机获取的图像中，导地线呈现直线。基于此，导线断股缺陷检测中，首先对图像作预处理操作，以增强图像中导地线特征；然后进行导线基元检测，即通过角度、平行等几何关系约束，识别导地线，从而定位导线；最后基于交叉点特征信息，识别断股基元，实现断股缺陷判断，流程如图8。

图8 导线缺陷检测Fig.8 Wire defect detection

导线类缺陷识别结果如图9所示。

图9 导线类缺陷识别结果Fig.9 Identification results of wire defects

2.3 绝缘子类缺陷识别

绝缘子缺陷主要有覆冰、玻璃绝缘子自爆、灼烧、绝缘子发热等。在无人机航拍图片中，绝缘子片呈椭圆，同一绝缘子串中绝缘子片平行排布，绝缘子片中心位于同一直线上，间距相等，相邻绝缘子串相互平行。通过检测绝缘子图像中不完整椭圆，根据绝缘子统计信息来判断绝缘子片是否缺失，检测流程如图10。

图10 绝缘子缺陷检测Fig.10 Insulator defect detection

绝缘子缺陷识别结果如图11所示。

图11 绝缘子类缺陷识别结果Fig.11 Identification results of insulator defects

2.4 金具类缺陷识别

电力设备金具主要包括导线夹板、间隔棒、防震锤和耐张联板等。各类金具的缺陷如表1所示：

表1 各类金具主要缺陷Tab.1 Main defects of various types of fittings

以防震锤缺陷识别为例，防震锤可分解为三个部分：

a.左右两个铁柄，其外形轮廓为矩形，两个矩形对称分布，矩形又可分解为平行线和T型、L型连接；b.连接两个铁柄的铁杆，即线段；c.铁杆与电力线中间的固定铁块，其轮廓为平行线。

防震锤缺陷判断如图12所示。

图12 防震锤缺陷判断Fig.12 Defect detection of shockproof

金具类缺陷识别结果如图13所示。

图13 金具类缺陷识别结果Fig.13 Identification results of hardware defects

2.5 电力设备通道场景判断技术研究

利用无人机影像上自带的地理坐标和方位参数进行密集匹配获得电力线段及地表重建，需要相对准确的外方位元素和连续图像构成的多视影像，这种覆盖同一区域的大重叠度影像能为影像匹配提供大量的信息，从而进行深度图判断。立体匹配是指利用两幅图提取的特征，分析特征信息之间的联系，通过把不同空间信息里同一点信息联系起来。这种立体匹配技术为视觉分析的关键方法，采用二维图像的三维重构实现场景的立体数据。利用重叠影像可以从二维图像中提取物体的空间位置信息，而图像密集匹配是三维重建的基石。

电力通道场景识别流程如图14所示，首先检测电力设备，然后采用序列影像快速构建场景粗略三维场景，最后判断出地面是否有较大高程物体。

图14 电力设备通道场景识别流程图Fig.14 Flow chart of scene identification of power equipment channel

识别结果如图15所示。

图15 电力设备通道场景识别结果Fig.15 Identification result of power equipment channel scene

3 总结

通过对电力设备杆塔、导线、地线、绝缘子和金具等五大种类典型缺陷识别结果可知，除对绝缘子等大尺寸目标及其缺陷进行识别外，还可对销钉、螺母、防振锤等小尺寸设备进行精确识别，并判断缺陷。正摄条件下对销钉、螺母等小尺寸设备和缺陷的识别率在90%以上；被遮挡或重叠范围30%左右时，识别率超过70%。电力通道缺陷的判别比较复杂，包括违建房屋、线下施工安全距离判断等。利用影像的深度场景恢复，可识别地面房屋及施工区的图像特征，并确定其位置是否在安全单位之内，以判断是否存在通道缺陷。