一种小样本条件下的绝缘子外套裂纹缺陷图像识别方法

李新海，曾令诚，卢泳茵，林悦德，曾新雄

(广东电网有限责任公司中山供电局，广东 中山 528401)

0 引言

绝缘子作为一种重要的绝缘设备，其主要作用是确保载流导体与地之间形成可靠的绝缘。绝缘子外套表面污染、针孔腐蚀、裂纹等缺陷逐渐向内发展，导致芯棒受潮，最终导致绝缘子断裂，这是绝缘子由缺陷发展成故障的特点[1]。其中，表面裂纹是导致故障可能性更高且发展速度相对快的急性症状。因此，对绝缘子表面裂纹进行有效的识别[2-3]，评估其缺陷的严重程度，能避免绝缘子故障的突然发生[4-7]。

目前绝缘子外套裂纹缺陷图像的准确识别需要大量样本来进行模型训练，而实际中可用于模型训练的裂纹缺陷图像数据集严重不足，从而导致裂纹缺陷故障识别精度不高、训练过拟合等问题。在小样本条件的基础上进行图像识别的方法分为传统的机器学习法和迁移学习两种方法。虽然第二种方法相比第一种更能够利用深度学习网络的多层结构的作用[8-11]，使下层特征慢慢迁移到上层，但是在识别准确率、以及小物体目标检测等方面，仍无法满足实际应用需求。本文提出了一种基于图像增强变换以及元学习[12-16]的数据处理方法，并与U-Net图像分割网络结合，实现了在小样本下条件下进行绝缘子裂纹缺陷识别的目的。

本文提出的小样本绝缘子外套裂纹缺陷图像识别方法思路如图1所示。

图1 小样本绝缘子外套裂纹缺陷图像识别方法思路

本文提出的小样本绝缘子外套裂纹缺陷图像识别方法包含以下处理过程：1)利用图像旋转、局部放大和高斯模糊等数据增强方法对小样本绝缘子外套图像数据集进行扩充；2)提取在源域数据集上预训练模型的权重和模型特征(全连接层之外)，利用迁移学习方法在目标数据集上进行训练；3)对在目标数据集训练上训练得到的模型进行微调，得到最终绝缘子裂纹缺陷识别模型。

1 图像数据集增强方法

实际变电站运行中很难获得大量绝缘子外套裂纹缺陷图像样本，在这种情况下可使用图像数据增强技术解决裂纹缺陷图像数据量不足的问题[17-19]。目前有效的数据增强技术可通过几何变换的平移、剪切、旋转和缩放来实现，也可采用增加滤波、调整图像亮度、清晰度和锐化图像的像素变换方法来实现[20-21]。

在数据处理的过程中，为了保留更多有效的原始信息，应尽量减少图像处理的次数。由于绝缘子外套多为圆柱形的特点，本文结合几何变换中的图像旋转、局部放大和像素变换方法中的高斯模糊的方法对绝缘子外套原始图像样本集进行扩充，实现数据集的增强目的。

图像旋转是指以图形上的某一点为定点旋转一定的角度，产生一幅新图形的过程。通常选用图像的中心作为旋转的原点，即旋转前和旋转后图像中各点与中心的相对位置一致。图像旋转的具体坐标计算示意图，如图2所示。

图2 图像旋转原理

使用图像旋转技术处理后的绝缘子外套图像结果，如图3所示。

图3 裂纹缺陷绝缘子图像的旋转处理

局部放大图像部分区域的像素数目，从而达到突出部分区域特征的效果，称之为图像局部放大。在对图片进行局部放大时，以圆为特征进行局部处理，并且在形变过程中遵守在圆形区域内，越靠近变形中心O点的点形变越明显。图像局部放大处理示意图如图4所示。

图4 局部放大原理

使用局部放大算法对绝缘子外套裂纹缺陷图像进行处理，经过局部放大处理后的绝缘子外套裂纹缺陷图像，其裂纹开裂特征更加明显。结果如图5所示。

图5 绝缘子图片的局部放大

使用高斯模糊图像处理技术增强绝缘子外套裂纹缺陷图像数据集，高斯模糊处理使得绝缘子外套裂纹缺陷图像在各个方向上具备相同的平滑程度，不改变原图像的边缘走向，保证了特征点和边缘的特征不被高频信号污染。绝缘子外套裂纹缺陷图像高斯模糊处理的效果，如图6所示。

图6 高斯滤波前后的图像对比

2 用于绝缘子外套裂纹缺陷识别的U-Net网络

U-Net网络是一种全卷积神经网络，最早用于语义分割，由于其呈现U形结构，因此取名为U-Net。与普通全卷积神经网络相比，其优势在于：1)可通过小型数据集达到很高的正确率，适合小样本数据集应用；2)网路结构简单；3)通过下采样和上采样的过程，保证了特征图包含更多的细节特征，图像边缘更加精细。

U-Net由下采样和上采样两部分组成。左半部分是下采样过程，也称为特征提取，该部分由2个3×3 ReLu卷积层和1个2×2 max pool池化层反复组成，形成了下采样过程。右半部分是上采样过程，也称为扩展路径，该部分由反卷积层、特征拼接和2个3×3 ReLu 卷积层反复组成，形成上采样过程，最后输出特征分割结果，保证了最后恢复出来的特征图融合了更多的细节特征，同时也融合了不同尺度的特征，U-Net网络结构如图7所示。

图7 U-Net网络示意图

以绝缘子外套图像处理为例，一开始网络输入一张大小700×700 pixel的绝缘子外套图像，经过下采样处理后，则会得到大小分别为696×696 pixel、344×344pixel、168×168pixel、80×80pixel和36×36pixel的特征图。然后U-Net网络再对36×36pixel特征图做反卷积，得到72×72pixel的特征图，这个72×72pixel的特征图与之前的80×80pixel的特征图进行合并，合并过程中把80×80pixel特征图进行裁剪以适应72×72pixel特征图的大小，然后对拼接后的特征图进行卷积和上采样，得到136×136pixel特征图，再与之前的168×168pixel特征图拼接，卷积，再上采样和拼接，一共进行4次上采样处理，最后得到1张大小为516×516pixel的预测结果图，如图8所示。

图8 U-Net的绝缘子外套图像特征分割过程

3 绝缘子外套裂纹缺陷识别U-net的训练

元学习(meta-learning)是一种能让模型具备“学会学习”能力的神经网络训练方法，该方法核心思想是基于任务的学习，通过学习任务中的特征表示，从而在新任务上泛化[22-25]。其优势在于：1)有效解决传统神经网络学习泛化能力不足的问题；2)解决了数据样本不够造成过拟合的问题；3)可以实现模型在已有知识的基础上快速学习新的任务；4)实现通过小样本即可快速学习新知识[25-27]。

3.1 基于元学习的训练方法

假设元学习在获取元知识过程中采样自任务分布p(T)，从任务分布中采样M个源任务，如式(1)所示。

(1)

(2)

式中：∅为学习过程的参数；∅*为训练后获得的最优参数。元学习测试从任务分布中采样Q个任务，采样过程如式(3)所示。

(3)

(4)

式中θ为最终每个任务训练得到的参数。式中自适应地针对每个任务训练其参数，从而达到泛化的过程。

元学习的损失为N个任务的测试损失之和，定义第n个任务的测试损失为ln，则对于具有N个任务的元学习，总损失如式(5)所示。

(5)

元学习的流程是：通过训练数据集和验证数据集得到具备较强泛化能力的初始网络参数，在测试任务中网络模型将进行几次梯度下降操作，以达到学习新任务的目的，然后对学习后的效果进行验证，训练和测试流程示意图如图9所示。

图9 元学习训练流程

本文通过使用元学习方法对U-Net神经网络进行训练，得到一个更有潜力、更易收敛于一个全局loss最优的网络，然后在目标应用域(绝缘子外套裂纹缺陷数据集)进行新任务学习，从而得到一个适用于绝缘子外套裂纹缺陷图像识别的网络。解决了传统机器学习神经网络模型在小样本数据集中出现泛化能力不足、过拟合和对新任务适应性较差的问题。

3.2 基于元学习的训练过程

研究时首先通过在网络收集的大量混凝土裂纹缺陷图像组成源域数据集，使用元学习方法训练U-Net裂纹缺陷识别网络，使网络具备初步识别裂纹缺陷任务学习能力。然后在小样本绝缘子外套裂纹缺陷数据集上进行元学习训练，绝缘子外套裂纹缺陷识别网络训练流程如图10所示。

图10 元学习训练及绝缘子裂纹图像识别流程图

在图10中，绝缘子外套裂纹缺陷图像识别网络训练过程包括以下几个关键过程。

1)数据集扩充。利用图像旋转、图像局部放大和高斯模糊方法对绝缘子外套裂纹缺陷图像数据集进行扩充；

2)裂纹特征标注。利用图像标注工具，人工对绝缘子外套裂纹缺陷图像进行标注；

3)生成训练数据集。根据元学习方法生成支持集、查询集和测试集3个数据集；

4)训练模型。加载从混凝土裂纹缺陷图像数据集训练得到的U-Net网络模型，此时，网络已经具备学习任务的能力，对其进行参数初始化，开始在绝缘子外套裂纹缺陷数据集上的训练；

5)测试验证网路模型。训练结束后对网络模型进行测试验证，将预处理后的绝缘子图像输入U-Net网络模型中进行预测，并得到输出的Feature Map；最后，根据Feature Map中输出的置信度，结合算法设定的阈值判断是否存在裂纹特征；若置信度超过了算法设定的阈值，则可以通过Feature Map获取裂纹的位置、长度以及宽度等特征信息，验证后得到最终模型。

4 方法验证与分析

实验平台为工作站。处理器为Intel Xeon E5，内存128 GB，8块GPU显卡GTX2080TI。软件框架结构为基于TensorFlow 2.0的深度学习框架。

实验选用Kodak SL10可拆卸微型智能镜头进行绝缘子外套裂纹缺陷图像采集，对于较高处的绝缘子设备，则将镜头固定至绝缘杆上，并通过蓝牙控制镜头进行拍摄。拍摄过程中使用专用架子和升降固定装置，消除绝缘杆摆动影响，避免对人身和设备造成伤害。除此之外，可通过使用无人机进行拍摄获取绝缘子图像。图像采集设备如图11所示。

图11 绝缘子图像采集设备

通过上下左右和环绕等形式对绝缘子多角度全方位拍摄，获取更完备充分的绝缘子图像。而且，即使由于现场变电设备安装位置和环境导致不能全方位获得绝缘子图像，根据绝缘子老化程度相对比较均衡等先验知识，也可判断出其背面更有可能存在裂纹。现场采集到的绝缘图像如图12所示。

图12 变电站内拍摄绝缘子图像

4.1 网络训练数据的选择

本文实验源域的裂纹实验数据采用网络上公布的混凝土裂纹缺陷图像数据集，并按照元学习方法把数据分为支持集、查询集和测试集，数据集的划分详见表1所示。

表1 元学习源域训练实验数据

通过图11的图像采集设备对绝缘子外套裂纹缺陷进行拍照采集，将采集到的变电设备绝缘子图片作为原始样本，根据第1节所述数据增强方法，对原有数据集进行扩充，得到增强后的约2 000张数据集，并对数据集进行标注，最后拆分为Support Set、Query Set以及Test Set。处理前后的变电设备绝缘子数据集图如图13和表格2所示。

图13 绝缘子数据集的数据增强

表2 绝缘子外套数据集分布情况

采用U-Net网络模型实施训练。网络的训练参数详见表格3所示。

4.2 裂纹缺陷识别精度与模型收敛对比分析

分别对使用元学习方法和不使用元学习的裂纹缺陷识别模型进行了实验对比。选取batch size为6、迭代次数为300，对U-Net模型进行训练。

不使用元学习方法对U-Net网路进行训练和测试，其精度曲线和损失函数曲线如图14所示；使用元学习(小样本学习)方法，其精度曲线和损失函数曲线如图15所示。

图14 不使用元学习的U-Net精度曲线和损失函数曲线

图15 使用元学习U-Net精度曲线和损失函数曲线

结合图14—15可以分析得到：1)从U-Net精度度量曲线上分析，使用元学习方法和不使用元学习方法，对U-Net网络精度影响并不是很大；2)从损失函数曲线上分析，使用元学习方法后，U-Net的收敛速度明显快于不使用元学习方法。

对是否使用元学习方法分别进行试验，结果表明不使用元学习方法的识别成功率明显低于使用元学习方法，如表4所示。

表4 是否使用元学习方法试验结果对比

4.3 缺陷识别实例

使用本文方法得到绝缘子外套裂纹缺陷识别最终模型，对180张绝缘子图片进行裂纹缺陷识别实验，实验过程中裂纹缺陷识别结果如图16所示。

图16 绝缘子外套缺陷图像识别结果

通过实验可得，使用元学习方法对绝缘子外套缺陷网络进行训练，可有效缩短网络收敛的时间，同时网络模型的效率和精度也有一定的提升。由图15可得，模型对绝缘子外套裂纹缺陷的识别准确率达到100%，在180张绝缘子图片进行缺陷识别实验中，其中36张的绝缘子存在裂纹缺陷，本方法可准确识别了36张，成功率达到100%。

5 结论

本文提出在小样本数据集的基础上通过增强变换扩充数据集，并在此基础上引入基于元学习的神经网络预训练模型实现了绝缘子外套裂纹缺陷的识别。经过实验分析和对比得到结论如下。

1)通过图像旋转、图像局部放大以及高斯滤波等图像增强变换的方法对原始小样本绝缘子外套数据集规模进行扩充，解决了神经网络模型训练数据不足的问题。

2)使用元学习通过神经网络学习构建了一个更有潜力、更易收敛于一个全局loss最优的网络。解决了传统神经网络学习泛化能力不足和过拟合的问题。

3)实现模型在已有知识的基础上快速学习新的任务，通过小样本即可快速学习新知识。

4)本文首次提出U-Net与元学习相结合方式，将U-Net作为语义分割网络实现绝缘子外套裂纹缺陷的目标检测，解决训练时由于样本数不足而导致的网络过拟合以及网络精度不足等问题。

5)通过实验证明了使用基于数据增强变换和元学习的U-Net网络模型进行绝缘子开裂图像识别算法的可行性。

6)对180张绝缘子图片进行裂纹缺陷识别，其中36张的绝缘子存在裂纹缺陷，本方法可准确识别所有36张，成功率达到100%。

7)本文所提方法也为变压器运行绝缘子的故障诊断、无人值守变电站以及机器人智能识别绝缘子开裂提供了新的思路。