基于SSIM-Sobel与多特征融合的绝缘子缺陷识别方法

赵园喜，邱志斌，朱 轩，余沿臻，周志彪

（1.南昌大学能源与电气工程系，江西南昌 330031；2.武汉大学电气与自动化学院，湖北武汉 430072）

0 引言

绝缘子作为输电线路上的重要部件，起着悬挂导线与电气绝缘的关键作用。长期工作在露天环境下，运行中的绝缘子容易出现不同类型的故障，例如自爆[1-2]、破损[3-4]与电弧灼伤、老化[5]等，严重影响输电线路安全稳定运行，实现绝缘子的定期巡检尤为重要。

目前线路巡检人员通常采用现场勘察，或攀爬机器人巡检的方式对绝缘子缺陷进行检测，检测效率不高。机器学习方法凭借稳定的分类效果和快速的检测性能在图像识别领域得到广泛应用，通常包括图像数据集的构建、预处理、特征数据提取以及分类器训练等流程[6]。文献[7]提出了一种绝缘子检测和缺陷分类算法，利用单片绝缘子图像的局部方向性特征（Local Derivative Pattern，LDP）与旋转不变局部方向性特征（Rotation Invariant-Local Derivative Pattern，RI-LDP）对支持向量机进行训练，缺陷识别率为89.94%。文献[8-9]提出了一种复合绝缘子缺陷识别方法，利用椭圆曲线对Canny 算子提取的绝缘子边缘进行拟合，并通过拟合前后边缘曲线的差异有效识别绝缘子缺陷区域。文献[10]根据玻璃绝缘子和陶瓷绝缘子的颜色特征和空间形态特征识别绝缘子目标区域，对目标区域进行形态处理以突出断层位置，并根据有无断层绝缘子的空间特征实现故障识别，测试精度达90.6%。文献[11]通过颜色特征分割绝缘子图像，并标记图像中绝缘子连接区域，根据连接区域的垂直长度与相邻绝缘子的水平距离确定缺陷判别式从而检测绝缘子缺陷。文献[12]利用提取的方向梯度直方图（Histogram of Oriented Gradient，HOG）特征与灰度共生矩阵（Gray-Level Cooccurrence Matrix，GLCM）特征对优化的粒子群算法优化支持向量机（Particle Swarm Optimization-Support Vector Machines，PSO-SVM）分类器进行训练，以实现完好和缺陷绝缘子的分类识别，缺陷绝缘子识别准确率为90%。

考虑到绝缘子及其缺陷边缘信息不显著[13]与单个特征的局限性，本文提出了一种基于结构相似性指标策略-Sobel（Structural Similarity Index Measure-Sobel，SSIM-Sobel）与多特征融合的绝缘子缺陷分类识别方法。利用SSIM-Sobel 算法强化绝缘子缺陷边缘，增强图像对比度；再提取其HOG 特征、局部二值特征（Local Binary Pattern，LBP）与GLCM 特征，并将其融合后输入随机森林分类器进行训练，实现绝缘子缺陷的分类识别。

1 绝缘子边缘强化预处理

绝缘子缺陷识别易受光照、拍摄角度等外界因素影响，为此本文采用拉普拉斯锐化、伽马校正与SSIM-Sobel 边缘提取算法增强图像对比度并强化绝缘子缺陷边缘。具体步骤如下：

1）采用拉普拉斯锐化[14]、伽马校正算法[15]突出绝缘子及缺陷边缘细节。采用[0，1，0；1，-4，1；0，1，0]的拉普拉斯模板对二维绝缘子图像g（x，y）进行滤波处理，获得其拉普拉斯锐化图h（x，y），x与y分别为行像素与列像素。根据式（1）对h（x，y）进行伽马校正，以增强绝缘子图像对比度。

式中：γ为伽马系数，本文取为1.2[16]；∇2g(x,y)为求图像g(x,y)的二阶微分。

2）计算SSIM 值[17]以自适应选取Sobel 算子模板。其原理是将一幅完好绝缘子图像作为固定模板Y，对任意输入图像X 与Y 作图像分块处理，并按照式（2）计算各分块SSIM 的值（用TSSIM表示，无量纲），再以其均值作为预处理后绝缘子图像整体TSSIM，TSSIM计算公式为：

式中，α，β，λ为权重；I（x，y），c（x，y），s（x，y）分别为亮度、标准差和结构对比度，可表示为：

式中：μx和μy分别为图像X，Y 的平均灰度；σx和σy分别为图像X，Y 的标准差；σxy为X 与Y 的协方差；L为图像灰度级数；K1，K2为远小于1 的常数。

以完好、破损、电弧灼伤各15 幅绝缘子图像作为基础，提取其TSSIM，绘制图1 所示曲线，可知当TSSIM为0.45 时能够有效区分绝缘子完好、破损缺陷状态，故本文取TSSIM阈值为0.45。

图1 阈值选取示意图Fig.1 Diagram showing threshold selection

3）自适应选取Sobel 边缘提取模板[18]。计算任意绝缘子图像与模板图像的TSSIM，并与预先设置阈值进行比较，按照式（4）自适应选取图2 中3×3 与5×5 的水平和垂直Sobel 边缘提取模板，利用不同尺度模板与图像f（x，y）分别进行卷积得到不同边缘强化图像。

图2 Sobel方向模板图示Fig.2 Illustration of Sobel direction template

以一幅电弧灼伤图像为例，处理前后效果如图3 所示。

图3 边缘强化效果对比图Fig.3 Comparison of edge strengthening effect

2 输电线路绝缘子缺陷分类识别方法

为克服单个特征无法全面描述图像的局限性，提出一种多特征融合的绝缘子缺陷分类识别方法，实现流程如图4 所示。

图4 绝缘子缺陷分类识别流程Fig.4 Process of insulator defect classification identification

2.1 特征提取与融合

2.1.1 HOG特征

HOG 是由DALAL 等人[19]提出的一种描述图像局部特征的算子。针对边缘强化绝缘子图像，根据式（5）和式（6）计算图像中每个像素点的梯度。

式中：K(x,y)，δ(x,y)分别为像素(x,y)的梯度幅值与方向；Kx(x,y)与Ky(x,y)分别为其水平和垂直方向梯度。

式中：H（x，y）为像素值。

将绝缘子图像划分若干个8×8 的单元，统计每个单元的梯度方向直方图，并进行加权投影（其原理是将2π角度平均划分为若干个方向块，并计数相应梯度方向内存在的梯度幅值数目），构成每个单元的HOG 特征；最终串联若干个单元组成block（块）的HOG 特征，再串联每个block 的HOG 特征，以提取图像的HOG 特征。

2.1.2 LBP特征

LBP 是一种具有旋转不变性和良好光照鲁棒性的局部纹理特征算子，其原理是以任意中心像素点（xc，yc）构建一个半径为R的圆形邻域[20]，根据式（7）计算中心像素点周围p个像素点的灰度值，并与中心像素点的灰度值比较，形成p位二进制数，然后根据矩阵编码转化为十进制数，即为（xc，yc）的LBP 特征值。特征数据TLBP可描述为：

式中：ic为像素点(xc,yc)的灰度值；ip为邻域内像素点(xp,yp)的灰度值。

2.1.3 GLCM特征

GLCM 特征提取原理为通过统计一幅图像中任意两像素点在一定距离d与方向θ下成对出现的概率，构建GLCM 灰度共生矩阵，以反映图像的方向、距离和灰度值变化。GLCM 在点（x，y）处的概率值可表示为：

式中：a，b为偏移量；方向θ取0°；i，j分别为两像素点的灰度值。

由于灰度共生矩阵参数量较大，常选用统计特征来表征图像纹理特征。在HARALICK[21]定义的14 种描述图像纹理的统计特征中，选用角二阶矩（Angular Second Moment，ASM）、对比度（Contrast，CON）、熵（Entropy，ENT）与逆差距（Inverse Differential Moment，IDM）来构建GLCM 纹理特征，它们的值用DASM，DCON，DENT和DIDM表示。

最后根据式（10）对HOG，LBP 与GLCM 特征进行串行特征融合[22]，融合特征FM作为分类器的训练与测试数据。

式中：Concat 为串行特征融合运算；FHOG，FLBP与FGLCM分别为HOG，LBP 与GLCM 的特征数据值。

2.2 随机森林分类器

随机森林（Random Forest，RF）是一种基于决策树的有监督的学习算法[23]。输入样本与特征数据的随机选取使RF 分类器能够充分降低数据过拟合的影响，具有较强的泛化能力，其结构如图5 所示。

图5 RF分类模型Fig.5 RF classification model

从训练样本中有放回地随机抽取K个样本数据构建一个训练子集[24]，将其作为根节点存储数据；多次抽取构建n个训练子集，每个训练子集对应一棵分类回归树，并进行分类树分裂；在分类树分裂时，从全部M维度特征数据中随机选取m维（m＜＜M），再根据基尼系数最小原则选取最优分裂特征将样本划分为2 个子节点，直至子节点基尼系数为0。基尼系数G(p)计算方式为：

式中：k为类别数；pi为第i个类别样本比例。

将n棵树组成随机森林，并根据投票原则，选择得票数目最多的作为最终分类结果。

3 算例结果及分析

3.1 绝缘子图像数据集构建

根据无人机[25]航拍收集的1 690 幅原始绝缘子图像样本，手动提取出完好、破损、电弧灼伤3 种绝缘子片图像，每类图像500 幅，共计1 500 幅，构建本文算例所需的绝缘子图像数据集。其中，3 类典型图像如图6 所示。算例实现与分析过程中，按照8:2 的比例划分为训练集和测试集，结合边缘强化处理、特征提取与融合、RF 分类器，实现绝缘子完好、破损、电弧灼伤3 种状态的分类识别。

图6 典型绝缘子图像样本Fig.6 Typical insulator image samples

3.2 评价指标

为便于分析模型性能，采用检测分类中常用的精准率P、召回率R及平均精准率PA评价指标来评估模型的分类效果。其数学表达式为：

式中：TP为正确分类的目标数量；FP为将其他目标分类为正确目标的数量；FN为将正确目标分类为其他目标的数量；TP+FP为已分类目标总数；TP+FN为待分类目标总数；Pi为第i类目标精准率；N为分类目标种类，本文为3。

3.3 消融实验

针对绝缘子及其缺陷边缘信息不显著问题[26]，本文通过SSIM-Sobel 方法强化绝缘子及其缺陷边缘，并与原始Sobel 算法进行对比，其结果如表1 所示。可以看出，本文提出的SSIM-Sobel 方法在绝缘子缺陷的分类精准率与平均精准率上均有大幅提升，其中以绝缘子破损缺陷的精准率提升最为显著。GLCM 与LBP 特征对应的破损缺陷精准率分别提升33%和13%，HOG 特征对应的精准率高达99%，验证了SSIM-Sobel 方法能够有效增强绝缘子及其缺陷的边缘，提高分类器的识别精度。

表1 Sobel算子优化结果对比Table 1 Comparison of optimization results between Sobel operators %

同时，为了验证本文提出的多特征融合策略，开展了如表2 所示的4 组消融实验。根据表2 结果可知，HOG 与GLCM 特征融合时PA值最低；LBP与GLCM 特征融合，及HOG 与LBP 特征融合时，其R值与PA值能够达到87%以上，能够有效减少误检现象；而当HOG，LBP，GLCM 3 个特征融合时，绝缘子缺陷识别效果最优，达92.67%，其中破损缺陷的精准率达99%，验证了本文提出的多特征融合方法能够有效提高绝缘子缺陷的识别精度[27-29]。

表2 不同特征融合的结果对比Table 2 Comparison of results with different feature fusion %

3.4 分类模型对比分析

基于HOG，LBP 与GLCM 特征融合数据，分别对额外构建的最邻近分类（K Nearest Neighbor，KNN）、支持向量机（Support Vector Machines，SVM）与朴素贝叶斯（Naive Bayes，NB）分类器进行训练与测试，验证RF 分类器在绝缘子缺陷分类上的优越性，结果如表3 所示。

表3 训练不同分类器模型的实验结果对比Table 3 Comparison of experimental results for training different classifier models %

根据表3 结果可知，KNN 分类器虽然能够在绝缘子破损缺陷识别上P值达100%，但对电弧灼伤而言其P值仅为25%；NB 与SVM 分类器的PA值分别能够达到83.67%和85.67%，且有效减少了误检情况。总体而言，RF 分类器结果最优，具有92.67%的分类平均精准率和91.29%的召回率，优于其他3 种分类器。

4 结论

本文根据输电线路绝缘子图像数据集，开展了基于SSIM-Sobel 与多特征融合的绝缘子缺陷识别算例，对比分析了Sobel 算子优化前后、多特征融合与不同分类器对缺陷识别精度的影响，得出如下结论：

1）采用SSIM-Sobel 算法可以有效强化绝缘子及其缺陷的边缘，在实验中相对于Sobel 算法处理的图像识别平均精准率提高20%以上。

2）提出的多特征融合方法，能够为绝缘子缺陷识别提供更有效的信息，识别的平均精准率可达92.67%，可助力输电线路巡检人员开展绝缘子日常运维工作。

3）提出的多特征融合与随机森林集成学习分类方法与SVM 等分类器进行比较，缺陷识别率有明显的提升，具有良好的鲁棒性。