基于深度学习与Hu不变矩的绝缘子故障检测

张子健，马吉恩，2，李旭峰，方攸同

(1.浙江大学 电气工程学院,浙江 杭州 310027；2.浙江大学 西部发展研究院,浙江 杭州 310012；3.浙江科技学院 机械与汽车工程学院，浙江 杭州 310023)

接触网作为电气化铁路的重要组成部分，其状态的优劣直接影响到电气化铁路的运行安全和可靠性[1]。目前的检测系统主要是通过人工识别图像进行检测，存在检测效率低、检测周期长等问题。

随着高速铁路的快速发展，接触网检测和维护成为高速铁路后期运营维护的重要内容[2]。为了实现接触网快速、有效、自动检测和故障反馈，各研究机构和科研院所开展了一系列基于图像处理技术的高铁接触网方面的研究。文献[3]利用形态学图像处理与Hough变换相结合的方法，实现受电弓滑板状态检测。文献[4]利用链码与Randon变换相结合的方法，实现接触网定位器检测。文献[5]利用二代曲波变换以及条带能量法进行绝缘子故障检测。文献[6]利用模板匹配进行绝缘子的定位，利用灰度奇异值检测实现状态判断。文献[7]基于轮廓波变换和Chan-Vese模型，提出一种检测和识别高速铁路棒式绝缘子的方法。文献[8]利用Harris角点与谱聚类实现绝缘子的抗旋转匹配和故障检测。文献[9]利用Harris角点配准与图像差分实现了绝缘子的定位和故障检测。文献[10]提出一种HOG特征与二维Gabor小波相结合的图像检测方法。文献[11]利用深度学习Faster R-CNN模型和Hough变换进行接触网定位器坡度测量。文献[12]利用SIFT算法和改进的RANSAC算法实现双耳部件定位，利用Hough变换和灰度值统计实现销钉状态检测。

本文针对高铁接触网绝缘子故障检测问题，提出一种基于EAST模型的绝缘子定位方法。在定位的基础上，提取绝缘子每片轮廓，利用Hu不变矩进行相似度对比，判断绝缘子是否存在故障。主要包括以下两部分内容：

第一部分是绝缘子区域的检测，检测流程为

(1)将待检测图像输入深度卷积神经网络提取多层级的特征。

(2)将不同层级的特征融合。

(3)将融合结果送入输出层生成掩膜图，与输入图像进行掩膜操作得到绝缘子区域图像。

第二部分是基于Hu不变矩的绝缘子故障检测，检测流程为：

(1)二值化边缘检测提取绝缘子每片轮廓。

(2)利用Hu不变矩逐片进行轮廓相似度对比，通过对比结果判断绝缘子是否存在故障。

1 基于深度学习的绝缘子区域检测

高效且准确的文本检测器(Efficient and Accurate Scene Text Detector，EAST)是由ZHOU等[13]基于文本检测问题提出的算法。该方法与以往文本检测方法不同之处在于，省去不必要的中间过程，使用全卷积网络直接在图像中产生单词或文本行级别的预测，预测结果可以是任意方向的四边形。在文本检测标准数据集上的实验结果表明，EAST算法的精度和效率都达到了较高水平。由于EAST模型的预测结果可以是任意方向的，可用于高铁接触网场景下绝缘子的检测识别。

1.1 特征提取

检测阶段流程如图1所示。使用在ImageNet数据集上进行预训练的、卷积层和池化层交错的神经网络进行特征提取。提取出4个层级的特征图，特征图fi的尺寸分别为输入图像的1/32，1/16，1/8，1/4。采用ResNet-50[14]作为特征提取网络，各卷积阶段的输出结果分别作为4个层级的特征图。

图1 检测算法流程

1.2 特征融合

在目标检测场景中，目标的尺寸往往差异较大， 小目标的检测依赖于网络浅层的位置信息，大目标的检测依赖于网络深层的语义信息，但由于浅层语义及深层位置信息较少，导致检测不够准确。将浅层和深层的特征图进行融合操作，可以提高检测的准确性。

将提取出的不同层级的特征图进行融合

(1)

(2)

式中：gi为特征融合的基础；fi为各层级的特征图；hi为融合后的特征图；unpool为反池化层；convn×n为卷积核大小为n×n的卷积层；运算符[·;·]表示沿深度方向连结。在每个融合阶段，将上一阶段的融合后的特征图hi-1送入反池化层使其尺寸翻倍，得到gi-1与当前阶段的特征图fi连结。通过卷积核尺寸1×1的卷积层削减特征图的深度，减少计算量。最后通过卷积核尺寸3×3的卷积层聚合信息，生成本阶段的融合结果hi。在最后一个特征融合阶段，h4通过卷积核尺寸3×3的卷积层生成特征融合阶段最终的特征图，并将其送入输出层。

1.3 输出阶段

在输出阶段，特征融合阶段输出的特征图通过卷积核尺寸1×1、深度为1的卷积层生成掩膜图，掩膜图与输入图像进行掩膜操作得到输出结果。对掩膜图计算最小包围矩形，取出绝缘子并旋转至水平送入后续故障检测算法。

EAST模型损失函数定义为

(3)

式中：Ypre为模型预测的掩膜图；Ygt为训练数据真实的掩膜图；ξ为防止分母为0的小正值。

2 基于Hu不变矩法的绝缘子故障检测

对于输出结果图像，通过最小包围矩形将其绝缘子单独提取出来，对绝缘子进行故障检测。传统方法如模板匹配算法或特征点匹配算法，在不同场景下，由于其拍摄角度、拍摄距离及光照等因素影响，对不同绝缘子直接匹配相似度效果不好。故采用Hu不变矩逐片进行绝缘子相似度对比。

2.1 图像预处理

为了提高图像识别算法的精度，降低噪声对绝缘子图像轮廓提取的影响并使轮廓更加明显，需要对图像进行降噪和锐化的预处理操作。

本文采用中值滤波降噪法，其是一种常用的非线性平滑滤波器，原理是把数字图像中一点的值用以该点领域中各点值的中值替换。其主要功能是让周围象素灰度值相差较大的像素改取为与周围的像素值接近的值，从而消除孤立的噪声点。中值滤波器不但能去除噪声，而且能保护图像的边缘，从而降低图像的失真度。

图像锐化是指增强图像边缘及灰度跳变部分，以此使得图像清晰。根据其算子的不同，图像锐化操作也分为多类，现在普遍采用的是拉普拉斯算子。拉普拉斯锐化是根据图像中某个像素的周围像素到此像素的灰度跳变程度，它的依据是图像像素的变化程度。当某邻域中心像素灰度低于它所在的领域内其他像素的平均灰度时，此中心像素的灰度应该被降低；反之此中心像素的灰度应该被升高。以此来实现图像的锐化处理。

拉普拉斯锐化图像的具体原理如下

(4)

(5)

(6)

以上为一阶微分法，能用来检测图像边缘是否存在。

以下为二阶微分法，即拉普拉斯算子可以确定边缘的位置。

f(x+1,y)-f(x,y-1)

(7)

形式为式(7)的拉普拉斯算子的模板可用矩阵表示为

将算得的值替换原(x，y)处的像素值，可以找到类似边界的地方，最后根据式(8)锐化图像。锐化效果如图2所示，可以看出锐化后图像更为清晰，便于接下来进行轮廓提取。

图2 锐化图像

(8)

2.2 绝缘子轮廓检测

绝缘子图像经过上述预处理后，即可进行轮廓提取。先对图像进行二值化操作，再对二值化图片进行轮廓提取，判定黑白交接处为边缘轮廓。由于相机对绝缘子拍摄角度的影响，对图像进行拉伸处理，突出轮廓的弧度以便后续的轮廓相似度对比。图像二值化的公式为

(9)

式中：r代表图像像素点的灰度值；0表示最黑；255表示最白；A、B分别代表灰度值的两个边界阈值。二值化结果如图3所示。

图3 二值化结果

2.3 绝缘子单片轮廓定位

为了寻找到最佳的绝缘子各单片轮廓，对每次二值化边缘检测后的轮廓进行分析，设定单片轮廓大小和数量作为标定的轮廓数据，将检测到的轮廓数据，即单片轮廓长宽和单片轮廓数量，与设定的值相比较，自动调节图像二值化操作的阈值。A的初始值为60，B的初始值为255，此处的自动调节阈值是对A进行调节，使其值从60向250进行递增变化，每次递增步长值为1，直到检测到符合要求的绝缘子图像的单片轮廓。若未检测到要求的轮廓，则降低轮廓数量要求，并重复上述方法进行轮廓检测。如图4所示，对于检测到符合要求的绝缘子图像的单片轮廓，保留其弧形区域，即图4中的每片轮廓的左半边区域，剩下的区域用直线段对保留的弧形区域首尾进行连接。

图4 二值化边缘检测及轮廓提取结果

2.4 绝缘子轮廓相似度对比

对于轮廓数不足设定数量的轮廓图，计算每片绝缘子轮廓质心及相邻质心的距离。根据距离信息判断绝缘子是否存在缺片故障。对于轮廓数满足要求以及距离计算未发现异常的轮廓图，进行相似度对比判断绝缘子是否存在缺陷。

轮廓相似度对比的原理是基于图像的7个Hu不变矩，对上述方法提取到的绝缘子单片轮廓保留结果，选取其中一片轮廓与其他轮廓两两进行相似度对比，得到一组数据并计算标准偏差，然后换一片轮廓与其他轮廓两两进行相似度对比，再得到一组数据并计算标准偏差，直到所有单片轮廓都与其他轮廓两两比较完，比较得到最大标准偏差。轮廓相似度对比所得值越大表示两轮廓不相似程度越大。

矩是描述图像特征的算子，它可用于图像分析领域并用于图像特征的提取。常见的矩算子可分为以下几种：几何矩、复数矩、旋转矩和正交矩。其中几何矩提出的时间最早且对它的研究最为充分。几何矩主要表现了图像区域的几何特征，由于其具有平移、旋转、大小等特性的不变特征，所以又称其为不变矩。对于图像的不变特征属性，Hu教授在1962年提出了7个不变矩(简称为Hu矩)[15]。在图像处理中，几何不变矩可作为一个重要的特征对图像进行比对等操作。

一幅数字图像f(x，y)的二维(p+q)阶矩定义为

(10)

式中：p，q=0，1，2，…。

相应中心矩定义为

(11)

归一化(p+q)阶中心矩定义为

(12)

可由以上公式推导出以下7个对缩放、平移、旋转和镜像都不敏感的二维不变矩集合及7个Hu不变矩。

φ1=φ20+φ02

(13)

(14)

φ3=(φ30-3φ12)2+(3φ21-φ03)2

(15)

φ4=(φ30+φ12)2+(φ21+φ03)2

(16)

φ5=(φ30-3φ12)(φ30+φ12)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ21-φ03)(φ21+φ03)·

[3(φ30+φ12)2-(φ21+φ03)2]

(17)

φ6=(φ20-φ02)[(φ30+φ12)2-(φ21+φ03)2]+

4φ11(φ30+φ12)(φ21+φ03)

(18)

φ7=(3φ21-φ03)(φ30+φ21)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ12-φ30)(φ21+φ03)

[3(φ30+φ12)2-(φ21+φ03)2]

(19)

对于得到的7个Hu不变矩，通过式(20)计算如A，B两个轮廓之间的相似度，0为两个轮廓完全相似，其值越大越不相似。选取其中一片绝缘子轮廓与其他轮廓进行一一对比相似度，得到一组轮廓相似度数据，对该数据按照式(21)计算标准偏差。

(20)

(21)

3 实验结果与分析

3.1 基于EAST模型的绝缘子区域检测

为了验证基于EAST的绝缘子检测模型的可靠性，采用实际铁路拍摄的3 500张接触网图像为样本集。将该样本集随机分为训练集(2 000张)和测试集(1 500张)。选用ResNet-50作为特征提取网络，运行环境为Intel Core i7-7700和NVDIA TITAN Xp，训练阶段迭代次数24 000次。

如图5所示，检测阶段，待检测图像通过特征提取网络提取多层级特征并进行特征融合，根据得到的融合结果预测掩膜图，最后与待检测图像进行掩膜操作得到结果图。

图5 检测过程示意

传统的目标检测方法对图像一致性要求较高，高铁接触网图像由于拍摄角度不同存在形变、拍摄距离不同存在多种尺度、光照条件不同及背景干扰等原因，导致传统方法难以达到较高的精度。而EAST模型使用卷积神经网络提取图像由浅到深不同层级的特征，与传统方法相比，对形变、多尺度等不同场景的适应性更强。图6展示了本文模型对于正反两种定位结构、单一/多目标、不同尺度、存在遮挡等情况下的检测结果。

图6 部分检测结果

准确率评价标准为：预测绝缘子区域和绝缘子真实区域交并比超过75%即为预测正确，具体计算如式(22)所示。

(22)

在测试集1 500张图像上，准确率达到了97.1%。除检测精度以外，检测速度也是衡量模型的一项重要指标。经过实验，在本文运行环境下，基于EAST模型的绝缘子区域检测算法检测每张图像的平均时长为0.37 s，基本达到了高铁接触网场景下实时检测的要求。

从实验结果可以看出，基于EAST模型的检测算法较为鲁棒，在不同场景下可以保证一个较高的检测精度和较快的检测速度，实现了高精度实时绝缘子区域检测识别。

3.2 基于Hu不变矩法的绝缘子故障检测

根据前文所述流程进行故障检测，检测步骤分为图像预处理(降噪和锐化)，图像二值化，提取绝缘子每片轮廓，逐片计算绝缘子轮廓的Hu矩，两两计算其Hu矩的相似度以及最大标准偏差，并与阈值进行比较，大于阈值则认为存在故障。

正常绝缘子轮廓提取结果如图7(a)所示，其轮廓相似度标准偏差最大值为0.304，具体结果见表1，这里的数据是选取了第2片绝缘子轮廓与其他绝缘子轮廓一一对比相似度，可见其值均较小，其标准偏差也较小，因此可判定该绝缘子无缺陷。

图7 测试图像及轮廓提取

表1 轮廓相似度(标准偏差0.304)

如图7(b)所示缺陷绝缘子，可以看到其第9片绝缘子片有缺损情况，对其轮廓图像进行相似度计算，其轮廓相似度标准偏差最大值为0.661，具体结果见表2，这里的数据是选取了第8片绝缘子轮廓与其他绝缘子轮廓一一对比相似度，当与第9片绝缘子做对比时，其值过大，可判定第9片绝缘轮廓与所选第8片绝缘子轮廓不相似，绝缘子存在缺陷。

表2 轮廓相似度(标准偏差0.661)

如图7(c)所示缺陷绝缘子，可以看到其自左向右第4片绝缘子有较严重缺损情况，其轮廓提取图像中只包含10片轮廓，计算其轮廓间距见表3，可见编号为3的间距明显过大，进一步确认绝缘子存在缺陷。

表3 绝缘子片间距

图7(d)所示为正常绝缘子，其轮廓相似度计算结果见表4，其表面未带有缺陷，标准偏差却达到了较高的3.0。造成这样结果的原因是该绝缘子图像拍摄角度较正，对该绝缘子提取到的轮廓偏窄，细微的不同也会对相似度计算产生较大影响，从而引起误判。

表4 轮廓相似度(标准偏差3.0)

如图7(e)所示缺陷绝缘子，可以看到其第1片绝缘子片左侧有脏污情况，其轮廓相似度计算结果见表5，标准偏差仅为为0.264。由轮廓提取图可以看出，该缺陷对轮廓提取未造成影响。

表5 轮廓相似度(标准偏差0.264)

整个测试数据共选取了图片1 050张，其中正常绝缘子1 000张，缺陷绝缘子50张。设定相似度数据的最大标准偏差阈值为0.42，超过0.42的为有缺陷，检测结果见表6，误报94张，漏报2张。分析误报图片，主要分为以下两类：一是质量较低，图像较为模糊，提取不到有效的轮廓信息；二是拍摄角度较正，绝缘子图像提取到的轮廓较狭窄，稍有不同就会得到较高的相似度偏差，从而被误判为缺陷。分析漏报的2张图片，有以下特点：缺陷不在绝缘子片上，无法通过轮廓相似度进行区分。

表6 检测结果统计

4 结束语

为解决高铁接触网绝缘子故障检测问题，本文引入深度学习EAST模型，实现较为鲁棒、快速、高精度的绝缘子定位。故障检测阶段，采用二值化边缘检测提取绝缘子每片轮廓，根据Hu不变矩进行相似度对比，通过相似度差异判断绝缘子是否存在故障。本文提出的基于深度学习的定位方法较传统方法性能有较大提升，故障检测方法通过对同一绝缘子不同片相似度判断绝缘子状态，避免了接触网图像一致性较差的问题，为高铁接触网绝缘子故障检测提供一种新思路。