基于机器视觉的瓷瓶绝缘子表面缺陷检测方法

白海城，林湘军，刘书洋

（1.辽宁石油化工大学 信息与控制工程学院，辽宁抚顺，113001；2.辽宁石油化工大学 理学院，辽宁抚顺，113001）

陶瓷瓶绝缘子具有十分优异的物理性能，在变电站中具有广泛应用。但其在制作及处理等生产过程中很容易产生缺陷降低了成品率[1]。目前国内生产商已采用一些陶瓷表面瑕疵检测方法，例如射线检测、磁粉检测等手段，然而这些检测方法具有环境要求及检测成本高、成像不直观等局限性，有的甚至还会对人体造成危害。所以大部分生产厂家仍采用人工检测，即人工目视的方法。但目视检测需要较长的时间，人员易疲劳，且其精度主要依赖于工人的经验，因此对材料性能的评估需要其他有效的手段，更重要的是其无法实现连续在线检测，因而大大降低了生产效率，且增加了安全隐患。机器视觉识别技术在表面缺陷识别与分类中的应用，有效地改善了识别的精确度和效率，为企业的大规模生产创造了条件[2]。有关陶瓷材料的裂纹检测已经有很多文献，例如，张军[3]等使用差影法实现瓷砖的裂纹识别；刘行谋[4]等提出了改进的YOLOv4 算法来识别电力绝缘子图像是否存在缺陷；张子健[5]等利用EAST 模型与Hu 不变矩的检测方法来判断绝缘子是否存在故障；等等，但现有文献都是针对电力系统中的瓷瓶绝缘子进行巡检，鲜有文献讨论生产过程中流水线上的瓷瓶绝缘子表面存在缺陷问题的实时监测。因此，本文对采集到的图像进行图像预处理、缺陷定位、特征提取[6]、缺陷识别和缺陷分类[7]等一系列操作，提出了一种基于机器视觉的瓷瓶绝缘子表面缺陷检测方法，实现了针对高压瓷瓶缺陷的识别与分类。该方法通过建立一个BP 神经网络模型[8]，根据模型匹配程度[9]识别高压瓷瓶的表面缺陷类型[10]。当缺陷被检测到时，检测界面会播放音乐提示被检测瓷瓶绝缘子存在缺陷问题并显示出缺陷位置与类型。该方法的提出将为实现高压绝缘子质量的自动化检测、提高检测的精确度和速度以及释放生产力提供依据。

1 建立BP 神经网络模型

■1.1 特征值提取

对仅含有缺陷的图像进行特征提取，具有差异化的特征值[11]能够很好地反映图像的信息。本文提取的3 个特征值，分别是垂直投影、HU 不变矩的7 个不变矩(M1 ～M7)中的M2 以及傅里叶描述子。

1.1.1 垂直投影

图像的垂直投影[12]序列为：

式中，t(i,j) 表示处理后的缺陷二值图像。

缺陷图像的垂直投影图如图1 所示。

图1 垂直投影图

利用countNonZero 函数统计每一列中非零元素的个数，将所有列中的非零个数相加再求平均值，即可得到特征值－垂直投影值，由图2 数据可明显得到，垂直投影特征可以明显区分斑点和其他缺陷。

图2 图像特征值－垂直投影

1.1.2 HU 不变矩

由于缺陷的不确定性，缺陷轮廓存在旋转角度时，归一化矩[13]会发生变化，所以就需要具有旋转、平移、尺度等不变的特性的HU 不变矩来解决这个问题。

Hu 矩其实是一个包含了七个不变矩的集合，这七个不变矩分别由多个二、三阶中心距组合计算而成，根据公式(2)，我们只要计算出所需要的二、三阶中心距，就可以将这七个不变矩分别计算出来，最终得到所需要的Hu 矩。OpenCV中利用HuMoments 函数求取HU 矩，就可以比较完善地表示一幅图像或者轮廓的特征。

7 个不变矩的计算公式：

如图3 所示，Hu 不变矩中的二阶矩表示图像的大小和方向，可以将网状裂缝与其他三类缺陷区分出来。

图3 图像特征值-HU 不变矩

1.1.3 傅里叶描述子

缺陷的灰度值与瓷瓶背景的灰度值相差很大，当出现缺陷时，傅里叶函数会产生明显跃变，可以用来表示缺陷的形状特征，因此可将傅里叶描述子[14]作为缺陷的特征描述子。

为了使傅里叶描述子能表示作为缺陷图像的差异化特征值，对傅里叶系数做如下处理：

式中，D为高压瓷瓶的傅里叶描述子特征值，a(u) 为边界的傅里叶描述子。

结果如图4 所示，傅里叶描述子作为缺陷的特征描述子可以将线性裂缝与其他三类缺陷区分出来。

图4 图像特征值－傅里叶描述子

■1.2 BP 神经网络的改进

为了能更快速有效地识别瓷瓶缺陷，对BP 神经网络[15]的输入层参数选择根据表1 来设定。

表1 缺陷图像特征参数

2 方案设计

■2.1 检测流程

运用数字图像处理的相关算法以及OpenCV 来处理瓷瓶图像并提取缺陷图像；通过得到缺陷图像的特征向量实现人工神经网络的创建、训练以及识别；再针对终端用户的能力及需求保证信息可视化的合理性。

在瓷瓶缺陷的图像处理过程中，如图5 所示，重点在瓷瓶缺陷的提取，难点在如何正确提取特征值。

图5 瓷瓶缺陷识别主要步骤

（1）采集图像：方案设计旨在工厂流水线上针对高压绝缘子进行缺陷检测，系统设置一个光源和三个摄像头，分别从不同角度实现对绝缘子的视频采集，从而提取感兴趣的区域进行进一步处理。

（2）图像预处理：采集到的图像由于存在污渍、噪声等因素影响，在通过神经网络进行缺陷识别分类之前要先进行图像预处理操作来改善图像的品质。针对采集到的瓷瓶绝缘子图像中存在的由于光线产生的噪声问题，本文采用双边滤波后进行掩膜操作的手段来实现对瓷瓶缺陷的平滑处理，从而去除图像中的随机噪声和人为干扰。

双边滤波法是一种非线性的平滑滤波的方法，它能很好地保持边缘细节，有利于后续的特征提取等操作，其数学公式如下：

式中，G(x,y) 为采集到的瓷瓶图像进行双边滤波操作后的平滑图像，Q(x,y) 表示瓷瓶图像以(x,y) 为中心的模块区域像素集合，g(x,y) 为Q(x,y) 区域的中心像素值，dσ为双边滤波过程中每个模块区域的直径，sσ为瓷瓶图像的灰度差值。

式中，F2D为瓷瓶绝缘子图像的掩膜模板。

（3）图像分析：由于人工放置的瓷瓶，导致其位置距离相机的远近存在差距，从而产生了对缺陷的描述复杂、光影变幻以及由于视角转换而产生的物体形状改变等问题。为了解决这些问题，首先利用canny 边缘算子得到绝缘子粗轮廓并校正瓷瓶的旋转角度使瓷瓶保持直立，再利用闭运算消除小的孔洞，从而确定陶瓷瓶的外型特征并对绝缘子进行裁剪以校准缺陷坐标。

（4）缺陷提取：缺陷通常与瓷瓶的边缘相隔离，并且它的灰度和周边的瓷瓶环境有很大的差异。根据缺陷的这一特征，利用高斯拉普通拉斯（Laplace of Gaussian,LOG）算子进行检测，得到模型检测所需的缺陷图像。

（5）缺陷分类：通过数学运算获得缺陷图像的三个特征值作为神经网络的输入节点，根据训练好的模型输出识别结果，完成针对高压瓷瓶的表面缺陷识别分类。

■2.2 人机交互界面设计

与传统的数据信息相比，信息可视化具有严谨和美感；具有更加直观、舒适的观看体验。对于使用者来说，信息可视化是一项冗余的工作，其利用视觉要素如图形、色彩、版式、文字等，能有效地刺激使用者的理解与认知。

如图6 所示，主界面设置相关按钮，进行对应的检测操作，当识别出缺陷时，系统会触发警报，播放音乐提示监测人员。副界面显示瓷瓶图像、缺陷图像、图像编号、裂缝类型、裂缝位置等信息，如图7 所示。

图6 高压瓷瓶缺陷检测系统的主界面

图7 高压瓷瓶缺陷检测系统的副界面

3 实验

■3.1 瓷瓶定位和缺陷定位

为了得到标准化的缺陷位置坐标，先对采集到的图像进行瓷瓶定位，得到统一的瓷瓶图像，如图8 所示。

图8 瓷瓶定位

在瓷瓶为白、底为黑的情况下，其基本原则是去掉内圈的点，保持最外围的点。故经过反复对比将高阈值设为100、低阈值设置为0 时，获得的图像最易识别如图8(a)所示得到瓷瓶的粗轮廓。绘制的瓷瓶外轮廓图像如图8(b)所示，原始图像进行校正之后的结果如图8(c)所示。

对标准化后的瓷瓶图像进行二值化处理后再次检测，实现高压瓷瓶的缺陷定位，如图9 所示，本文针对3 种缺陷进行分类识别，图9(a)为线性裂缝缺陷图像，图9(b)为网状裂缝缺陷图像，图9(c)为斑点缺陷图像。分析得到的缺陷图像，可以获得神经网络所需的输入值，进而实现对高压瓷瓶的缺陷检测。

图9 瓷瓶缺陷定位

■3.2 模型测试

实验设置的缺陷为4 类，分别是线性裂缝、网状裂缝、斑点及无缺陷，其中每类有100 个训练图片，共4×100 个训练图片。

按文件夹顺序读入训练图片，调用三类特征计算函数，把得到的集合保存在特征向量中，同时把图像对应的预期输出保存在输出向量中。

构造BP 神经网络，设计一个3 层的神经网络。输入节点为图像的垂直投影、模式矩阵的不变矩以及傅里叶描述子。而缺陷的类型：线性裂缝、网状裂缝、斑点、无缺陷则作为网络的输出，分别用1000、0100、0010、0001 来表征。其隐含层节点数选定为30 个节点，迭代次数设置为10000，运用BACKPROP 的训练方法进行训练和识别。

各选取线性裂缝、网状裂缝、斑点、无缺陷的100 份特征向量作为测试样本，得到了400 组相同的四维输出向量，即样本与各类缺陷的相关性。如表2 所示部分实验结果，BP 算法的四维输出向量的值分别是(-0.40311 -0.40311-0.40311 1.403105),比较四个数字，求出最大的数字的位置记为1，其他位置记为0，这样就可以将图像准确标记为(0 0 0 1)，图像识别结构为无缺陷。类似的，可以准确完成其他图像的识别。

表2 神经网络的相关性输出结果

实验结果表明，基于机器视觉的瓷瓶绝缘子表面缺陷检测方法对以上四种缺陷类型具有较好的识别性能，每张图片的检测时间在0.5s 以内，检测准确率可达99.5%，其中如表3 所示，针对线性裂缝和网状裂缝的识别准确率达到100%，但由于光线问题，光斑和阴影的存在导致斑点和无缺陷的样本存在误检，其检测准确率为99%，仍然符合预期效果。

表3 绝缘子缺陷识别效果

由于测试图片越多，训练的时间越长，所以一次训练之后，可以将标准数据样本生成xml 文件，图片的数据和特征都在里面，下次使用只需要调用xml 文件就可以了，这样可以大大减少高压瓷瓶缺陷检测新系统的检测时间。

4 结论

从机器视觉理论出发，对瓷瓶绝缘子表面缺陷在线检测方法进行了研究，根据图像的垂直投影、不变矩以及傅里叶描述子等信息，利用计算机软件对瓷瓶图像进行处理，可以准确地判断出瓷瓶存在的瑕疵，及时发出警报，进而保障供电线路的正常运作。经实验结果验证，该方法对于缺陷类型的识别正确率能够达到99.5%，取得了较为理想的、可信的结果，在研究与应用中具有很好的实用意义。