基于深度学习的金属机械零件表面缺陷检测方法

陈宗仁，谢文达，余 君，胡建华，蒋小波

（广东科学技术职业学院 计算机工程技术学院（人工智能学院），珠海 519090）

0 引言

工业金属机械零件表面质量检验一直以来都是工件生产过程中必不可少的一个环节[1]。在实际生产各种类型工件的过程中，主要是通过人工筛选的方式对工件表面的缺陷进行检测，但这种方式存在检测结果不准确以及检测效率偏低等问题。因此，为了保证工件产品表面质量，需要全面提升检测结果的准确性和检测速率。

近几年，随着计算机技术的迅猛发展，深度学习在各个研究领域均取得了比较广泛的应用，其中最主要的就是工业检测方面[2]。相关机械制造企业可以利用智能检测技术代替人工检测技术，在降低运营成本的过程中全面提升金属机械零件的质量。

朱勇建[3]等人通过光度立体原理对金属表面进行三维重构，对重构结果进行曲面拟合操作，同时利用级数展开法将其转换为点云数据，从而实现金属表面缺陷检测。韩宁[4]等人对涡流传感探头进行有限元建模以及参数分析，根据金属材料的耦合作用，设计了对应的测试系统，利用测试中的探头对金属的表面缺陷进行检测。然而，由于上述方法未对零件图像进行去噪处理，导致其检测结果理想度较低、检测耗时增加。

针对上述问题，本研究提出了一种基于深度学习的金属机械零件表面缺陷检测方法

1 检测方法设计

1.1 金属机械零件图像去噪处理

在分析中值滤波器的相关概念的过程中，需要将信号设定为常数或者理想信号。由于在图像采集的过程中，受环境影响会使得图像中存在大量的噪声。为了确保后续检测结果的准确性，优先需要对图像进行去噪处理，确保图像中有利用价值的信息不会被破坏。

根据先验知识可知，针对自然图像而言，由于不同像素点之间的关联性比较强，因此除了孤立点外，随机一点和邻近像素点两者的灰度值十分近似。在一幅完整的金属机械零件表面图像中，如果随机一个像素点的取值高于或者低于邻域像素点取值，则说明该像素点被噪声污染；反之，如果两者的取值十分近似，则说明该像素点为有利用价值的信号点。

综合上述分析，设定信号S和噪声N的判别依据如式(1)所示：

式中，xij代表原始图像；max（W[xij]）代表窗口内W[xij]的最小取值；max（W[xij]）代表窗口内W[xij]的最大取值。

假设[yij]代表输出图像，则中值算法可以表示为式(2)的形式：

自适应中值滤波大致可以划分为如下三个步骤：

1）对金属机械零件图像进行噪声检测；

2）通过各个区域受到噪声污染的情况确定滤波窗口的具体规格。

3）对检测出的噪声依次进行滤波处理。

自适应中值滤波算法是由多个不同的部分组成，根据噪声的特征，可以优先检测图像中的脉冲噪声，计算目标图像灰度值，确保信息的完整性，最后有效删除图像中的噪声[5]。

对以点xij为中心的噪声窗口按照点进行排序计算，获取式(3)形式的向量Aij：

当排序后的点xij位于向量Aij的两端时，说明点xij附近会存在一个噪声点。在此过程中，会经常存在一个值m，它能够包含噪声图像中的全部噪声点。

对于参数m而言，需要结合实际需求进行设定。为了确保检测到的全部噪声点，m要使区间[0，m]中包含全部噪声点为最小整数。当实际采用参数的过程中，m的选取和噪声存在密切关联。

假设图像满足设定的约束条件，则说明该点为一个噪声点，需要将标志图像矩阵标记为1；反之，则说明该点为信号点，需要将矩阵标记为0。经过上述操作获取噪声分布的二进制图像fij，如式(4)所示：

在使用噪声检测条件检测出图像中的噪声以及信号点后，需要对噪声点进行滤除。假设一个样本为脉冲噪声，需要通过观测窗口内其他点计算出来的值进行替换。由于在滤波窗口内可能会含有一个脉冲，需要通过非线性思想来重构噪声点灰度值。

在滤波的过程中，需要优先设定滤波窗口为3×3，在噪声标志矩阵中，主要分为以下两种情况进行处理：

1）假设邻域存在信号点，将xij作为中心滤波窗WD范围内，对中值进行计算。以式(5)对中心点的灰度值进行计算：

式中，n代表标记为0的点的总数；f（i，j）代表标记为0的点的灰度值；fmid1（i，j）和fmid2（i，j）代表排名位于中间的点的灰度值。

2）假设噪声周围不存在任何图像点，不需要对图像点进行任何处理，同时直接将其赋予给输出矩阵[yij]对应的位置yij。

噪声滤除的过程能够描述为：

首先以3×3的窗口长度进行滤波处理，具体的计算式如下：

式中，zij代表中值滤波。

在上述分析的基础上，采用中值滤波对金属机械零件图像进行去噪处理，详细的操作步骤如下所示：

1）读入含有噪声的图像；

2）通过约束条件确定标识矩阵；

3）设定矩阵窗口规格；

4）对金属机械零件图像中的任意一点像素点进行观察和分析；

5）对原始图像进行处理；

6）修改标志；

7）判定标识矩阵中的元素取值是否为零；

8）输出经过去噪处理的图像。

1.2 基于深度学习检测金属机械零件表面缺陷

在金属机械零件表面缺陷检测过程中，需要引入级联分类器，对全部连接层中的输出特征进行分类处理，使其能够获取更加准确的分类结果。为了全面提取全连接层的特征，采用卷积神经网络的梯度直方图和局部二值模式提取输出特征，同时对多个不同级联分类器依次进行训练，将得到的分类结果进行决策融合，根据决策融合结果实现零件表面缺陷检测。

方向梯度直方图在细微变形的特征下具有良好的不变特性，但是方向梯度直方图描述局部特征的能力存在缺陷，同时对噪声十分敏感。局部二值模式具有较好的局部表达能力，所以方向梯度直方图和局部二值模式具有比较好的互补性。

当通过卷积神经网络提取原始金属机械零件图像的特征后，将提取到的特征进行统计，同时将其放入到全连接层中。全面利用HOG和LBP的互补特征，进一步提取HOG的输出特征。采用以上方式提取到的特征值具有比较强的鲁棒特性。

使用梯度直方图提取特征的详细操作步骤如下：

将图像灰度由RGB分量转换为灰度图像，具体的计算式为：

式中，R、G和B分别代表不同颜色的通道。

由于金属机械零件图像的照明是十分不均匀的，需要借助玛咖处理来提升或者降低图像整体亮度，具体计算式如下：

式中，I（x，y）代表金属机械零件图像信息；CGamma代表校正值。

通过式(9)获取金属机械零件图像的水平和垂直方向的梯度：

式中，gx和gy分别代表x和y方向的梯度值。

计算梯度大小和梯度方向，具体的计算式为：

式中，Δg（x，y）代表金属机械零件图像的梯度量级；θ代表图像的渐变方向。

将各个方向的梯度直方图按照梯度角度划分到对应的范围内，同时将单元中的各个像素以投票方式划分到梯度直方图中。

将单元合并为一个大块单元，在块内对梯度直方图进行标准化处理，同时将特征描述符组合成一个全新的块。

当金属机械加工图像处于不同的光照环境下时，图像的亮度也会发生不同的变化。为了获取更加清晰的图像，需要对图像进行二值化处理，具体如式(11)所示。

式中，LBP（xc，yc）代表金属机械图像的二值化处理结果；（xc，yc）代表图像中心像素的坐标；p代表邻域内的第p个像素；ip和ic代表金属机械零件图像中随机一点的中心像素灰度值；S（x）代表符号函数。

HOG-LBP特征是卷积神经网络的全连接层特征的进一步优化。输出经过优化处理后的特征，以此为依据构建不同的级联分类器。第一个级联分类对卷积神经网络第三层的输出特征进行分类；第二级联分类器对HOG-LBP特征进行分类，将以上两个分类器获取的结果进行拟合处理，经过计算获取目标图像的后验概率。

通过各个分类器的分类准确率确定决策权重，同时借助多个取值不同的决策权重对分类器进行决策级融合，根据融合设定新的分类规则，最终实现金属机械零件表面缺陷检测，具体的操作过程如图1所示。

图1 基于深度学习的金属机械零件表面缺陷检测过程

不同分类器的决策权重是通过对应分类的高精度分类结果形成归一化方法，获取的决策权重主要被应用于决策级融合。其中，决策权重wr的具体计算公式为：

式中，Ar代表第r个分类器的权重取值；n代表分类器的总数。

在上述分析的基础上，通过深度学习实现金属机械零件表面缺陷检测。

2 仿真实验与结果分析

为了验证基于深度学习的金属机械零件表面缺陷检测方法的有效性和可行性，设计如下实验。为形成实验对比，将文献[3]中的基于光度立体和级数展开法的表面缺陷检测方法、文献[4]中的基于涡流传感的表面缺陷检测方法作为对比，与本文方法共同完成性能验证。

实验选取2种不同类型的产品进行表面缺陷检测，具体实验结果如图2所示。

图2 不同方法的金属机械零件表面缺陷检测结果对比

分析图2中的实验数据可知，本文方法能够准确检测金属机械零件表面的缺陷，而2种传统方法只能够检测到局部缺陷。由于本文方法引入中值滤波方法对采集到的金属机械零件图像中的噪声进行删除，使其能够获取更加理想的检测效果。

为了对检测结果进行有效性验证以及量化分析，需要引入基于像素统计的误检率ME，具体计算式如下：

式中，B0和BT代表原始目标图像的区域像素和背景像素；F0和FT代表经过处理后的目标区域和背景区域，取值越低，说明检测效果越好。

对图2中的检测结果进行数据分析，具体实验结果如表1所示。

表1 不同方法的误检率测试结果对比

由表1能够看出，文献[3]方法和文献[4]方法的F0和FT取值均高于本文方法，说明两种方法的检测性能还有进一步提升的空间，而本文方法的误检率明显更低一些，说明本文方法能够对金属机械零件表面缺陷实施精准、全面地检测。

在上述实验分析的基础上，利用图3分析三种不同检测方法的耗时情况。

由图3可知，本文方法的检测效率明显优于另外两种方法，说明本文方法能够以更快的速度完成缺陷检测，这一结果进一步验证了本文方法的优越性。

图3 不同方法的耗时结果对比分析

3 结语

针对传统表面缺陷检测方法存在的一系列问题，本研究借助深度学习提出一种全新的缺陷检测方法，以期提高金属机械零件表面质量。经实验测试证明，本文方法能够获取精准的检测结果，同时还能够有效降低检测耗时。

本文方法虽然对金属机械零件表面缺陷检测方面的内容进行了大量的研究和探索，但是仍然存在不足，后续将针对以下几方面的内容进行研究：

1）当检测到更加细微的缺陷时，需要不断对网络结构进行改进，确保检测精度得到大幅度提升。

2）进一步扩大缺陷检测范围，同时加入更加广泛的技术，全面提升金属机械零件的质量。