基于规范化样本拆分的轴承缺陷检测

徐建桥，吴 俊，陈向成，吴丹超，李 兵

（1.海军工程大学 信息安全系，湖北 武汉 430033；2.武汉理工大学 自动化学院，湖北 武汉 430070；3.合肥小步智能科技有限公司，安徽 合肥 230011）

引言

随着中国制造2025 的推进，我国正稳步向制造强国迈进。由于生产和装配过程中各种不确定的因素，轴承会产生各种缺陷，这些缺陷会降低轴承的抗腐蚀性、耐磨性和抗疲劳强度等性能，严重时甚至会引起重大的安全事故[1-2]。在这种情况下，针对轴承的缺陷检测显得尤为重要。

现有的检测手段可以分为人工目检、物理检测和机器视觉检测等方法[3]。人工目检是目前最主要的检测方式，然而由于人工视觉检测者的疲劳和非一致性，容易产生误检和漏检，这种方式无法满足轴承激增的数量和越来越高的品质需求[4]。常用的物理检测手段有电涡流探伤法、超声波法、磁粉探伤法等，这些物理手段可以较好地检测出轴承滚子的缺陷，然而与人工目测类似，检测过程中也需要人为判定，同样存在效率低、容易误检和漏检等问题。

随着人工智能技术的发展，越来越多的检测任务可以利用机器视觉实现[5]。文献[6]提出一种基于支持向量机（SVM）的轴承表面检测算法，该算法将轴承中的非缺陷区域和缺陷区域分别看作是2 种不同的纹理模式，利用主成分分析法（PCA）对图像降维，然后用SVM 进行学习和分类，然而该文并未给出确定量化的评估指标。文献[7]也是利用SVM 进行分类，其将缺陷分类为多类，并在论文中给出了缺陷的分类精确度。文献[8]提出了一种基于差影法的轴承外圈侧面缺陷检测方法，该方法通过对轴承外圈侧面图像采集、滤波、分割、边缘检测实现侧面快速定位，然后利用差影法进行缺陷检测，并采用8-连通域对缺陷进行标记。文献[9]提出一种机器学习的轴承检测方法，利用SVM 分类器对缺陷特征进行检测，取得了较好的效果，利用图像增强与纹理分割的方法，对变形缺陷进行检测。文献[10]设计了一套照明和数据采集系统，对获取的图像进行了滤波、降噪等预处理，然后进行了缺陷特征提取，并设计了BP 神经网络对缺陷进行分类。文献[11]将图像融合技术应用在检测中，利用局部阈值分割方法进行二值化，解决图像光照不均匀甚至局部有影响的情况，运用小波处理技术将分解后的图像进行融合处理。文献[12]针对单阈值分割算法只能检测高于阈值的缺陷而忽略掉低于阈值的缺陷问题，提出一种基于最大类间方差的多阈值分割算法，可以满足在线检测的需求。

虽然轴承缺陷检测取得了一定的进展，然而，依旧存在很多问题，主要原因是上述方法都是基于简单的图像特征，直接利用浅层网络，如BP 神经网络或者SVM 等神经网络，会漏掉很多的缺陷。深度神经网络在缺陷检测和识别中已经取得了很好的效果[13-15]，将深度神经网络应用在轴承缺陷检测上具有一定的可行性。然而，由于轴承样本量较少，而深度网络对数据的需求量很大，如何解决这个问题将是本文要解决的关键问题。

1 轴承缺陷采集系统

轴承缺陷采集系统由相机、照明系统、计算机组成，可以采集内端面、外径、内径、下端面的图像。采集装置示意图如图1 所示，其中相机型号为：Basler 工业相机 acA1300-60gm，其分辨率为1 282像素× 1 026 像素；镜头焦距为PCHI012，通过调整焦距获取不同的视场大小，从而匹配内径、外径、上端面和下端面的尺寸，获取不同部位的图像；光源用环形LED 进行均匀照明（照明光源型号为HZN DRL-70-60-W）。本装置采集到的图像如图2所示。

图1 测试装置原理图Fig.1 Schematic diagram of measurement device

2 检测算法原理

为了确保检测的准确性，需要对样本进行一系列的预处理。内端面、内径、外径和下端面的缺陷虽然不一样，但是其分布类似，都是沿着轴承周向分布，因而，本文选择外观更加复杂、干扰因素更多的内径样本进行处理。

2.1 样本规范化算法

图2 轴承不同部分图像Fig.2 Bearing images of different parts

图3 不同部位轴承内径图像Fig.3 Image of bearing inner diameter of different parts

由于轴承是放在衬垫上拍摄的，除了拍摄到轴承外，还会拍摄到其他部位的图像。如图3 中外边缘外部，内边缘内部的无效部分。为解决这个问题，首先寻找外边缘和内边缘的轮廓，并对轮廓进行椭圆拟合；然后基于拟合后椭圆的中心位置，将轴承移到图像正中央，基于椭圆的参数，使用透视变换，将椭圆变换成圆；最后，将变换后外边缘外的部分和内边缘内部的部分全部去掉。

算法流程如图4 所示，详细的算法如下：

1） 形态学去噪：对原图像进行腐蚀膨胀操作，模板为5×5 的矩形形态学结构元素；

2） 将原图进行二值化操作，以内径区域部分的最大灰度值和最小灰度值作为阈值，将图像中大于最大阈值和小于最小阈值的都置为255，内径区域变为0；

图4 轴承内径样本规范化算法Fig.4 Standardized algorithm for bearing inner diameter samples

3） 搜索内边缘轮廓，然后用椭圆拟合内边缘；

4） 用步骤3 中拟合的椭圆，将像中的多余部分剔除；

5） 搜索内边缘最上、最下、最左和最右4个点；

6） 将上述椭圆映射成圆，以图像中心位置为圆心、半径为290 的圆的上下左右4 个点为目标点，建立投影变换映射矩阵，然后利用此变换矩阵将步骤4 中的图像进行变换；

7） 搜索外边缘轮廓，拟合成椭圆，将椭圆外部切掉；

8） 搜索内径的区域，将内径区域外的部分裁剪掉。

2.2 基于规范化样本对称性的样本拆分

经过样本规范化以后，轴承内径部分被转换为标准的圆环，满足基于图像中心堆成的特性。由于缺陷部分一般非常小，只占圆环的小部分，那么可以利用对称性将样本拆成大量的扇形圆环，如图5 所示。将内径样本沿圆心均分为多份（本文采用12 份，一方面可以丰富样本数量；另一方面，也不会将缺陷分割得过于零散）。分隔后的样本编号分别为1～12，然后将样本2～12 依此旋转一定角度，到样本编号1 的位置。而后将这12 份样本进行标注，后续将会基于分割后的样本进行分类器的训练。

图5 基于对称性的样本拆分算法Fig.5 Sample splitting algorithm based on symmetry

2.3 深度神经网络原理

深度神经网络在目标识别和检测中起到了重要的作用。随着网络层数的增加，可以提取到不同层的特征更加丰富，而且越深的网络提取的特征越抽象，越具有语义信息。然而，简单的增加网络的深度会导致梯度弥散或梯度爆炸。虽然可以通过正则化初始化和中间的正则化层，从而可以训练几十层的网络。但是，上述方法会出现另一个问题，就是网络退化的问题，也就是随着网络层数的增加，训练集上的准确率却饱和甚至下降了。

ResNet 网络就是为了解决上述问题，应运而生的。深度残差网络是一种残差网络，其单元是一个子网络，这个子网络经过堆叠可以构成一个很深的网络。本文利用18 层的ResNet 网络，即ResNet18,这种网络主要由2 个3×3 的卷积网络串接在一起作为一个残差模块，如图6 所示。

图6 ResNet18 的两层残差学习模块Fig.6 Two-layer residual learning module of ResNet18

2.4 轴承缺陷检测方法

图7 是本文提出的基于特征增强残差网络的轴承缺陷检测方法原理框图。在训练端，由于缺陷样本数量很少，很难获取足够多的样本来进行模型训练。本文利用轴承的轴对称特性，将一个轴承的样本切成12 等份（每30°切分成一份样本）；然后进行样本标注，这样就可以将样本的规模提升起来；随后将样本分为训练集和测试集，将标注后的梯度样本送入ResNet18 网络中进行模型训练；最后，将上述训练好的模型拿到黑箱集上进行精度评估。

图7 基于样本对称性拆分的轴承缺陷检测方法Fig.7 Bearing defects detection method based on sample symmetry splitting

3 实验结果与分析

本文的图像处理算法是在服务器进行的训练和测试。处理器是Intel（R）Xeon（R）CPU E5-2678v3@2.5 GHz，显卡为2 块英伟达公司的GeForce GTX 1080 Ti，深度学习架构采用的是TensorFlow。

3.1 模型训练方法

针对不同的工位训练制作不同的数据集，通过不同工位的数据集训练不同的缺陷分类器。本文选择内径样本为算法展示的示例。轴承内径样本被分为训练集和黑箱集，为了保证黑箱集的可靠性，特选择时间差异很大的2 批样本。内径缺陷检测采用的训练集中正样本数量为930 份，负样本数量为894 份；黑箱原始数据正样本50 份，负样本50 份。实验2～实验4 的训练集基于上述原始训练集重新标注，训练样本总量是原始样本量的12 倍；黑箱集合的样本数目也是原始黑箱集样本数目的12 倍。设计如下实验1～4 中，其样本数据如图8 所示。

实验1：基于原始数据，利用ResNet 网络训练型，黑箱上评估结果。黑箱集中正样本50 份，负样本50 份。

实验2：将原始数据直接拆分成12 份，ResNet网络训练分类模型，黑箱上评估结果。黑箱集基于原始黑箱集合，采用原始数据直接拆分成12 份进行处理，产生正样本1 014 张，负样本186 张。

实验3：将原始数据进行4 点透视校正后，拆分成12 份，然后利用ResNet 网络训练分类模型，黑箱上出结果。黑箱集基于原始黑箱集合，将原始数据进行4 点透视校正后，拆分成12 份，产生正样本1 014 张，负样本186 张。

图8 实验1～4 中实验样本Fig.8 Experimental samples in experiment 1～4

实验4：将原始数据进行规范化样本拆分算法后，利用ResNet 网络训练分类模型，黑箱上评估结果。黑箱集基于原始黑箱集合，采用将原始数据进行4 点透视校正后，拆分成12 份，并利用mask 剔除多余的部分，产生正样本1 014 张，负样本186 张。

3.2 评估方法

本文采用训练模型在黑箱集上的正确率ACC(accurate rate)、准确率P和召回率R来评估模型的优劣。

正确率、准确率和召回率的定义为：

另一个更全面的评估指标是：接受者操作特征曲线（reciver operating characteristic curve，ROC）。ROC 曲线和AUC 是一个从整体上评价二分类模型优劣的指标，其中AUC 是ROC 曲线与其横轴之间的面积。ROC 曲线一般在y=x上方，AUC 值越大说明模型越好。

3.3 实验结果与讨论

对实验1～实验4 的模型，利用ResNet 网络训练模型，并在黑箱集上进行测试，绘制ROC 曲线，如图9 所示。统计各项指标，如表1 所示。

图9 基于ResNet 的不同模型的ROC 曲线Fig.9 ROC curves of different models based on ResNet

表 1 基于ResNet 网络的模型黑箱测试结果Table 1 Model black box test results based on ResNet network

从图9 可以看出，实验1～实验4 的AUC 逐渐提高，模型越来越好。从表1 可知，实验2、3 和4 的ACC 指标明显优于实验1，由此可以得到结论将样本进行拆分后的模型预测精度明显有所提升；对比实验2、3 和4，从正样本的预测率而言，实验4 的精度最高，召回率最低，说明经过透视变换可以显著提升模型的性能，经过mask 处理可以专注于感兴趣区域，可以进一步提升模型的分类性能。实验4 的ACC 虽然略低于实验3，但是实验4 模型的AUC 指标最高，更能反应模型的优良特性。换个角度来看，本项目更关注的是缺陷样本漏检所造成的危害，而对于正样本的识别率，可以允许有一定程度的误判，通过实验3 和实验4 模型的FP 和TN，也可以看出，实验4 的模型对于缺陷的识别率更高。

4 结论

本文介绍了一种针对轴承缺陷检测方法和装置，选择内径作为检测对象，开发对应的检测算法，其他的缺陷可以采用完全相同的方法进行检测。本文提出的基于规范化样本拆分的轴承缺陷检测方法在Resnet18 网络上获取了较好的检测效果。另外，这种规范化样本拆分方法也可以应用于其他网络，如GoogLeNet 网络等深度神经网络，其对于轴承其他缺陷样本的处理，以及神经网络的训练方法，都与本文类似。可以预期，随着视觉检测系统在轴承自动化生产线上的广泛应用，该方法可以提高生产效率，为轴承生产品质的提升做出一定的贡献，该方法具有一定的应用价值。