维度分割法轴承全表面缺陷检测

杨冬毅，黄丹平，徐佳乐，廖世鹏，于少东

1.四川轻化工大学 机械工程学院，四川 宜宾 644000

2.中国科学院 成都计算机应用研究所，成都 610041

轴承被广泛应用于工业、农业、军事、航天、服务业等各种领域，属于基础机械零部件之一[1]。在高精度的机械设备中，轴承的缺陷会严重影响其性能、精度以及寿命，造成严重的后果。因此，在轴承出厂前对其进行质量检测是必不可少的[2]。国内较大规模的轴承企业，在轴承的生产加工方面已基本实现半自动化。但是受到生产工艺的影响，在加工过程中会使个别轴承出现锈蚀、磕碰、凹坑等，严重影响了轴承的品质[3]。

目前国内外相关科研人员对轴承的自动检测方法已进行了广泛的研究。Lei 等[4]采用分段嵌入式的方法对轴承缺陷进行检测，针对轴承缺陷多样性检测取得了良好的效果。徐建桥等[5]提出了规范化样本拆分的轴承缺陷检测，采用的是规范化样本扩充数据集后采用深度学习的方式检测轴承缺陷，有效地解决了小样本缺陷的检测方法。Liu 等[6]采用多角度照明的轴承表面缺陷检测，对微小缺陷有良好的检测效果。Khemili等[7]通过自适应滤波检测滚动体轴承缺陷。Li等[8]通过精细复合多尺度模糊熵来对滚动轴承局部缺陷进行检测研究。石炜等[9]基于Faster R-CNN 算法对列车轴承表面缺陷检测研究。郑泽昊[10]采用改进型yolov3 对轴承防尘盖进行缺陷的精确提取检测。

以上研究表明，尽管深度学习缺陷检测方法取得了显著进步，但由于缺陷类型的复杂多样，缺陷的全面性检测有待进一步提升。目前轴承缺陷检测主要应用面阵相机下的单面轴承检测，在工业连续生产线上，采用多工位多相机采集来达到轴承的全面检测[11]。检测算法上，多依靠GPU（graphics processing unit）运行处理，存在硬件成本高、设备体积大、部分缺陷采用现有的检测方法准确率与稳定性低等问题[12]。

本文针对现有的检测难点展开研究，采用线阵相机自主搭建单工位轴承采集平台。提出多维度分割法满足轴承外表面缺陷检测的完整性，采用疑似缺陷区域提取与改进VGG16网络预测模型实现疑似缺陷区域再判断，实现对轴承全表面缺陷区域的二次检测。使用处理器为CPU（central processing unit），算法采用多线程并行模式，对分割的轴承各维度区域进行两次诊断，达到工业级高速高精度效果。

1 轴承全表面缺陷检测系统

针对轴承缺陷检测的多工位现状，首次提出线阵扫描技术与光学原理的结合，在单工位内实现轴承全表面缺陷在线检测的方法。该方法与传统方法相比，单个轴承检测时间更短，只需采集一次既能得到轴承完整的外表面图像。

轴承检测系统主要由4 部分组成，采集成像单元、计算机硬件单元、运动控制单元、机械结构单元。采集装置如图1所示。

如图2 所示，整套系统由工控机控制，通过PLC 发送各种信息来控制电机与相机配合采集出轴承的完整图像，将其输入检测算法并给出获得检测结果。

图2 系统结构框图Fig.2 System structure block diagram

机械结构单元包含外箱体、平台架、旋转机构，是检测系统实现数据采集的核心部件，决定该检测系统运行效率与检测精度。外箱体其功能是避免环境光干扰视觉信息的采集，等距机构保证轴承逐个进入采集。旋转机构可使轴承产生滚动配合线阵相机完成轴承全表面扫描。

运动控制单元由两个电机以及PLC（programmable logic controller）组成，分别控制着轴承的进入与轴承的旋转，通过PLC 给出触发信号，精准控制图像采集时间与触发频率。

采集成像单元主要由线阵相机、镜头、蓝色条形光源、棱镜等组成。蓝光波长在430～480，能更好地获取金属表面微小缺陷[13]。采用棱镜折射的光学原理和线阵相机与旋转机构的配合，轴承两个表面与柱面视觉信息同时被扫描并存储在一个数据矩阵内，更有利于轴承维度的划分与缺陷的全面检测[14]。如图3 所示，与常规面阵相机采集方式相比较，使得图3（a）、（b）、（c）三次采集的图像信息集中到一张图3（d）上，也方便了后续多维度向量法的提取与检测。

图3 轴承采集示意图Fig.3 Schematic diagram of bearing acquisition

2 轴承检测算法研究

2.1 轴承缺陷特性分析

轴承主要的缺陷种类大致可分为五种，凹坑、划痕、变形、损坏以及锈蚀，主要表现形式如图4所示。

图4 轴承缺陷种类Fig.4 Types of bearing defects

同种类型缺陷还可细分为不同种类，如图5 所示，图5从左到右依次为浅凹坑、深凹坑、内圈小破损、内圈大破损、外圈大破损、外圈小破损、内圈小面积锈蚀、内圈大面积锈蚀，柱面倒角缺失。因此如何准确、快速与稳定可靠的检测轴承各类缺陷将是所面临的一个难题。

图5 轴承缺陷的多样性Fig.5 Diversity of bearing defects

2.2 轴承全表面缺陷检测算法

针对上述问题，本文提出轴承分维度的检测方法，将轴承分割为8 个维度视觉信息进行全面检测。维度分割的精度取决于图像的亮度是否稳定。采集中的振动影响或者光源因寿命的衰减，都会导致采集图像出现左右亮度不均、过曝或过暗情况。针对该问题，在维度分割法之前采用亮度调整算法稳定每张图像的亮度。假设亮度调整系数为τ，可得出如公式（1）：

其中，αs为当前亮度值，αe为目标亮度值，αm为亮度调整函数L() 每增加1 个参数值所增加的亮度值。当αs>αe时说明过曝，需要降低亮度值；αs<αe说明图像过暗，需要增强亮度值。由此可得出过暗和过曝的亮度调整系数。假设yi为轴承的各维度视觉信息，可得维度分割法如公式（2）所示：

公式（2）中，L()为亮度调整函数，τ为亮度调整系数，Y()为阈值分割与形态学处理函数，a,b,c为图3（d）的轴承三个面，τj为a,b,c对应的亮度调整系数，d为图3中图（d）的视觉信息数据。维度分割法中首先对d使用Y()初步划分三个区域，分别对其亮度值进行调整使整张图像亮度趋于一定范围内，再使用Y()最终得出轴承的8个维度视觉信息yi。如图6所示，将维度视觉信息的特征相同的归为一类，最终分为7 个分辨率为40×2 048的维度图像与1个分辨率为160×2 048的维度图像。其中1、3、5、8四个维度为轴承各主体区域，2、4、6、7四个维度为轴承各结构间隙与倒角部分。

图6 轴承8维度提取流程Fig.6 Bearing 8 dimension extraction process

整体检测算法流程如图7所示，基于维度分割法的轴承全表面缺陷检测方法，通过维度分割法将轴承图像划分出8 个维度，再针对各维度缺陷特性，制作对应维度疑似目标检测算法，提取出各维度的疑似缺陷区域；利用轴承缺陷区域与合格区域图像制成各维度小区域图像数据集，进入VGG16 网络模型训练[15]得到VGG16主干特征提取网络模型，同时筛选出标准缺陷与合格小区域图像经过VGG16主干特征提取网络模型形成标准特征数据库；最后将待测疑似区域采用改进VGG16 预测模型与标准特征数据库进行比对完成对疑似缺陷区域的二次检测并输出检测结果。

图7 检测算法流程Fig.7 Detection algorithm flow

2.2.1 疑似缺陷提取算法

经多维度视觉信息提取后，可准确获得每个维度背景信息特征，易于缺陷检测与提取。针对每个维度视觉信息的特征分析，从图6中看出，可以将8个维度分为两大类，其中1、3、5、8这四个维度中主要是轴承各个区域的主体视觉信息，表现形式为平面。2、4、6、7维度中主要是轴承各区域边缘处的信息，表现形式为倒角和连接缝。因此可疑区域算法结构如图8所示，由图可知算法路径分为两路。

图8 分类特性检测Fig.8 Classification characteristic detection

轴承主体检测中的1、3、5、8 维度，通常出现凹坑、锈蚀、划痕等缺陷（如图4（a）、（b）、（e）所示）。分析缺陷特征主要呈现暗色的特点，轴承主体4个维度检测算法主要分为三个部分：（1）增强缺陷视觉信息；（2）采用多次判断与调整阈值的方式提取出暗色区域；（3）通过灰度共生矩阵筛选出疑似缺陷区域[16]。

其中维度3防尘盖，由图6可以看出，字符同样呈现暗色状态，为字符不对缺陷提取造成干扰，本文提出基于反向滤波的噪声保留算法，达到消除字符干扰保留噪点状缺陷视觉信息的目的，假设W()表示字符去除函数，可得公式（3）：

其中，J()为滤波器函数，Y()为阈值分割与形态学处理函数，P()字符覆盖函数。首先采用滤波器对噪点状的缺陷进行滤除，提取剩余字符区域，最后获取字符周围灰度值对滤波前的图像进行字符区域覆盖处理，最终达到去除字符的效果。

轴承连接检测中的2、4、6、7 维度，通常出现变形、破损（如图4（c）、（d）），倒角缺失（图4（d））等缺陷，研究发现此部分缺陷都会导致连接处的视觉信息出现形状上的变化，因此算法主要考虑形状完整性检测。轴承边缘4 个维度检测算法主要分为三个部分：（1）增强轴承边缘视觉信息；（2）提取出轴承边缘形状视觉信息；（3）通过形态学处理与差分的方式进行疑似缺陷区域提取。由图6可以看出，其中维度2与维度4，形状特征主要为黑色线状，此处主要提取线状特征的完整性进行缺陷检测。维度6 与维度7 形状特征主要为矩形，此处提取矩形特征的完整性进行缺陷检测。

结合上述两类分析，整体疑似缺陷区域提取算法如下所示。

其中A()表示特征增强，W()表示字符去除函数，Y()为阈值分割与形态学处理函数，H()表示灰度共生矩阵，T()表示形状特征提取，D()表示差分算法，Xi(i=1～8)为对应各个维度视觉信息特征的参数系数。

根据疑似缺陷区域提取算法假设zi为各维度疑似缺陷区域可得公式（4）：

对各维度的疑似缺陷区域提取尺寸与图7 中目标分类部分的小区域图像尺寸相同，方便后续神经网络对区域的二次判断。

2.2.2 疑似缺陷区域决策算法研究

经疑似缺陷区域提取算法后，为确定该区域中是否含有缺陷，进一步采用神经网络的方式对疑似缺陷区域二次检测，进一步提升检测精度。

yi缺陷视觉信息的尺寸较小，应选用层数较浅的神经网络[17]。本文选择VGG16网络模型对疑似缺陷区域进行训练。但是其中全连接层进行分类的准确度，一般取决于训练样本的大小。轴承大部分缺陷的数据图像样本不足，如图9所示的纹理与锈蚀，完整的VGG16预测模型并不能很好地分类出准确的结果。

图9 锈蚀与纹理对比图Fig.9 Comparison diagram of corrosion and texture

针对该情况，利用300 张纹理与锈蚀的数据集，训练完整的VGG16 网络模型，使得主干提取网络有了相应的特征提取效果。如图10所示，在进行预测时，本文采用改进VGG16 网络模型进行二次判断，使用改进欧式公式替换全连接层的方式，来比对疑似缺陷区域与标准的缺陷或合格区域的多维特征数据距离，通过距离远近确定疑似区域类别。

图10 VGG16网络模型的改进Fig.10 Improvement of VGG16 network model

2.2.2.1 欧式距离公式的改进

欧式距离是最常见的距离度量，衡量的是多维空间中两个点之间的绝对距离。n维欧几里德两多维数据x1与x2间的距离公式如式（5）所示[18]：

从公式（5）可以看出，每个维度的数据对欧氏距离的贡献是同等的，为能提高检测精度，本文对欧式距离（5）进行改进，如图11 中比对方式所示，多维数据间相减的结果不再求和，得出距离矩阵，对距离矩阵中的各维度距离通过给定的阈值筛选，计算维度距离小于阈值的个数占比，避免维度距离大的权重对整体距离权重产生影响。经过改进后的公式如式（6）所示：

图11 标准样本选择流程图Fig.11 Flow chart of standard sample selection

其中sum()表示维度数据个数之和，k为维度，Y为距离阈值，yik为标准小区域图像的多维特征数据，zik为疑似缺陷区域图像的多维特征数据。

2.2.2.2 标准样本选择研究

标准样本的特征数据的选择，采用一比多的方法。以锈蚀、纹理为例，筛选锈蚀、纹理标准样本图像，通过公式（6）的运算，锈蚀样本内逐个相互比对，且锈蚀纹理样本间逐个相互比对，得出一比多的（Q的平均值）进行排序，筛选出相同样本集内的最大，且不同样本间的最小，即为标准样本数据。选择方式如图11所示。

在8 维度样本数据集中，以上述方法，筛选出满足条件的多个标准样本特征数据构建数据库，形成8个类别的标准特征数库。

2.2.3 轴承检测的速度提升

分8 维度对应8 种算法的检测方式，虽然达到了检测的全面性，但是检测速度却不满足工业检测要求。对此采用8 维度8 线程并行运算的检测方法，提高了CPU的利用率，同时提升疑似缺陷的检测速度。

对疑似缺陷区域进行二次检测时，同样采用多线程并行运算的方式，各维度改进预测模型并行预测与标准样本数据库进行比对，对轴承检测的速度与精度进一步提升。

以公式（6）为标准，Q值最大即为比对结果，整体多线程比对流程如图12所示。

图12 轴承检测系统整体多线程比对流程Fig.12 Overall multi-thread comparison process of bearing detection system

本文采用改进欧式距离公式替代全连接层的方式，使预测图像与标准图像的多维数据间进行比对，减少了网络模型结构。检测时，采用8 个维度对应8 个独立的网络预测模型配合8 线程并行运算，对8 个维度疑似缺陷视觉信息进行比对判别，满足了在线高速轴承缺陷检测精度、速度与全面的要求。

3 实验与分析

为验证维度分割法与改进VGG16预测模型对轴承检测的精度与速度，本研究搭建一套完整的轴承在线检测系统。如图13 所示。该系统主要由采集成像模块、计算机硬件模块、运动控制模块、机械结构模块四部分组成。实验中，采用的是i7 10700 处理器与DALSA 的SG-11-02K0-00-R 线阵相机，VS-25085/C 镜头与LDB-15034-B蓝色条形光源，搭配三棱镜和光学折射原理，单机位实时在线采集轴承外表面图像。

图13 轴承在线检测系统Fig.13 Bearing on-line detection system

测试轴承一共200个，其中存在缺陷的轴承个数为93 个，轴承上缺陷的总个数为183，原始轴承图像大小为2 048像素×2 048像素。下面是轴承实验检测流程：

首先是亮度调节算法，调节前后对比如图14所示，经亮度调节算法后，可以看出轴承图像过暗或过曝的情况都得到了有效的调整。

图14 亮度调节算法效果图Fig.14 Schematic diagram of brightness adjustment algorithm

防尘盖字符去除算法效果如图15 所示，经字符去除算法后，轴承防尘盖的字符得到了有效去除，凹坑缺陷也较完整地保留了下来。

图15 字符去除效果图Fig.15 Character removal effect diagram

轴承8维度疑似缺陷提取效果图如图16所示，可以看出疑似缺陷被有效提取出。

图16 8维度疑似缺陷区域提取效果图Fig.16 Effect drawing of 8-dimensional suspected defect area extraction

疑似缺陷提取算法复杂度分析如表1所示，O()为各维度疑似缺陷提取算法的时间复杂度，每O(1)所用时间为0.79 ms。S()为空间复杂度，S(n)表示算法每运行一次所调用参数个数为n。

表1 疑似缺陷提取算法复杂度Table 1 Complexity of suspected defect extraction algorithm

将轴承分割4维度检测与分割8维度检测对比如表2所示，采用8 维度分割法后的疑似缺陷区域提取，漏检率降低，误检也所有减少。

表2 4维度与8维度疑似缺陷区域提取对比实验结果Table 2 Comparative experimental results of 4-dimensional and 8-dimensional suspected defect area extraction

轴承锈蚀与纹理标准样本的选择对比表如表3 所示，经训练后的VGG16网络模型，采用主干特征提取网络与改进欧式距离进行比对筛选，锈蚀与锈蚀占比最大，且锈蚀与纹理占比最小的样本有6号和48号，即可选出两个标准锈蚀样本，同样可以找到纹理的两个标准样本56号与69号。对其余各维度样本采用同样的方法，将各维度的标准样本筛选出后，制作标准样本特征数据库，方便后续待测样本与标注样本进行比对。

表3 100个轴承锈蚀与纹理样本比对筛选表Table 3 Comparison and screening table of 100 bearing corrosion and texture samples

采用VGG16 网络与VGG16 改进预测模型的对比如表4 所示，VGG16 改进模型比对数据库的方式，检测精度得到了极大的提升，同时检测速度也有所减少。

表4 VGG16与VGG16改进预测模型对比实验结果Table 4 Experimental results of VGG16 and VGG16 improved prediction models

VGG16改进预测模型的疑似缺陷目标分类过程如图17所示，通过疑似缺陷信息与标准样本信息比对，得出最终结果。

图17 VGG16改进预测模型的二次判断比对效果Fig.17 Effect of second judgment comparison of VGG16 improved prediction models

CPU采用多线程处理前后时间对比如表5所示，在多线程处理下，采用8维度与VGG16改进模型，使得轴承检测的精度与速度极大提升，满足工业在线检测的要求。

不同分辨率的轴承图像检测效果比对如表6所示，实验中，较低的分辨率，使得轴承各区域的视觉信息界限更模糊，导致维度分割算法的精度下降。同时部分缺陷视觉信息变弱，检测精度下降。

表6 不同分辨率图像检测效果比对Table 6 Comparison of image detection results with different resolutions

4 结束语

本文针对工业上轴承缺陷检测准确性、成本高等问题，研制一种单工位轴承检测系统，即可实现快速、准确、全面的轴承缺陷检测。主要特点是：

（1）针对轴承多面检测，采用光学原理与线阵扫描技术结合的方式，一次性采集出轴承清晰、完整的全表面图像。

（2）针对轴承缺陷多样性，采用维度分割法与疑似缺陷区域提取法，保证缺陷提取的低漏检率。

（3）针对缺陷检测精度，采用神经网络二次检测的方式，通过改进网络模型与改进欧式公式，提升缺陷检测精度。

（4）针对轴承检测速度，采用并行处理方式对各维度同时检测，满足轴承工业在线检测的速度与成本要求。

实验结果表明，经多维分割法后疑似缺陷检测后，再利用改进的VGG16预测网络模型与数据库比对再进行缺陷二判断，轴承缺陷的检测精度达98.3%且检测时间每个为0.81 s，相比于传统的人工目检测高速有效，智能化程度更高。与传统神经网络模型检测方法相比，该方法对轴承缺陷检测更全面高效。为现代轴承生产上的缺陷全面性检测提出了一个可靠的研究思路与方案，具有良好的工业应用前景。