基于机器视觉微小螺纹孔缺陷智能检测技术的研究＊

林 杰 宣寒玉 宋学勇 赵 敏

（①苏州凌云视界智能设备有限责任公司，江苏 苏州 215000；②苏州电加工机床研究所有限公司，江苏 苏州 215000）

随着强国战略的实施，工业产品智能制造技术的不断地升级，尤其3C电子行业如手机、电脑和智能穿戴发展迅猛，消费者不仅对产品功能有较高的个性化要求，对产品的品质质量也有更高的要求。其中，3C产品不同零件之间的连接和紧固不可缺少，但由于螺丝紧固的问题导致整个产品失效的情况时有发生[1-3]。因此，3C产品制造商对微小结构件的螺纹孔的工艺参数有严格的管控要求，对于高端的3C产品要做到对微小螺纹孔进行全检，通常一部手机有30个以上的微小螺纹孔，其基本尺寸在直径0.8～2 mm，传统的工人对微小螺孔质量检测通过人的眼睛观察，工作量相当大，生产成本相对较高，而且误检率和漏检率都比较高。

近年来，众多视觉检测企业和学者对相关的技术进行了很多的尝试，但是对于φ≤1 mm的螺纹孔采取传统的视觉检测技术,不能获取好的图片质量，使微小螺孔内部烂牙、残砂、异物及残胶等缺陷无法发现，无法对其进行有效检测。

针对结构件微小螺孔内部的质量检测需求拟通过对机器视觉检测技术的研究，开发设计一种基于机器视觉微小螺纹孔缺陷检测技术方法，并通过实验去验证其技术的先进性和实用性，为技术的实用应用奠定好基础[4-5]。

1 系统需求分析

下面以手机框中微小螺纹孔质量缺陷检测为例（图1所示），探讨其微小螺纹孔缺陷智能检测技术方法。

图1 手机中框零件螺孔示意图

手机中框的零件当中有14个螺纹孔，有正面的孔如RR1、UA8，也有侧边的孔如UA2、UA5，有些孔是通孔如LR3、LR6，有些孔是锥型孔如LA4，螺纹孔的尺寸直径0.8～2 mm，根据当前日常人工检测螺纹孔的历史数据，螺纹孔的主要不良来自孔的侧面和底部；各类缺陷主要在生产制造过程当中产生，常见的质量问题有残胶、灰尘、残砂、烂牙及异物，如图2所示。

图2 零件当中螺孔缺陷示意图

基于不同缺陷对于后续工艺的影响，制定了不同检出率设计要求，其中重要的缺陷烂牙和异物要求100%的检出，其他的缺陷检出率90%以上；缺陷的尺寸≤0.02 mm, 真值对比≤0.01 mm。

2 总体系统设计

2.1 系统总体结构

手机结构件螺纹孔缺陷检测系统主要包括机械结构、电气运动控制系统、光学图像采集系统、软件系统以及图像算法五大部分组成，基本框架如图3所示。整体系统检测的孔位和检测的内容比较多，因此采用的多工位转盘设计，通过PLC逻辑控制器来实现伺服运动控制，DD马达实现8个工位的高精度转动，通过以太网来对相机进行触发，图像采集卡采集相关图片数据，最终实现全流程的检测和控制。

图3 视觉系统的整体架构设计方案

2.2 硬件系统设计

首先通过CCD和光源系统，对各个螺纹孔进行拍照和取相，取得清晰的图像是最关键的步骤，为了满足微小螺纹孔对整个螺纹整圈检测需要，创新设计了4相机组合配合棱镜折射的多目机械视觉微小螺纹孔系统化解决方案，如图4所示。

图4 多目机械视觉微小螺纹孔检测方案

按照手机的螺孔的最大尺寸M2，缺陷最小尺寸规格 0.02 mm×0.02 mm，作为光学成像系统初始设计需求，基本设计思路如下。

（1）确定相机规格

根据采样定理，物方空间的缺陷尺寸至少在像方空间对应2个CCD像素才能保证基本采样有效。考虑到设备的机械振动、物料的尺寸公差导致欠采样，软件可靠处理至少需要像方空间3个CCD像素来表现物方空间的缺陷。因此，首先确定物方空间分辨率即像素当量为：

相机的分辨率由视野要求确定，这里视野要求参考螺孔最大尺寸设计。按照M2螺孔的外径2 mm计算。相机理论上最小分辨率要求，Resolution X=Resolution Y=2/0.006 7=298 pixel。实际设备使用中，会存在机械上料偏差、物料尺寸公差，此外还可能存在相机斜视导致的视野压缩。因此要求视野设计保持3倍以上余量。相机实际工程设计最小分辨率为，Resolution min=298×3=894 pixel。

参照上述相机分辨率要求，选取1.3M工业彩色相机LYS-GE13-30C，分辨率为1 280×960，像元尺寸为 0.003 75 mm。相机的最小分辨率边 960 pixel，大于计算最小要求值894 pixel，成像视野为8.58 mm×6.43 mm，满足设计要求。

（2）确定镜头规格

镜头规格主要由放大倍率、焦距以及匹配相机决定。本案设计放大倍率计算如下：

镜头工作距离要求受制于结构设计空间。本案结构空间要求镜头工作距离在100～150 mm之间。按照距离均值125 mm计算镜头焦距，可得

式中：L为镜头工作距离，M为镜头放大率。计算结果为44.9 mm，实际工业长焦镜头焦距都为整数，因此镜头焦距取整定为50 mm。

方案采用的相机CCD芯片为1/3''，机械接口为C口，因此镜头规格参照该规格匹配选型。结合放大倍率和焦距，镜头最终选取50 mm焦距工业微距镜头LYL-ML50F-10MP。主要规格参数为C接口，最大支持 1.1'' CCD 芯片，在 0.56×下工作距离 110 mm，满足设计要求。

（3）确定光源规格

螺孔为圆桶形金属件，螺牙以螺旋线的形式分布在桶壁上。从观察目标形状分析，目标为较为规则的内凹圆柱曲面特征。照明分析可按照高反内圆曲面进行。因此，光源对应该曲面形状，选取环形光源，尽可能保证内圆曲面上的照明均匀性。通过实物实验分析及小批量验证，最终选取白色环形光源RBP-IR-4000-W。

（4）工程化集成设计

首先，根据螺孔的圆桶形状特点，镜头光轴必须和螺纹孔侧壁成倾斜夹角，才能采集到螺孔侧壁螺牙图像。为了能更好地对微小螺纹孔缺陷进行全方位检测，设计了4个相机镜头系统，每个相机镜头系统负责螺孔90°圆周的图像采集，四相机同时一次成像完成图像采集。

考虑到相机镜头倾斜布置，相比于相机镜头垂直布置，会带来成像系统XY方向空间尺寸的增加。4个相机如采用分立布置，螺纹孔检测时相机既要调整高度，又要调整角度，调整变量太多很难保证调整精度。设计引入反射棱镜系统，将相机镜头的姿态从和水平倾斜布置改为和水平面垂直布置，减小了成像系统的体积。同时，棱镜系统作为精密光学装置，所有棱镜都固定在同一个高精度的机械安装件上，棱镜之间的位置和角度都是能精确保证，可以作为调整的基准面，相机镜头系统在装调时，只做高度调整即可。本案设计，最终采用的反射棱镜规格为 15 mm×15 mm ×15 mm。光学成像系统最终工程化设计结果如图5所示。

图5 微小螺纹孔光学图像采集系统设计

2.3 螺孔检测软件与算法设计

2.3.1 螺纹孔小径测量算法

螺纹孔径小、长比大，孔径边缘由于加工工艺的问题有噪声干扰；为了保证检测精度，测量算法使用激光测量提取边缘点，并进行异常点的剔除，最后用圆形拟合工具得到孔径的尺寸[6-8]。

圆形拟合工具采取基于代数距离的圆拟合方法,圆形拟合原理如下：通常情况下，用一般方程来描述圆

对于给定拟合数据点 (xi,yi)，i=1,2,···,n(n＞ 2)，基于代数距离的圆拟合的误差函数可以表示为

根据非线性最小均方优化，目标函数F(A,B,C)的最小二乘解必然满足条件为

根据式（2）采用SVD分解可以确定参数A、B、C[9-12]。

参与拟合的边缘点可能存在干扰，设计了一种自动剔除局外点的算法，图6所示。

图6 自动剔除局外点的算法

圆形拟合工具能够快速构建出稳定拟合结果组合的几何，然后从中筛选出RMS误差最小的拟合曲线作为最终拟合结果，图7为 φ1.6 mm微小螺纹孔测量剔除异常点测量效果。

图7 微小螺纹孔测量剔除异常点测量效果

2.3.2 螺纹圈数检测算法

螺纹圈数检测算法主要采取图8所示，该方案通过边缘定位和聚类分析，可用在破损、干扰等情况下对的螺纹进行准确计数。

图8 螺纹圈数检测流程

（1）定位工具：边缘定位技术以图像边缘信息为基础，采用边缘相关分数作为相似性度量指标，在实时图像中搜索和参考图像具有一致边缘特征的位置，即匹配分数最高的位置。

定位工具训练：从训练图像中提取模式的边缘信息，选取若干个边界点构成该模式的几何描述。图9a所示为训练图像，图9b所示为训练结果，即训练模式的几何描述。

图9 基于边缘相似度的边缘定位

（2）聚类分析工具：对图像中的2-D形状进行检测和分析，得到诸如目标位置、形状、方向和目标间的拓扑关系等信息。根据这些信息可对目标进行识别。

分析工具的主要内容包括：图像分割，将图像中的目标和背景分离；去噪，消除或减弱噪声对目标的干扰；场景描述，对目标之间的拓扑关系进行描述；特征量计算，计算目标的2-D形状特征。聚类分析特征场景描述如图10所示[13]。

图10 聚类分析特征场景描述

应用聚类分析工具能够得到每个螺纹的位置、长度和宽度等信息，通过对螺纹统计分析可以得到螺纹圈数。螺纹聚类分析实时检测结果如下图11所示。

图11 螺纹聚类分析实时检测结果

（3）螺纹孔缺陷检测

螺纹孔底部和侧面缺陷包括：残胶、灰尘、残砂、烂牙和异物等，缺陷形态各异，好坏品区分度不大，尤其是底部腐蚀与缺陷较难区分。螺孔底部与侧面缺陷情况如图12所示。底部腐蚀干扰，底部和侧面合格品如图13所示。

图12 螺孔底部缺陷品与侧面缺陷

图13 底部腐蚀干扰，底部和侧面合格品

针对传统的检测算法，误漏检指标较难保证。本文利用人工神经网络和深度学习相结合的方法，通过批量训练学习缺陷，应用训练的模型进行缺陷的推理检测，来提高微小螺纹检测精准度和速度。

深度学习采用端到端的方式来解决问题，即直接将图像特征提取与模式分类集合在一起，然后根据具体的模式分类目标损失函数从数据中自动地学习到有效的特征并实现模式分类。神经网络可以通过数据规模方式的增加来提升运算性能，从而解决产品背景干扰大，产品表面复杂，成像特性复杂，缺陷对比度低等问题。基于深度学习的人工神经网络算法和各节点结构如图14、15所示[14-15]。

图14 基于深度学习的人工神经网络算法

由图15可用看出，卷积神经网络由可学习的参数组成，每一层也是进行一个线性运算和经过一个激活函数，参数的学习也是根据 BP 算法。基本上就是用共享权重在空间中进行扩展的标准神经网络。卷积神经网络主要是通过内部卷积来识别图片，内部卷积可以看到图像上识别对象的边缘。卷积神经网络通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据与人工神经网络来学习特征，更能够刻画数据的丰富内在信息[16-17]。

图15 深度神经网络中各节点结构示意图

卷积神经网络结构基本构成：

①卷积层 (Conv)，特征提取。

②激活层 (Relu)，激活神经元。

③池化层 (Pool)，下采样，减小参数规模。

④全连接层(FC)，分类器，将学习到的特征空间映射到样本空间。

微小螺纹孔缺陷检测深度学习，采用两个网络模型分别检测底部缺陷和侧面缺陷，基于深度学习的卷积人工神经网络结构如图16所示[18]。

图16 基于深度学习的卷积人工神经网络结构

2.4 系统测试结果

系统采用VS2019为开发集成环境，开发了包括螺孔孔径、螺纹圈数、螺纹缺陷等相关功能，通过软件不同部分与相关硬件之间的通信连接，在成像系统中得到相关清晰的图片，再进行背景的剔除，通过对图像的预处理，找到疑似区域，再进行精密的提取，对图像结果ROI进行合并，得到如图17所示相关的图像和结果。

图17 集成环境下的微小螺纹孔检测图像

为了进一步验证检测算法的有效性和可靠性，对实际超过1 000个生产的产品进行采样，对于算法不断的迭代，通过机器学习图片分析，重点对于侧面孔和底部孔的残胶、灰尘、残砂、烂牙和异物的缺陷进行了分类和分级评估，将成像的等级分为ABCD等级，缺陷检测难度等级分为高中低三档。最终的检出率情况如表1所示，对于难度较高的灰尘检出率达90%，而重点核心的缺陷烂牙和异物可以到达100%的检出。

表1 深度人工神经网络算法的微小螺纹缺陷检出率

3 结语

本文通过对基于机器视觉微小螺纹孔缺陷智能检测技术的研究，得出以下结论：

（1）针对微小螺纹孔（φ0.8 ～2 mm）的螺纹孔，创新设计了一种基于四目机械视觉结合反射棱镜的微小螺纹孔图像扫描的技术方法。再通过耦合技术实现四相机同时一次成像完成整个图像采集工作。

（2）考虑到螺纹孔径比大，孔径边缘加工工艺噪声干扰问题，测量算法研究激光测量提取结合边缘计算法对异常点进行剔除，再通过圆形拟合工具得到螺纹孔的精确尺寸。

（3）针对传统的检测算法，误漏检指标较难保证问题。利用人工神经网络和深度学习相结合的方法，通过批量训练学习缺陷，应用训练的模型进行缺陷的推理检测，通过现场实际测试结果可知，本测试系统的测试精度可达0.02 mm，对于核心的缺陷检测率都在90%以上，为3C智能检测行业的进一步发展提供了有效的解决方案，释放了大量的重复工作的劳动力，为社会创造了较好的价值。