微型钻头端刃侧刃缺陷的全景式视觉检测技术

崔旭东,曹普信,王平江

(1.鞍山师范学院计算中心,辽宁鞍山 114007;2.华中科技大学国家数控工程中心,湖北武汉 430074)

1 引言

印刷线路板(printed circuit board,PCB)是组装各种电子元件的基石,有“电子系统产品之母”美称,而印刷线路板加工所需的微钻,年需求量13亿只,市场需求巨大[1-2].但微钻在生产中面临两大难题,一是加工难,二是检测难[3].加工难可通过高精度的多轴数控机床解决,且通过扩大机床数量解决产能问题.微钻检测难,难点在于:1)微钻具有刃口细小,端刃、侧刃分布在两个垂直空间姿态中,必须变换检测方向,方能实现两个不同部位缺陷检测任务;2)检测范围大、精度要求高,限于电荷耦合元件(charge coupled device,CCD)相机的分辨率,相机视野不能太大,必须通过扫描检测的方式才能在确保检测的完整性同时又能够保证检测的精度;3)微钻侧刃呈螺旋状分布在外圆柱面上,由于视线遮挡,同一个位姿下拍摄难以获得整个一圈的侧刃图像;且由于检测精度要求高,必须是显微成像,在镜头景深、视野的限制下,同一个视角下,也难以获得整个画面均清晰的侧刃图像.

对于检测难点1)-2)的解决方案,可以采用多个相机从不同的方位角同时拍摄以获得不同检测部位的清晰图像;对于检测难点3),即使采用多个相机,比如3个相机,环绕圆柱面对称布置,也由于相机镜头景深的限制,既需要微钻沿自身轴线回转120◦,以获得侧刃整体的清晰的图像;也需要微钻沿自身轴线直线运动,以获得整个外圆柱面上侧刃的清晰图像.

当然,如果不惜成本,采用高精度的专用数控装备,可以实现微钻端刃、侧刃的全面检测.但是按照多相机、多运动轴设计的检测装备,在检测效率与成本上,国内市场是难以接受的.

Franci Lahajnar等人提出利用两台远心相机观察PCB的尺寸等相关参数,反映微钻刀具磨损或者损坏的情况,精确度高于±0.03 mm[4].台湾国立科技大学的C K Huang等人提出了一种基于ROI计算微钻各个刃面的参数[5].台湾国立海洋大学的Wen-Tung Chang等人提出计算微钻芯厚方法,精度能够到达2.5µm[6].华南理工大学的张舞全等采用改进的小核值相似边缘提取方法[7].但是多数学者是对微钻几何参数检测方面进行研究[8-10],仍难以满足生产中进行缺陷检测的要求.

目前微钻质检方式,仍然是利用人工抓取微钻,在显微放大镜下从各个方向观察被测面,查找缺陷.显然人工肉眼检测,具有很强的主观性和随机性,且检测效率低,造成只能采用抽检的方式进行质量管控.这种检测方式,已经难以满足日益增长的高质量生产的需求.

对于生产中的微钻缺陷检测系统,重点在于实现崩刃、缺刃(部分或整条刀刃没有磨削出来时的情形)、刃口开槽宽度、侧刃上的容屑槽是否有及其宽度是否达到要求等科目的检测(属于平面视觉可以检测的科目),因此能够开展基于机器视觉的微钻缺陷检测技术研发的前提,是能够获得清晰的微钻端刃、侧刃的图像.针对微钻缺陷检测中被检测区域的清晰图像获取的难点,本文创造性地提出了一种基于内锥镜面的外圆柱面扫描全景成像的微钻缺陷视觉检测系统:用一个相机加上一个单轴的运动控制机构,在微钻的一次装夹下,既能实现微钻端刃清晰图像采集,又能实现微钻整个侧刃所在的整个外圆柱面上侧刃机械结构清晰图像采集.获得了微钻端刃、整个侧刃的清晰的、高分辨率的图像,微钻的缺陷检测采用成熟的图像处理手段,已不是难题.

本文的重点在于分析如何在高分辨率条件下获得微钻端刃、整个侧刃的高清晰图像.与目前已知的微钻检测系统相比较,本文检测方法具有成本更低、效率更高的优势.实验结果表明本文方法的有效性和精准性,能够满足微钻生产现场对缺陷的实时检测要求.

2 微钻视觉检测系统

2.1 基于内锥面全反射镜的微钻成像

如图1所示,本文设计的用于获取微钻端刃及侧刃清晰图像的内锥全反射镜面扫描成像检测系统.该检测系统包含内锥面全反射镜、远心镜头、CCD、微钻定心夹持机构、微钻侧刃成像扫描的单轴伺服运动机构等.

图1 直角内锥镜面成像光路图Fig.1 Light path diagram of mirror image of 90◦inner cone

微钻端刃的检测时,只要让微钻端刃沿Z轴运动到O点处,触发相机采样,即可容易地直接成像获得如图2(a)所示的端刃的清晰图像.继续令微钻沿Z轴向上运动,利用内锥面反射镜成像原理,将外圆柱面上呈圆周空间分布的整圈侧刃,变换为成伞形分布的平面虚像,利用具有较大景深的远心镜头(景深约为0.16 mm,以便清晰拍摄到侧刃容屑槽底部)及CCD拍摄该平面虚像,即可获得如图2(b)所示的微钻在当前位置处所对应的、沿微钻长度方向的一小段整圈侧刃的清晰图像.所获得的环形清晰图像的范围等于远心镜头的视野减去锥孔直径,约为3 mm.也就是,微钻沿Z轴每移动2.5 mm时,采集一幅微钻侧刃的环形图像.那么,一只侧刃长度为10 mm的微钻,只需采集5-6幅侧刃环形图像,即可完成整个侧刃清晰图像的采集,接着就可以利用图像处理的手段,进行缺陷的检测了.

图2 基于内锥镜面采集的微钻图像Fig.2 Microdrill image acquired based on inner cone mirror

2.2 微钻侧刃圆周展开的清晰图像获取

如图3所示,在某Z轴位置处微钻侧刃经内锥面反射镜、远心镜头后获得环状侧刃图像.显然,直接在环状图像上进行侧刃缺陷的检测,一则给图像处理的算法带来很大的难度,二则给缺陷检测的尺寸精度带来很大的问题,三则视野太小,一些尺寸稍大的缺陷将无法检测出来.

图3 获取的侧刃图像及清晰度灰度图像Fig.3 Side edge image and grayscale image of sharpness

为此,本文采用沿微钻轴线等距拍摄不同部位的侧刃的环状图像,对每一帧环状图像的清晰区域进行提取得到环形清晰图像;再根据锥面反射镜的成像原理,将环形清晰图像,通过极坐标与直角坐标的变换关系,映射为如图4所示的矩形图像.再将这一系列矩形图像根据摄像时相机与目标物相对运动的位置关系,进行矩形图像的粗配准,然后再根据相邻图像的特征,进行精配准获得亚像素级别的配准精度.再将已配准的相邻各矩形图像,按照顺序进行图像融合,获得如图5所示的融合后的微钻侧刃展开的全景式矩形图像[11-13].

图4 微钻环形图像展开图Fig.4 Annular image expansion diagram

图5 融合效果图Fig.5 Fusion effect

3 微钻缺陷的视觉检测方法

3.1 微钻缺陷视觉检测步骤

如图6所示,为微钻端刃、侧刃视觉检测过程.当获取端刃图像后,立即对端刃进行检测,若发现端刃有缺陷,则立即停止下一步的复杂的侧刃检测,以减小微钻检测时间,提高检测效率.

若端刃检测合格,在伺服运动机构的控制下,使微钻沿Z轴方向匀速等间距运动,通过锥面反射镜,拍摄微钻侧刃的系列环形图像.当然,为提高检测的效率,对于微钻侧刃每一位置处的矩形图像,可以先采用图像处理的方法进行某些类型的缺陷检测,如果发现了缺陷,则停止进一步的检测.

图6 微钻视觉检测流程图Fig.6 Visual detection flow chart of microdrill

3.2 微钻端刃侧刃缺陷检测方法

考虑到微钻端刃图像与侧刃图像的差异性,缺陷检测自然地也分为两部分:端刃缺陷与侧刃缺陷.

3.2.1 微钻缺陷图像检测的一般算法

本文采用图像匹配算法实现微钻缺陷的检测,具体包括以下几个部分,如图7所示.

图7 图像匹配算法结构图Fig.7 Structure of image matching algorithm

图像的特征提取是图像匹配算法的最核心技术,对于本文研究的微钻,首先要找到其边缘信息,进而于边缘的交会处发现图像角点,接着根据角点的数目和连通域的面积大小以及区域的形状这些要素,也就是特征的相似性进行比对,比对的结果就确定了微钻的合格与否.

边缘检测、角点检测、模板匹配和轮廓矩匹配等算法[14-15]是一般图像处理中常用的算法,由于模板匹配和轮廓矩对多种缺陷检测具有较好的适应性,因此本文采用这两种算法的融合.

3.2.2 微钻端刃缺陷检测

由于选择的远心镜头放大倍率较高,摄影系统的景深较小,当被检微钻端刃产生崩刃的时候,崩刃处的齿面就不会落在景深区域,导致崩刃处的图像是模糊的,如图8所示.

图8 崩齿微钻端刃图像Fig.8 Image of micro-drill end edge of tooth collapse

获取端刃的图像后,采用图像处理的方法,进而判别端刃是否合格的具体流程如图9所示.

图9 微钻端刃缺陷检测流程图Fig.9 Flowchart of detection of micro-drill end edge defect

在加工微钻时,时常会使端刃刀面产生刀路痕迹,这些刀路痕迹在进行边缘检测时会生成无用的边缘信息.为避免刀路痕迹带来的影响,要对图像采用高斯模糊处理,接着采用Canny边缘检测,与此同时用开运算剔除孤点特征.

由图10可以发现处理后图像的边缘比较清晰,但是边缘较宽,这是因为模糊的刃口边缘造成的.为了提高角点检测的效果,边缘的信息还得进行细化处理.

图10 Canny边缘检测Fig.10 Canny edge detection

细化后的边缘图像如图11(a)所示,进行ShiTomasi角点检测后的图像如图11(b)所示,再将图11(b)中的角点信息与标准模板中的角点进行模板匹配.

图11 破损微钻端刃边缘信息图Fig.11 Edge information diagram of damaged micro-drill end

经过反复的试验,将该规格的微钻端刃边缘信息及角点信息的图像存入模型库中.最终形成如图12所示的模板匹配所用的微钻端刃检测的标准模板.

图12 标准端刃边缘信息图Fig.12 Standard edge information diagram

3.2.3 微钻侧刃缺陷检测

鉴于微钻具有的特殊结构,即侧刃伴随着用来排屑的螺旋线沟槽,且每条螺旋线上有多个切口用于断屑.同一规格的微钻其螺旋线的升角和长度相同,在侧刃上的切口数也相同,侧刃的主要缺陷通常产生在切口处.由此得出:1)侧刃的检测就是根据切口的个数来判断微钻是否合格;2)螺旋线沟槽的宽度、深度是否合格等.当切口数与样本不一致时,或者当螺旋槽的宽度与样本不一致时,该微钻是不合格的;实际上,螺旋槽的宽度,也代表着螺旋容屑槽的深度,所以检测其宽度,间接检测其深度.由此,微钻侧刃的检测流程如图13所示.

图13 微钻侧刃缺陷检测流程图Fig.13 Flow chart of detection of micro-drill side edge defect

通常侧刃缺陷产生在其切线方向,为此需要对如图5所示的微钻侧刃全景图像采用横向微分处理,经过横向微分之后再经过图像均衡化、孤立点滤波等处理,得到如图14所示的侧刃图像.

图14 微钻侧刃横向微分图像Fig.14 Lateral differential image of micro-drilling side edge

由图14可知,横向微分处理效果较好,体现在所希望的切口特征加强了,而纵向的特征基本上消除了.不太理想的是这时的切口特征由零散线段组成,难以形成封闭连通区域,也不太容易统计螺旋切口数目.因此为了形成具有封闭区域的连通域特征需要对该图像进行膨胀处理,处理之后的图像如图15 所示.

图15 微分后膨胀图像Fig.15 Differential expansion image

膨胀的结果使得螺旋切口成为封闭连通域,即可进行有效连通域个数的统计,以此判定侧刃的切口数目是否满足要求.

大量的试验表明,微钻侧刃缺陷通常出现在以下3种位置:

1) 在两个螺旋切口之间产生较大的破损缺陷,膨胀后,缺陷特征会与其中一个切口融合(也可能破损处与两个切口融合在一起,造成连通域个数的减少),形成单个较大面积的连通域,这种情况破损缺陷较严重.

2) 在单个螺旋切口上产生较小的破损,膨胀后缺陷特征近乎消除.此种情况本来侧刃损伤不大,并且其对侧刃的影响也较小,人工检测时也认为其为合格的微钻.

3) 在两个螺旋切口间产生破损缺陷,而且破损情况正常,膨胀后缺陷特征形成单个的封闭连通域,导致连通域个数多于标准模板连通域数目,毫无疑问该微钻不合格.

针对螺旋槽宽度(深度)的检测,主要采用单根螺旋线上切口的数目、切口所占面积以及在如图15所示的图像中,左右相邻螺旋线上切口距离等因素综合判断.因为外圆柱面上的若干条螺旋线沿圆周展开后,是一组平行的倾斜的直线.如果倾斜直线的数目,与标准的不符;或者倾斜直线的角度与标准不符;或者相邻倾斜直线间的距离与标准不符;或者切口的左边边缘到与其对应的倾斜直线的距离与标准不符等,上述任何一种情形发生,都会判断该微钻的侧刃有缺陷.

4 微钻缺陷检测系统验证

4.1 实验对象

如表1所示,为验证微钻检测系统而选择的具有代表性的10个样本,图16中列出了无缺陷及有缺陷微钻样本的端刃图像,图17中展示了正常的和常见破损缺陷的侧刃样本.

表1 实验样本Table 1 Experimental samples

图16 样本端刃及常见破损形式Fig.16 Sample edge and common damage

图17 样本侧刃局部及常见破损形式Fig.17 Local and common damage forms of the sample side edges

4.2 数据统计

经过图像采集及图像处理后,图16中的样本其边缘角点的图像,如图18所示.

图18 端刃破损样本检测边缘轮廓图Fig.18 Edge profile of edge breakage sample detection

图19所示为图17局部侧刃的图像处理结果.

图19 侧刃破损样本局部连通域图Fig.19 Local connected domain diagram of side blade damage samples

将图17和图19进行对照.图19(b)是两个切口间破损缺陷较大的情况,经形态学的处理,切口和缺陷融合成一体,造成一个面积很大的连通域,由置信区间来判别,这个连通域是无效的,由此也得出该微钻是不合格品;图19(c)是破损在两切口间,采用形态学处理,破损和两边切口各自形成自己的有效连通域,造成有效连通域数目多一个,有效连通域总数增多,结论是该微钻是不合格的;图19(d)较小的破损恰巧在切口处,同样采用形态学的方法处理,产生一个处于置信区间但面积较大的连通域,这时也认为该微钻是合格的.原因是微钻上的小破损不会影响微钻工作,事实上人工检测时也会视这样的微钻是合格的.

综上,判定侧刃是否合格的关键在于膨胀后其二值化图像中的有效连通域的数目,在此基础上,统计连通域面积,大量样本数据形成连通域面积的正态分布,以此作为有效连通域的判定依据.

选择10个样本微钻(其中3个合格,7个不合格),进行端刃与侧刃的质量检测,端刃的相似度大于90%表明破损较小可以容忍,判定端刃合格,实验的具体数据见表2.

4.3 实验结果分析

样本中选择了端刃的常见的3 种破损情况:崩齿、未加工出刃口及细小裂纹.侧刃也选择了3 种破损情况:两切口间有较大破损、两切口间有较小破损和切口上有较小破损.经过实验验证,本文的方法与质检结果,同人工质检基本一致,见表2,只有样本4(端刃上有细小裂纹)没有检测出.

表2 实验结果数据Table 2 Experimental result data

完成一根合格微钻的检测实践需要13.2 s,计时从系统收到检测信号开始,直到数控装备将检测完的微钻放入指定位置为止终止计时.实验结果表明,本文提出的微型钻头端刃侧刃缺陷的全景式视觉检测技术可以满足检测的实际要求.

5 总结与展望

5.1 总结

本文在微型钻头端刃、侧刃缺陷的全景式视觉检测技术的理论基础上,设计并搭建了实验装置,利用直角内锥反射镜的特性,使得采用一台相机即可获取微钻端刃及侧刃全景图像,为后续的基于图像处理的缺陷检测奠定了坚实的基础.本文提出的微钻检测方法简单高效,可解决微钻传统检测方法的低效率和高成本的问题,为该技术在工厂的实际应用打下了良好基础.

5.2 展望

由于初步设计的实验检测装置存在加工及装配上的误差,使得获取的图像有模糊部分,造成图像处理过程较繁琐.如果该技术能够在工厂实际应用,必须设计及制作高精度的专用夹具.侧刃缺陷检测是重点也是难点,仅仅采用计算有效连通域面积及其数目的统计方法,使得检测缺陷种类及检测准确度还有较大提升空间.特别是对于前刀面角度、后刀面角度、开槽深度、刀刃曲线几何精度等检测科目及其检测技术,尚需做深入研究.