芯片封装立针微孔加工视觉定位技术研究

毕逸飞,姜歌东,梅雪松,黄旺旺,王高才

(西安交通大学机械工程学院,710049,西安)

随着信息化时代的到来,芯片制造对于国家发展有着重要意义。芯片制造过程包括设计、制造、封装和测试四个阶段。其中,芯片封装是整个制造过程中极为关键的一环,封装质量直接决定了芯片的最终质量和使用寿命[1]。引线键合是封装过程中的主要键合方式,其原理为:使用热、压力和超声波能量将键合引线与金属焊盘紧密焊合,实现芯片间、芯片与封装体间的信号传输。立针作为引线键合的关键工具,其作用是通过对穿过立针微孔的引线实施加压等方式将芯片电极和基板电极键合,而微孔位置和孔径大小超差会导致引线损伤甚至断线[2]。制造立针时,通常需要在面积小于100 μm×100 μm的平面上加工直径为50 μm的微孔,加工精度要求在5 μm以内。因此,对立针打孔位置进行精确定位是保证微孔精度的关键。

通过视觉对工件定位并识别[3-5]近几年逐渐成为工业生产制造中的重要环节。李德龙等提出了一种发光二极管(LED)芯片形状匹配算法[6],采用基于形状模板匹配算法进行工件定位,并基于最大类间方差法(OTSU)二值化算法提出了一种减少搜索面积以加快匹配速度的方法。该方法具有定位精度高、对噪声不敏感等优点,但是当模板图像与目标形状不完全一致时,匹配成功率下降,且匹配精度下降。近些年来,机器学习方法常被用于目标识别定位[7-8]。Wang等提出了一种多目标工件检测定位方法,首先对工件和背景进行分割,然后提出了加速鲁棒特征(SURF)和视觉词袋模型结合支持向量机的方法对工件进行识别从而定位工件[9]。这种方法虽然识别效果好,但是高度依赖于分割精度,导致工件与背景的边界不显著时效果较差。目前另一种主流方法是基于边缘检测[10]进行定位。吕红阳等人提出了一种改进Canny算法通过边缘细分提取亚像素级边缘轮廓并拟合边缘轮廓从而精确定位工件的方法[11]。但是该方法需要首先定位到工件的局部位置,所以不适用于目标与背景分离难度大的情况。

为了提高立针微平面的定位精度、速度及鲁棒性,本文提出了一种基于模板匹配进行粗定位、基于边缘检测进行精定位的两步定位方法,并给出了相应的优化方法,最后通过实验验证了本文方法的有效性及精确性。

1 基于模板匹配和边缘检测的立针微 孔两步定位方法

本文提出的立针微孔视觉定位算法流程如图1所示。在基于形状的模板匹配和支持向量机的立针微平面粗定位中,采用立针微平面边缘掩膜建立模板,应用加速策略实现位微平面匹配,基于支持向量机防止误匹配;在基于边缘检测的微孔精定位中,采用具有角度约束的边缘检测方法获取立针微平面轮廓边缘,使用亚像素边缘提取方法定位,最后通过拟合轮廓亚像素边缘确定微孔位置。

1.1 基于形状模板匹配和支持向量机的立针微平 面粗定位方法

在粗定位阶段,首先使用一种基于形状的模板匹配算法,通过多种策略对匹配过程进行加速,并通过支持向量机分类器防止误匹配。

1.1.1 基于形状的模板匹配算法

(1)带掩膜的模板建立方法。在原始图像中截取模板图像,然后利用Canny边缘检测算法获得模板图像的边缘位置,人工对直线边缘所在部分进行直线选取;在距离直线δ附近建立掩膜。在掩膜内的边缘点集记为q={q1,…,qn},其中n为掩膜内边缘点总数,并计算每个边缘点X、Y方向的梯度分量TGxi、TGyi,以及梯度幅值TMi。

(2)相似度评估方法。基于形状的模板匹配算法[12]计算模板图像与目标图像中边缘位置的梯度相似度,其中相似度评价指标S的定义为

(1)

式中:n为模板图像掩膜位置边缘点数量;(u,v)是模板图像中心位置坐标;(Xi,Yi)是模板图像第i个边缘点坐标,SGx(u+Xi,v+Yi)、SGy(u+Xi,v+Yi)、SM(u+Xi,v+Yi)分别是目标图像中坐标为(u+Xi,v+Yi)的点对应的X方向梯度、Y方向梯度以及梯度幅值。

当S>Smin时,则认为在目标图像中定位到了目标,其中Smin为相似度阈值。

1.1.2 加速策略 重点提出了一种结合形态学滤波的直方图凹度分析法分离目标图像前景及背景的方法,并结合提前终止策略、图像金字塔的方法加速匹配过程。

(1)提前终止策略。使用提前终止策略[13]加速匹配过程。用Sj表示模板匹配过程中模板图像与目标图像前j个边缘点梯度方向的相似度,通过公式(2)计算Sj

(2)

若Sj

(2)图像金字塔。基于图像金字塔理论,使用下述搜索方法。

步骤1:在金字塔的最顶层进行全局模板匹配,并结合提前终止策略计算每个位置的相似度S,得到可能的中心点位置(x,y)和偏离角度θ;

步骤2:在下一层图像,计算以(2x,2y)为中心点的3×3邻域内,角度为(θ-iθstep,θ+iθstep)范围内模板匹配的相似度S,得到新的(x,y)和θ,其中θstep为模板匹配时模板图像的旋转步长,这里θstep=1°;

步骤3:当前图像是金字塔最底层时输出位置(x,y)和角度θ,否则执行步骤2。

(3)结合形态学滤波和直方图凹度分析的二值化方法减少搜索面积。在图像金字塔分层搜索策略中,需要在金字塔最顶层图像中全局搜索种子点。为了减少搜索区域,需要一种去除背景的方法,由于基于直方图凹度分析的二值化方法[14]在图像对比度较低时效果较好,所以本文通过该方法进行二值化。但是二值化带来的孔洞会导致检测出现遗漏的现象,本文通过开运算和闭运算,在去除孔洞的同时不增加冗余区域。本文将结合形态学滤波和直方图凹度分析的二值化方法用于研究对象,具体步骤如下。

步骤1:计算图像的灰度直方图h(i)。

步骤2:搜索直方图起点[istart,h(istart)]和终点[iend,h(iend)],通过公式(3)计算其斜率s(i)

(3)

步骤3:寻找斜率的最大值对应的阈值ipeak为灰度直方图的一个凸点,如果ipeak

步骤6:在分割阈值二值化图像后,通过形态学滤波[15]中开运算去除分离背景后的白色孤立区域,再通过闭运算来去除黑色孔洞。

1.1.3 基于支持向量机分类器的防止误匹配方法 考虑到目标对象具有特征简单以及形状存在微小变形的特点,且前文描述的匹配算法存在误匹配的问题,为了防止误匹配,使用了一种基于支持向量机分类器的防止误匹配方法。

(1)方向梯度直方图(HoG)特征提取。HoG特征提取[16]用于目标检测存在的主要问题是其不具有方向不变性。而本文特征提取是在基于形状的模板匹配结果的基础上进行,通过匹配角度将搜索到的图像区域旋转,使其与模板图像一致,根据这一特点本文选择了HoG特征。

本文HoG特征提取步骤如下。

步骤1:将匹配到的局部区域按所测得角度进行旋转,使得其与模板图像角度一致,并裁剪图像,使其尺度一致。

步骤2:将图像长宽缩小到原来的1/2后,将图像灰度值归一化至0～1,由公式(5)(6)得到梯度幅值M和方向θ

(4)

式中:I(x,y)为图像灰度值。

(5)

(6)

步骤3:将整个窗口划分成互不重叠的8×8大小的细胞单元,将梯度方向[0,π]均匀分为9个区间,并根据梯度幅值增加对应区间值,获得梯度方向直方图。

步骤4:将2×2个细胞单元合并为一个块,将块内细胞单元特征串联合并。

步骤5:串联合并整幅图像所有块特征。

(2)支持向量机(SVM)分类器。在得到HoG特征参数后,需要通过分类器以达到去除误匹配结果的目的。由于SVM分类器[17]处理小样本数据集及二分类问题适用性好,因此本文选用SVM分类器。分类超平面由wT+b=0确定,并通过式(7)对样本分类。

f(x)=sgn(wTx+b)

(7)

式中:x是输入样本;w是权重向量;b是偏移量。最优分类准则应满足式(8)并使γ=2/‖w‖最大化。

(8)

式中:yi为样本i的类别。

为了将提取的HoG特征进行正确分类,本文通过高斯核函数进行非线性映射。

1.2 基于边缘检测的立针微孔精定位

结合粗定位结果,在掩膜区域使用具有角度约束的定位轮廓边缘检测算法,通过二次函数拟合获取边缘梯度极大值的方法获取亚像素边缘位置,最后通过最小二乘法拟合立针微平面轮廓直线,从而确定打孔位置。

1.2.1 具有角度约束的定位轮廓边缘检测 结合粗定位结果,在目标图像的掩膜区域通过Canny边缘检测算法[18]定位立针微平面的轮廓边缘。为了去除噪声边缘,本文结合模板匹配结果提出了一种具有角度约束的Canny边缘检测,具体为在Canny边缘检测算法后,根据获得的边缘位置,以及图像灰度梯度方向信息,增加下述步骤。

步骤1:设置角度偏差高阈值为AH,低阈值为AL。

步骤2:计算粗定位后检测到的直线掩膜对应法线方向为θT,并在对应直线掩膜内计算边缘点(xi,yi)的灰度梯度方向θi。

步骤3:当abs(θT-θi)>AH时,认为该点是伪边缘点;当abs(θT-θi)

步骤4:保存强边缘点和弱边缘点,去除伪边缘点。

1.2.2 亚像素边缘定位 通过上述边缘检测算法获取整像素的轮廓边缘位置后,为了进一步提高边缘定位精度,需进行边缘的亚像素定位[19]。通过二次曲线拟合的方法[20]获得亚像素边缘,将边缘点及相邻两点的梯度极大值所在位置作为亚像素边缘位置,具体步骤如下。

一维光强分布公式为

g(x)=Ax2+Bx+C

(9)

式中:A、B、C为光强系数。

基于方孔采样定理,通过式(10)获得每个像素的灰度值f(n)

(10)

求导计算得

(11)

抛物线顶点位置为x=-B/2A,即梯度极大值所在位置,公式为

(12)

图2 亚像素边缘定位方法Fig.2 Method of Subpixel edge positioning

如图2所示,将插值方向分为0°、45°、90°、135°四个方向,若边缘点的灰度梯度方向处于两条虚线范围,则其插值方向为对应的实线。图中红色表示某个边缘点的梯度方向,其对应的插值方向为135°,其对应的亚像素位置

(13)

式中:f′(,)为f′()的二维形式,对应关系见图2。

1.2.3 拟合轮廓定位微孔位置 在定位3条轮廓边缘的亚像素位置后,需要通过直线检测算法[21]获取直线方程。本文利用最小二乘法分别在3个掩膜内拟合直线轮廓边缘,设拟合直线方程为y=f(x)=a+bx,n为边缘点数量,a和b通过式(14)计算

(14)

式中:xi、yi分别为第i个边缘点的坐标。

获取打孔点位置具体步骤如下。

步骤1:通过上述最小二乘法拟合直线,获取直线方程。

步骤2:计算边缘点到直线的距离及标准差σ,剔除距离超过3σ的边缘点。

步骤3:若3σ小于给定的阈值,则重新拟合直线,获取直线方程;若3σ大于给定的阈值,则转到步骤1。

步骤4:通过直线位置确定立针微平面的位置,并根据孔在微平面上的理论位置确定打孔坐标。

2 实验与结果分析

2.1 实验平台

为了准确并快速定位立针微平面位置,设计了由图3所示的实验设备构成的实验系统,主要包括CCD相机、镜头、显微镜头、光路、光源、立针、夹具、运动平台等部分。其中CCD相机分辨率为1 200×1 600,显微镜头放大倍数为10。实验采集到的立针微平面图像如图4所示。

图3 实验设备Fig.3 Experimental equipments

图4 微平面采集图像Fig.4 A micro-plane image

2.2 粗定位实验

2.2.1 带掩膜的模板建立 建立模板时,首先在其中一幅立针微平面图像中截取如图5a所示的模板图像;边缘检测后获得边缘如图5b所示,包括3条直线边缘和1条由于遮挡产生的不规则边缘。该不规则边缘对于立针平面定位无参考价值。对这3条直线边缘进行人工直线选取,直线位置如图5c所示,掩膜位置如图5d所示。

2.2.2 结合形态学滤波和直方图凹度分析的二值化算法效果 通过本文使用的去除背景方法处理如图6a所示的金字塔顶层图像,结果如图6c所示;而文献[6]中使用的OSTU二值化结合开运算的处理效果如图6b,本文方法计算得到的二值化阈值更为准确,背景分离效果更好。通过图7可以看出,本文方法获得的目标区域的像素点数远小于OSTU结合开运算的点数,表明本文方法获取了更好的分割效果。

2.2.3 粗定位结果 为了验证本文粗定位算法的可靠性,在采集不同光照、不同位置以及不同立针的

(a)模板图像

(b)图像边缘

(c)直线位置

(d)掩膜位置

(a)图像金字塔最顶层图像

(b)OSTU二值化+开运算分离背景

(c)本文方法分离背景图6 背景分离结果Fig.6 The result of background separation

图7 2种算法像素点数对比图Fig.7 A comparison of pixels number by two algorithms

152张微平面图像后,使用本文方向梯度直方图特征提取的步骤1,总共获取510个样本,每个样本尺度为80×176,其中正确匹配样本为152个,错误匹配样本为358个。为了验证本方法在小样本数据集上的效果,使用本文提出的结合分类器的模板匹配算法,选取5组训练集,每组正负样本各20张,5组训练集训练出的结果的平均值为最终的分类准确率。当高斯核半径为0.015,惩罚因子为5时,分类准确率达到99.76%。

为了衡量粗定位精度,在152张微平面图片中选取25张,人工标注出直线轮廓的掩膜区域,与本文SVM结合模板匹配的方法获取的掩膜区域计算得到平均交并比(IoU)为82.9%,能够满足后续精定位计算的需求,而仅使用模板匹配所得平均IoU仅为36.5%,可以看出本文算法的优越性。粗定位精度如图8所示,结果如图9所示。

图8 粗定位精度Fig.8 The accuracy of coarse positioning

图9 粗定位结果Fig.9 The result of coarse positioning

2.3 精定位实验

2.3.1 边缘检测效果 在粗定位获取的掩膜内使用本文所述具有角度约束的定位轮廓边缘检测方法,获得的边缘如图10b所示,相比较图10a所示的Canny边缘检测算法,本文方法明显有更好的去噪能力。

(a)Canny边缘检测方法的检测结果

(b)具有角度约束的定位轮廓边缘检测方法的检测结果图10 2种边缘检测方法的检测结果对比Fig10 A comparison of detection results by two edge detection methods

图11 打孔位置精定位结果Fig.11 The result of accurate positioning of hole machining position

2.3.2 精定位结果 图11显示了本文方法获得的3条直线轮廓边缘以及打孔位置。该立针微平面为等腰梯形,打孔位置位于梯形中心线且距离上底41 μm处。实验中标定的像素当量为0.932 μm/像素,可确定在图像中打孔位置距离上底43.99像素。

通过量尺在图像中确定立针定位所用直线边位置后,根据直线位置关系计算微孔加工位置。在粗定位完成后,分别通过本文所提边缘检测精定位方法,以及Canny边缘检测方法所计算的微孔加工位置与人为测量计算确定的理论加工位置进行对比,从而计算算法的定位误差。

考虑到实际视觉检测中的主要问题为立针位置以及姿态难以确定,光照不确定,部分情况下存在少量噪声,本文通过将4根立针以不同姿态放置在不同位置,并改变光照条件,同时加入高斯噪声,最终选取50张图像进行实验。本文方法定位误差如图12所示,其中最大误差2.20 μm,平均误差1.11 μm,标准差0.53 μm;而Canny边缘检测定位误差如图13所示,其中最大误差5.99 μm,平均误差1.71 μm,标准差1.30 μm。

图12 本文边缘检测方法精定位误差Fig.12 Accurate positioning error of the proposed edge detection method

图13 Canny边缘检测定位误差Fig13 The positioning error of Canny edge detection method

通过对比两种方法最终的结果,发现本文精定位算法相比较Canny边缘检测方法的定位精度更高,且在不同光照、不同位置、不同姿态以及噪声环境下都能稳定运行,算法鲁棒性好。如图14所示,本文视觉定位算法平均总耗时仅为328 ms,满足算法的快速性。

图14 本文算法总耗时Fig.14 The total time consumed by the proposed algorithm

3 结 论

(1)针对立针微孔加工位置定位问题,本文研究了基于形状的模板匹配与SVM分类器相结合的方法进行粗定位、基于边缘检测进行精定位的两步定位方法,通过实验验证了不同立针在不同位置、不同姿态、不同光照条件以及噪声环境下定位的结果,证明了本文方法的精确性、鲁棒性以及快速性。

(2)本文提出基于形状的模板匹配和支持向量机相结合的粗定位方法,通过提取目标HoG特征,能够通过少量样本训练得到高准确率。本文算法有效解决了目标结构简单、尺寸存在偏差时传统模板匹配方法的误匹配问题。

(3)在精定位阶段,本文提出一种具有角度约束的定位轮廓边缘检测方法,此方法通过结合粗定位获得的信息,有效去除了Canny边缘检测中的噪声边缘,提高了定位的准确性及稳定性。

(4)本文将模板匹配以及边缘检测的优势进行了结合,相较单一方法而言应用范围更广,对于任意尺度不变或微变目标的视觉定位有着指导意义。