基于视觉的芯片位姿测量方法研究*

冉 迪,王 宁,李松珍,王 丹,韩 志,王晓凤

(1.沈阳城市建设学院机械工程学院,沈阳 110167;2.沈阳工业大学a.机械工程学院;b.工程实训中心,沈阳 110870)

0 引言

随着半导体技术和电子产业的高速发展,使得芯片逐渐向着高密度、小尺寸、低成本的方向发展,而对芯片贴装的精度和质量的要求也随之提高[1-3]。芯片在贴装过程中由于各种因素的影响会造成芯片移位的问题,使芯片位置不够准确,影响芯片后续的工艺,使得芯片封装的成品率无法得到保证[4-5]。目前,国内外芯片贴装工艺中的检测和定位任务主要通过计算机视觉系统完成,其主要原理是利用机器视觉技术模拟人眼的功能,获取图像中的有效信息,并对信息进行加工处理,从而实现芯片的识别和定位,以达到提高生产线自动化程度和生产效率的目的[6-8]。我国随着半导体行业的崛起,对芯片定位的相关研究也快速发展,但与国外研究水平相比尚存在一定的差距[9-12]。

在贴装过程中,亟待解决的关键问题是如何在保证识别率的基础上,实现目标芯片的精确定位。目前,识别芯片图像特征的主要方法包括点模式匹配法和模板匹配法[13]。点模式匹配法可将满足一定位置关系的两幅图像中的点进行匹配,从而实现芯片的识别和定位,但该方法计算量较大,需要进一步优化[14]。模板匹配法鲁棒性好,但对噪声较为敏感,需要建立模板图像,且对于角度计算的精度较低[15]。针对上述问题,本文通过对亚像素边缘定位算法进行改进,并对边缘异常点进行校正,从而提高芯片图像的定位精度,采用最小二乘法分别对校正后边缘进行拟合,实现芯片的位姿测量,为后续芯片封装过程中的纠偏提供依据。

1 芯片图像边缘定位

1.1 边缘定位原理

芯片图像中包括前景和背景区域,芯片定位的本质就是高精度的确定芯片边缘,即提取前景与背景区域的分界。Sigmoid函数作为神经网络常用的激活函数,也可作为逻辑回归的预测函数,可有效解决前景与背景分离的二分类问题,实现图像边缘的定位[16]。

图像预处理的目的主要是尽可能地消除图像中的无关信息,使真实信息能够更容易地被检测出来,其主要包括去噪和增强两部分,其中图像去噪部分可使用高斯滤波降低图像中的椒盐噪声对边缘的影响;图像增强部分则是通过对去噪后的图像进行高频区域对比度增强,以达到提高边缘提取精度的目的。

对于获取的芯片图像,首先需要进行图像去噪、增强等预处理,其目的是尽可能地消除图像采集过程中的噪声干扰,方便边缘特征的提取,为下一步的识别定位奠定基础。而形态学闭操作则是在保持原有位置和形状不变的前提下,采用先膨胀后腐蚀的手段对图像进行处理,将两个具有细微联系的图块连接在一起。针对图像中边缘不连续的情况,采用一定尺寸的核进行形态学闭处理,得到图像的初始轮廓,进而确定图像的像素级边缘[17]。在此基础上,将图像中灰度值以归一化的形式展现出来,该灰度值可视为该像素点为背景的概率,利用Sigmoid函数可准确定位图像边缘。

Sigmoid函数又称为S函数,它是一个阈值函数,其特征为连续、光滑且严格单调[18],可表示为:

(1)

对应的函数图像如图1所示。

图1 Sigmoid函数曲线

根据图像边缘特征,建立边界模型为:

(2)

式中:θT=[θ0,θ1,θ2,θ3,…,θn]为回归系数。

即:

(3)

假设yi为观测值,则表示输出结果的概率为:

(4)

所以综合概率为:

P=(fθ(Xi))yi(1-fθ(Xi))1-yi

(5)

根据最大似然估计得到所有样本概率之积为:

(6)

则其损失函数为:

(7)

式中:Xi是第i个样本的自变量矩阵,yi是与其对应的实际概率,当损失函数最小时,得到最佳回归系数θT。

理论上,边缘模型可以是任意曲线模型,但考虑到芯片大多数为圆形和方形,因此本文仅构建圆和直线两种边缘模型。当已知边缘形状为直线或圆时,直接利用Sigmoid函数求解模型,一次性统计出边缘位置。

直线边界模型为:

z=θTX=θ0+θ1x1+θ2x2

(8)

圆边界模型为:

(9)

式中:x1、x2分别表示像素点的横、纵坐标。提取边缘时,将边缘模型代入式(3)中,当其损失函数(7)最小时,可得最佳回归系数θT,将该系数代回边缘模型,即可实现亚像素边缘的定位。

1.2 边缘异常点校正

对图像进行预处理之后,可减小随机误差对边缘定位精度的影响,但由于芯片表面受到外界杂质污染等造成的图像几何失真无法消除,因此对于提取的亚像素边缘,需要进行边缘异常点校正。

理论上,边缘法向的灰度值应符合高斯分布规律,但由于异常点的存在,则会导致灰度分布曲线在一定范围内产生异常突变,影响定位精度,如图2所示。

图2 边缘灰度值异常突变

为了减小异常点对定位精度的影响,对采集的图像进行校正,包括像素位置以及像素灰度值的校正。由于异常点的灰度值变化表现为局部曲线区域的突变,并存在一个突出比较大的波峰点,则可通过波峰定位函数找到异常波峰所在区域,根据该波峰点位置提取区域图像,从而确定异常点坐标,在此基础上,利用插值方法将波峰点及相邻两个波谷点之间的所有异常像素点进行替换,从而实现异常校正的目的。

2 芯片图像位置拟合

2.1 芯片定位盘中心位置检测

芯片定位盘作为放置芯片的基准平台,如图3所示,要求其检测时位于视野中央位置。因此在检测芯片前,需要先对芯片定位盘中心进行定位,具体方法为:

图3 芯片定位盘

(1)对于采集的定位盘图像,采用高斯滤波对图像进行预处理;

(2)对预处理之后的芯片定位盘图像进行先膨胀后腐蚀的形态学闭操作,从而得到连续的图像轮廓,在此基础上,采用Sobel算法提取图像中的粗边缘;

(3)根据提取的芯片定位盘粗边缘,利用Sigmoid函数实现亚像素边缘的定位,并对边缘异常点进行校正,在此基础上,采用最小二乘法对亚像素边缘数据进行圆拟合,确定定位盘的粗中心位置;

之前就听我妈说过，这家人成分是很微妙的。家里男人是鄂州搞房地产的，经常不在家。儿子和我一个小学，马上要上初中。而现在和孩子在家里的是他的后妈。

(4)由于提取的定位盘亚像素边缘包含多个同心圆,则根据定位盘粗中心位置,通过连通域将不同圆上的亚像素数据进行分类,并分别进行拟合,确定各个圆的中心位置;

(5)以高斯分布为依据,从内向为外设置权重,得到精确的芯片定位盘中心坐标,并将该中心与图像中心进行比较,确定定位盘在视野中的位置偏差,以便对芯片定位盘位置进行调整。

2.2 芯片位姿检测

芯片具有不同的系列,各系列的芯片其大小及样式均不相同,为了准确获取芯片的相关信息,则需要对获取的芯片图像进行处理分析,确定视野范围内的芯片个数以及距离图像中心最近的芯片位姿,其位姿主要包括芯片中心坐标及偏转角度,具体方法为:

(1)对于获取的芯片图像进行预处理及形态学闭操作,并通过Sobel算法提取图像中的粗边缘;

(2)在粗边缘的基础上,利用Sigmoid函数实现亚像素边缘的定位,并对边缘异常点进行校正;

(3)根据已知的芯片尺寸信息确定图像中的连通域,并对该连通域进行计数,得到图像中的芯片个数,并求出各芯片连通域的重心所在位置;

(4)通过重心坐标将芯片边缘划分为4个区域,并采用最小二乘法对每个区域内的亚像素边缘进行拟合,直线边缘数学模型可表示为:

αx+βy+γ=0

(10)

4个区域内的亚像素边缘对应芯片的4条直线边缘斜率为k1、k2、k3、k4,求4条直线的交点坐标A1、A2、A3、A4及芯片偏转角度θ,则芯片中心位置坐标为:

(11)

(12)

(5)将所有芯片的中心位置与图像中心位置进行比较,得到两者之间的偏差值,则可确定距离视野中央最近的芯片。

3 实验结果及分析

实验采用分辨率为2448×2050 pixel的工业相机、畸变率<0.1%双远心镜头、LED蓝光平行光源和数字控制器等搭建视觉测量系统,如图4所示,实现芯片相关图像的采集,并利用MATLAB编写程序进行相关实验。

图4 芯片视觉测量系统

3.1 芯片定位盘中心检测实验

芯片定位盘如图3所示。采用本文所述方法对芯片定位盘图像进行处理的结果分别如图5所示。

(a) 预处理完成定位盘图像 (b) 定位盘像素级边缘

由图5可以看出,采用本文所述方法处理芯片定位盘图像,可以实现芯片定位盘亚像素边缘的精确定位,但由于存在多个圆,需要对同一圆上的亚像素边缘进行分类和异常点处理,在此基础上,采用加权的方式进行最小二乘圆拟合,最终确定芯片定位盘的中心坐标为(688.9,518.8) pixel,程序运行时间约为0.2 s,而芯片定位盘的实际中心坐标为(689,519) pixel,两者之间的误差约为0.2 pixel,说明该方法的中心定位精度较高,可以用于芯片检测过程中,为芯片定位盘调整提供依据。

3.2 芯片位姿检测实验

检测的芯片种类及分布情况如图6所示,即单次采集1个完整芯片、单次采集多个芯片且铺满视野、单次采集多个芯片但未铺满视野。

(a) 视野内单个芯片 (b) 视野内铺满多个芯片

采用本文方法对图6芯片进行处理,结果如图7～图9所示。可以看出该方法具有一定的鲁棒性,能够提取不同状态下芯片的亚像素边缘并对异常点进行校正,准确实现各芯片的位姿测量。

(a) 预处理完成芯片图像 (b)芯片像素级边缘

(a) 预处理完成芯片图像 (b)芯片像素级边缘

(a) 预处理完成芯片图像 (b) 芯片像素级边缘

图10为芯片边缘某异常点校正前后的灰度值变化情况,由该图可以看出校正后的边缘法向灰度值符合高斯分布,可进一步提高亚像素定位精度。

(a) 某异常点灰度值分布 (b) 某异常点校正后灰度值分布

为了进一步验证本文方法的有效性及精度,将本文方法与基于膨胀和Facet算法[19]提取的芯片中心位置和偏转角度进行比较,结果如表1所示。从表1可以看出,文中所提方法与基于膨胀和Facet算法确定的芯片位姿基本一致,验证了该方法的有效性及精度,两者芯片中心位置误差在0.3 pixel左右,偏转角度误差在0.003°以内。在运算速度方面,两者相差不大,本文方法用时约为0.4 s,可以满足实时需求。

表1 芯片中心位置及偏转角度提取结果

从上述实验结果可以看出,采用本文提出的方法能够有效、准确地实现芯片定位盘及各种芯片的检测,最终得到视野范围内芯片定位盘及芯片的位姿信息,为后续芯片的调整提供依据。

4 结论

为了提高芯片贴装精度,本文提出一种基于视觉的芯片位姿测量方法。该方法在进行图像预处理后,采用Sobel算子提取芯片的像素级边缘,利用Sigmoid函数对像素级边缘进行分类,通过回归系数准确定位亚像素边缘,并对亚像素边缘中的异常点进行校正,在此基础上,采用最小二乘法对芯片的四条边缘分别进行拟合,从而确定芯片中心位置及芯片偏转角度。通过实验可以证明,本文所提方法切实有效,定位精度高,且运行速度较快,满足实际生产中的贴装要求,具有很高的使用价值,下一步考虑将该方法推广到芯片检测的应用当中。