SMT封装电路板三维在线检测技术

何荣芳,孙长库,王 鹏,杨国威

(天津大学精密测试技术及仪器国家重点实验室,天津 300072)



SMT封装电路板三维在线检测技术

何荣芳,孙长库,王 鹏*,杨国威

(天津大学精密测试技术及仪器国家重点实验室,天津 300072)

为了检测回流焊接之后SMT(Surface Mount Technology)封装电路板是否存在缺陷,设计并搭建了基于线结构光传感器的SMT封装电路板三维在线检测系统,通过线结构光扫描测量,获取SMT封装电路板表面三维数据。采用双传感器测量技术,有效减少数据丢失;研究了双传感器统一标定技术,可同时实现两个传感器的参数标定和坐标系统一。提出了自适应光条中心提取算法,对反射或散射影响而形成的光条图像噪声具有很好的抑制效果,能够提取准确的光条中心。实验表明系统测量精度可达到0.02 mm。系统测量得到的三维数据,可以为在线检测SMT封装电路板缺陷提供可靠的三维信息。

SMT封装电路板;线结构光传感器;三维在线缺陷检测;双传感器标定;光条中心提取

随着表面封装技术SMT(Surface Mount Technology)的普及,电路板上元器件不断密集化和细小化,有效的检测元器件贴装缺陷对整个SMT封装电路板生产质量起到重要作用。传统的电路板缺陷检测方法主要包括人工目检(MVI)、电气检测和红外检测。MVI依靠人工视觉进行检测[1],成本低,但是受人为因素影响大,检测效率很低;电气检测为接触式测量[2],虽然可以快速检测短路和断路,但是会损伤电路板表面;红外检测为非接触检测[3],速度快,但只能检测裂纹等缺陷;以上传统的检测方法都有其优点,但又受限于各自的测试原理,它们的检测能力已不能完全适应高速、高精度、同时检测多种缺陷等高要求场合,如经回流焊后SMT封装电路板的缺陷检测。

经回流焊之后,已属于SMT生产线末端,电路板上可能出现的缺陷[4]主要包括缺件、错件、偏移、IC引脚、锡膏缺陷等。以视觉测量[5]为基础的AOI检测方法具有非接触、高速、高精度等优点,在缺陷检测领域被广泛应用,国外SAKI公司的AOI产品BF系列[6]等,采用了线性扫描方式、交替照明系统以及高解像度图像处理系统,可用于回流焊后SMT封装电路板的缺陷检测,测量精度可以达到10 μm,但是价格昂贵,高达百万至上亿元;国内对SMT封装电路板进行缺陷检测研究还处在一个相对较低的水平[7-8],华中科技大学的刘尚军[9]等利用多模板参考比较法实现快速检测,但只能检测空PCB缺陷,合肥工业大学的徐胜海[10]等利用图像信息熵的方法检测元件漏焊、焊歪等缺陷,但运算量大不利于在线检测。线结构光[11]视觉测量具有成本低、精度高、实时性强等优点,因此本文搭建了基于线结构光扫描的SMT封装电路板缺陷自动光学检测系统。

本文根据实际测量需求,利用双传感器测量[12]技术,设计并搭建了基于线结构光的三维在线检测系统,采用双传感器统一标定方法,提出自适应光条中心提取算法,获取SMT封装电路板表面三维数据,用于经回流焊接之后SMT封装电路板的在线缺陷检测。

1 SMT封装电路板三维在线检测系统设计

1.1 检测系统结构设计

SMT封装电路板三维检测系统结构如图1所示。它主要由光学子系统、图像采集子系统、扫描运动子系统和计算机等组成。光学子系统包括一个线激光器;图像采集子系统由两个高速CMOS相机和图像采集卡组成;扫描运动子系统由电控精密平移台及其控制箱构成。线激光器垂直投射,CMOS相机以一定角度对称分布在光平面两侧,可构成两个线结构光传感器。测量时,平移台沿着与光平面垂直方向扫描运动。

图1 检测系统结构图

1.2 测量原理

由图2可知,线结构光垂直投射到被测SMT封装电路板上,两个高速CMOS相机获取光条图像,通过图像采集卡传输到计算机。对图像进行处理计算,可得到光条中心的计算机图像坐标(ud,vd);将测量坐标系Ow-XwYwZw建立在光平面上,设光平面与电路板表面相交线上任一点为P,则点P在传感器光平面坐标系Ow-XwYwZw下的坐标为P(0,Yw,Zw);根据基于高阶多项式的DLT(Direct Line Transformation)线结构光传感器数学模型,可将任一被测点P(0,Yw,Zw)与其实际计算机图像坐标(ud,vd)的转换关系描述为[13]:

(1)

其中,n为选用的多项式最高幂次,Cij和Dij为描述了光平面坐标系和图像坐标系转换关系的多项式模型参数。把(ud,vd)代入系统的测量模型即式(1),可得到二维坐标(Yw,Zw),(Yw,Zw)描述了电路板纵向(Yw方向)和深度方向(Zw方向)的尺寸信息。

图2 SMT封装电路板三维在线检测系统的结构示意图

控制平移台做扫描运动,平移台的位移为:

Xw=vtt

(2)

式中vt、t为平移台的扫描速度和扫描时间,Xw提供当前位置的横向尺寸信息。(Xw,Yw,Zw)组成了电路板表面某点的三维坐标,扫描测量可得到整个SMT封装电路板表面的三维数据点云,为发现、识别缺陷等后期处理提供三维信息。

为有效解决被测SMT封装电路板表面元器件在高度方向上的突变使部分数据缺失的问题,系统采用双传感器进行测量,具体测量原理为:设在某一位置,测量系统中左传感器测量得到的光条中心点空间坐标的集合为:

Pl(Pl1(Xw1,Yw1,Zw1),Pl2(Xw2,Yw2,Zw2),

Pl3(Xw3,Yw3,Zw3),…,Plm(Xwm,Ywm,Zwm))

右传感器得到的光条中心点空间坐标的集合为:

Pr(Pr1(Xw1,Yw1,Zw1),Pr2(Xw2,Yw2,Zw2),

Pr3(Xw3,Yw3,Zw3),…,Prn(Xwn,Ywn,Zwn))

若m>n,则以左传感器获得的数据为主,右传感器作为补偿。具体补偿方法可以描述为:以纵向坐标Yw由大到小的顺序进行补偿,如果|Ywm-Yw(m-1)|>gap(设定的间隔),即该区域丢失数据较多,需要进行补偿,则遍历集合Pr,找到Ywi介于Ywm和Yw(m-1)之间的集合Pri(Prj(Xwj,Ywj,Zwj),…,Pri(Xwi,Ywi,Zwi)),其中j

P(Pl1(Xw1,Yw1,Zw1),Pl2(Xw2,Yw2,Zw2),…,

Pl(m-1)(Xw(m-1),Yw(m-1),Zw(m-1)),

Prj(Xwj,Ywj,Zwj),…,Pri(Xwi,Ywi,Zwi),

Plm(Xwm,Ywm,Zwm))

2 双传感器统一标定方法

为实现两个传感器在测量过程中的实时相互补偿,需要将两个传感器的坐标系进行统一。本文提出了双传感器统一标定方法,利用一个平行线靶标,通过采集不同位置处靶标的图像,不仅同时得到左、右两个传感器的多项式模型参数Cij和Dij,而且完成了坐标系统一。

2.1 标定过程

系统标定示意图如图3所示,左、右相机相对光轴以一定角度对称设置,靶标由一组具有确定间距的平行直线构成,与Xw轴重合的为中心线,Ow为靶标坐标系原点,中心线与邻近两侧的标记线的间距相等,以两条标记线为基准,相邻平行直线之间的距离均相等。

图3 系统标定示意图

图4 在2 mm位置提取的靶标特征点

光条垂直于靶标平面投射,将测量坐标系建立在光平面上,则左、右两个线结构光传感器具有同一个测量坐标系,均为Ow-XwYwZw。标定过程中,靶标在测量坐标系Ow-XwYwZw的Zw方向平移,平移的距离可以确定特征点在Zw方向上的坐标,记为Zi;光平面与靶标平行线的交点即为用于标定的特征点,由平行线间距可确定特征点在Yw方向上的坐标,记为Yi。在每一个位置,左右相机都可以得到一组特征点,由式(3)可知,对应的特征点具有相同的测量坐标系坐标,即:

(3)

分别求得各个特征点在左、右传感器像平面下的坐标(udi,vdi),结合测量坐标系坐标P(0,Ywi,Zwi),代入式(1),并建立误差函数EY,EZ和最小误差目标函数F,如式(4)所示:

(4)

式中m为实验选取的靶标特征点的个数,建立式(4)最小二乘处理的正规方程:

(5)

联立式(4)、式(5)求解,可得到两个传感器的标定系数Cij和Dij,且该标定过程同时完成了将两个传感器的标定结果统一到同一个测量坐标系下。

2.2 传感器标定结果

使用本文研究的标定方法,结合系统的实际应用进行系统标定。根据“电路板表面深度变化范围为5mm”的系统设计目标,系统Z方向测量范围至少保证5mm。将靶标垂直于光平面放置,选择合适的第一摆放位置,间隔1mm依次平移,分别在0mm、1mm、2mm、3mm、4mm、5mm等位置获取靶标特征点。

在2mm位置处提取得到的靶标特征点如图4所示,图4(a)为左传感器特征点提取结果,图4(b)为右传感器特征点提取结果,图中特征点用红色标记,绿色的字符为对应的图像坐标及其纵向坐标。通过移动靶标,在6个位置获得标定特征点,计算得到标定数据,表1、表2分别给出了左、右两个线结构光传感器多项式(3阶)参数的标定结果。

表1 线结构光传感器多项式参数标定结果(左)

表2 线结构光传感器多项式参数标定结果(右)

3 自适应光条中心提取算法

准确的提取光条中心是保证三维测量结果准确可靠的关键。SMT封装电路板上元器件细小、分布密集且具有不同的封装类型、不同的表面图层,系统采集到的光条图像,不可避免的包含了较多由于元器件表面反射或散射形成的噪声;而且被电路板密集的元器件表面形貌调制变形,光条走向已不只是水平或者竖直的,而大多是具有一定弯曲度的。

传统的光条中心提取方法有灰度阈值法、极值法和梯度阈值法等[14],这些方法虽然实现简单,但受噪声影响大,很难得到较高的提取精度,Steger算法在提取光条中心过程中能取得较高的精度和鲁棒性,但需进行多次卷积,运算量大,难以实现在线需求。针对以上方法的优缺点,结合系统光条图像特点,本文提出了自适应光条中心提取算法:综合运用图像处理的方法,先对图像进行去噪,再自适应找到变形了的光条的走向,以提取准确的光条中心。

3.1 基于小波变换的光条图像去噪

系统光条图像的噪声主要由于元器件表面局部反射率不一样引起。小波变换[15]具有良好的时域和频域局部性,适用于对图像的细节部分进行处理。光条图像中的噪声多集中于高频段,且在整个时域范围内,噪声的小波系数都有分布,经过特定的尺度变换后变得很小,故可以利用小波变换将图像分解,设定适当的阈值,在小波变换域去除这些幅值小的噪声分量,再通过逆变换重建图像,得到去除噪声后的光条图像。

具体实现流程为:

①将光条图像进行小波变换,得到各分量小波系数;

设f(x,y)表示光条图像,则图像的二维离散小波变换可表示为:

Wf(a,bx,by)=∑∑f(x,y)ψa,bx,by(x,y)

(6)

②估计局部系数分量的噪声水平,设定合适的阈值T;

③对小波细节系数进行软阈值去噪并重建图像;

设w为原始小波系数,p(w)为处理后的小波系数,则软阈值函数为:

(7)

图5(b)为基于小波变换的光条图像去噪效果图,对比图5(a)中原图可知,消除了绝大部分的干扰因素,且保持了光条的主要信息。图像质量得到明显的改善,对图像进行有效分割,细化后可得到光条的大致中心线。

图5 图像去噪处理

3.2 Gabor滤波器探测光条走向

Gabor滤波器[16]具有良好的方向选择性,其在频率和方向上的表示,非常接近人类的视觉系统,因此在图像处理领域得到了广泛的应用。针对系统变形的光条图像,利用多尺度的Gabor滤波,可以自适应地探测出大致中心线上各点的走向,结合灰度重心法与该方向垂直对光条中心点进行修正,可得到准确的光条中心。

二维Gabor滤波函数实际上是一个被调制的高斯函数,表达式如下[17]:

(8)

式中u=xcosθ+ysinθ,v=-xsinθ+ycosθ,w表示复正弦函数的频率,θ为Gabor核函数的方向,通过选择不同的w和θ可以得到不同尺度方向的Gabor滤波函数。利用欧拉公式将式(8)分为实部和虚部,得到偶对称和奇对称的Gabor滤波器,偶对称Gabor滤波器的表达式为:

(9)

二维偶对称Gabor滤波器可有效增强图像中的偶特征[18],如中心轴线等,在有效增强图像主轴垂直方向的特征的同时,Gabor滤波器将抑制沿主轴方向的特征。因此,利用多尺度的Gabor滤波,可以自适应地探测出光条中心的法线方向。

细化后得到的光条大致中心线上的各点Pi,根据经验选择几个合适的θ值进行Gabor滤波,对比得到该点能量最大方向,垂直于该方向,在设定邻域内利用灰度重心法对该点坐标进行修正,以得到准确的光条中心。具体实现方法如图6所示。

图6 光条中心校正示意图

设Gabor滤波器探测到某点Pi(x,y)的最大能量方向为k1,由式(10)求出与其垂直的方向k2。

k1k2=-1

(10)

可以得到过点pi(xi,yi),斜率为k2的直线li的方程为:y-yi=k2(x-xi),以点pi(xi,yi)为中心,在直线li上,在根据光条的宽度设定的范围内,利用灰度重心法对细化得到的光条大致中心进行准确的修正,获得亚像素光条中心位置。

图7(b)为本文自适应算法提取的光条中心在原图上进行显示的效果,可以看出,与图7(a)所示的灰度重心法提取效果相比,本文算法在光条弯曲的地方也能提取到准确的光条中心。

图7 光条中心提取效果

4 精度验证及实测实验

设计的检测系统装置如图8所示,传感器部分由BASLER公司的acA2000-340 km相机,PENTAX公司的C2514-M镜头,采集卡Matrox Radient eCL以及线激光器NL-FF-01L-660-100-75组成,平移台为Zolix SC300,系统深度方向的测量范围为5 mm。

图8 SMT封装电路板缺陷检测系统

4.1 测量精度验证实验

为了验证系统扫描测量的精度,利用系统对标准块进行了测量验证实验。取标准块作为实验对象,将两标准块研磨在一起,两标准块的表面分别标记为平面1、平面2,如图9(a)所示,图中标准块的标称厚度为3 mm。采用系统对两平面进行扫描测量,拟合出平面方程P1,P2:

P1:1.000Xw-0.028Yw+0.0001Zw=1

P2:1.000Xw-0.025Yw-0.010Zw=1

图9 标准块测量图

用同样的方法分别对1 mm、2 mm、4 mm、5 mm的标准块进行测量,结果如表3所示,通过与标准块厚度标称值比较,可知系统测量精度高于0.02 mm。

图10 系统测量图

表3 标准块扫描测量结果(单位mm)

测量3 mm标准块得到的三维数据点云如图9所示。图9(b)为双传感器测量获得的三维数据点云,图9(c)、图9(d)分别为左、右传感器单独测量所得。图9(b)中,红色数据点为左传感器测量所得,如图9(c)所示;黑色数据点为右传感器测量所得,如图9(d)所示。可以看出,平面1与平面2的高度突变处,只有黑色数据点,左传感器由于光条被平面1遮挡以致没有数据,而右相机完整的采集了该段光条图像,在其他位置处,既有黑色数据点也有红色数据点。实验表明,系统测量数据由左传感器与右传感器在各个位置所测数据相互补偿得到,相对于单传感器测量,采用双传感器测量方法,获得了更多的数据,有效减少被测物在高度方向上的突变导致的数据缺失。

4.2 系统实测结果

本系统主要针对经回流焊接之后的SMT封装电路板进行缺陷检测。经回流焊接之后已经到达生产线的末端,SMT封装电路板可能存在的缺陷主要有元件装贴错误、元件缺失等[19]。

采用系统对具有缺陷的SMT封装电路板进行测量,将得到的三维数据进行3D曲面重构,效果如图10(a)所示。图中不同颜色代表不同的高度数据。图中多处缺件、错件,对其中两处进行局部放大,如图10(b)、图10(c)所示。图10(b)中所贴元件大小与焊盘不匹配,存在错件缺陷;图10(c)中应贴元件的焊盘上没有贴元件;可见,测量得到的三维数据点云,经过3D曲面重构将电路板上的缺陷准确地显示出来,由此证明了系统可行,测量得到的三维数据可为SMT封装电路板上的缺陷在线检测提供可靠的三维信息。

如图10(a)所示,相机纵向(Y方向)视场范围约为50 mm,测量长60 mm的电路板用时约20 s。系统中CMOS相机两次采集图像的时间间隔约为0.000 27 s,若将图像处理相关算法写入采集卡中的FPGA中,实现硬件运算,可以保证在每次采集图像的时间间隔内处理完采集到的图像,则系统测量速度可达到46 cm2/s以上,完全可以满足在线测量要求。

5 结论

本文设计并搭建了基于线结构光传感器的三维在线检测系统,测量SMT封装电路板表面三维数据,用于SMT封装电路板生产工艺流程中回流焊接之后的缺陷检测。系统采用双传感器测量方法,有效减少数据丢失;标定时,使用一个平行线靶标,即可同时完成两个传感器的标定和标定结果统一;系统综合运用图像处理方法,首先对图像进行去噪,再自适应找到光条的最大能量方向,提取准确的光条中心。实验表明系统测量精度可以达到0.02 mm,满足在线检测SMT封装电路板上缺陷的精度要求。

[1] 张静.PCB表观缺陷的自动光学检测理论与技术[D].成都:电子科技大学,2013.

[2]谢华.印制电路板自动测试系统的设计与应用研究[J].电子科技大学学报,2000,5:515-517.

[3]吴斌.热辐射温度测量技术研究[D].哈尔滨工程大学,2013.

[4]周煜.如何对表面贴装印刷电路板(SMT PCB)进行缺陷检查[J].湖北广播电视大学学报,2007(6):159-160.

[5]Liu Bin,Wang Peng,Zeng Yong,et al.Measuring Method for Micro Diameter Based on Structured Light Vision Technology[J].Chinese Optics Letters,2010,8(7):666-669.

[6]Saki AOI[EB/OL].http://www.questar-china.com/electron/saki.htm.

[7]张强.SMT设备本土企业崛起贴片机难题待破[N].中国电子报,2014,5(12):1-5.

[8]谢飞.基于计算机视觉的自动光学检测关键技术与应用研究[D].南京:南京大学,2013.

[9]刘尚军.印刷电路板瑕疵自动光学检测系统的研究[D].武汉:华中科技大学,2002.

[10]徐胜海.印刷电路板在线自动视觉检测系统的分析研究[D].安徽:合肥工业大学,2001.

[11]孙长库,叶声华.激光测量技术[M].天津:天津大学出版社,2001.

[12]全燕鸣,黎淑梅,麦青群.基于双目视觉的工件尺寸在机三维测量[J].光学精密工程,2013,21(4):1054-1061.

[13]刘斌.微小三维尺寸自动光学检测系统的关键技术研究[D].天津大学,2010.

[14]马玉坤,王鹏,孙长库,等.基于线结构光传感器的公路平整度测量系统[J].传感技术学报,2013,26(11):1597-1603.

[15]李亚标,王宝光,李温温.基于小波变换的图像纹理特征提取方法及其应用[J].传感技术学报,2009,22(9):1308-1311.

[16]Cosmin Grigorescu,Nicolai Petkov,Michel A Westenberg.Contour Detection Baced on Nonclassical Reception Field Inhibition[J].Image Processing,2003,12(7):729-739.

[17]Shane Colton.The Balance Filter A Simple Solution for Integrating Accelerometer and Gyroscope Measurements for A Balancing Platform[R].Massachusetts:MIT,2007.

[18]彭楠,何小海,汪华章.基于样条小波和Gabor小波的边缘检测[J].成都信息工程学院学报,2007,22(2):195-197.

[19]田哲宇,张雪.SMT生产关键工艺分析[J].科技创新导报,2013(9):79.

Three-Dmensional Online Inspection Technique for SMT Packaging Circuit Board

HERongfang,SUNChangku,WANGPeng*,YANGGuowei

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

In order to inspect whether the SMT packaging circuit board is defective,this paper designed and established a three-dimensional online system based on structured-light sensors.Defects in the SMT packaging circuit boards can be found and identified online profit from the three-dimensional processing and analysis by using the system.Dual sensors measurement technology was applied to solve the problem of information occlusion effectively,which caused by the height difference of components.Dual sensor unified calibration technology was investigated,which can obtain model parameters of the two sensors simultaneously and realize unified coordinates at the same time.An adaptive accurate algorithm for extracting the stripe center was proposed,which can restrain image noise caused by light reflected and scattered effectively.Experimental results indicate that the measuring precision of the system can be 0.02 mm.Three-dimensional data that obtained by the measurement system can provide a reliable three-dimensional information for the SMT packaging circuit board defects online inspection.

SMT packaging circuit board;Structured-light sensor;3D online defect inspection;dual sensor calibration;extract light stripe center

何荣芳(1988-),女,广西南宁人,硕士,2012年于重庆大学获得学士学位,现为天津大学精密仪器与光电子工程学院在读研究生,主要研究方向为激光及光电检测,herongfang000@126.com;

孙长库(1967-),男,辽宁抚顺人,教授,博士生导师,1989年于哈尔滨工业大学获得学士学位,1994年于圣彼得堡精密机械与光学学院获得博士学位,现为天津大学教授,主要从事精密测试技术及仪器,激光与光电测试技术方面的研究,sunck@tju.edu.cn;

王 鹏(1982-),男,湖北人,副教授,2004年于天津大学获得学士学位,2008年于天津大学获得博士学位,现为天津大学副教授,主要从事精密测试技术及仪器,激光与光电测试技术方面的研究,wang_peng@tju.edu.cn。

2014-09-12 修改日期:2014-11-27

C:7210;7130

10.3969/j.issn.1004-1699.2015.02.025

TP391

A

1004-1699(2015)02-0290-07