焊膏机器视觉测厚仪图像采集模块设计

寇冠中，罗兵

（五邑大学 信息工程学院，广东 江门 529020）

焊膏机器视觉测厚仪图像采集模块设计

寇冠中，罗兵

（五邑大学 信息工程学院，广东 江门 529020）

用结构光投影进行机器视觉三维测量可以快速有效检测电子产品贴片生产线焊膏印刷质量，其中图像采集系统的设计是主要环节. 论文通过选取合适的摄像机、镜头和投影仪，建立了焊膏图像三维测量系统，并通过标定板完成对图像采集系统的准确标定. 实验表明，设计的图像采集系统和标定能够满足焊膏三维检测精度的要求.

焊膏测厚仪；图像采集；机器视觉；摄像机标定；相位测量轮廓术

采用表面贴片安装技术（Surface Mounted Technology，SMT）安装印刷电路板（PCB），既可减小元器件的尺寸、提高集成度，又能提高生产水平，因而使用广泛，但目前国内的SMT存在着自动质量检测速度低于贴片速度、准确度低等问题[1]. 焊膏印刷在SMT生产线的开始阶段，80%以上的电子产品质量缺陷都因焊膏印刷的质量缺陷引起[2]，因此对焊膏印刷质量进行检测和控制可以大大降低返修成本、提高产品的合格率和可靠性. 目前，SMT焊膏检测技术多被国外公司垄断，相关设备价格高昂. 为了掌握贴片生产线自动检测技术的自主知识产权，教育部和广东省产学研项目立项进行贴片安装生产线焊膏印刷质量在线三维检测仪的研制，本文研究了焊膏测厚仪图像采集模块的设计、标定和采集图像的校正.

1 焊膏测厚仪的测量原理

贴片生产线在多个生产环节上都需要进行在线质量检测，对处于SMT生产线开始阶段的焊膏印刷，其检测需要进行位置、面积等参数的二维检测，还需要进行厚度、体积、形状的三维检测.

基于面结构光的光栅投影相位测量轮廓术（PMP）在三维测量和三维重建中得到了广泛应用.[3]PMP应用于焊膏三维检测，其检测精度可以达到：水平误差＜20 μm，厚度误差＜1 μm，体积误差≤10%，在误检率≤5%、漏检率≤1‰时，检测速度≥20 cm2/s.[2]192

焊膏三维检测系统简称焊膏测厚仪，系统的硬件结构主要包括光栅投影部分和图像采集部分，实际生产中还需要精确的X-Y移动平台和运动控制部分. 本文初步建立的焊膏测厚仪实验系统如图1所示.

投影仪使用LED光源的数字光处理技术（DLP）投影仪，投影光栅由设计软件控制，选取亮度呈正弦变化的灰度光栅作为面结构投影光源. 投影仪与图像采集相机之间有一个夹角，PMP就是利用采集的图像中被测物体对投影光源的调制，以采集图像的灰度变化来计算调制的相位变化，最后计算得到三维高度.

通过相位移动，投影光栅采集得到的4幅图像数据如下：

图1 焊膏三维测量实验系统

其中，Ii(x,y)为第i次采集得到的图像上(x,y)点的灰度值；IB(x,y)为图像上(x,y)点与投影无关的背景灰度值；IR(x,y)为图像上(x,y)点与投影有关的反射光灰度值；φ(x,y)为图像上(x,y)点对光栅投影的调制相位值.

通过4幅相位移动光栅投影采集的图像可以计算出图像上各点对光栅的调制相位，即：

2 图像采集系统的设计

图像采集系统将被测量对象反射的光线通过镜头折射在数字相机的像平面形成图像，并转换为数字电信号. 硬件部分主要包括数字相机、镜头和其他附加设备.

2.1 采集图像分辨率和视野大小的确定

焊膏测厚仪要求水平精度不超过20 μm，则采集图像分辨率设计为20 μm/像素.

一幅图像的视野大小（FOV）要考虑图像采集的畸变、数据量的大小、处理速度和图像采集系统的移动等诸多因素. 在分辨率一定的情况下，FOV越大，则要求数字相机的像素越高，图像的数据量也越大，由此导致的畸变也越大[3]47. 根据国外焊膏检测设备的参数和贴片后机器视觉检测的设计经验，选择FOV为30mm×40mm左右，则要求采集图像的像素数为：1500×2000=300万.

2.2 数字相机的选型

机器视觉图像采集系统的核心是数字相机，它实质上是数字光传感器，主要有CCD和CMOS两种类型. 焊膏测厚仪要求高灵敏度和高分辨率，因此选择CCD传感器. 目前常用的CCD尺寸有1/3英寸、1/2英寸和2/3英寸几种规格，一般超过2/3英寸的CCD成本高、制造工艺要求高且质量难以保证，故选择2/3英寸的CCD相机. 根据设计的FOV大小要求，数字相机应大于300万像素，因此选择像素1 680×2 048左右的CCD相机.

2.3 光学镜头的选型

光学镜头是影响图像采集质量的最重要因素. 在光学镜头对图像光线的折射中，畸变等光学瑕疵在镜头边缘更严重，所以镜头的口径尺寸一定要大于或等于CCD的尺寸[3]28. 为此选择镜头尺寸为2/3英寸，最低分辨率为25对线/mm. 2/3英寸的CCD实际尺寸为6.6mm×8.8mm，对于30mm×40mm的FOV，计算得到的镜头放大倍数为1:4.5[3]61. 为减小采集图像的畸变，也可考虑采用远心镜头.

2.4 附加偏振片的设计

为了减少焊膏和PCB的镜面反射光线对检测的影响，可在图像采集系统的数字相机前加上偏振片，通过调整偏振片的方向来抑制过强的镜面反射光线.

3 图像采集系统的标定

根据机器视觉系统采集的图像数据测量焊膏的三维信息，必须准确建立所采集的图像数据和实际物体对象间的成像模型. 由于图像采集系统不可避免地存在几何畸变，因此校正几何畸变并得到检测对象的世界坐标就是图像采集系统的标定工作[3]255-261.

标定中首先要确定图像采集系统的全部参数，包括系统内部的几何和光学特性，即内参数，以及摄像机坐标系相对于空间坐标系的位置关系，即外参数. 确定参数后，根据采集的图像进行校正，并计算得到测量对象的世界坐标.

3.1 图像采集系统的成像模型及模型参数

机器视觉图像采集中用到4个坐标系：图像坐标系ICS(r,c)、成像平面坐标系IPCS(u＇,v＇)、摄像机坐标系CCS(xc,yc,zc)和世界坐标系WCS(xw,yw,zw)[4]. 机器视觉采集得到的图像数据是直接用图像坐标系表示的，即图像上的像素行和列位置(r,c)，而被测物体对象的客观位置、大小、相互关系必须通过世界坐标系(xw,yw,zw)才能正确描述. 这2个坐标系间的转换要通过摄像机坐标系和成像平面坐标系.

世界坐标系与摄像机坐标系间的转换是一种平移加旋转的变换：

其中，R是旋转矩阵，与这2个坐标系间沿3个轴的旋转角度有关，T是平移矩阵. 3个旋转角度和3个平移分量共6个参数(α,β,γ,tx,ty,tz)称为成像系统或图像采集系统的外参数.

图像像素坐标系ICS(r,c)和成像平面坐标系IPCS(u＇,v＇)的转化是一个离散化和平移的过程，ICS以图像左上角为原点，图像的行、列分别为r轴和c轴，以整数像素为坐标单位；IPCS以光轴与相机像平面的交点为原点，2根坐标轴分别平行于ICS中的坐标轴，以物理尺寸为坐标单位. 2个坐标系间的转换关系为：

其中，sr,sc分别是每像素的物理宽、高尺寸，(r0,c0)是光轴与像平面交点在图像像素坐标系ICS中的坐标.

采用非远心镜头时，可以认为图像采集系统的成像模型是小孔成像模型[3-4]. 根据光学成像原理，不考虑镜头畸变，摄像机坐标系CCS中物体在成像平面坐标系IPCS中成像为(u,v)，其成像模型为：

其中，f是镜头光心到相机成像平面的距离. 在镜头折射成像过程中存在几何畸变，成像平面坐标系IPCS中的(u,v)畸变为(u＇,v＇)，畸变模型为：

其中，k为反应镜头径向畸变程度的参数.

这样由式（4～6）可以将图像由图像像素坐标系变换并校正到摄像机坐标系，再根据式（3）得到世界坐标系坐标，其中的6个参数(f,k,sr,sc,r0,c0)称为图像采集系统的内参数. 这样，系统的标定就转化为求它的6个外参数和6个内参数.

3.2 图像采集系统的参数标定

图2-a为采集的径向畸变的图像. 使用7行7列直径为2 mm的黑色圆点、相邻圆点边界间距离也为2 mm的标准标定块进行图像采集系统的参数标定，结果如图2-b所示.

图2 图像采集中的几何畸变与校正

记Mi为标定标记点在世界坐标系中的坐标，f(Mi,c)为对应的畸变后的图像在世界坐标系中的坐标，c=(f,k,sx,sy,cx,cy,α,β,γ,tx,ty,tz)为成像系统的12个参数. 参数标定就是求解下列最优化问题[5]：

其中K=4×7×7=196是标定板中对应标记点的个数，即各椭圆点最小外接四边形的顶点.

由于优化参数太多，用解析法求解式（7）并不容易，经典的方法有Tsai两步法和Zhang Z.Y.基于二维平面靶标的参数标定方法[6]. 在迭代标定过程中，内参数的优化初始值一般可以在相机和镜头说明书中得到，外参数可以通过几何学分析或求解少数标定标记点得到[7].

3.3 畸变图像的校正

由于机器视觉处理很多是基于离散的数字图像进行的，但式（6）的畸变或校正模型是基于连续坐标系的，所以畸变参数k标定后，需要由畸变图像f＇(u,v)进行校正得到无畸变的图像f(u,v). f＇(u,v)表示畸变图像中整数像素点(u,v)的灰度值，f(u,v)表示校正图像中整数像素点(u,v)的灰度值.

校正需要先根据式（6）计算得出校正后图像的各整数像素点(u,v)在畸变图像中对应的亚像素坐标(u＇,v＇)，然后由畸变图像中(u＇,v＇)近邻的4个整数像素点灰度进行双线性插值得到f(u,v).[8]

3.4 图像采集实验

使用本文设计的图像采集系统进行焊膏图像采集和三维重建实验. 光栅为每周期32像素的正弦光栅，投影分辨率为600像素×800像素. 采集的焊膏局部图像分别如图3-b、3-c、3-d、3-e所示，将这4幅图像相加得到焊膏的总体灰度图像如图4-a所示.

图3 待测焊膏及正弦光栅移相投影下采集到的焊膏局部图像

根据PMP三维重建后，焊膏的三维图像如图4所示.

改变PCB方向的对比实验表明，本文研究设计的图像采集系统水平分辨率相对误差小于20 μm，可以满足精度要求. 三维高度可以反映出焊膏的高度，一般为100 μm左右，进行三维测量是可行的，但是由于投影系统的畸变和光栅的精度问题，我们测量得到的三维体积精度误差大于10%，需要改善. 具体需要对投影仪进行精确标定，以校正投影光栅的几何畸变和亮度不均匀的灰度畸变[9].

图4 三维重建后的焊膏图像

4 结束语

本文研究设计的图像采集系统能满足水平分辨率和精度要求，图像灰度分辨率也能满足系统三维测量的灰度要求，通过提高投影光栅的精度来提高三维测量精度是焊膏测厚仪下一步需要研究的内容.

[1] 罗兵，章云. SMT焊膏印刷质量自动光学检测[J]. 电子质量，2005(12): 30-32.

[2] LUO Bing, ZHANG LiYun. SMT solder paste deposit inspection based on 3D PMP and 2D image features fusion[C]//Proc of IEEE Int Conf on Wavelet Analysis and Pattern Recognition. Piscataway: IEEE, 2010: 190-194.

[3] STEGER C, ULRISH M, WIEDEMANN C. Machine vision algorithms and applications [M]. 北京：清华大学出版社，2008.

[4] 张广军. 视觉测量[M]. 北京：科学出版社，2008.

[5] 邱崧. 基于LED光源的DLP投影系统研究[D]. 上海：华东师范大学，2007: 16-28.

[6] ZHANG Zhengyou. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[7] ZHANG Song, HUANG Peisen. Phase error compensation for a 3-D shape measurement system based on the phase-shifting method [J]. Optical Engineering, 2007, 46(6): 1-9.

[8] LEGARDA-SAENZ R, BOTHE T, JUPTNER W P. Accurate procedure for the calibration of a structured light system[J]. Optical Engineering, 2004, 43(2): 464-471.

[9] 韦争亮，钟约先，袁朝龙，等. 单摄像机单投影仪三维测量系统标定技术[J]. 清华大学学报：自然科学版，2009, 49(2): 202-205.

Image Acquisition Designing for the Vision Thickness Gauge of the Solder Paste Machine

KOU Guan-zhong, LUO Bing
(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

Structured light-based three-dimensional measurement can quickly and effectively detect solder paste defaults in the SMT assembly line. Image acquisition designing is an important part of the system, which is composed of properly selected cameras, lens and sinusoidal grating projector. Image acquisition subsystem calibration is also necessary and is determined by standard calibration blocks. Experiment results show that the designed image acquisition subsystem can satisfy the precision requirements of 3D measurement.

solder paste inspection; image acquisition; machine vision; camera calibration; phase measurement profilometry

TP216.1

A

1006-7302（2011）01-0050-06

2010-10-13

教育部广东省产学研项目（2010B090400026）；江门市科技计划项目（江财工【2010】210号）

寇冠中（1985—），男，山西太原人，硕士研究生，研究方向为机器视觉应用；罗兵，副教授，博士，硕士生导师，通信作者，主要从事机器视觉和人工智能研究.