基于机器视觉的电子元器件检测系统设计

崔译文,占 丰,张宇峰,郝建林,王大海

(中国空间技术研究院 山东航天电子技术研究所，山东 烟台 264000)

0 引言

随着中国航天航空、军事装备发展与更新速度的不断提高，宇航军工电子产品在功能、可靠性、稳定性、功率密度等方面要求也逐步提升[1]，这就促使PCB生产与检测等进一步细化。因此，必须通过高可靠设备实现PCB高效、自动检测，以完善质量保障体系。与工业电子产品相比，宇航军工电子产品具有多品种、小批量、定制化生产特点，且在精度、可靠性方面要求更严格，目前市面上成熟的视觉检测设备需人工试教而无法满足宇航、军工电子产品自动检测需求。因此，宇航军工电子产品主要通过人工完成PCB检测，人眼检测易受视觉疲劳、情绪等主观因素影响造成误检、漏检，效率低下且人工成本高[2]，既无法与现代化加工速度需求相匹配，也无法满足电子产品生产过程质量检测要求。

因此，本文针对不同规格型号的宇航军工PCB电子元器件的焊装位置、极性与型号规格等检测要求，开展了基于机器视觉的智能检测系统研究，将三自由度桌面机器人、工业CCD相机、运动控制系统与电装工艺文件有机结合完成了智能软硬件平台搭建，引入了SURF特征提取和匹配方法实现待测元器件的智能检测，测试结果表明该系统可以高效完成不同规格型号PCB板上元器件的定位、错焊、漏焊等检测要求。

1 电子元器件检测系统方案设计

基于机器视觉的电子元器件检测系统总体框图如图1。系统硬件部分包括工控机、运动控制卡、龙门机器人、相机、镜头和光源。龙门机器人具有三个自由度，X、Y轴的行程均为540 mm，Z轴行程为200 mm，采用伺服电机控制，采用分辨率为3 840×2 748的工业CCD相机完成图像采集，视野范围为210 mm×170 mm，LED光源，实物图如图2。

图1 电子元器件检测系统总体框图

图2 电子元器件检测系统实物图

软件部分则由视觉检测软件和检测算法组成，软件界面图见图3，包括图像显示、元器件信息、不合格类型标注等几部分。用户进入软件界面后，提取Gerber文件信息，启动相机和电机控制器，完成图像采集，通过视觉检测算法对采集的图像进行处理，完成图像匹配，得出检测结果，生成不合格品单。

图3 电子元器件检测系统软件界面图

2 视觉检测算法设计

图4为电子元器件检测系统视觉检测算法流程图。通过数字图像处理技术对采集的PCB图像进行预处理；采用改进的Hough变换算法检测定位点，矫正图像；读取PCB电装工艺文件，根据元器件坐标信息定位元器件位置，并结合尺寸信息制作ROI框；设定元器件模板图像，将待测元器件图像与模板图像进行SURF特征匹配，实现元器件错焊、误焊判别。

图4 视觉检测算法流程图

2.1 图像预处理

图像分析中，图像质量直接影响后续算法的运行效率及结果的精确程度，因此在图像分析前，需进行预处理。

灰度化是将彩色图像转换为灰度图像[3]。RGB彩色模型在计算机中由红、绿、蓝三个颜色通道表示，对应笛卡尔坐标系中的一个立方体。RGB[4]分别代表3个坐标轴，当三个坐标轴的值均为0时，图像呈黑色；等于255时呈白色。灰度模型在RGB空间表示为由黑到白的一条直线。

中值滤波是一种非线性滤波，不同于线性滤波器，统计排序滤波器不是简单利用模板对邻域内像素进行加权平均，而是通过对采样窗口内像素的灰度值进行排序，取出序列中位于中间位置的灰度作为中心像素的灰度。中值滤波在少量离散噪声点的消除方面效果显著，能有效去除图像的椒盐噪声。

2.2 MARK点定位

PCB板一般设有2～4个MARK点，精确查找MARK点的位置是进行图像处理的前提。MARK点定位技术采用改进的Hough圆变换检测算法[5]。Hough变换的核心是将图像中特定曲线区域一一映射到参数空间中的点，对于圆的解析方程：

(x-a0)2+ (y-b0)2=r02

(1)

将该圆上任一点(xi,yi)投影至参数空间，其表达式为：

(a-xi)2+(b-yi)2=r2

(2)

式中,a,b,r是参数空间的3个变量，(xi,yi)则对应原图像XOY坐标系上任意一点。(xi,yi)对应参数空间的一个圆锥，(xi,yi)在圆上移动形成参数空间众多交叉重叠的一簇圆锥面，相交于一点(a0,b0,r0)。图5为Hough圆检测空间转换关系。

图5 Hough圆检测空间转换

改进Hough圆检测实现的具体步骤如下：

1)在进行圆检测之前对灰度图像进行处理，首先对输入图像进行高斯滤波处理；为提高Hough检测的运行效率，对图像进行降采样处理。

2)采用Sobel算子获取图像边缘信息。Sobel算子对像素位置信息进行加权，能够有效降低边缘模糊程度。

3)对于宽为w、高为h的图像，如果设定检测半径的最大值rm便可得到a,b,r的取值范围，在搜索某一特定像素所在的圆周区域时，在值域内依次取a,b的所有可能值，然后通过圆的解析方程计算对应的r值；

4)为每一个圆周区域在对应参数空间指定一个计数器，每得到一组(xi,yi,r)值，就为参数空间中对应的计数器加1；

5)根据需求在指定邻域半径内进行峰值检测，该峰值即为检测到的圆的圆心和半径。

在算法运行过程中选定合适的阈值即可获得良好的检测结果。改进的Hough圆检测算法提高了定位圆的检测效率，运行结果如图6所示。

图6 Hough圆检测结果

2.3 制作ROI框

根据Hough检测的结果，以检测到圆心所在的位置为坐标轴原点建立坐标系。使用AD软件直接输出PCB元器件坐标文件与其对应的封装报告，并根据像素长度与物理长度的关系求得元器件在像素坐标系中的相对位置，结合元器件的尺寸信息绘制元器件ROI框。PCB元器件坐标系与像素坐标之间的对应关系如图7所示。

为元器件坐标系，为像素坐标系，两者的转换关系与图像采集设备的参数直接相关[6]：

u=Axxu+a

v=Ayxv+b

(3)

式中,系数Ax与Ay是单位距离的像素个数(pixels/mm),(a,b)为相机中心与图像平面的交点。

使用设计软件直接输出PCB元器件坐标文件和对应的封装报告，根据在PCB图像中得到的像素长度与物理长度的关系求出元器件在像素坐标中的位置和尺寸信息，在一定范围内绘制ROI框。图8元器件ROI框绘制流程图，图9为坐标信息文件，图10为ROI框绘制结果。

图9 元器件坐标文件

图10 ROI绘制效果图

2.4 元器件检测算法

元器件检测算法采用基于特征信息的匹配算法，具有鲁棒性高、计算量小的优势[2]。D.G.Lowe于2004年提出了尺度不变特征匹配算法(SIFT)[7]，该算法对图像的旋转、尺度变化等都是鲁棒不变的。2006年，H.Bay 等人对SIFT算法进行改进，提出了加速稳健特征算法(SURF)[8]，在保证正确匹配的前提下，运用积分图提升了原检测器中计算特征的速度，并采用小波变换增加鲁棒性。与SIFT算法相比，SURF算法运行速度更快，并且鲁棒性更好。为了更好地满足实时性检测要求，对SURF特征提取算法进行研究，并采用基于最近邻和次近邻比值的方法完成特征点匹配，具体操作步骤如下：

1)构造Hessian矩阵

图像中某个像素点(x,y)的Hessian矩阵如下：

(4)

也就是说每一个像素点都可以求出一个Hessian矩阵，由于特征点需具备尺度无关性，在进行Hessian矩阵构造前对其进行高斯滤波，公式如下：

(5)

式中,Lxx(x,σ)是高斯二阶微分∂2g(σ)/∂x2在x点处的图像I的卷积，Lyy(x,σ)和Lxy(x,σ)具有同样的含义。

2)积分图像与盒子滤波

SURF算法中积分图像可将二阶高斯微分模型的卷积简化为对图像的加减，其中任一点的积分图定义为该点左上方向的全部像素之和：

(6)

ii(x,y)表示像素点(x,y)的积分图，i(x,y)表示原始图像，ii(x,y)可由下式迭代得到：

——已故物理学家史蒂芬·霍金的新书出版，他在书中警告：基因改造技术越先进，人类想自我改造的诱因就越大，有钱人很快就可选择编辑自己或孩子的DNA

s(x,y)=s(x,y-1)+i(x,y)

(7)

ii(x,y)=ii(x-1,y)+s(x,y)

(8)

s(x,y)表示行的积分和，s(x,-1)=0,ii(-1,y)=0。求一幅图像的积分和只需遍历一次图像即可。

盒子滤波模板仅由几个矩形区域组成，矩形区域内用同一个值填充，白色区域值为1，黑色区域为-1，灰色区域值为0。一般地，盒子内部填充的值vn∈{1,-1,-2}，盒子滤波模板的面积为sxx、syy、sxy，如图11所示。

图11 高斯二阶混合微分模板及其简化

则模板与图像卷积结果如下：

(9)

由上式可知，高斯二阶卷积转化为简单的加减运算，缩短了计算时间。

3)尺度空间构造

为保证匹配图像的尺度不变性，需要构建图像的尺度空间，然后在不同尺度上检测图像的特征点[9]。SIFT算法中，同一个组的图像尺寸相同，但是模糊程度不同，不同组之间的尺寸也不相同[11]；SURF算法中，不同组间的输入图像的尺寸一致，使用盒式滤波器的尺寸不同，同一组间的不同层使用不同尺寸的滤波器，滤波器的模糊系数逐渐增大。图12为SURF图像金字塔。

图12 SURF图像金字塔

SURF尺度空间根据组(Octave)来区分，每一个组包含四个滤波模板，第一组中相邻模板间尺寸相差6个像素值，第二组相差12个，以此类推。假设盒子滤波尺寸为N×N，那么尺度s=1.2×N/9。图13为盒子滤波的尺寸变化示意图。

图13 滤波尺寸变化图形表示

4)定位特征点

SURF算法中，原图像每个像素的Hessian矩阵行列式的近似值构成一个变换图像，在这个变换图像上寻找特征点，将其映射到原图像中。Hessian矩阵的行列式近似值由下式得到：

Det(Happrox)=DxxDyy-(0.9Dxy)2

(10)

通过上式筛选极值点，利用非极大值抑制的方法初步确定特征点。将经过Hessian矩阵处理过的每个像素点与其三维邻域内的26个点进行比较，若为极值点则保留下来作为初步极值点，最后采用线性插值法对粗选后的特征点集合进一步筛选。

5)特征描述

为保证特征矢量具有旋转不变形，需要对每个特征点进行主方向分配，如图16所示。选取半径为6 s(s为特征点所在的尺度)，统计60°扇形内点的水平、垂直小波特征，以兴趣点为中心进行高斯加权。然后60°扇形以一定间隔(0.2弧度左右)进行旋转，最后将最大值所在扇形的方向作为该特征点的主方向。

主方向确定后，在特征点周围取大小为20 s×20 s的正方形框，将此正方形框划分成4×4子区域，使用尺寸为2×2的Haar小波模板进行响应值计算，统计响应值的水平方向之和∑dx、水平方向绝对值之和∑|dx|、垂直方向之和∑dy、垂直方向绝对值之和∑|dy|(相对主方向而言)，从而形成特征矢量。

6)特征点匹配

(11)

最近邻与次近邻比值的公式如下：

(12)

当计算出的比值大于阈值T时，剔除匹配点；小于阈值T时认为是正确匹配。Lowe经过大量实验数据得出阈值T的经验值为0.7。

3 实验结果与分析

3.1 图像匹配测试

采用SURF算法对不同种类元器件进行匹配测试，并对算法鲁棒性进行测试。实验环境为运行MATLAB R2010b的PC机、Inter Core i7处理器，主频为3.6 GHz，内存为4 GB，32位Windows7操作系统。分别对图14中QFP封装芯片、SOP封装芯片和贴片电阻三种元器件进行检测，对应匹配结果如图15所示，将匹配结果汇总成表1。

图14 被测元器件

图15 元器件匹配结果

3.2 SURF算法鲁棒性测试

对光照、平移、旋转、缩放等情况下的SURF特征匹配结果进行鲁棒性测试，结果如图16所示，并将结果汇总至表2。

表1 三种不同的元器件SURF特征匹配结果

表2 SURF特征匹配算法实验结果

图16 SURF特征匹配算法稳定性测试结果

对检测结果进行分析可知，SURF算法在元器件匹配性测试中取得了良好的实验效果，匹配准确率在85%以上；在光照变换、平移变换以及缩放变换的情况下鲁棒性较好，匹配准确率达到97%以上；在元器件发生小角度偏转时的检测效果比较理想，准确率达到90%，偏转角度越大匹配精度越低；图像发生镜像时匹配损失比较大。同时针对尺寸较大、特征较多的元器件，SURF算法的检测时间比较长，在实时性方面还不能满足要求；匹配方法上也可以在初匹配后进一步剔除误匹配点，实现精确匹配。

4 结束语

基于机器视觉的电子元器件检测系统在硬件平台的基础上，设计完成了PCB定位算法，采用边缘提取改进Hough圆检测算法定位PCB图像的MARK点，结合电装工艺文件定位元器件位置；通过SURF算法检测特征点，完成待测图像与模板图像匹配，能够实现PCB板上元器件焊装正确性检测。经过多次实验证明，SURF算法在光照变化、平移变换等影响下具有一定鲁棒性。

迄今为止，工业上AOI设备在大批量产PCB质量检测方面发展相对成熟，然而针对宇航、军工这类小批量电子产品的自动检测设备还有待进一步研究。设计制造高精度、高可靠的宇航PCB智能检测设备，对我国航天事业的发展具有光明的应用前景，值得今后不断探索。