基于机器视觉的贴片引脚焊接缺陷检测

戴知圣， 潘　晴， 常桂林， 陈健刚

(广东工业大学 信息工程学院，广东 广州 510006)



基于机器视觉的贴片引脚焊接缺陷检测

戴知圣， 潘晴， 常桂林， 陈健刚

(广东工业大学 信息工程学院，广东 广州 510006)

摘要:针对印刷电路板(Printed Circuit Board,PCB)中贴片元件引脚焊接在线检测问题，提出一种基于机器视觉的引脚焊接缺陷检测的算法.通过对引脚区域进行特征提取，综合采用面积法、连通域法质心法，实现对贴片引脚处附焊球、引脚桥接、缺焊及合格情况进行自动识别.提出了基于统计方法的参数阈值自适应修正的方法，有效解决固定阈值的局限性问题，使算法能够适用于不同光照强度的环境.实验结果表明，该算法对PCB中贴片元件引脚焊接缺陷检测的识别具有较高的准确性.

关键词:贴片引脚； 焊接检测； 特征提取； 机器视觉

由于芯片及贴片元件的引脚多、间距小、焊接精度要求高等特点，以人工使用放大镜或显微镜为目检的检测方法，其检测结果的准确性、稳定性均无法满足现代自动化生产的需求[1].自动光学检测(Automatic Optic Inspection,AOI)具有稳定可靠、高精度、高效率和非接触的优点，已成为PCB检测的重要发展方向[2].目前常见的贴片元件的引脚焊接检测算法有模板匹配算法、统计外形建模算法[3]、矢量图形检测算法、Particle分析算法[4]以及基于神经网络[5-6]等检测算法.文献[4]在提取焊点的几何特征后，通过神经网络对焊点进行分类，该方法具有较高的准确性，但是需要较多的训练样本.文献[7]提出的模板匹配法需要预先定义标准模板，受光照、噪声等因素影响较大.文献[8]通过特定结构的三色光源并建立不同类型特征矩阵模型而设计的模式匹配算法，有较高的准确性.

本文针对一款手机U盘PCB中贴片的引脚焊接情况，如图1所示，提出一种基于图像处理的贴片引脚焊接缺陷检测算法.通过定位引脚区域的中心，经过旋转变换后提取引脚区域图像.对引脚区域进行特征提取，采用整体与局部分析的方法，先对引脚焊接情况进行初步识别，然后综合采用面积法、连通域法质心法，实现对贴片引脚处附焊球、引脚桥接、缺焊及合格情况进行自动识别.针对不同光照条件下引脚之间的焊球及焊点的面积不同的情况，本文提出基于统计方法的自适应阈值修正方法，有效解决固定阈值的局限性.

图1　手机U盘PCB正光图像

1引脚区域的定位及提取

本文实验使用500万像素的CMOS工业相机采集U盘PCB的图像，通过USB线将图像传入电脑，图像处理软件对传入的图像进行分析、识别.通过一系列图像预处理的方法定位焊点区域的中心，经过旋转变换后提取的引脚中心区域如图2所示.由于相机与被测物的高度和相机的焦距是固定的，因此定位焊点区域中心后提取一块200像素×80像素大小的区域，该区域只有引脚和焊点信息，如图3所示.

2贴片元件引脚焊接检测算法

算法描述：针对这款贴片引脚曲折不直的设计方式，导致引脚二值化后连通域不连续的情况，本文提出整体与局部的方法，先对引脚区域二值化图像进行连通域筛选，再将图像分成两块，先对引脚区域右半部分(右区域)进行识别，如果检测结果有缺陷，则直接判定检测结果；如果右区域合格，则还需对整体区域识别.算法流程如图4所示.

图4　引脚焊接缺陷识别流程图

2.1引脚区域图像阈值分割及连通域筛选

对提取的引脚区域图像进行灰度化之后，采用最大类间差法(OTSU)进行阈值分割[9-10].由于噪声及助焊剂反光效应的影响，二值化之后的图像存在一些面积很小的连通域，这对引脚焊接缺陷检测造成干扰.本文通过对二值化后图像进行连通域标记，采用连通域面积筛选法过滤掉面积小于阈值T的连通域，将其相应位置的值置为0，保留面积大于阈值T的连通域，筛选后的效果如图5所示.

2.2引脚区域分块

由于这款贴片元件的引脚不是直的，在PCB平面上存在一定的高度差，因此引脚区域阈值分割后出现引脚连通域的不完整性.然而对引脚区域连通域筛选后的图像右半部分引脚连通域很完整，如图6所示，因此本文提出先对引脚区域右半部分(右区域)进行识别.

2.3右区域焊接缺陷识别

通过第1次对连通域进行筛选之后，右区域中只剩下引脚和焊点或焊球的连通域.由于PCB中引脚区域只有5个引脚，统计右区域中连通域的个数N.当N≠5时，如果N>5，表明焊点或焊球在引脚之间且未与引脚相连；如果N<5，表明存在焊点将两个或多个引脚相连在一起，这两种情况都可判定为引脚短路.但是当N=5时，还不能确定PCB引脚是否合格，需要对整体区域进一步判断.

当右区域连通域个数N=5时，还有可能出现缺焊情况，如图7所示.缺焊引脚连通域面积明显比正常引脚连通域面积大很多，如图8所示.经测试，在引脚右半区域中，缺焊的引脚连通域面积平均值为870，正常引脚平均连通域面积为510，因此可以通过引脚连通域面积来判断PCB引脚焊接是否为缺焊.统计5个连通域的面积的平均值Avr_PinArea，当Avr_PinArea>T1时(本文设定T1为750)，判定该PCB引脚为缺焊，反之还是不能断定为合格，还有可能是短路情况，因为引脚区域左半部分还未判断，还需要对整体区域进行判断.

2.4整体区域识别

对右区域检测到连通域个数为5时，这5个连通域中必定是5个引脚的连通域，分别求得每个连通域质心.根据5个引脚连通域的质心坐标，计算相邻两个引脚连通域质心坐标的中点(xi,yi).再以yi为基准，在二值化后的引脚区域图像中分别提取相邻两引脚之间的大小为width×20的区域，其中width为引脚区域图像的宽.提取的相邻引脚间的4个区域Area1、Area2、Area3、Area4如图9所示.

分别对提取的4个区域统计白色像素点的个数Sum，当存在有某个区域的白色点个数大于阈值T，说明相邻引脚之间存在焊点或焊球，则判定该PCB引脚焊接为短路，反之为合格.

图9　提取相邻引脚间的4个区域

3焊点连通域面积筛选阈值T自适应修正

同一个PCB测试元件，当正面光源光照强度不同时，焊点或焊球及引脚连通域的面积也不同[9].经测试表明：在一定光照强度范围内，随着光照的增强，焊点及引脚连通域的面积会逐渐增大.由于检测环境的不确定性，焊点连通域面积筛选的阈值T也应该是自适应的[10-13].

由于光照强度是个不可知量，阈值分割后的焊点和引脚连通域的面积都与光照强度有关，建立焊点连通域面积Z与引脚连通域面积A的关系式：Z=f(A).

令Y = 焊点连通域面积(Z)/引脚连通域面积的平均值(A)，由于A的值较大而Y的值很小，所以对A进行归一化，令X = A/1 000.对一个引脚间附有焊球的PCB板训练，通过计算焊点连通域面积A与5个引脚平均连通域面积的值，拟合出Y与X的关系曲线，如图10所示.

图10　Y与X之间的关系曲线图

通过曲线拟合得出函数Y=-149.643 8X3+233.798X2-120.153 6X+20.530 2；近似为：Y=-150X3+234X2-120X+20.53；

由X=A/1 000， Y=Z/A， 得

求出焊点连通域面积Z与引脚连通域面积平均值的关系式：

由于连通域筛选的阈值T要稍微小于真实焊点的面积，本文将式Y=Z/A改为Y = Z / (A - 50)，得出阈值T的表达式：

通过计算引脚区域连通域平均值A，就可以求出对应的焊点的筛选阈值T.

4实验结果及数据分析

本文对一个引脚短路PCB进行检测，对引脚有区域识别为合格，提取相邻引脚间4个区域分别统计其白色像素点个数，统计结果如表1所示，检测结果为短路.

表1　4个引脚间区域白色像素点分布表

对比文献[8]采用模板匹配法，通过计算模板水平投影直方图与引脚水平投影直方图的灰度曲线相似度方法，比较模板与引脚图像的相似度.取一个引脚短路的样品采用该算法进行测试，测试结果如表2所示.

当焊点或焊球面积较小时，正常引脚与短路引脚的相似度值相差很小，难以将短路与合格引脚分离开来，同时当光照条件改变时，由于采用的固定阈值，因此检测结果误差较大[14].

表2　5个引脚分别与模板的相似度

通过对400个PCB贴片引脚进行检测，其中180个为合格品，150个引脚间有焊球或短路，70个为缺焊品.检测结果如表3所示.

表3　400个样品检测结果1)

1)总准确率96.75%

在准确率和检测时间方面，文献[5]基于神经网络方法，文献[7]基于模式匹配及其参数自适应方法，文献[8]基于相似度匹配法与本文算法对贴片引脚焊接检测情况进行了对比.在windows XP系统，CPU为主频为2.2 GHz，内存2 GB的环境下，对以上的400个PCB贴片引脚进行检测，统计检测结果如表4 所示.

表44种算法准确率和时间数据比较

Tab.4Comparison of accuracy and time consuming of four algorithms

算法准确率/%时间/ms文献[5]98.7747文献[7]96.555文献[8]95.026本文算法96.7531

5结论

本文研究了一款手机U盘PCB的贴片元件引脚的焊接缺陷检测算法，以引脚区域连通域面积和质心为特征，实现引脚焊接缺陷检测.建立焊点与引脚连通域面积之间的关系，给出了在不同光照条件下焊点阈值参数T的自适应校正方法.实验结果表明：该算法有较高的准确率和检测速度，可以满足工业生产的检测要求.

参考文献：

[1] 代镭. 一种IC芯片管脚焊接缺陷频域检测算法的研究[J]. 电子技术应用, 2008(4):77-80.

DAI L. Study on the method of inspecting jointing-defection of pins on IC chip based on frequeney field[J]. The Application of Electronic Technology， 2008(4):77-80.

[2] 熊邦书, 熊振姣, 莫燕,等. 线路板缺陷的图像检测方法[J]. 半导体光电,2012, 33(2):303-306.

XIONG B S, XIONG Z J, MO Y, et al. Circuit board defect image detection method[J]. Semiconductor Optoelectronics， 2012, 33(2):303-306.

[3] BROADHURST R E, STOUGH J, PIZER S M, et al. A statistical appearance model based on intensity quantile histograms[C]∥Proc of 3rd IEEE International Symposium on Biomedical Imaging Nano to Macro,[S.l.]：IEEE,2006:422-425.

[4] ZHANG L, UME I C, GAMALSKI J, et al. Detection of flip chip solder joint cracks using correlation coefficient and auto-comparison analyses of laser ultrasound signals[J]. Components & Packaging Technologies IEEE Transactions on, 2006, 29(1):13-19.

[5] 卢盛林, 张宪民, 邝泳聪. 基于神经网络的PCB焊点检测方法[J]. 华南理工大学学报(自然科学版), 2008, 36(5):135-139.

LU S L, ZHANG X M, KUANG Y C. Neural network-based inspecting method of PCB solder joint[J]. Journal of South China University of Technology (Natural Science Edition), 2008, 36(5):135-139.

[6] 蔡念, 陈坚生, 戴青云. 焊点质量检测新方法[J]. 计算机工程与应用, 2010(24):243-245.

CAI N,CHEN J S,DAI Q Y. Novel inspecting method of solder joint[J]. Computer Engineering and Applications, 2010(24):243-245.

[7] 吴福培, 邝泳聪, 张宪民,等. 基于模式匹配及其参数自适应的PCB焊点检测[J]. 光学精密工程, 2009, 10(10):2586-2593.

WU F P, KUANG Y C, ZHANG X M, et al. Pattern matching and parameter adaptive based PCB solder joint inspection[J].Optics and Precision Inspection, 2009, 10(10): 2586-2593.

[8] 吴福培. 基于2-D彩色图像模型的PCB焊点检测方法研究[J]. 电测与仪表, 2011, 48(1):18-20.

WU F P. Research on inspection method of printed circuit board′s solder joint based on 2-D model of color image[J]. Electrical Measurements and Instrumentation, 2011, 48(1):18-20.

[9] 张康，苏成悦，付清，等.基于均匀照明的光学器件研究[J].广东工业大学学报，2013，30(1)：87-91.

ZHANG K,SU C Y,FU Q,et al.Research into optical devices based on uniform lumination[J].Journal of Guangdong University of Technology，2013，30(1)：87-91.

[10] 柯昕,李晓华,周激流. 一种自适应多阈值直方图均衡方法[J].计算机工程,2011, 37(17): 206-207.

KE X, LI X H, ZHOU J H. Adaptive multi-thresholds histogram equalization method[J]. Computer Engineering. 2011, 37(17): 206-207.

[11] 胡慧,何聚厚,何秀青. 基于细菌觅食与改进Otsu算法的自适应阈值边缘提取[J]. 计算机工程与应用, 2014 (4):161-165.

HU H, HE J H, HE X Q. Adaptive thresholds edge extraction based on bacterial foraging optimization and enhanced Otsu algorithm[J]. Computer Engineering and Applications, 2014 (4):161-165.

[12] 龙建武,申铉京,臧慧,等. 一高斯尺度空间下估计背景的自适应阈值分割算法[J].自动化学报, 2014, 40(8):1773-1782.

LONG J W, SHEN X J,ZANG H, et al. Adaptive multi-thresholds histogram equalization method[J].Acta Automatica Sinical, 2014, 40(8):1773-1782.

[13] 赵其杰, 屠大维, 高达明,等. 一种基于统计平均的图像处理自适应阈值模型[J]. 光电子：激光, 2004, 15(9):1099-1102.

ZHAO Q J, TU D M, GAO D M, et al. A kind of adaptive threshold image processing based on statistical average model[J]. Photoelectron: Laser, 2004, 15(9):1099-1102.

[14] 吴福培, 李昇平, 张宪民. 基于概率排序的Chip类元件焊点检测方法[J]. 焊接学报, 2014, 35(6):39-43.

WU F P, LI S P, ZHANG X M. Based on the method of Chip components solder joint detection probability[J]. Transactions of the China Welding Institution,2014,35(6):39-43.

Detection of Welding Defects in SMT Chip Pins Based on Machine Vision

Dai Zhi-sheng, Pan Qing, Chang Gui-lin, Chen Jian-gang

(School of Information Engineering, Guangdong University of Technology, Guangzhou 510006, China)

Abstract:For the problem of SMT components pin welding online detection in PCB, a pin welding defect detection based on machine vision algorithm is proposed. To achieve automatic identification, this paper extracts the features of pin, applies area method and the connected domain method comprehensively to recognize patch pin attached solder ball, foot bridge, lack of welding and qualified products. Therefore, an approach of adaptive correction of parameter threshold based on statistical method is put forward, which can solve the problem of limitation of the fixed threshold effectively and make the algorithm apply to the environment with different light intensity. The experimental results show that the algorithm of PCB in detecting welding defects in SMT chip pins has higher accuracy.

Key words:pins of SMT; welding detection; feature extraction; machine vision

收稿日期:2015- 08- 10

基金项目:国家自然科学基金资助项目(61202268)

作者简介:戴知圣(1988-)，男，硕士研究生,主要研究方向为图像处理、机器视觉.通信作者: 潘晴(1975-)，男，副教授,主要研究方向为图像处理、模式识别，E-mail：12936434@qq.com

doi:10.3969/j.issn.1007- 7162.2016.03.012

中图分类号:TP391.41

文献标志码:A

文章编号:1007-7162(2016)03- 0065- 05