柔性印刷线路板LED贴片质量视觉检测方法

苑玮琦，张俊朋

(沈阳工业大学 视觉检测技术研究所，沈阳 110870)

柔性印刷线路板LED贴片质量视觉检测方法

苑玮琦，张俊朋

(沈阳工业大学 视觉检测技术研究所，沈阳 110870)

柔性印刷线路板中LED的粘贴需经过点银、贴片、封胶等工艺，其中贴片过程中会产生漏粘、异物、粘斜、偏移等一系列质量问题；提出了一套基于机器视觉的贴片质量在线检测方法:通过最小外接矩形获取有效区域的范围，利用基于轮廓特征的模板匹配对贴片所在连接盘进行定位；利用动态模板匹配检测漏粘缺陷；通过平均灰度值比较法检测LED上的异物缺陷；采用有效区域与LED区域的交集与差集对粘斜与偏移缺陷进行检测；该方案已应用于工业生产线，并且具有较高的检测准确率。

贴片缺陷；最小外接矩形；模板匹配；平均灰度值；矩形度

0 引言

随着生产技术的发展，柔性印刷线路板得到了越来越广泛的应用，而本文研究的柔性印刷线路板主要用于笔记本电脑键盘上电路的连通。键盘上除了按键之外还有LED灯，本文涉及到的LED灯最小为1 mm×2 mm,最大为3 mm×3 mm。LED灯的粘贴要经过点银、贴片、封胶等工艺。其中贴片工艺要求贴片式LED灯粘贴在两个银点之上，且不能超出规定的有效区域。实际操作过程中，由于人工操作的失误或者贴片机中的贴片不足，会出现LED漏粘、LED上有异物、LED粘斜、LED偏移等缺陷。

通过EI搜索引擎、中国知网、中国专利数据库，没有检索到关于柔性印刷线路板LED贴片质量检测方面的报道，但检索到刚性印刷线路板贴片表面缺陷检测的相关文献。针对刚性印刷线路板的贴片缺陷检测问题，文献[1]采用黑白摄像机对陶瓷电容成像，采用阈值分割、Blob分析及图像算术运算对陶瓷电容表面的孔洞、缺角、表面污点等缺陷进行检测，虽然本项目也涉及到表面污点检测，但是与文献[1]的不同之处在于本项目所检测的贴片式LED有黄色、琥珀色、黑色等，且大小也不完全相同，所以文献[1]的方法不适合本项目。文献[2]采用二值投影的梯度来确定两极端面位置，然后求出元件的中心位置，根据与预设的中心进行比较进而判断元件是否偏移。而本项目涉及到的黑色贴片LED两端面与LED本身在灰度值上并未明显区分，且其有效区域的范围是由连接盘确定，所以文献[2]的方法同样不适合本项目。基于以上情况，本文提出了一种基于机器视觉的柔性印刷线路板LED贴片质量在线检测方法，在贴片机进行贴片后，对贴片质量进行在线检测。

1 有效区域的获取

硬件平台搭建完成后，对贴片之后的柔性印刷线路板进行图像采集，由于需要获取有效区域，所以也需要对未点过银浆和贴片的柔性印刷线路板进行图像采集，我们称未点过银浆与贴片的图像为原始图像。采集到的原始图像如图1(a)所示。LED灯粘贴的有效范围左侧不能超过左侧红线框的最左侧，右侧不可超过右侧红线框的最右侧，上侧不可超过两个红线框的最上侧，下侧不可超过红线框的最下侧。采集到的贴片图像如图1(c)所示。

为了获取有效区域，本文利用部分轮廓作为模板对原始图像进行匹配，模板如图1(d)所示，因为所检测的贴片除了图1(c)所示的图像外，还有连接盘为90度的情况，如图1(e)所示。所以采用的模板匹配的最大旋转角度为90度，最小匹配分数选择0.85。以图1(a)为例，匹配到的区域如图1(f)所示，对区域做最小外接矩形[3]。在统计学中，用矩来描述随机变量的分布形态[4]，将矩的定义推广到图像中，可以把像素点值作为随机变量值f(x,y)，其中(x,y)表示像素点的坐标，则感兴趣区域R的p+q阶矩如式(1)所示：

(1)

由(1)式可以得到感兴趣区域的两个一阶矩和零阶矩，其表达式如式(2)所示：

(2)

(3)

(4)

则由零阶矩和一阶矩可求出感兴趣区域的质心，其表达式如式(5)所示：

(5)

由以上各式，可求出中心矩如式(6)所示：

(6)

在p+q=2时的2阶中心矩可以获得区域的长度和角度信息。根据式(6)可求出u0,0，u0,2，u1,1等。根据以上求得的参数即可获得ROI的最小外接矩形的长度和宽度等信息。

长：

(7)

宽：

(8)

得到的最小外接矩形区域如图1(g)所示，即为最终确定的有效区域范围。此范围通过仿射变换为后续检测贴片缺陷奠定基础，同时利用其长度和宽度信息为后续连接盘模板的获取提供数据。

图1 有效区域获取过程图

2 对贴片后的连接盘进行定位

图像中除了连接盘外还有银线，为了避免银线对贴片质量检测造成的误判，采用基于轮廓特征的模板匹配对连接盘进行定位，以缩小检测范围。

2.1 连接盘模板的获取方法

首先，通过图1(d)中的轮廓作为模板，利用模板匹配方法定位到连接盘区域，通过像素外扩，只获取包含连接盘区域的图像，如图2(a)所示。

其次，通过canny算子提取连接盘区域的边界。提取出的连接盘边界信息如图2(b)所示。对图2(b) 分析可知，连接盘外轮廓具有最大长度，通过长度信息即可提取出连接盘外轮廓。提取出的连接盘外轮廓如图2(c)所示。

第三，根据最终获得的有效区域进行长度或者宽度的像素内缩，生成一个比有效区域小的最小外接矩形，通过其与连接盘外轮廓求差集，即可获得最终的模板轮廓。获得的模板轮廓如图2(d)所示。

图2 贴片后连接盘定位过程图

2.2 连接盘匹配旋转角度的获取

(9)

根据(1)式选择合适的d2,求出的最大旋转角度为：

即为连接盘匹配时的最大旋转角度。

获取到模板轮廓及最大旋转角度后，即可对贴片后的连接盘进行定位，本项目采用的最小匹配分数为0.75。匹配后经过仿射变换，映射出的连接盘轮廓如图2(f)所示。

3 贴片缺陷检测方法

利用基于轮廓特征的模板匹配对连接盘实现定位之后，即可选取只有连接盘和贴片区域的图像，如图3(a)所示。在图3(a)的图像中，对LED贴片进行漏粘、异物、粘斜、偏移缺陷检测，不仅能够缩小检测范围，而且能够提高检测速度。

3.1 贴片漏粘缺陷检测方法

在贴片机工作过程中，由于贴片材料用完后没有及时更换，或者操作人员的不当操作，会导致LED贴片漏粘缺陷的出现，漏粘缺陷属于LED贴片缺陷检测最严重的缺陷。LED漏粘示意图如图3(b)所示。

由于每个板型的LED并不相同，所以LED漏粘检测采用动态模板匹配。现罗列出其中的几种LED贴片类型，如图3(c)、3(d)、3(e)、3(f)、3(g)所示。在进行模板匹配之前，将彩色图像转换为灰度图像，手动框选出LED贴片图像，将框选出的LED贴片图像作为模板图像进行注册，并根据其型号进行命名。同时将注册的LED贴片图像与采集到的经过范围限制的柔性印刷线路板进行相似性度量，本文采用归一化互相关系数(NCC)作为度量原则。

设t(r,c)为注册模板T内的任意一点的灰度值，f(r+u,c+v)为T平移到图像上的位置(u,v)时的灰度值，则归一化互相关系数如式(10)所示：

(10)

其中:mt表示的是模板的平均灰度值，st2表示模板中所有像素灰度的均方差，其表达式如式(11)、式(12)所示。

(11)

(12)

(13)

由以上可知，NCC的值越大，两幅图像越相似[5]。模板匹配后得到了被匹配到的LED贴片的中心坐标和与标准模板之间的角度差，利用此信息以及手动框选模板时得到的长度和宽度信息，即可得到被匹配到的LED的区域。此区域如图3(h)中蓝色所示。如果NCC=0,那么说明被匹配的图像中没有模板的示例，即为LED漏粘。同时在检测过程中根据相应的板型，选择相应的注册模板，以完成对不同类型LED贴片的检测。

图3 LED漏粘缺陷检测过程图

3.2 贴片异物与粘斜及偏移缺陷检测

3.2.1 贴片异物缺陷检测方法

在贴片机进行贴片操作后，柔性印刷线路板在流水线上移动，由于移动过程中的人为干扰或者其他影响，会导致LED贴片上有异物。异物不但影响LED贴片的外观，而且严重的会覆盖LED贴片的发光部位，导致产品不合格。正常图像如图4(a)所示，异物缺陷图像如图4(b)所示。

本文采用平均灰度值比较法，进行LED贴片异物缺陷检测。在LED贴片漏粘检测注册LED模板时，可以得到模板图像的平均灰度值，记为Mm。同时，也可以得到被检测柔性印刷线路板中匹配到的LED贴片的平均灰度值Mt。如果|Mm-Mt|≥10，则判为LED上有异物。

平均灰度值的表示方式如式(14)所示：

(14)

3.2.2 贴片粘斜与偏移缺陷检测方法

由于操作人员对贴片机操作的失误或者其他原因，会导致LED贴片粘斜及偏移的情况出现，粘斜缺陷图像如图4(c)所示，偏移缺陷图像如图4(d)所示。

本文针对LED贴片粘斜与偏移缺陷检测采取的方法步骤为：

第一步，利用仿射变换映射出规定的有效区域。仿射变换的表达式如式(15)所示。

(15)

第二步，利用映射出的规定的有效区域4(e)与匹配到的LED区域如图4(f)所示，求交集，交集示意图如图4(g)区域所示。计算交集的矩形度，如果其矩形度不满足要求，则判为LED粘斜。如果矩形度满足要求，则执行第三步。图4(g)交集区域的矩形度小于0.93，所以判为LED粘斜。而图4(d)的有效区域与LED区域的交集的矩形度明显大于0.93，所以执行第三步。

第三步，计算LED区域与有效区域的差集，以图4(c)为例，差集区域如图4(g)所示。计算差集区域占LED区域本身的比列。如果比列满足要求，则判为合格，如果比例不满足要求，则判为偏移。利用比例作为检测标准不仅能够解除LED大小对检测结果的影响，而且能够提高程序的鲁棒性。本文利用的标准比例为0.05，而图4(h)的差集区域占整个LED区域的比例为0.43，所以判为LED偏移缺陷。

图4 LED异物与粘斜及偏移缺陷检测图

4 实验结果

在完成视觉检测系统的硬件部分之后，即可利用本文所提的检测方法对柔性印刷线路板的LED贴片质量进行在线检测，

所设计的软件交互界面如图5所示。

图5 LED贴片质量视觉检测软件交互界面

目前所检测的柔性印刷线路板上最少有1个LED贴片，最多有3个LED贴片，且每块底板上最少放置5块柔性印刷线路板，最多放置9块柔性印刷线路板，根据企业要求，从拍摄图片到LED贴片检测结果显示，每块底板上放置的柔性印刷线路板的检测时间不能超过3 s。经过现场一个月的不间断调试，柔性印刷线路板LED贴片视觉在线检测系统已经用在了生产线上。经过现场对板型为094的柔性印刷线路板1个小时的不间断测试，测试结果如表1所示。

表1 LED贴片质量视觉检测结果

该检测系统截止发稿为止，已经在生产线上运行了两个半月，这期间没有发现漏检或者误检的情况。

5 结束语

本文主要针对柔性印刷线路板LED贴片工艺过程中的漏粘、异物、粘斜、偏移缺陷，提出了一套视觉在线检测软件方案，利用基于轮廓特征的模板匹配定位连接盘以减少检测范围，同时避免银线对检测结果的影响，同时利用基于图像的模板匹配寻找LED，并利用平均灰度值比较法，检测异物缺陷。通过评估有效区域与LED区域的交集以及差集的相关条件从而确定是粘斜还是偏移缺陷。经过理论分析与现场测试，本文所提方案的检测精度和检测速度均符合企业要求。

[1] 吕小戈. 基于机器视觉的贴片元器件外观缺陷检测系统开发[D].广州：广东工业大学,2015.

[2] 程良伦,江伟欢. 基于二值投影的PCB元件安装缺陷检测算法研究[J]. 计算机工程与设计,2010(3):642-646.

[3] 苑玮琦, 胡 迪. 利用矩实现植物叶片长宽的测量[J]. 计算机工程与应用, 2013, 49(16): 188-191.

[4] 侯一民, 伦向敏. 基于矩与角点特征的飞机目标识别[J]. 计算机工程与应用, 2008, 44(16): 479-481.

[5] 陈沈轶，钱 徽，吴 铮.模板图像匹配中互相关的一种快速算法[J].传感技术学报，2007(6): 1325-1329.

Vision Detection Method for Quality of LED Patch on FPC

Yuan Weiqi, Zhang Junpeng

(Computer Vision Group, Shenyang University of Technology, Shenyang 110870, China)

The LED on the flexible printed circuit board need to be gone through silver point, patch, glue sealing and other processes. During the patch, there could produce a series quality problem, such as patch leak, rarity, stick inclined and offset and so on. Aiming at above-mentioned flaws, an online detection method of patch is put forward by machine vision: Smallest bounding rectangle is adopted to get the range of effective area, and template matching based on contour-feature is used to locate the land of patch. Dynamic template matching is used to detect patch leak. Average gray value is adopted to detect rarity. The intersection and difference of effective area and LED domain is applied, which detect the stick inclined and offset. The proposed scheme which has been already used on-line indicated that this scheme has a high detection accuracy.

patch flaws; smallest bounding rectangle; template matching; average gray value; rectangularity

2016-07-13；

2016-08-31。

国家自然科学基金项目(61271365)。

苑玮琦(1960-)，男，辽宁沈阳人，博士，教授，博士生导师，主要从事视觉检测技术、生物特征识别等方向的研究。

1671-4598(2017)01-0020-04DOI：10.16526/j.cnki.11-4762/tp

TP

A