基于机器视觉的电子连接器缺陷检测系统的设计

谭台哲　宁华龙

1(广东工业大学计算机学院　广东 广州 510006)2(河源广工大协同创新研究院　广东 河源 517000)



基于机器视觉的电子连接器缺陷检测系统的设计

谭台哲1,2宁华龙1*

1(广东工业大学计算机学院广东 广州 510006)2(河源广工大协同创新研究院广东 河源 517000)

摘要针对电子连接器组装过程中，存在Pin脚间距和平整度不一致等问题，设计一个基于机器视觉的电子连接器缺陷检测系统。在Canny算法的基础上，给出一种新的检测算法。实验证明，相比与人工检测的方法，该系统设计方案的检测速度和精度都得到了明显提升，能够适应和满足自动化工业生产的需求。

关键词机器视觉电子连接器数学形态学亚像素

0引言

连接器是一种经常使用的电子元器件，主要用于电路内部隔处架起桥梁使电流流通。FPC电子连接器作为电子连接器的新技术，是在柔性线路板的基础上发展起来的一种非常精密的电子元件。随着电子行业在我国迅速发展，中国变成了世界化的电子元器件生产基地，各种电子元器件的生产规模不断扩大。随着电子产品的消费不断增加，电子连接器生产规模的扩大，对产品质量的要求迅速提升，使产品质量检测在连接器生产步骤中成为至关重要的环节。

在电子连接器生产过程中，Pin脚在组装时，由于气缸运动存在受力不均的情况，导致Pin脚出现倾斜，影响产品的最终质量，因此，在生产过程中有必要引入检测方法。传统的检测方法是人工在放大镜前检查电子连接器，这也是目前实际中常见的应用方法。其主要过程为当产品在产线上组装工序完成后，工作人员使用光学影像测量仪以及相应模具对第一批产品手动进行精确测量，称之为首检。使用这种方法可实现对生产过程进行动态跟踪控制，降低不良率[1]。其后，大量的人工在放大镜前检查电子连接器，这种方法完全依靠人的视觉直觉，准确率低，精度没有保障；而视觉检测方法是通过对图像的处理，来检测电子连接器的平整度和pin脚间距，以判定生产的工件是否合格，这是目前通行的检测方法。生产电子连接器时，根据生产制造工艺，pin脚之间的间距定和pin脚的平整度，其检测精度要求±0.01 mm。然而当前许多自动化生产中仍以人工手段检测电子连接器，即通过人眼来分辨电子连接器的pin脚平整度和间距，这根本无法达到检测的精度要求，并且人眼容易疲劳，人工检测存在着诸多弊端。

由于电子连接器图像的结构稳定、特征明显，因此很适合使用自动化的手段代替人工进行检测。事实上，已有很多将机器视觉应用于电子连接器检测的应用[1-4]。文献[1,2]中提出了基于机器视觉检测的电子连接器的两个核心问题：对每个pin脚的边缘检测和去除边缘毛疵即图像去噪。文献[1]提出一种基于阈值分割的亚像素精度边缘再检测算法；文献[2]使用Sobel边缘检测算法；文献[4]提出利用数学形态学消除噪声点，提出了自适应双阈值Canny边缘检测。本文基于专业机器视觉库Halcon[7-9]，设计一个将Canny边缘检测与亚像素相结合的视觉检测系统。

1系统总体方案设计

本检测系统安装在一套自动化生产线上，其生产线主要有伺服马达、机械导轨、气阀等。配合生产线，本系统主要由图像采集系统和数字图像处理系统组成。在检测时，生产线将产品送入传送装置，再由伺服马达控制气阀利用吸嘴将要检测的工件吸起，并置于检测平台上，此时，光源频闪曝光。然后，PLC程序发送信号控制CMOS摄像机对待检连接器进行拍照，再由千兆网接口传人计算机的图像处理系统。通过系统软件的计算评估，将处理结果显示出来并通知PLC控制模块，由PLC控制模块决定工件的不良排除操作[10]。系统工作流程如图1所示。

图1　系统工作流程图

2光学硬件选型

系统的光学硬件选型主要有：工业相机、工业镜头和特定的光源等。工业相机的选择和实际的工件尺寸决定了系统的检测精度，本系统使用Basler500万像素黑白相机acA2500-14gm，分辨率达到0.01 mm，可使得pin脚的边缘能够更加准确地定位到，从而保证定位的精度能够满足生产工艺的要求。镜头的选择要根据工作视野和工作距离来确定，检测微小元器件时，一般会选择放大镜头、远心镜头等，本系统选用的是工作距离为110 mm的远心镜头[21]。光源选择的合适与否直接影响着视觉系统的应用效果。依据LED灯的工作原理[11]，本系统选用LED蓝色同轴光源。同轴光的结构特点为：(1) 高密度排列LED，亮度幅度提高；(2) 独特散热结构，提高稳定性，延长寿命；(3) 高级镀膜分光镜，减少光损失；(4) 成像清晰，亮度均匀。因此同轴光发出的光线均匀反射到光源发出口，面分布均匀性和方向均匀性都很好，可以将表面相对复杂的物体或图片照射出比较均匀的效果，并且蓝色光源波长短，不易形成衍射现象。

3视觉软件设计

系统实验对象是某公司生产的pin脚间距为0.5 mm的电子连接器，其产品pin脚数目变化范围为：4pin到60pin。由于篇幅限制，本文以20pin的产品为例进行描述，主要针对pin脚间距和平整度两种外观检测项目进行讨论。电子连接器检测工件的部分视图如图2所示。

图2　电子连接器部分视图

3.1软件设计中的关键技术

根据检测产品采集图像的结构可知，该系统的关键技术就是pin脚边缘精确定位以及基准线的检测。采用图3电子连接器的图像数据进行描述，算法主要分三步：(1) 电子连接器的粗定位；(2) pin脚边缘和基线的精确定位检测；(3) 计算pin脚的间距和平整度，判断生产的电子连接器是否合格。

图3　电子连接器原图与初步定位效果图

3.1.1电子连接器的粗定位

在本视觉系统中，由于机械移位误差，使得工件在图像中并不一定总处于同样的位置和方向，因此本文设计系统检测算法时，对这种位置的变化做出相应的考虑。

首先，使用大津法(OTSU)分割出图像的电子连接器和基线部分[12,21]。其算法的基本原理是：分割出图像前景目标的最好阈值T是使得类间方差最大化的阈值，即：

α2=q1((μ1-μ)2+q2(μ2-μ)2

(1)

其中，α2为类间方差，q1是灰度值大于阈值T的类的概率，q2是灰度值不大于阈值T的类的概率，而μ是两类的类间均值。

最佳阈值T就是使得α2最大的灰度值。本系统利用阈值T，将电子连接器和基线区域同背景分开，其原图与粗定位的效果见图3。

3.1.2pin脚边缘和基线的精确定位

利用大津法(OTSU)、数学形态学方法[13-15,21]处理后的图像得到pin脚和基线ROI的粗定位。为了对pin脚边缘和基线进行精确定位，本文对pin脚和基线ROI区域进行亚像素算法处理。对于亚像素插值算法，其主要目的是提高像素点的精度，目前一个像素点的实际尺寸为0.01 mm。为了达到更高的精度，将粗定位图像中的一个像素点使用2×2的矩阵像素点代替。其具体算法描述如下：

将图4中的Ai j像素点使用Ai j 0、Ai j 1、Ai j 2、Ai j 3代替。

图4　亚像素插值

采用式(2)的插值算法，以Ai j 0为例进行说明：

(2)

其中，Ai j、Ai-1 j-1、Ai-1 j、Ai j-1代表图像中像素点的灰度值T为一个阈值。通过T来判断Ai j是否为边缘点，经过实验验证，当T取值为40时，达到较好的边缘判断效果。对于图像的边界插值，本文采取将原像素点的值直接赋值给2×2的矩阵像素点。

对于pin脚和基线的边缘检测，本文在亚像素插值图像以及已有的Canny边缘检测算法[4,16-18]的基础上提出一种改进的方法。传统的Canny算子在选取高低阈值的时候，无法避免人为因素的影响，不具有自适应和性鲁棒性，不适合当前的工程应用[4]。因此，本文通过对pin脚、铁片具体属性的分析，使用一种自适应选取阈值的边缘检测算法，并对边缘点的选取算法作了相应的改进，以适应实际生产需要。在已有的自适应阈值的基础上，即文献[4]中的方法，选出的高低阈值Tl和Th。对于大于Tl而小于Th的点该如何划分以获取更确切的边缘，本文提出以下自适应边缘点选取方法：

首先，根据Canny算子计算出原图像I的梯度图像D。且设大于等于高阈值Th的点属于C1类，小于等于低阈值Tl的点属于C2类，中间部分为C3类。为了减小计算量，根据高低阈值，可以先去除C2类的点。再根据各个pin脚的位置生成相应的测量框R，在测量框的内部选取大于高阈值Th一类点中，选取梯度最大的点Dmax(i,j)作为搜索边缘点的一个种子点。然后在Dmax(i,j)的八邻域内搜索，查找其中梯度最大的点D(i′,j′)，这完成了搜索的初始化条件。

其次，进行边缘点搜索，在初始化条件的基础上，对测量框内部查找，其满足迭代条件的边缘点，其迭代描述如下：

(1) 令D1=Dmax(i,j)，D2=D(i′,j′)，其为梯度值。

(2) 搜索区域内部属于C3类的点中局部梯度最大的点D3，设找到的D3点的坐标为(i″,j″)。

(3) 分别计算D3点到D1、D2点的街道距离d13和d23，公式如下：

(3)

(4) 为了排除噪声点的干扰D3点到D1、D2点的距离之和要小于k。由于D1和D2点对于D3点的影响不同，D3点离D2点较近，离D1点较远，因此引进两个影响因子α、β，且考虑梯度的限定。这里再引进一个梯度影响因子c作用与距离之上，实现动态梯度阈值的查找边缘点，则计算找到的D3点是否满足如下条件：

αd13+βd23≤2ck

(4)

(5) 如果D3点满足式(4)，则将D3点视为边缘点，然后令D1=D2，D2=D3，重复步骤(2)-步骤(4)，当局部区域内没有点满足条件时结束。使用如上的算法得到的检测效果见图5。

图5　改进算法检测效果

本文中提出的改进算法，相比与文献[4,16-18]，其检测的精度有较大的改善，文献[4]中的检测精度为±0.02，本文的检测精度为±0.01，详细结果见3.2节。

3.1.3计算pin脚间距和平整度

3.2实验结果

本文共采用3组100个pin脚数目为20的产品进行实验，将其同人工检测作比较，其中产品的误判率和漏判率如表1所示。

表1　实验结果统计表

分析导致检测误判、漏判的原因发现：由于生产产品的过程中会产生塑料废屑附着在产品上，导致检测边缘时产生很大的偏差；基线的设定是由机械安装完成的，但是机械安装不能保证基线完全水平，这对于取平均值的算法造成很大的影响。因此在算法中加入机械修正算法，补偿机械造成的偏差。补偿后以三组1000个样本进行验证，其实验结果见表2。

表2　机械修正后的检测结果

在验证测量结果时，将这个系统检测的结果同测量精度为0.005 mm的二次元测量结果进行对比，以验证检测结果的精度，其部分pin脚的平整度数据见表3。

表3　数据精度验证

4结语

通过对电子连接器生产行业进行深入的调查研究，目前多数厂家仍然以人工手段完成其性能的评估和检测，这样的检测速度和精度已无法满足现有的工业自动化生产需求。因此，设计实现基于专业机器视觉库HALCON的电子连接器自动化缺陷检测系统代替人工检测应运而生。本文提出基于亚像素精度的自适应边缘检测算法，此算法能够实现对电子连接器边缘的精确定位，提高检测结果的精度。本系统已经运用于多家电子连接器自动化生产产线上，运行稳定，能够很好地满足自动化工业生产的需求。但是本设计方案也存在不足：(1) 系统对于工作的环境(包括机械环境和光源环境)比较敏感，一般要求必须固定基本的工作环境。(2) 系统中采用了机械设置基线的方法，引进了机械误差。

参考文献

[1] 褚娜.FPC连接器高精度缺陷检测技术研究[D].中国计量学院,2013.

[2] 褚娜.FPC连接器焊脚外观检测关键技术研究[J].中国计量学院学报,2012,23(3):268-273.

[3] 李峰峰.电子元器件外观检测系统的研究与开发[D].华南理工大学,2012.

[4] 黄杰贤.FPC外观缺陷自动光学检测关键技术研究[D].华南理工大学,2012.

[5] 张洪涛,段发阶,丁克勤,等.带钢表面缺陷视觉检测系统关键技术研究[J].计量学报,2007,28(3):216-219.

[6] 张洪涛,段发阶,叶声华.一种快速亚像素边缘检测方法研究[J].计量学报,2002,23(4):263-270.

[7] 章毓晋.机器视觉和图像技术[J].自动化博览,2009,26(2):20-25.

[8] 杨少荣,吴迪靖,段德山.机器视觉算法与应用[M].北京:清华大学出版社,2009.

[9] 李景峰,杨丽娜,潘恒.Visual C++串口通信技术详解[M].机械工业出版社,2010.

[10] Xia N J,Cao Q X,Fu Z.A Machine Vision System of Ball Grid Array Inspection on RT-Linux OS[C]//2004 International Conference on the Business of Electronic Product Reliability and Liability,Shanghai,2004:81-85.

[11] 耿春明,蔡东宝.基于计算机视觉的机械零件检系统设计[J].计算机测量与控制,2012,20(1):38-39.

[12] Tian H,Srikanthan T,Asari K V.The Segmentation algorithm of improvement a two-dimensional Otsu and application research[C]//2010 2nd International Conference on Software Technology and Engineering(ICSTE),2010,25(1):76-79.

[13] Hu Jinmei,Li Zuoyong.Medical image segmentation algorithm based on the improved mathematical morphology[J].Computer Simulations,2011,28(5):299-302.

[14] Chen Tingting,Cheng Xiaoping.Image segmentation using fuzzy morphology and morphological watershed algorithm[J].Journal of Southwest University,2008,30(3):142-145.

[15] Wei Qiangqiang.Showdown:Mathematical morphology and its application in the image edge detection[J].Science and Technology Information,2010,10(2):38-42.

[16] Mukhopadhyay S,Chanda B.Multiscale Morphological Segmentation of Gray-scale Images[J].IEEE Transactions on Image Processing,2003,12(5):533-549.

[17] Wood S L,Qu G Y.A Modified Gray Level Morphological Gradient with Accurate Orientation Estimates and Reduced Noise Sensitivity[C]//Proceedings of the 34th Asilomar Confcrence on Signals,Systems and Computers,IEEE Press,2000:926-930.

[18] 余洪山,王耀南.一种改进型canny边缘检测算法[J].计算机工程与应用,2004,40(20):27-29.

[19] Maragos P.Tutorial on advances in morphological image processing and analysis[J].Optical Engineering,1987,26(7):623-632.

[20] Serra J.Image analysis and mathematical morphology[M].New York:Academic Press,1982.

[21] 战荫伟,付波.打印机显示模块的机器视觉检测系统的设计[J].计算机工程与设计,2014,35(4):1491-1495.

DESIGN OF MACHINE VISION-BASED DEFECT DETECTION SYSTEM FOR ELECTRONIC CONNECTORS

Tan Taizhe1,2Ning Hualong1*

1(SchoolofComputer,GuangdongUniversityofTechnology,Guangzhou510006,Guangdong,China)2(SynergyInnovationInstituteofGDUT,Heyuan517000,Guangdong,China)

AbstractAiming at the problem of inconsistencies of Pin feet spacing and flatness in electronic connector assembly process, in this paper we design a machine vision-based defect detection system for electronic connectors. Meanwhile, based on Canny algorithm we present a new detection algorithm. It is verified by experiment that compared with manual detection methods, the design scheme of the system significantly improves the detection speed and accuracy, it is able to adapt to and meet the needs of automated industrial production.

KeywordsMachine visionElectronic connectorsMathematical morphologySub pixel

收稿日期：2014-12-02。高等院校学科建设专项(12ZK0362)。谭台哲，副教授，主研领域：计算机机器视觉。宁华龙，硕士。

中图分类号TP391.4

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.05.054