黄杰贤,李 迪,黄志平,杨冬涛
(1.华南理工大学自动化科学与控制工程学院,广东广州510641;2.广东振声科技股份有限公司,广东梅州514000;3.广东嘉应学院电子信息工程学院,广东梅州514015;4.华南理工大学机械与汽车工程学院,广东广州510641)
挠性印制电路板(Flexible Printed Circuit,FPC),是电路板的一种,是以聚酰亚胺或聚酯薄膜为基材制成的具有高度可靠性的可挠性印刷电路板。与硬板印刷电路相比,挠性印制电路具有重量轻、可弯曲、可卷绕、可立体配线、所占空间较少等优点。随着电子产品朝着轻、薄、小、巧发展,FPC的布线越来越密集,焊点、焊盘越来越小,集成度也越来越高[1]。而电子产品生产的高度流水化与自动化使得只要FPC存在细微的缺陷必然导致整个电子产品的报废。电子制造商对FPC质量要求几乎到了苛刻的地步:对所有FPC板全检。当前许多FPC生产企业仍然停留依靠人眼辅助光学设备的检测水平上,这就导致检测效率低,准确率不高,用工成本不断上升的缺点。因此,人工目视检测必然逐渐被机器视觉检测所淘汰。
在基于机器视觉的FPC焊盘缺陷检测方法中,Wang使用Garbor滤波器提取焊盘表面纹理特征,并基于纹理特征实现缺陷检测,该方法据计算时间长,难于获取获取最优参数,往往不适于实际的环境使用[2]。Chiu-Hui Chen利用标准FPC图像与实际的检测图像作差影法操作凸显两图之间的差异,差异之处则表示缺陷的位置,该方法对光源的稳定性,图像配准的准确度相当高[3]。现场环境中难于满足其要求。D.M.Tsai基于信息熵的方法对FPC焊盘的颜色特征波动性与方向特征的复杂性进行描述,取得一定效果,该方法能够对金手指上纹理类型的缺陷进行检测,检测效率也满足生产需求[4]。但该方法仅仅金面表面纹理类型的缺陷有效,对于其他类型的缺陷确难于检测,但仍给本文的检测工作带来思路。在前人的研究基础上,综合各个方面的研究成果,提出新的检测方法,主要工作包括:图像对准与差影操作、假点滤除、报警点分析、缺陷检测4个部分。
在进行检测目标定位之前,首先必须对检测图像与标准图像进行坐标转换工作。主要方法为:
(1)获取一幅无缺陷的参考图像,选取某些规则的目标物作为基准点(圆、矩形、十字等如图1所示)。
图1 Mark点
(2)分别选取标准图像与检测图像的3个基准点 A、B、C 和 A'、B'、C'的坐标位置以获取仿射系数:a1,a2…,a6(如图2所示)。检测图像中任何坐标点(x',y')可基于坐标系转换公式(1)与参考图像(x,y)一一对应[5-6]。
图2 坐标系转换
完成图像对准工作后,通过差影法对缺陷进行检测,差影法是非常简单与高效的检测方法。具体实现如图3所示。缺陷位置灰度值明显高于非缺陷区域,缺陷区域呈现的高亮度像素点统称为报警点。
鉴于检测图像获取时光源强度的不稳定性、制造工艺的误差,机械震动等影响,进行差影操作时不可避免产生许多虚假的报警点(简称假点),尤其在线路边缘区域的假点更为明显(如图4所示),直接影响到后续的检测工作。
图4 基于差影操作后的虚假的报警点
为了避免假点对图像造成的干扰,在差影过程中尽可能对假点滤除,具体工作与步骤如下:
Step1.选取多幅无缺陷图像求平均值(如式(2)所示),式(2)中,f(x,y)表示无缺陷图像,R(x,y)表示图像的平均值;
Step2.采用式(3)求取不同坐标位置上的灰度值的波动值:
Step3.在检测过程中,I(x,y)为待检测图像,与图像矩阵 R(x,y)进行进行差影操作后,采用式(4),对假点进行滤除,结果存入P(x,y)变量中;
图5(a)、(b)分别为对虚假点处理前、后的图像。
图5 假点处理实验
已知当焊盘存在缺陷时,必然在其颜色、面积、纹理上体现。图6是比较典型的缺陷,其中图6(a)露铜缺陷属于化金不良缺陷类型的一种,归为颜色类型缺陷;图6(b)破损缺陷归为面积类型缺陷;图6(c)划伤缺陷为纹理类型缺陷。
图6 典型线路缺陷
在前文确立缺陷区域的基础上,为了进一步提高缺陷识别的准确率则分别从颜色、纹理、面积3个主要特征作进一步分析。
颜色特征是重要、而直观的特征。已知计算机通过R(红色)、G(绿色)、B(蓝色)三种颜色量的叠加与组合以实现对各种颜色的表示。为了验证通过颜色特征实现缺陷检测有效性,选取200个化金不良的缺陷样品与200个良品观测其颜色特征的分布情况如图7所示。
图7中‘o’目标为无缺陷目标颜色特征分布,‘*’为缺陷目标颜色特征分布,通过观察可知,缺陷样品与良品在R、G、B三维空间中具有明显的分界线。因此根据样品,设置R、G、B阈值,可有效地对缺陷线路识别。
图7 颜色RGB分量
纹理特征主要反映物体表面上微观几何形状、颜色灰度强度波动、变化的重要指标,可作为判别工业产品是否具有缺陷的重要特征。本文基于信息熵理论对FPC电路表面的纹理特征进行描述,已知信息熵的公式如式(5)所示:
其用于衡量x变量的不确定性,当x变量的不确定性越高,Ex值越大。将其引入描述FPC电路的纹理的数学公式定义如下:
式(6)中,i代表有颜色灰度级,i=1,2,…,Nc,一共有Nc个颜色灰度级;R、C分别代表图像的长与宽;fc(i)表示在图像R×C中,像素落入i灰度级的统计量,Pc(i)表示图像R×C中,像素落入i灰度级的概率。基于公式(6)依次对图8(a)、(c)、(e)焊盘表面的纹理特征进行量化,量化结果分别在图8(b)、(d)、(f)所示。
面积特征也是焊盘的重要特征之一。本文在通过焊盘的有效面积(符合颜色特征,符合纹理特征)的统计获取面积特征,实验如图9所示。接着再通过对标准面积对比,识别出缺陷焊盘,图10为良品焊盘与缺陷焊盘的面积特征分布实验。
图10的实验中‘o’表示非缺陷的焊盘,‘*’表示缺陷焊盘。X轴为gerber文件获取的标准面积(像素单位),Y轴为实际检测的面积,Z轴为误差率。实验结果表明:根据颜色特征与纹理特征搜索焊盘镀金面提取有效的面积特征,可实现缺陷焊盘跟良品焊盘的有效区分。下文则通过现场测试对该检测系统的性能进行验证(如图11所示)。
图8 纹理特征分析
图9 有效区域面积搜索实验
图10 基于面积特征的样品分布实验
图11 针对FPC检测的AOI系统
AOI系统的性能可以通过以下指标进行评定[7]:(1)准确率:即系统给出准确结果的比率;(2)误判:即系统将无缺陷的焊盘判断为缺陷焊盘;(3)漏:即系统将缺陷的焊盘判为无缺陷焊盘,检测结果如表1所示。
表1 检测结果
从实验结果观测,本文提出算法对于检测焊盘的缺陷具有较高的准确率,达到97.8%,50个焊盘的检测时间为300 ms,满足在线检测对效率的要求。
本文采用机器视觉技术,基于颜色,纹理,面积特征对FPC线路焊盘表面缺陷进行检测,经现场的测试表明,本文提出的方法可有效地对缺陷进行检测,准确率达到97.8%满足实际应用的需求。下一步的工作主要集中在:①减少该检测系统的漏检错误;②提高该系统的灵活性与通用性。本文的检测目标都是大多数针对的是具有规则形状的目标,例如圆、方焊盘等。不规则的线路缺陷识别进行深入研究。
[1] AYOUB G.Real-time SPC with AOI[J].Surface Mount Technology Magazine,2001,15(6):36 -38.
[2] WANG Qingxiang,LI Di,ZHANG Wujie.Detecting defects in golden surfaces of flexible printed circuits using optimal gabor filters[C].Intelligent Information Technology Application,2008,IITA'08.Second International Symposium on Volume 1,Dec.2008:321 -325.
[3] CHEN Chiuhui,WANG Chunchien,LIN Chunyu,shih Yusen,TU Chungfan.Realization of defect automatic inspection system for flexible printed circuit(FPC)[C].Proceedings of the 35th International MATADOR Conference,2007:225 -228.
[4] D M TSAI AND B T LIN.Defect detection of gold-plated surfaces on FPCs using entropy measures[J].The International Journal of Advanced Mannufacturing Technology,2002,20(6):420 -428.
[5] HUANG Jiexian,YE Feng,DONG Zhijie,LI Di.Correction of FPC solder position error based on mutual information entropy[J].Circuit World,2011,37(1):46 -51.
[6] HUANG Jiexian,YANG Dongtao,GONG Changlai.Research on image match based on mutual information entropy and regional feature[J].Laser & Infrared,2013,43,(1):98 -103.(in Chinese)黄杰贤,杨冬涛,龚昌来.互信息熵与区域特征结合的图像匹配研究[J].激光与红外,2013,43(1):98-103.
[7] Loh Hornghai,LU Mingsing.Printed circuit board inspection using image analysis[J].IEEE Transactions on Industry Applications,1999,35(2):426 -432.