黄震,顾启民
(1.中国矿业大学信息与电气工程学院,江苏徐州 221116;2.常熟理工学院电气与自动化工程学院,江苏常熟 215500)
随着大规模集成电路和半导体工艺的发展,工业检测领域出现了许多针对电子元器件的检测需求,高精度和在线检测是这些检测系统的共同特征[1-2]。如印刷电路板在插件组装时,必须要对电子元器件进行100%的在线检测,确保成品电子元件的品质,并且要求保证一定精度的同时在尽量短的时间内完成检测任务,以满足生产需求。然而,电子产品日趋朝着轻便的趋势发展,电子元器件检测要求以及工艺难度也不断加大,传统的人工检测不仅耗时耗力,而且无法保证检测的精度和速度[3-4]。机器视觉检测技术具有非接触、柔性好、精度高、速度快、自动化和智能化水平高、易于同设计信息与加工控制信息集成等优点,可以很好地满足电子元器件的检测要求[5-6]。
直立电容引脚视觉检测系统包括硬件系统和软件系统两部分。硬件系统负责图像获取,软件系统负责数据处理并得出检测结果。其中,硬件系统构成如图1所示,包括以下几部分:
(1)成像设备。根据实际检测需求,选用分辨率为800×600的CCD工业相机以及150万像素镜头,成像质量基本满足检测要求。
(2)光源及其控制器。由于检测目标比较小,所以成像距离较小,为了采集到比较好的图像,需要选择合适的光源。文中采用环形LED光源,固定在相机上方,可获得高对比度的电容引脚底端图像,光源控制器用来控制光源开关以及亮度调节。
(3)传送设备。由机械手移动待测电容至相机上方,相机进行图像采集和检测,检测完毕后执行安装或者抛料动作。机械手、相机和PC机通过以太网进行通信。
(4)PC机。加载检测软件,同时负责向机械手发出信号。
图1 检测系统硬件组成示意图
评价电容引脚是否合格的指标有:
(1)正位度。以电容整体的中心为基准,评价每个引脚到基准的距离。
(2)完整度。判断引脚个数是否完整、引脚直径大小是否在公差范围内。
(3)引脚间距。正负极引脚的水平间距是否在公差范围内。
以上3个指标若有1个不满足,则认为该产品不合格。为获取以上3个指标: (1)要提取电容整体的中心位置;(2)要确定每个引脚的位置;(3)要确定引脚直径的大小,这也是该系统检测的主要目标。
机器视觉引脚检测系统以被检测物体的图像为检测和传递信息的手段和载体,通过处理被检测物体图像的轮廓来获得被检测物体的几何尺寸参数[5]。因此,检测的关键是如何获取高精度的目标图像轮廓、如何对目标图像轮廓进行识别进而获得被检测物体的几何尺寸,即图像采集和图像处理的过程。直立电容引脚检测算法主要包括图像采集及预处理、图像二值化处理、图像的形态学处理、目标状态提取和图像量化判断。图像检测算法流程图如图2所示。
图2 检测算法流程图
机器视觉检测系统是基于采集的图像进行目标检测的系统,因此,图像质量的好坏直接影响图像处理算法的稳定性和可靠性,甚至检测任务的成败[7]。以检测电容引脚表面为目标,实验中发现采用暗视场照明方式更容易将高亮的电容整体及其引脚部分从昏暗背景中凸显出来,如图3所示,待检电容图像与周围环境背景有很强的对比度,这样不仅有利于简化检测算法,而且保证了引脚在线检测的准确性与稳定性。
图3 待测电容图像
在数字图像的采集、处理和传输过程中均有可能出现噪声。因此,在进行检测识别处理之前,通常要先对原始图像进行特定的图像预处理。文中利用中值滤波方法去除图像中一些不需要甚至会影响处理结果的图像信息,恢复图像中有用的信息,提高信息的可检测度和最大限度地简化图像数据。
对采集的原始图像进行中值滤波处理后,采用适当的二值化分割算法对图像进行分割处理,将图像中的目标区域和背景区域区分开,并且使图像变得简单,数据量小,能凸显出目标区域,有利于图像的进一步处理[8]。由于此系统中检测对象像素分布具有明显的分布性,目标与背景的对比度比较大,因此,采用全局二值化方法,将图像中像素值小于T的点设置为背景,否则定为候选目标。原始图像预处理之后,进行阈值T=0.8的二值化处理,二值化的电容图像如图4所示。
图4 电容二值化的图像
形态学是以形态结构元素为基础对图像进行分析的数学工具,其基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和认识的目标。利用形态学可以简化图像数据,保持图像基本的形状特征,排除不相干的结构[8]。开操作和闭操作是一对对偶操作,开操作一般使对象的轮廓变得光滑,断开狭窄的间断和消除细小的突出物;闭操作可使轮廓线更为光滑,通常能够消弥狭窄的间断和细长的鸿沟,消除小的孔洞,并能填补轮廓线中的断裂。
由二值化的电容图像可以看出,图像中除了电容整体轮廓和引脚目标图像外,还存在一些小的孔洞以及间断线。因此,在二值化图像的基础上再进行闭操作和开操作,消除这些小孔和间断线,方便后续处理。形态学处理后的图像如图5所示。
图5 形态学处理后的电容图像
然后,计算内每个连通区域的圆度。通俗意义上来讲,圆度即图像接近于圆的程度。目前普遍采用的圆度公式的数学表达式为:
式 (2)中:A为连通区域的面积,L为连通区域的边缘周长。在相同面积的条件下,边界光滑且为圆形,则周长最短,其圆度为C=1,而形状越偏离圆形,则C值越小。利用公式 (2)计算圆度结果如图6所示。不难发现,引脚区域的圆度比噪声更接近1。这样,就可以通过设定连通区域圆度阈值Tc来去除噪声,得到仅包含目标区域 (电容整体轮廓和电容引脚)的图像,结果如图7所示。
图6 连通区域轮廓圆
图7 噪声过滤后的电容图像
从误差理论的角度看,以最小二乘圆作为圆度评定基准是最合理和最可信赖的。这种方法突出的优点是:圆度误差的数值和中心都是唯一的,不会发生争议;评定结果不易受个别大误差的影响;能反映整个实际轮廓的综合情况;更符合对零件的功能要求[9]。因此,文中利用最小二乘圆法来提取电容引脚的状态,即计算出引脚的圆心坐标和半径值。
最小二乘圆拟合是以一个理想圆沿实际轮廓的趋向设置,使实际轮廓上各点至该理想圆的偏距的平方和为最小,使实际轮廓上各点至该理想圆的偏距的平方和为最小。设P(xi,yi)为实际轮廓上的一点,LRi为P(xi,yi)至理想圆的偏距。经过推导演算,最终拟合得出的圆心坐标和半径为:
通过上述方法,就可以快速准确地提取出目标区域的特征,为后续的量化处理及判断奠定了基础。
对处理后的图像进行量化,满足小圆 (引脚轮廓)个数为2,小圆面积和小圆中心点间距、小圆中心与大圆 (电容整体轮廓)中心点之间的距离在允许范围内视为合格,否则视为不合格。首先判断是否有且仅有两个小圆,若没有则直接判为不合格;否则,下一步判断小圆面积大小,若在阈值外则判为不合格;否则下一步判断两个小圆中心点的间距以及与大圆中心点的距离,若在误差范围内则判为合格,否则判为不合格。当检测电容引脚合格后,分别标记出电容整体的中心点位置和正负极引脚的中心点位置,如图8所示。引脚有缺陷的电容图像如图9所示。
图8 电容引脚合格的图像
图9 电容引脚缺陷图
课题对直立电容引脚检测的要求为:正负极引脚间距公差为±0.5 mm,引脚直径公差为±0.5 mm。首先,为了验证引脚检测系统的稳定性,这里重复检测同一电容引脚100次,计算其正负极引脚之间的间距,得到的结果如图10所示。
图10 引脚检测稳定性测试结果
分析图10可得:正负极引脚间距测量的平均值为125.74 pixel,平均值的标准偏差为0.17 pixel,经过坐标转换,正负极引脚间距测量的平均值为2.656 mm,平均值的标准偏差为3.6 μm。稳定性检测结果说明,引脚检测系统的检测稳定性很高。
其次,为了验证引脚检测系统的准确性和精度,分别利用精度为0.1 μm的三次元测量仪 (CMM)和相机测量同一类型电容正负极引脚之间的间距以及电容正极引脚直径大小,连续检测20次,检测结果对比如图11和图12所示。
图11 电容正负极引脚间距检测结果对比
图12 电容正极引脚直径检测结果对比
三次元测量仪和相机检测对比结果表明:电容正负极引脚间距检测最大差值为0.043 1 mm,平均差值为0.016 1 mm;电容正极引脚直径检测最大差值为0.034 2 mm,平均差值为0.018 5 mm。分析对比结果,直立电容引脚间距的检测值与用其他精密测量方法得到的测量值的差值较小,而相机电容引脚直径检测结果相比CMM检测值偏小,差值较大,可能会产生误判,其原因为当电容引脚表面不平整时,采集到的引脚图像不能完全准确反映实际的引脚直径大小,会比实际值偏小。考虑到将缺陷元器件认为合格的漏报错误的代价比误报代价要高,而误判率的高低对实际生产影响不大,因此适当的误报和误判是可以接受的[10]。因此,直立电容引脚机器视觉检测系统的检测精度完全能满足实际应用需求。
通过分析直立电容引脚在特定结构光源下的特征,设计了利用二值化图像连通区域的像素面积和圆度作为约束条件来提取电容引脚轮廓的算法,实现了对直立电容引脚的缺失、偏移、歪斜等缺陷进行检测,并从检测的鲁棒性对该算法进行验证。实验结果表明:该算法能有效地检测直立电容引脚常见缺陷,检测项目全面,能满足基于机器视觉插件系统中引脚在线检测的需求。
[1]郑顺义,周朗明,王晓南,等.基于模板匹配的电子元器件针脚检测方法[J].信息化纵横,2009(11):29-31.
[2]中国行业研究网.2012年中国电子元器件市场调研及发展趋势预测报告[EB].2012.
[3]李峰峰.电子元器件的外观检测系统的研究与开发[D].广州:华南理工大学,2012.
[4]刘建群,旷辉,丁少华.基于视觉的表面贴装芯片引脚检测系统的研究[J].中国机械工程,2007(16):21-25.
[5]伍济钢,宾鸿赞.薄片零件尺寸机器视觉检测系统研究与开发[J].机床与液压,2010,38(17):92 -94,107.
[6]王昌,高晶晶.基于机器视觉的轴承生产中的表面质量在线检测与研究[J].机床与液压,2013,41(19):53-55.
[7]韩芳芳,段发阶,张宝峰,等.单线阵CCD系统的表面凹坑缺陷检测方法[J].哈尔滨工业大学学报,2012(4):116-120.
[8]潘琦.基于机器视觉的贴片式芯片引脚检测方法研究[D].广州:广东工业大学,2012.
[9]李菊生.孔径圆度自动检测系统研究[D].兰州:兰州理工大学,2008.
[10]吴晖辉,张宪民.多引脚类贴装器件的炉前检测算法[J].电子测量与仪器学报,2011(11):80 -87.