基于机器视觉的SOP芯片引脚缺陷检测研究

李绎铃

摘 要：随着微电子元器件向着微小化发展，传统的人眼目检较之于在线机器视觉检测技术对于芯片缺陷的识别而言，精度低、效率低且成本高，无法满足当今芯片检测行业的高精度、高速度的要求。针对SOP芯片引脚缺陷进行基于机器视觉的检测识别方法的研究，通过一系列图像处理算法的运用，以模板匹配思想为主，以连通像素区域标记法为主要算法，采用MATLAB进行运算研究，可清晰地识别、提取出SOP芯片的各区域的特征，达到检测目的。

关键词：图像处理 连通像素区域标记法 引脚缺陷

中图分类号：TN40 文献标识码：A 文章编号：1672-3791（2018）04（a）-0002-04

Abstract：With the development of microelectronics components toward miniaturization， traditional eyes were checked for chip defect recognition with lower precision and efficiency，higher cost than online machine vision detection technology，whats more its unable to meet the requirement of high precision， high speed of today's chip testing industry.In order to realize a recognition method of SOP chip pin defect based on machine vision. The experiment used a series of digital image processing algorithm which mainly take template matching and connected pixel region marking to do the research. In the end，the result realized clearly recognition and extract the features of each region of the SOP chip pin by MATLAB.

Key Words：Digital image processing； Connected pixel region marking； Pin defect

随着集成电路向着小型化、高密度组装化、低成本、高性能和高可靠性发展，微电子封装技术朝着表面贴装技术（SMT）的方向蓬勃发展，微电子领域的芯片尺寸愈来愈小，其测量精度要求愈发高，传统的人类视觉检测远远无法满足当今芯片检测行业的高精度、高速度的要求[1]。

SOP（Small Out-Line Package小外形封装）是一种常用的电子元器件封装形式，具有易于检测到的“翼”型引脚，应用范围很广。SOP芯片易出现引脚变形和缺失的问题，现主要应用于各种集成电路之中[1-2]。机器视觉检测是非接触无损检测，与传统的检测手段相比，具有不可替代的优越性。机器视觉系统在高速、细微和重复的制造过程中可靠性更高，其被用于制造系统不仅是工业发展的方向和需要，更是提高生产效率的有效途径，在线视觉检测已成为电子工业发展中不可或缺的一环[3-5]。在芯片封装过程中，对芯片引脚的缺陷检测是正确封装的必要基础，仅依靠人力很难满足对SOP芯片引脚的高速、高精度的检测需求。

机器视觉是利用成像系统来代替人眼获取视觉信息，由计算机完成对视觉信息的处理和理解，从而实现监测、判断、识别等功能，具有非接触式、实时性、灵活性、精确性和高可靠性等优点，广泛应用于工业生产、遥感、安防等领域[6]。

1 检测系统总体

1.1 检测系统硬件

机器视觉中检测对象为计算机图像，检测系统利用光学成像原理获取待测物体的特征信息，再利用图像传感器将光学图像信号转化为电学信号以得到计算机数字图像[7]。图像处理中图像质量为至关重要的因素，获取清晰符合实验要求的图像是实验进行的必要条件之一。

目前机器视觉主要采用CCD摄像机和CMOS摄像机作为前端图像采集设备，前者是机电耦合器件，以电信号进行传输，在将光学图像转换为电荷图像的过程中需逐位扫描输出，所获图像具有低噪声、高性能特点，但效率较低、需高功耗的驱动脉冲。而CMOS摄像机作为较新发展的光电转换器件，以电压信号进行传输，信号的读取通过寻址从开关阵列中直接输出，更为高效[8]。

待测芯片引脚间距为1.27mm，检测精度需求为0.1mm，图像采集时芯片呈静止状态，因此选用了图像质量较好、灵敏度和对比度高的德国SVS-VISTEK工业相机（型号SVS625MFGE），基本信息如下表1所示。

在此采用自然光和LED灯光源复合照射方式，通过前向照明方式进行室内图像采集，可清晰反映芯片管脚特征和芯片面板信息，利于后期图像分割。

1.2 软件系统

作为检测系统的核心部分，软件系统主要依靠于数字图像处理方法进行采集图像的处理，包括图像的预处理、图像分割及特征提取等算法技术。经处理后的图像既需满足计算机检测要求，也需优化视觉效果。此处选用MATLAB作为主要软件系统，具有计算量少、反应速度快、提取图像准确和对编程能力的要求寬松等优势[9～11]。

2 数字图像处理

数字图像（mathematical image）是由连续函数或离散函数生成的抽象图像，其中离散函数所产生的图像就是计算机可以处理的数字图像。

数字图像处理是在图像坐标系中以图像的左上角为坐标原点，将图像分割为M×N的二维区域，每个区域称为一个像素点，点（i， j）上的像素值用函数f（i， j）表示。在灰度图像中，f表示灰度值（亮度值）。

2.1 图像预处理

图像预处理是有选择性的对所需图像特征处理并使其凸显出来，通过一些常规算法的运用对图像像素进行定向处理，将采集到图像信息根据不同需求进行修正或变化，以达到预期效果。

对CCD相机获取的彩色图像或24位黑白图像进行灰度化处理：将原始芯片的图像转换为灰度图像（8位）。

在此研究中采用加权法进行灰度化处理，通过亮度Y与R、G、B三分量的对应关系Y=0.3R+0.59G+0.11B，将每个像素点的Y值计算出来，使用Y值作为图像的灰度值的表示。其处理结果如图1所示。

2.2 图像增强

采用图像增强算法来突出芯片引脚区域的灰度信息。

图像的直方图是图像的重要统计特征，表示了数字图像中每一个灰度级与该灰度级出现的频率间的统计关系，提供了图像的灰度值分布情况，即图像灰度值的整体描述。图像直方图修正效果如图2所示。

图像平滑分为空间域和频率域两大类，空间域常用均值滤波、中值滤波和自适应滤波等；而在频率域采用各种形式的低通滤波方法进行平滑处理。对滤波处理的要求主要有两点：不能影响以后的缺陷识别和不能损坏图像的轮廓及边缘等重要信息[12]。在此研究中，选择中值滤波，通过一个含有奇数点的滑动窗口，将领域中的像素按灰度级排序，取其中间值作为输出像素，可有力地印制随机噪声且不使边缘模糊。

2.3 图像分割

图像分割是将反映物体真实情况的、占据不同区域的、具有不同特性的目标分开来，并形成数字特征的过程。

基于阈值的分割方法是最简单有效的图像分割方法，其实质是利用图像的灰度直方图信息得到用于分割的阈值，其难点和重点均为阈值的选取[13]。

改进直方图阈值分割法，对直方图各个区域长、宽、高等特征进行提取，再根据直方图各区域特征进行自动选取阈值，将引脚区域清晰的分别提取出来，完成图像分割。经过此种阈值分割法实现的图像分割效果如图3所示。

2.4 图像边缘检测

图像边缘检测是底层视觉处理中重要的一环，实现在基于边界的图像分割的基础。边缘检测实际上是检测图像特性发生变化的位置。本文所涉及的区域特征主要为灰度。边缘检测主要为两个步骤：抽取出反映灰度变化的边缘点，再剔除某些边界点或填补边界间断点，并将这些边缘连接为完整的线。边缘检测算子分为两类：基于一阶导数的边缘检测与基于二阶导数的边缘检测。常用的基于一阶导数的边缘检测算子有Roberts算子、Sobel算子、Prewitt算子、LOG算子和Canny算子[14]。采用上述边缘检测算子进行边缘提取后的图像如图4所示，由图4可知，Sobel算子边缘检测效果最优。

3 引脚缺陷识别算法

3.1 引脚数目识别

SOP芯片的外形特征中含有典型的易被检测到的“海鸥型”特征，管脚处具有弯折现象，根据此特征对其图像进行形态学处理，解决其由于光照不均所致的管脚弯折处断裂现象，再使用连通像素标记法统计其引脚数目。

形态学图像处理的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的。它可以简化图像数据，保持图像的基本形状特征，并除去不相干的结构。形态学图像处理课分为二值形态学和灰度形态学两种，基本运算为膨胀、腐蚀、开启和闭合[15]。

图像经阈值分割后，可将引脚部分清晰的提取出来，为了区分引脚部分各区域调查每个像素是否连接在一起，即对二值图像进行连通像素区域标记。具体步骤为计算各区域像素个数、区域中心坐标并以红色数字在各区域中心进行区域标记，将连接在一起的像素附上相同的标记，不同的连接成分附上不同标记以进行各个连接成分的形状特征的调查[16-18]。

3.2 基于模板匹配的引脚缺陷识别算法

3.2.1 图像旋转、裁剪

每次所采集多分图像并非与模板图像的位置完全一致，应在模板匹配之前将待测芯片与模板芯片的位置信息进行处理。图像裁剪是在原图像或大图像上裁剪出图像块以便下一步处理。图像的旋转变换则是指以图像的中心为原点，将图像上所有的像素都旋转同一角度的变换，但图像经旋转变换后，一定会产生位置信息和大小的变化，此时既可通过图像裁剪将多余显示区域的图像裁去，也可以扩大显示区域的图像范围以显示图像的全部。

3.2.2 引脚区域标记与特征提取

使用连通区域像素标记法对引脚各区域进行标记，同时可获取引脚各区域内像素个数、各像素点坐标、该几何区域中心坐标、与图像中心所成角度等区域特征，且此类特征均以矩阵形式保存，可将待测芯片的特征矩阵与相应的模板芯片特征矩阵进行一一比对，并设以一定误差范围，可精确区分识别带有引脚缺陷的芯片。将待测芯片图像经上述处理后效果图5至8所示。

4 结语

本研究通过多种常见图像处理算法的比较，选取了合适的各步骤算法较好的达到了检测SOP芯片引脚缺陷的目的，证实了机器视觉检测应用于微电子检测行业具有较大可能性。但鉴于研究水平有限，未能实现更为精细的检测精度，以此基本思想进而深入研究发展，可将其扩展至各种型号芯片表面与引脚检测等领域，更能大大地促进光机电一体化的发展，推动电子行业向更高速自动化发展。

参考文献

[1] 章士瀛.21世纪电子元件的发展趋势[J].电子元件与材料，1999（1）：29-31.

[2] 陈庆江.电子元件产品及技术发展趋势[J].科技视界，2016（22）：107-107.

[3] 金隼，洪海涛.机器视觉检测在电子接插件制造工业中的应用[J].仪表技术与传感器，2000（2）：13-16.

[4] 朱更明，李方敏.IC芯片管脚缺陷在线视觉检测系统研究[J].计算机工程与应用，2002，38（1）：232-235.

[5] 梁忠伟.集成电路芯片机器视觉检测技术研究[J].中国设备工程，2006（10）：53-55.

[6] 吴晓.面向LED芯片检测与分选的机器视觉定位系统的开发[J].贵州大学学报：自然版，2013，30（3）：93-103.

[7] 劉建群，旷辉，丁少华.基于视觉的表面贴装芯片引脚检测系统的研究[J].中国机械工程，2007，18（16）：1908-1912.

[8] 孙燕峰，李成贵，魏鹏.一种基于线阵CCD的工件外尺寸测量装置的设计与实现[J].电子测量技术，2012，35（2）：20-23.

[9] 葛鲁宁，杨建国，王庆霞，等.图像测量在芯片检测中的应用[J].计算机应用，2009，29（b06）：242-244.

[10] 许志影，李晋平.MATLAB及其在图像处理中的应用[J].计算机与现代化，2003（4）：64-65.

[11] 何希平，张琼华.基于MATLAB的图像处理与分析[J].重庆工商大学学报：自然科学版，2003，20（2）：22-26.

[12] 赵树魁，李德玉，汪天富，等.超声医学图像滤波算法研究进展[J].生物医学工程学杂志，2001，18（1）：145-148.

[13] 芦蓉，沈毅.一种改进的二维直方图的图像阈值分割方法[J].系统工程与电子技术，2004，26（10）：1487-1490.

[14] 季虎，孙即祥，邵晓芳，等.图像边缘提取方法及展望[J].计算机工程与应用，2004，40（14）：70-73.

[15] 王树文，闫成新，张天序，等.数学形态学在图像处理中的应用[J].计算机工程与应用，2004，40（32）：89-92.

[16] 梁成.基于像素二值化法的连通域标记[J].计算机与数字工程，2013，41（5）：823-826.

[17] 罗志灶，周赢武，郑忠楷.二值图像连通域标记优化算法[J].安庆师范学院学报：自科版，2010，16（4）：34-39.

[18] 蒋伟达.一种基于对象的连通区域标记方法[J].现代测绘，2015（4）：16-17.