基于自适应分割与直线拟合的芯片连接器针脚缺陷检测算法

杜 媛

(西安职业技术学院,陕西 西安 710077)



基于自适应分割与直线拟合的芯片连接器针脚缺陷检测算法

杜 媛

(西安职业技术学院,陕西 西安 710077)

为了解决当前连接器针脚检查算法在复杂环境下处理针脚弯曲缺陷时存在的目标漏检问题,本文提出了基于自适应分割与直线拟合的电子芯片缺陷检测算法。首先,采用自适应分割对图像进行目标与背景分离,再根据针脚连续分布特征,完成针脚区域定位,提取其感兴趣区域,通过定义分割阈值,实现对所有针脚图像分割。然后提取针脚中心点序列,构建直线拟合方程,计算每个针脚与方程的像素偏离值,训练出标准值,完成针脚弯曲不良检测。实验测试结果显示:与当前连接器针脚检测技术相比,在面对针脚微小弯曲缺陷时,本文算法拥有更高的不良检出率。

针脚缺陷检测; 自适应分割; 直线拟合; 区域定位; 中心点序列

1 引 言

电子器件外观缺陷检测是整个制造制程的关键一步,直接影响产品质量,而且由于数量多,结构复杂,导致其庞大的工作量。随着中国制造2025概念的不断深化与实践,将智能技术运用于制造,减少人力成本,提高产品质量,这已经是全球制造业升级的主体[1-2]。虽然针对电子芯片针脚检查的设备已经有很多,但都是针对“针脚缺失有无”、“针脚缺损有无”、“金属丝是否断裂”和“钢琴盖是否有划痕”这些常规缺陷展开检查的[3-4]。在实际中,除了以上缺陷外,还有如“针脚倾斜弯曲”类缺陷,该类缺陷图像特征往往与正常针脚差别很小,为检出带来了困难与挑战。

在芯片和连接器针脚缺陷识别方面,国内研究人员已经将图像处理与计算机视觉技术引入到该领域中,对其展开研究,如陈永清[5]提出了基于机器视觉的连接器缺陷自动检测系统,首先利用卷积滤波处理得到高质量的图像,缺陷特征与背景区别明显;最后,应用Otsu阈值分割处理,采用边缘直线建立坐标系的方法自动定位检测有效区域,消除了产品的位置误差;统计目标像素数,检测目标,达到了针脚缺陷检查目的。但是,此技术依靠高质量的背景目标图像差异,完成缺陷检查,在针脚弯曲与正常针脚仅存在微小差异时,往往影响了检查精度。许桢英[6]提出了基于Halcon的电连接器壳体缺陷检测系统,首先基于Halcon的图像处理程序进行滤波、图像增强、分割等处理,得到每一个缺陷区域的图像,最后利用高斯混合分类器对每个缺陷的图像进行分类,识别壳体存在的缺陷,达到了针脚缺陷检查。然而,这种技术依赖庞大且差异明显数据分析为基础,往往不能区分弯曲倾斜针脚特征与正常针脚间的微小差异特征,导致缺陷检查失败。

对此,为了提高电子芯片的弯曲针脚检测算法适应性,本文提出了基于自适应动态阈值分割与直线拟合的弯曲针脚检查算法,通过引入采用自适应分割,将图像的目标与背景分离,根据针脚连续分布特征,完成针脚区域定位;再提取针脚中心点序列,构建直线拟合方程,计算每个针脚与方程的像素偏离值,训练出标准值,完成针脚弯曲不良检测。最后,测试了本文算法的检测性能。

2 电子芯片缺陷检测算法

本文算法流程见图1。首先,将采集到的电子芯片连接器针脚图像做精细化处理,提取感兴趣区域,减少计算量,提高检查精度。随后采用局部自适应的方式动态调整阈值,以灰度均值与灰度标准偏差为阈值设定依据,实现对针脚图像的二值化处理。基于二值联通区域的轮廓分析,提取目标轮廓面积、形状度因子,剔除杂质干扰。最后统计针脚坐标序列,建立拟合直线方程,计算每个针脚与拟合直线的偏离距离,完成针脚倾斜弯曲缺陷检查。

正常的电子芯片针脚如图2所示,所有针脚在同一排上,无倾斜突出情况。而弯曲针脚如图3所示,左下两根针脚突出,为弯曲针脚。所提算法就是要完成这种弯曲针脚的检测。

图1 本文机制架构Fig.1 Mechanism framework of this paper

图2 正常针脚图像Fig.2 Normal Pin image

图3 弯曲针脚缺陷图像Fig.3 Curved Pin defect image

2.1 电子芯片的针脚坐标序列统计

针脚坐标序列的统计过程见图4。为了减少图像处理运算量和杂质干扰,提高系统处理效率与识别成功率,引入感兴趣区域提取[7],即缩小处理针脚的范围。感兴趣区域提取依据为针脚相对芯片的物理坐标区域:

Iroi=I·Range(x1:x2,y1:y2)

(1)

式中,I为芯片整体图像,(x1,y1)为感兴趣区域左上角坐标,(x2,y2)为感兴趣区域右下角坐标,Range代表感兴趣区域矩阵,与I进行点乘得Iroi,即为感兴趣区域图像。

ROI(感兴趣区域)提取处理结果如图5所示,可见针脚区域进一步精细化,对后续识别工作做好了冗余数据处理。

随后,对提取出来的感兴趣图像进行二值处理[8],由于光照变化和芯片材料个体翘曲差异,图像成像的亮度也有一定的起伏,固定阈值分割的方式处理图像,存在过分割与欠分割,所以本文采用动态阈值分割方式与局部自适应相结合的技术。首先对图像进行等位分区,即平均分为多个9*9子区域,在每个子区域里讨论阈值,根据每个区域特征,自适应的确定阈值。每个区域动态阈值的确定标准为,区域灰度均值与标准偏差之和的最小值,因为灰度均值体现区域整体灰度特征,标准偏差体现区域突变程度,故该阈值兼顾整体与局部特征,作为区域分割最佳阈值,计算公式如下所示:

图4 针脚坐标提取统计过程Fig.4 Pin foot coordinate extraction statistical process

图5 ROI提取Fig.5 ROI extraction results

(2)

(3)

thresh=u+s

(4)

式(2)中u代表灰度均值,n为像素总和,式(3)中s代表灰度标准偏差,式(4)中thresh为动态阈值,即灰度均值与标准偏差之和[9]。

动态阈值分割结果如图6所示,可见精准分割针脚目标,得到二值图像。再对提取出的二值图像进行BLOB分析,即二值轮廓目标逐个分析,本文基于开源库Afore.NET的函数BlobCounter函数实现[10]。BlobCounter(Bitmap img,Blob blob,),函数中img为输入输出图像,blob为轮廓分析因子,由目标轮廓面积与形状度组成:

A=∑IR

(5)

L=∑IL

(6)

X=L/A

(7)

式中,A为轮廓目标面积,即轮廓区域IR像素点总和;L为轮廓目标周长,即轮廓边缘Il像素点总和;X为形状度因子,即区域周长与区域面积之商,值越大代表形状轮廓越复杂。

本文就是依据这些针脚分布特征,作为针脚轮廓筛选标准,从而锁定针脚位置,统计坐标,为后续直线拟合做好数据准备,如图7所示,可见精准定位针脚。

图6 二值化处理Fig.6 Binarization processing

图7 轮廓分析提取结果Fig.7 Contour analysis extraction results

2.2 基于拟合直线的弯曲缺陷检查

完成针脚坐标序列统计后,需要基于此进行针脚直线拟合,来判断针脚是否偏离拟合直线,其过程见图8。由于弯曲或者倾斜针脚的倾斜角度较小,所以成像上在面积、形状特征方面与正常针脚相比,没有明显差异。从人眼角度判断,可以发现倾斜针脚与正常针脚不在同一直线上,故本文采用先直线拟合,然后进行偏差距离计算,完成针脚倾斜缺陷判断。

首先建立直线方程模型,根据黑赛范式,如下式所示:

ax+by+c=0

(8)

式中,(x,y)为图像中直线上的坐标,(a,b,c)为

图8 弯曲缺陷检查流程Fig.8 Bending defect inspection process

拟合直线需求参数。得到直线模型后,还需建立区域内坐标到直线距离计算公式:

(9)

式中,d为区域内坐标(xi,yi)到拟合直线的距离,在此基础上,本文加入约束条件,即拉格朗日乘子:

a2+b2=1

(10)

再将约束条件带入式(9)中得:

(11)

式中,d为在约束条件下,区域内坐标(xi,yi)到拟合直线的最优距离。从上节中得到的一系列针脚坐标,带入式11中,计算得到(a,b,c)值,即求得直线方程。

如图9(a)所示,本文算法拟合出准确的针脚直线。再根据直线方程和距离计算公式,将疑似倾斜针脚坐标代入,计算偏离值。设立偏离像素值为3,d超过3,则判为倾斜针脚,反之为正常针脚。结果见图9(b),可见识别出倾斜针脚,并用蓝色标注。

图9 弯曲针脚检测结果Fig.9 Test results ofbend Pin

3 实验与讨论

为了体现本文算法的优势,将针脚缺陷识别性能较好的技术-文献[5]、文献[6]设为对照组,算法实验参数:面积为65、形状度为0.75、偏离像素值为3。图10(a)为待检查的弯曲针脚图像,其中右上方存在弯曲针脚,在整个一排针脚中突出,为本文检查算法识别目标。

本文采用感兴趣区域处理图10,精细化处理区域,如图10(b)所示。再进行自适应动态阈值分割,得到包含针脚的二值图像,如图10(c)所示。再进行轮廓分析与特征提取,剔除杂质干扰,对针脚坐标加以统计并用红色标注,建立拟合直线方程,用绿色标注,最后计算针脚偏离直线距离,超过标准值时,判为不良针脚,并用蓝色标准,如图10(d)所示,可见本文倾斜针脚检查算法准确。

而利用对照组文献[5]技术处理图10(a)时,由于单纯依靠高质量的背景目标图像差异,在倾斜针脚与正常针脚特征相近的情况下,往往对倾斜弯曲针脚识别检查不准,如图10(e)所示,很多针脚未识别到,弯曲针脚识别失败。

利用对照组文献[6]技术处理图10(a)时,由于依赖庞大且差异明显数据分析为基础,未考虑弯曲针脚突出整体针脚序列情况,无法准确检出弯曲缺陷,如图10(f)所示。

图10 三种算法的检测结果Fig.10 Detection results of the three algorithms

4 结 论

为了解决倾斜弯曲针脚与正常针脚特征相近情况下,缺陷检查不准确导致不良漏检的问题,本文设计了基于自适应动态阈值分割与直线拟合的弯曲倾斜针脚检查系统,实现对缺陷针脚图像的感兴趣区域提取、二值化、轮廓特征分析、针脚坐标序列统计、直线拟合和偏差值计算。实验结果表明:与当前针脚缺陷识别技术相比,在面对倾斜针脚突出整体针脚序列仅3像素的细微差别的情况下,本文方法具有更好的检查精度,为芯片制造不良检出提供了技术保障。

[1] 段铮昱,文生平.电子连接器外观缺陷检测方法研究[J].计算机测量与控制,2014,22(4):1204-1208.

DUAN Zhengyu,WEN Shengping.Research on the detection method of the appearance defect of the electronic connector[J].computer measurement and control,2014,22(4):1204-1208.

[2] Benjamin L.French,Sean W.King.Detection of surface electronic defect states in low and high-k dielectrics using reflection electron energy loss spectroscopy[J].Journal of Materials Research,2013,28(20):2771-2784.

[3] 蔡有海,文玉梅,李平.电子芯片封装缺陷检测方法研究[J].传感器技术学报,2010,22(3):70-74.

CAI Youhai,WEN Yumei,LI Ping.Research on defect detection method of electronic chip package[J].Journal of sensor technology,2010,22(3):70-74.

[4] 谭台哲.基于机器视觉的电子连接器检测系统的设计[J].光电子技术,2015,18(15):42-47.

TAN Taizhe.Design of electronic connector detection system based on machine vision[J].optoelectronic technology,2015,18(15):42-47.

[5] 陈永清.基于机器视觉的连接器缺陷自动检测[J].工具技术,2015,21(21):283-287.

CHEN Yongqing.Automatic detection of connector defects based on machine vision[J].Tool technology,2015,21(21):283-287.

[6] 许桢英.基于Halcon的电连接器壳体缺陷检测系统设计[J].制造业自动化,2015,17(12):47-50.

XU Zhenying.Design of defect detection system for electric connector shell based on[J].Halcon manufacturing automation,2015,17(12):47-50.

[7] LIU Huanxi,ZHU Tianhong,ZHAO Jiajia.Infrared and visible image fusion based on region of interest detection and nonsubsampled contourlet transform[J].Journal of Shanghai Jiaotong University (Science),2013,18(5):526-534.

[8] Wang Xin,Guo Yi,Wang Yuanyuan.Automatic detection of regions of interest in breast ultrasound images based on local phase information[J].Bio-medical materials and engineering,2015,26(S1):1265-73.

[9] 徐奕奕,刘智琦,刘琦.基于文本图像的自适应补偿二值化处理算法[J].计算机仿真,2011,28(10):240-243

XU Yiyi,LIU Zhiqi,LIU Qi.Adaptive compensation based on text image processing algorithm based on adaptive[J].2011,two,28(10):240-243.

[10] Le Guilloux Vincent,Schmidtke Peter,Tuffery Pierre.Fpocket:an open source platform for ligand pocket detection[J].BMC Bioinformatics,2009,10(8):161-168.

The Stitch Bending Defect Inspection Algorithm Based on Adaptive Segmentation and Linear Fitting

DU Yuan

(Xi'an Vocational and Technical College,Xi’an 710077,China)

In order to solve the defect of undetected objects when dealing with the bending defect under the complex environment in the current connector pin checking algorithm,the stitch bending defect inspection algorithm based on adaptive segmentation and linear fitting was proposed in this paper.Firstly,the target and background of the image was separated by adaptive segmentation technology,and the position of the pin area was completed according to the characteristics of the pin continuous distribution to extract the region of interest,then the segmentation of all stitch images was achieved by defining the segmentation threshold.The standard value was trained by constructing the linear fitting equation to calculate the deviation value of the pixels based on the sequence of the center point of the pin for finishing the pin bending test.Experimental test results show that this algorithm had higher adverse detection rate under the condition of the tiny stitches bending defect compared with the current connector pins check algorithm.

Stitch defect detection; Adaptive segmentation; Linear fitting; Region location; Center point sequence

杜 媛 女(1984-),河南洛阳人,讲师,硕士,研究领域为图像处理、计算机应用与机器视觉。

TP 391

A

陕西省自然科学基金(2012DH03)