高斯平滑下引线框架的多尺度噪声图像快速配准算法

曹晓欢,杨建华,张 扬

(西北工业大学 自动化学院,西安 710072)

0 概述

引线框架[1-2]是集成电路芯片的载体,是实现芯片内部电路引出端与外引线电气连接的关键结构。基于机器视觉[3-4]的引线框架缺陷检测技术[5-6]是提高引线框架产能的关键技术之一。随着机器视觉技术[7]的逐步发展,通过机器视觉代替人工视觉实现引线框架缺陷检测与识别是引线框架产业目前发展的重要方向。而制约机器视觉技术发展的主要因素除了机器视觉软硬件集成还包括图像处理技术[8-10]。

图像配准是引线框架缺陷检测中图像处理技术的关键,是将同一目标或相似目标取自不同时间、不同传感器、不同视角以及不同光照条件下的图像进行匹配融合的过程[11]。在图像配准中,图像空间域互相关匹配(Cross Correlation,CC)算法[12]和频域互功率谱算法(Cross Power Spectrum,CPS)[13]以其优良的配准精度与较强的鲁棒性,一直以来备受欢迎。但在工业实际应用中,除了良好的配准精度,算法的执行效率也是一个很重要的因素。因此,本文首先对现有的CC和CPS图像配准算法进行研究,在此基础上引入高斯平滑的多尺度图像分析技术,提出一种新的高斯多尺度图像快速配准方法(Gauss Multi-scale Fast Registration,GMFR),并通过定义性能函数对算法性能进行分析。然后基于以上算法,设计并搭建一套成本适中的完整机器视觉系统,最终实现引线框架缺陷的智能识别。

1 图像配准技术

1.1 传统的CC和CPS算法

1.1.1 CC算法

假设f(x,y)是一幅包含目标区域且尺寸为M×N的灰度图像,g(x,y)是包含目标区域的模板灰度图像,f(x,y)=g(x-x0,y-y0)。若f(x,y)进行变换后其目标区域能与g(x,y)中的目标区域完全匹配,则需要求解出位移参数(x0,y0)。2-D灰度图像的互相关函数表示为:

(1)

其中,f*(x,y)为f(x,y)的复共轭[14]。

1.1.2 CPS算法

设F(u,v)与G(u,v)分别为f(x,y)和g(x,y)的离散Fourier变换,则:

(2)

(3)

两幅图像的归一化互功率谱可表示为:

(4)

快速Fourier变换能够减少传统Fourier变换的运算量,故在图像配准中,CPS算法的性能会优于CC算法。但工业实际应用中,算法效率仍有待提高,采用图像多尺度表达来优化算法效率能为问题的解决提供新的思路。而Fourier变换由于无法直接实现图像局部处理,在算法优化过程中具有一定的局限性。因此,可考虑将频域处理与可以实现图像局部处理的互相关算法相结合,在确保达到相同精度的同时,提高算法执行效率。

1.2 高斯平滑下的图像多尺度表达

图像多尺度表达可通过亚采样实现。对于一幅2-D图像,亚采样是指在图像正交方向上隔行抽取。当2个方向上尺度均以2倍变化时,图像尺寸将以4倍变化[11],重复进行亚采样将会得到如图1所示的结构,即为图像原始多尺度表达。此时,引入尺度参数λ=0,1,…,图像则可改用f(x,y;λ)表示,λ=0时对应原始图像,λ越大表示图像分辨率越低,描述的图像细节越粗糙。低尺度图像虽然模糊,但在配准过程中仍可以表示图像平移变化趋势。对低尺度图像进行相应的配准处理将会节省大量运算。

图1 图像多尺度表达过程

一幅数字灰度图像为一个2-D数组,直接通过亚采样减少图像尺寸必然会丢失很多图像细节。基于Fourier变换的CPS配准是针对整幅图像信息实现的配准技术,在有噪声干扰时表现出了很强的鲁棒性。但是随着亚采样的实现,图像信噪比急剧下降,图像细节丢失与噪声干扰都会导致配准失败,以牺牲配准精度提高配准效率是不科学的。

本文通过引入高斯滤波技术来抑制低尺度图像细节丢失问题。高斯滤波是实现图像平滑、抑制图像噪声的重要技术。平滑后图像的各像素值都会携带其邻域内的其他像素点信息,使得亚采样图像可极大程度地还原原始尺度图像细节。

高斯滤波器可表示为:

(5)

其中,a+b+c=1,且a+c=b,以保证图像平滑后归一化处理且中心点有不低于其他点的贡献[15]。图像f(x,y)的高斯滤波表示为:

(6)

高斯平滑下的图像多尺度表达过程如图2所示。图3为同一图像在λ=3的尺度下通过CPS算法得到配准的结果,其中图3(a)为经过高斯滤波实现多尺度表达的结果,图3(b)为没有经过滤波的结果。可见,没经过高斯平滑的图像由于细节大量丢失,配准结果杂波较多,很难得到正确结果。

图2高斯平滑下的多尺度实现方法

图3 低尺度图像配准结果对比

1.3 GMFR配准算法

构造待配准图像与标准模板图像高斯平滑下的多尺度表达f(x,y;λ),g(x,y;λ)。其中,λ=0,1,…,s。s=maxλ为最低尺度图像,其取值以原始图像大小及其是否可以表达原始图像为主要依据。根据式(2)、式(3)得到最低尺度图像Fourier变换结果为:

(7)

(8)

根据式(4)得到两幅图像的归一化互功率谱为:

(9)

得到s层图像的配准结果(x0s,y0s)后,在s-1层进行图像局部空间域互相关运算,运算范围为(2x0s-Δx:2x0s+Δx,2y0s-Δy:2y0s+Δy)。在多尺度表达中,相邻尺度图像横纵2个方向均已2倍抽取,则有min△x=2,min△y=2。在s-1层只需在5×5的局部范围内进行互相关运算,根据式(1)可得:

g(x+m,y+n;λ)

(10)

重复上述局部互相关运算,直至迭代至原始尺度图像(λ=0),得到配准结果(x0,y0)。

2 GMFR算法性能分析

为简化表达,将待处理图像尺寸记为M×M,且只考虑运算中耗时较多的乘法运算,不考虑加法运算的影响。2幅同样大小的图像完成CC算法进行乘法运算次数记为CCC(M),则:

CCC(M)=M4

(11)

对于一幅灰度图像进行Fourier变换需要运算M4次乘法;采用快速Fourier变换的方法可将其简化至(MlbM)2次。2幅图像完成CPS算法需进行的乘法运算次数记为:

CCPS(M)= 2×[(MlbM)2+4M2+4(MlbM)2]=

2×[5(MlbM)2+4M2]

（2）财务科负责按照科研经费报销审批流程执行，对科研经费进行核算、监督及管理，建立科研经费明细账户，按规定专款专用。从2016年后严格控制现金支付，设备、材料、实验外协费、国际合作与交流费、劳务费、专家咨询费等通过银行转账结算。

(12)

其中,第1项表示Fourier变换乘法运算,第2项表示两幅图像频域乘积运算,由于是复数运算,因此是普通乘法运算的4倍,第3项表示反Fourier变换,同样也是复数运算。

完成GMFR算法需进行的乘法运算次数记为:

(13)

其中,s为最高层尺度参数。第1项表示最高尺度图像CPS运算,后面的s项表示逐层局部CC运算。取s=3,得:

(14)

定义算法性能优势函数P(Performance),一般来讲,取M=2n,得到性能函数:

(15)

(16)

2个函数曲线如图4所示。GMFR方法迅速增加的优势是n的函数。当n=10时,GMFR较CC算法有接近2.6×104倍的性能优势;而当n=15时,有接近1.9×107倍的性能优势。如图4中右下角曲线所示,CPS算法相较于CC算法的性能增长远没有GMFR算法明显,因此GMFR算法相比于CPS算法亦有明显优势。

图4 算法性能函数曲线

3 机器视觉环境的构建和算法应用分析

本文搭建的机器视觉环境用于工业上引线框架缺陷的检测,而图像配准是实现缺陷精确检测的基础。为最大限度地验证算法性能,搭建低成本机器视觉系统,选取普通面阵CCD相机及白光光源。对称条形光源组成低角度沐光照明方式,实现表面缺陷检测中的图像获取;背光光源实现形状缺陷检测中的图像获取。完整的机器视觉环境如图5所示。

图5 机器视觉图像采集系统

在图5中,1为相机架,可以调节相机的工作高度;2为面阵CCD相机,用于获取图像;3为条形光源架;4为条形光源;5为目标物体,即待配准的引线框实物;6为背光光源。

图6 GMFR算法对型号1待配准图像1的配准结果

图7 GMFR算法对型号1待配准图像2的配准结果(含噪声)

图8 GMFR算法对型号2待配准图像1的配准结果

图9 GMFR算法对型号2待配准图像2的配准结果(含噪声)

在表1、表2中,局部CC结果是在5×5的局部范围内进行运算所得,与仿真结果图中的图(e)～图(g)对应;换算结果是指由低尺度配准结果向高尺度换算的过程,具体为:上一层的换算结果×2-3+本层局部CC结果。加粗部分为GMFR算法的最终配准结果,其与空间域全局CC算法精度保持一致,且图像在有噪声干扰下也可得到精确结果。对最终配准结果进行中心变换,即可得到平移配准参数(x0,y0),换算结果依次为:型号1是(-27,16)、(26,-34);型号2是(41,21)、(-60,-39),根据结果将图像进行平移变换,即可实现配准。

表1 待配准图像1的GMFR算法验证量化表示结果

表2 待配准图像2(含噪声)的GMFR算法验证量化表示结果

表3给出了相同实验环境下,GMFR算法、传统CC以及CPS算法的运算性能对比实验结果。其中,型号1的尺寸为672像素×296像素,型号2的尺寸为768像素×608像素。由于图像配准过程除完成配准算法,同时还包括相机驱动、图像读取、预处理、得到配准结果后的图像变换等运算内容,这些运算与配准算法的运算时间叠加在一起,使得机器视觉环境中实际的优势没有理论上分析的明显。所以与图4进行对比,实验结果的优势体现并不如性能函数分析的那样明显。但是在保证相同精度的同时,相对于传统的CC以及CPS算法,GMFR算法的运算效率仍旧得到了明显提升,可以更好地满足工业上机器视觉系统对算法的实时性要求。

表3Matlab环境下3种算法实现图像配准运算时间s

型号图像GMFRCCCPS(快速Fourier变换)1待配准10.585 6227.988 9550.853 264待配准20.586 6398.551 7650.847 5002待配准10.663 82137.040 1031.105 019待配准20.630 01236.717 0051.109 305

4 结束语

本文从研究高性能图像处理算法和构建成本适中的机器视觉软硬件环境出发,设计并搭建了一套完整的机器视觉系统来实现引线框架缺陷的智能识别。为解决传统图像配准算法运行效率低的问题,研究新的GMFR快速配准算法。GMFR综合了图像空间域CC算法与频域CPS算法的优势,融合了高斯平滑、图像多尺度表达等技术,提高了算法的执行效率。最后通过所定义的优势函数以及真实引线框架图像数据对算法的良好性能进行展示分析。此外,该算法同样适用于Fourier-Mellin变换下图像尺度与旋转配准的情况,可满足机器视觉、生物医学图像处理、视觉导航等多个领域对图像处理算法的实时性要求,针对尺寸较大的图像将表现出更加优良的算法性能。

[1] 朱本明.LED封装胶体与引线框架热失配可视化研究[D].广州:华南理工大学,2013.

[2] 王 磊.引线框架镀银生产线中电镀银装置的分析研制[D].西安:西安电子科技大学,2010.

[3] DAVIES E R.Machine vision:theory,algorithms,practicalities[M].[S.l.]:Access Online via Elsevier,2004.

[4] KASTURI J R R,SCHUNCK B G.Machine vision[M].New York,USA:McGraw-Hill,1995.

[5] 张 耀,王耀南,周博文.异型瓶药液中可见异物的智能视觉检测机器人[J].仪器仪表学报,2010,31(5):1058-1063.

[6] 张 辉,王耀南,周博文.基于机器视觉的液体药品异物检测系统研究[J].仪器仪表学报,2009,30(3):548-553.

[7] SONKA M,HLAVAC V,BOYLE R.Image processing,analysis,and machine vision[M].[S.l.]:Cengage Learning,2014.

[8] 雷 涛,周 进,吴钦章.DSP实时图像处理软件优化方法研究[J].计算机工程,2012,38(14):177-180.

[9] 罗 兰,杜钦生.基于多尺度局部方差的图像融合质量评价算法[J].计算机工程,2017,43(2):264-267.

[10] WACHOWIAK M P,SMOLIKOVA R,ZHENG Yufeng.An approach to multimodal biomedical image registration utilizing particle swarm optimization[J].IEEE Transactions on Evolutionary Computation,2004,8(3):289-301.

[11] Zitova B,Flusser J.Image registration methods:a survey[J].Image and vision computing,2003,21(11):977-1000.

[12] REDDY B,PRASAD T.Color image registration and template matching using quaternion phase correlation[J].Ubiquitous Computing and Communication Journal,2011(6):714-721.

[13] MADISETTI V.Digital signal processing fundamentals[M].[S.l.]:CRC Press,2010.

[14] INGLE V K,PROAKIS J G.Digital signal processing using MATLAB[M].Berlin,Germany:Springer,2011.

[15] JAHNE B.Practical handbook on image processing for scientific and technical applications[M].Berlin,Germany:Springer,2004.