戴 敬,肖 朋,,杨志家,马继开
(1.沈阳建筑大学 信息与控制工程学院,辽宁 沈阳110168;2.中国科学院沈阳自动化研究所,辽宁 沈阳110016)
近年来,随着我国半导体行业的迅速发展,对晶圆质量的要求也越来越高。光刻工艺复杂度提高的同时,缺陷来源越来越多元化,对缺陷的检测需求逐步增加[1]。传统的生产线中,缺陷的检测主要依靠人工肉眼检测,该方法有低效率、高误检率、易受主观因素影响等缺点,已不能满足现代工业生产的需要。
随着计算机技术与图像处理技术的发展,计算机视觉检测技术在各领域中被广泛研究与应用。Liu等[2]利用光谱作差的方法对IC晶圆表面的缺陷检测进行了研究,并且采用了基于灰度的匹配方法,对光照具有很好的鲁棒性;Huang等[3]采用形态学滤波算法和区域融合的分水岭算法对晶圆缺陷的提取进行了研究;陈玮等[4]利用图像的差影法,对火车轮对踏面图像进行处理,很好地实现了踏面磨损的检测;田利等[5]应用差影法,实现了半导体器件塑封缺陷的检测,并提出一种双模版的匹配方法。本文在研究前人成果的基础上,基于LabVIEW 和IMAQ 模块,利用自行设计的硬件平台,以差影法为基本原理,采用归一化互相关 (NCC)的模版匹配方法,对晶圆的缺陷检测进行进一步的研究,以提高算法的实时性和有效性。
图像采集硬件平台主要包括图像传感器 (CCD)、镜头、图像采集卡、光源等,硬件连接如图1所示。
图1 硬件平台
系统中选用Baumer公司的SXC-80单色摄像头作为图像采集传感器,分辨率为3296×2472px,接口类型为Camera Link,帧速为16fps。按照对检测最小特征值(15μm)的要求,并且依据分辨率与视场 (FOV)之间的关系[6],计算得到视场的大小为24.72 (mm)×18.54(mm)。镜头为日本Pentax 的YF5028A-035,焦距为50 mm,满足系统要求。
系统图像采集卡选用NI公司的PCIe-1473R,它支持通过Camera Link 1.2标准相机的80位、10抽头图像采集,采集速率达850MB/s,并具有板载FPGA 图像处理功能。由于晶圆表面的高反光度特性,普通的光源会造成照明度的不均匀,对图像的采集产生非常大的影响,造成误检测。通过实验对比,决定采用同轴光源,其提供了比传统光源更均匀的照明,能够凸显物体表面不平整,能够克服表面反光造成的干扰。本系统中选用Wordop公司的CO-60R 同轴光源,光源颜色为红色,采用高端镀膜分光镜,提供优质光学效果。
当前在晶圆上选择9个测试区域进行抽样检测,以此结果对晶圆表面质量进行大致评测,对相关工艺过程做出改进。晶圆大小为8″,每帧图像像素为3296×2472。将晶圆移动到指定图像采集区域,在同轴光源的照明下,CCD采集到对应的视场区域的图像,通过图像采集卡保存到计算机内,再通过相关的算法对图像进行一系列的处理,包括滤波、增强、模版匹配、比对等,实现缺陷的识别与标记。系统的具体流程如图2所示。
按照设定好的检测区域,将晶圆移动到第一个位置,采集该位置的晶圆表面图像,对第一幅图像进行处理,检测并标记该幅晶圆图像的缺陷,保存相关缺陷信息。然后依次采集、处理其它区域的图像,直到采集完所有预设的区域。综合上述所有信息,做出总体缺陷分析。
原始图像在采集、传输的过程中,不可避免的会受到光源性能、通道带宽、噪声等的影响,一定程度上造成清晰度下降、对比度降低,影响图像的质量。因此为了消除噪声、抑制不必要的信息,需要对图像进行滤波与增强处理。
根据图像的噪声特点以及多种去噪算法的对比,本文采用一种改进的中值滤波算法—多重中值滤波算法。
传统的标准二维中值滤波算法 (SM)[7]原理如下:选取一个合适的滑动滤波窗口 (一般情况下采用3×3或5×5的方形滤波窗口),对窗口内的点按照灰度值的大小进行排序,用排序后的中间值代替原来窗口中心点的值。
中值滤波基本公式如下所示
式中:A——滤波窗口,{fij}——滤波窗口A 中二维像素值序列,yij——滤波输出。
从中值滤波的原理分析中可见,其本质是通过改变与周围像素值差别较大的点,达到消除孤立噪声点的目的[8]。然而,它也有一些自身的缺点:一是细节会被模糊,二是图像中的锐角、线段、缺陷等结构,在采用较大窗口中值滤波时,会因为排序取中值而破坏结构和空间的领域信息[9]。为了减少这种破坏,提高滤波效果,在中值滤波的基础上,采用一种改进的滤波方法—多重中值滤波算法。
本文采用三重中值滤波算法,其计算公式如下
式中:z1、z2、z3、z4——与水平夹角为0°、90°、45°和135°这4个方向子窗口的中值,f(i,j)则为原像素点的灰度值[10]。其本质上增加了中心像素点出现的次数,降低了噪声误判为非噪声的几率,在取得良好滤波效果的同时,保护了图像的细节。
下面是滤波前后的对比,图像为一个晶粒图像,像素为204×204。
图3 (a)所示是含有大量椒盐噪声的图像,严重影响了图像的质量;从图3 (b)中可看出,经过传统中值滤波后,噪声得到了较好的抑制,但仍有部分噪声点存在,且细节较模糊,图像不清晰;图3 (c)不仅噪声滤除彻底,而且也较好的保护了图像的细节,图像较清晰。
图3 滤波效果比较
图像增强的定义请参见文献 [11]。常用的方法有直方图均衡化,即通过某种映射关系使灰度级尽量均匀分布,以此达到增强图像的目的。但该种方法的结果较难控制,往往得不到我们预期的效果。实际上,有时希望变换直方图使之成为特定的形状,从而增强某个灰度范围内的对比度,这就需要对直方图进行特定的规定,即直方图规定化,该方法是对均衡化的改进,本文采用规定化方法来实现图像增强的目的。
设P(r)和P(z)分表代表原始图像与期望图像的概率密度函数,r和z 代表相应的灰度级,现对P(r)和P(z)做均衡化处理如下[12]
经上述处理变换后,使得原图像与期望图像具有相同的概率密度函数,故在式 (5)中我们可以做等价代换,将原始图像变换后的灰度级s代替其中的v,有
此时我们便可以得到期望的图像灰度级z。利用式(3)和式 (6)得到组合变换函数
图4 (a)、(b)显示了增强前后的图像,图5 (a)、(b)显示了增强前后的直方图。
图4 图像增强前后对比
图5 增强前后直方图对比
分析图4、图5可得:图像增强前较暗,直方图分布非常集中,而规定化后的直方图分布较均匀,且图像也变得更加清晰,对比度明显,利于后续的缺陷检测。
所谓模版匹配,是指在图像识别中,将图像中某种特征或目标作为模版,在被识别的物体上进行滑动,通过一定的算法,找到其在图像中的坐标位置。
本文采用基于归一化互相关的模版匹配算法(normalized cross correlation,NCC)实现模版的匹配。其原理如下[13]:
设模版为T(如图6(a)所示),其大小为M×M;被搜索图像为S(如图6(b)所示),其大小为N×N,且N≥M。将模版叠放在图像S 上平移,模版覆盖下的区域称为子图Si,j,(i,j)为模版左上角像素点在S中的坐标,称为参考点。
接下来需要比较模版T 和子图Si,j的相似性,我们可以用下式来衡量两者之间的相似度
图6 模版与被搜索图像
将上式展开可得
等式 (9)右边第一项表示模版覆盖下子图的能量,它随坐标(i,j)的变化而缓慢变化;第二项表示模版与子图的互相关,随(i,j)的变化而变化,当T 和Si,j达到匹配时,该项有极大值;第三项为常数,表示模版T 的能量,它的取值与坐标无关。
将上式归一化后,可得模版匹配的相关系数
当模版与子图完全一致时,相关系数R(i,j)=1。记录下每个位置的互相关值,可以设置一个阈值,当超过该值时即认为该处存在一个目标物体。
上述算法对于图像灰度值的线性变化具有 “免疫性”,即光照条件的整体改变不会影响到相关系数,对光照具有较好的鲁棒性。
算法流程如图7所示。
图7 模版匹配算法流程
图8 (b)是以8 (a)为模版的图像匹配结果。模版8(a)的大小为:204×204,搜索图8 (b)的大小为1149×1153。
图8 模版匹配结果
图8 (b)中每个匹配目标都包含Results、X position、Y position、Score等信息,Results表示该目标匹配顺序,以相似度大小排序;X position、Y position表示目标的坐标值 (以图像左上方为坐标原点);Score表示匹配分值,范围为0-1000,1000表示完全相似;本文中选择980作为阈值。以前4个匹配目标为例,其匹配信息见表1。
表1 匹配信息
所谓图像差影,即图像的相减运算 (又称减影技术),即对相似物体所采集的两幅图像或同一物体在不同时间点采集的图像相减。其数学表达式如下
式中:A(x,y)、B(x,y)——输入图像,C(x,y)——输出图像。
差值图像能够表达两幅输入图像之间的差异信息,从而广泛用于缺陷检测、图像背景消除、目标识别等。该算法具有复杂度低,运行速度快,实时性高的优点。
考虑到实际情况中,图像受到的外界干扰如噪声、光照等无法完全消除,我们可以预先设定一个阈值T,将其与差值做比较,做出缺陷的判断,提高检测的可靠性。其数学表达式如下
图9和图10分别示出了常见的点状缺陷和划痕缺陷的差影检测结果,图9为点状缺陷,图10为划痕缺陷。
图9 点状缺陷图像的检测
图10 划痕缺陷图像的检测
从图中可看出,该方法较好的实现了缺陷的检测,为后续的缺陷分析、工艺改进、提高良品率提供了可靠的依据。
本实验在9 个测试区域中,每个区域随机选取50 个(10×5)晶粒进行实验,像素为2040×1020,共450个晶粒,将检测结果与实际人工检测结果对比,数据见表2。
表2 缺陷检测统计结果
从表中数据可知,线缺陷的检测准确率高于点状缺陷的准确率,总体准确率达到97.3%。精度由实际大小与相应像素数决定,每个晶粒的大小为1.52 mm×1.52 mm,像素数为204×204,此时分辨精度约为15μm。
本文以半导体晶圆为研究对象,提出一种基于归一化互相关模版匹配法和差影法的表面缺陷检测算法,并且根据晶圆表面噪声特点,采用一种改进的中值滤波算法-多重中值滤波算法,有效的实现了常见缺陷的检测,在高分辨率工业相机支持下,达到微米级的检测精度。本文所作的研究,主要是在晶圆静态条件下实现,检测区域相对固定,后期将基于此研究,着重研究相机标定和二维运动平台控制的相关算法,实现动态晶圆表面图像的精确完整采集与缺陷检测。
[1]LIU Feng.Wafer defects issue study in lithography [D].Tianjin:Tinjin University,2012 (in Chinese).[刘丰.半导体光刻中晶圆缺陷问题的研究 [D].天津:天津大学,2012.]
[2]Liu Hongxia,Zhou Wen,Kuang Qianwei,et al.Defect detection of IC wafer based on spectral subtraction [J].Semiconductor Manufacturing,2012,23 (1):141-147.
[3]Huang Yanyan,Zhang Fengquan,Yu Ming,et al.Silicon wafer defect extraction based on morphological filter and watershed algorithm [C]//International Conference on Computer Science and Software Engineering,2008:141-144.
[4]CHEN Wei,XUE Qin,WEI Shengli.The application of subtraction algorithm in the measurement[J].Techniques of Automation and Applications,2007,26 (6):74-76 (in Chinese).[陈玮,薛琴,魏胜利.差影算法在轮对踏面磨耗检测中的应用 [J].自动化技术与应用,2007,26 (6):74-76.]
[5]TIAN Li,HAN Zhenyu.Application of machine vision in SMD surface defect detecting [J].Computer Knowledge and Technology,2012,8 (28):6775-6778 (in Chinese). [田利,韩震宇.机器视觉在半导体器件塑封缺陷检测中的应用 [J].电脑知识与技术,2012,8 (28):6775-6778.]
[6]NI China.Calculating camera sensor resolution an-d lens focal length[EB/OL]. [2014-06-27].URL:http://digital.ni.com/public.nsf/allkb/1948AE3264ECF42E86257D00007305D5(in Chinese).[NI中国官网.计算相机图像传感器分辨率以及镜头焦距[EB/OL].[2014-06-27].URL:http://digital.ni.com/public.nsf/allkb/1948AE3264ECF42E86257D00007305D5.]
[7]SHI Junyan,LIU Shudan.Dynamic window-based adaptive median filter algorithm [J].Computer Engineering and Design,2011,32 (9):3115-3118 (in Chinese). [时军艳,刘树聃.基于噪声检测的自适应中值滤波算法 [J].计算机工程与设计,2011,32 (9):3115-3118.]
[8]ZHANG Mingyuan,WANG Hongli.Application of image noise removing based on improved median filtering [J].Ordnance Industry Automation,2007,26 (8):45-47 (in Chinese).[张明源,王宏立.改进型中值滤波器在图像去噪中的应用 [J].兵工自动化,2007,26 (8):45-47.]
[9]LI Yanjun,SU Hongqi.Improved algorithm study about removing noise [J].Computer Engineering and Design,2009,30 (12):2995-2997 (in Chinese). [李彦军,苏红旗.改进的中值滤波图像去噪方法研究 [J].计算机工程与设计,2009,30 (12):2995-2997.]
[10]NIU Xiuqin.Research on several improved median filter algorithms [D].Chengdu:Sichuan Normal University,2012(in Chinese).[牛秀琴.几种改进的中值滤波算法研究 [D].成都:四川师范大学,2012.]
[11]ZHANG Yanhong,KONG Bo,XING Cuifang,et al.Application and realization of the histogram specification in image enhancement [J].Computer Knowledge and Technology,2009,5 (34):9814-9815 (in Chinese).[张燕红,孔波,邢翠芳,等.直方图规定化在图像增强中的应用及实现 [J].电脑知识与技术,2009,5 (34):9814-9815.]
[12]LONG Qing.The image enhancement based on histogram[J].Computer Knowledge and Technology,2011,7 (4):883-886 (in Chinese).[龙清.直方图图像增强技术 [J].电脑知识与技术,2011,7 (4):883-886.]
[13]WANG Xianmin,ZENG Qinghua,XIONG Zhi,et al.Development and research analysis on vision-based navigation technologies[J].Information and Control,2010,39 (5):607-613 (in Chinese).[王先敏,曾庆化,熊智,等.视觉导航技术的发展及其研究分析 [J].信息与控制,2010,39(5):607-613.]