基于机器视觉的裸片表面缺陷在线检测研究

林 佳，王海明，郭强生，刘晓斌，周 丹

(中国电子科技集团公司第四十五研究所，北京 100176)

晶圆划片过程中的任何异常都可能导致划切好的裸片表面产生缺陷。准确识别裸片表面的各种缺陷模式，可帮助发现和调整在线划片过程中的异常因素，以降低废品率，避免因大批量裸片表面缺陷而造成巨大的成本损失[1]。

基于概率统计模型的方法在晶圆和裸片表面缺陷检测中被广泛应用[2-4]。这些方法主要对表面缺陷的模式进行统计分析，虽能够检测出缺陷的形状，但无法有效分类出缺陷的模式。随着机器学习研究的深入，隐马尔科夫[5]和神经网络[6-8]等方法被越来越多的应用于晶圆和裸片表面缺陷检测。这些常用的模式识别方法都需要大量的训练样本来训练分类器。

为解决上述问题，本文提出了基于线性判别分析(Linear Discriminant Analysis，LDA)和支持向量机 (Support Vector Machine，SVM)的在线检测算法。为了突出裸片表面的模式特征，该算法首先使用高斯滤波方法对裸片表面图像进行滤噪处理。然后，使用Hu不变矩和方向梯度直方图(Histogram of Oriented Gradients，HOG)等高维特征来表达裸片表面缺陷的模式信息。接着，采用LDA方法消除特征中的冗余信息，获得能够准确表达裸片表面缺陷模式的低维特征。接着，离线构建正常裸片表面模式的高斯混合模型 (Gaussian Mixture Model，GMM)和各种表面缺陷模式的SVMs。最后，在线检测时，使用GMM判断是否存在缺陷，并使用K最近邻(K Nearest Neighbor，KNN)算法分类缺陷的具体模式。通过与现有方法进行实验对比，证明了提出方法的准确性和实时性。

1　裸片表面缺陷检测算法原理

提出的算法包括离线建模和在线检测两个阶段。

1.1　离线建模

(1)使用高斯滤波对训练图像进行滤噪。训练图像包含正常的裸片表面图像和各种缺陷模式的裸片表面图像。(2)提取裸片表面缺陷的Hu不变矩和HOG等高维特征数据。(3)采用LDA算法对高维特征进行降维，得到低维特征。(4)分别构建正常裸片表面模式的GMM和各种裸片表面缺陷模式的SVMs。

1.2　在线检测

(1)按1.1中步骤(1)-(3)来处理在线生产时采集的裸片表面图像。(2)使用1.1步骤(4)中已经学习好的GMM判断晶圆表面图像中是否存在已学习的缺陷模式。(3)如果存在缺陷，则采用已学习的SVMs，并结合KNN算法判定其具体的缺陷模式。

2　图像滤噪与特征提取

2.1　图像滤噪

高斯滤波算法通过适当加大滤波窗口中心点的权值来减少滤波处理造成的图像模糊[9]。随着距离中心点的距离增大，权值迅速减小，从而可以确保中心点更接近于与它距离更近的点[9]。大小为(2ω+1)×(2ω+1)的滤波模板 M(x，y)的定义如式(1)所示：

其中，ω为滤波窗口半径；(x，y)为时刻t采集的图像It的像素点的坐标；方差为σ。实际进行高斯滤波时，ω和σ都是固定的，也就是对于所有像素点都使用同一个滤波模板。ω和σ的取值不同，滤波效果也会不同，根据实验经验，一般设ω=5，σ=0.8。

2.2　表面缺陷特征提取

提出方法Hu不变矩和HOG特征向量来表征裸片表面缺陷的模式。Hu不变矩特征向量有7维，其描述了目标的形状。HOG特征向量的维数从几十到几百维不等，由细胞单元大小γ和梯度方向分组数η决定。它使用梯度和边缘方向密度分布描述了目标的表观和形状。

3　线性判别分析算法

特征的维数过高会增加分类器学习的计算量和复杂度，给学习和分类缺陷模式带来“维度灾难”。实际上维数过高的特征对于分类性能也会造成负面影响[9]。基于Fisher准则的LDA算法能够有效提取高维特征中最具判别力的低维数据信息。LDA通过选择类间离散度和类内离散度的比值最大的低维特征，使同一模式的缺陷样本聚集在一起，不同模式的缺陷样本尽量分开[10]。

假设有N种缺陷模式，样本的类内散布矩阵Sw和类间散布矩阵Sb可以表示为：

式中，K表示样本总数；Ki表示第i种缺陷模式的特征数量；表示第i种缺陷模式的特征均值表示第i种缺陷模式的第j个特征表示所有特征的均值。

Fisher准则的目标函数定义为:

J(W)将不同模式的Sb和Sw结合在一起，取极大化J(W)的矩阵Wfld作为投影方向。其物理意义是：特征在Wfld上投影后，类间离散度和类内离散度之比达到最大[10]。

4　离线建模与在线检测

在离线建模阶段建立正常裸片表面的模型GMM，并对现有的N种裸片表面缺陷分别学习SVM模型，建模时采用降维后的特征。

GMM是用高斯概率密度函数精确量化数据混合密度分布的模型。设d维随机变量H=[H1，...，Hd]服从有限个正态分布，h=[h1，...，hd]为H的一组样本，令其中一个样本h的概率密度函数为[11]：

其中，L是GMM包含的高斯分量的个数。πl是第 l个概率密度函数pl(h|θl)的权重。θl=(μl，Sl)，μl是期望，Sl是协方差矩阵。参数集定义为 φ =(π1，...，πl；θ1，...，θl)。L 通过贝叶斯信息准则确定，期望最大算法被用来估计参数φ。建立正常裸片表面的GMM时，在整个裸片表面图像内提取特征。

SVM以结构化风险最小化为原则，兼顾训练误差（经验风险）与测试误差（期望风险）的最小化[9]。给定训练特征样本(x1，y1)，…，(xq，yq)，…，(xQ，yQ)，xq为d维特征向量，类标签yq∈{-1，1}[9]。要对两类样本进行分类，目标就是根据训练样本寻找具有最大分类间隔的分割超平面。超平面方程为式：

其中，xt为测试样本特征，w为权矢量，b为偏差项。

对于线性可分的二分类问题，最优分类函数如式(7)所示，

其中，aq为拉个朗日系数，X为某类模式的全部训练特征。aq根据文献[9]中的方法求解。

对于线性不可分的情况，可以通过非线性变换将其转化为某个高维空间中的线性问题，在变换空间求得最佳分离超平面[9]。此时的最优分类函数为：

其中，ψ代表非线性映射。由于非支持向量的aq为 0，所以式(8)可以写为式(9)，

其中，SV为支持向量的集合。式(9)就是SVM方法确定的最终非线性分类的决策函数。aq同样根据文献[9]中的方法进行求解。

在线检测阶段，采用正常裸片表面模式的GMM判断It中是否存在缺陷，选取式(5)的负对数似然概率作为GMM输出。如果存在，则用N种缺陷的SVM模型分别进行分类，并计算相应的分类分数，接着采用KNN算法分类缺陷的具体模式。

5　实验结果与分析

实验采用生产过程中采集的裸片表面图像数据集来验证提出方法的准确性和实时性。数据集包含7 000幅已标记缺陷模式的裸片表面图像样本，其中 Center、Donut、Local、Edge-local和 Edgering等5种缺陷模式各1 000幅。数据集还包含2 000幅正常模式 (Normal)的裸片表面图像样本。将文献[1]中进行晶圆表面缺陷检测的算法应用于裸片表面缺陷检测，与提出算法进行对比实验。

离线建模阶段随机选取2 100幅裸片表面图像样本，每种表面缺陷模式选300个训练样本，正常晶圆表面模式选600个训练样本。在线检测阶段使用剩余的4 900幅裸片表面图像样本，即每种表面缺陷模式有700个测试样本，正常裸片表面模式有1 400个测试样本。学习某类缺陷模式的SVM时，该类缺陷模式的训练样本作为正样本，标注为yq=1。其余缺陷模式和正常裸片表面模式的训练样本作为负样本，标注为yq=-1。

首先验证提出方法检测裸片表面是否存在缺陷的准确性，结果如表1所示。提出方法在判断Center、Edge-ring、Edge-local和 Local这 4 种缺陷模式的测试样本中是否存在缺陷的准确率要高于文献[1]的方法。提出方法将较多的Nomal模式的裸片表面图像错误地判断为包含缺陷。采集裸片表面图像时，由于机器视觉硬件系统的问题，图像中会包含噪音，导致一些正常裸片表面也会错误判定为存在缺陷。根据实验结果，提出方法的总体检测准确度要高于文献[1]方法。提出方法的检测准确率为98.04%，文献[1]方法的准确率为97.78%。

表1　检测有无裸片表面缺陷的准确率对比

接着验证提出方法检测裸片表面缺陷的具体模式的准确性，结果如表2所示。通过对比可以发现，提出方法在所有测试样本中的平均准确率为88.11%，高于文献[1]的平均准确率86.26%。提出方法的准确率满足裸片表面缺陷检测的需要。将提出方法错误判定为包含表面缺陷的13个正常裸片样本进行具体缺陷模式的检测，其中5个样本被识别为Edge-ring缺陷模式，8个样本被识别为Local缺陷模式。

表2　裸片表面缺陷模式的检测准确率对比

本实验在4 900幅测试样本上对比了提出算法和文献[1]方法，进一步验证了提出算法的实时性。实验所用的计算机配置为：Windows10、CPU Intel®CoreTMi7-4700MQ、2.4 GHz、RAM 8 GB。开发软件为Matlab R2016a。文献[1]方法平均每帧的检测时间为57.3ms，比提出方法平均高了12.6 ms。实验结果表明提出方法具有较好的实时性，其检测效率能够满足在线检测裸片表面缺陷的要求。

6　结束语

本文针对晶圆划片后检测裸片表面缺陷的要求，提出了一种基于LDA和SVM的在线检测算法。首先，使用高斯滤波算法以消除划片过程中的随机因素引起的噪声。然后，提取裸片表面的Hu不变矩和HOG特征来表征裸片表面模式，并采用LDA算法对这特征进行降维。接着，建立正常裸片表面的GMM和各种裸片表面缺陷的SVMs。最后，使用已学习的GMM判断是否存在缺陷，使用已学习的SVMs和KNN算法判断缺陷的具体模式。实验结果表明，提出方法实现了裸片表面缺陷的准确与快速检测。后续工作将深入研究能更好地表征裸片表面缺陷模式的特征提取方法，并推进研究成果在晶圆划片中的实际应用。

参考文献：

[1]吴斌，卢笑蕾，余建波.晶圆表面缺陷模式的在线探测与自适应识别研究[J].计算机工程与应用，2016，52(17)：261-265+270.

[2]Hess C，Weiland LH.Extraction ofwafer-leveldefectdensity distributions to improve yield prediction[J].IEEE Transactions on Semiconductor Manufacturing，1999，12(2)：175-183.

[3]Hwang JY，Kuo W.Model-based clustering for integrated circuit yield enhancement[J].European Journal of Operational Research，2007，178(1)：143-153.

[4]Yuan T，Kuo W.A model-based clustering approach to the recognition of the spatial defect patterns produced during semiconductor fabrication[J].IIE Transactions，2007，40(2)：93-101.

[5]Friedman D J，Hansen M H，Nair V N，et al.Model-free estimation of defect clustering in integrated circuit fabrication[J].IEEE Transactions on Semiconductor Manufacturing，1997，10(3)：344-359.

[6]曾臻，戴曙光，穆平安.基于神经网络的晶圆缺陷分类系统[C].第八届工业仪表与自动化学术会议，上海，2007，364-369.

[7]谢飞.基于计算机视觉的自动光学检测关键技术与应用研究[D].南京:南京大学，2013.

[8]C.Y.Chang，C.Li，J.W.Chang，et al.An Unsupervised Neural Network Approach for Automatic Semiconductor Wafer Defect Inspection[J].Expert Systems with Applications，2009，36(1)：950-958.

[9]张铮，徐超，任淑霞，等.数字图像处理与机器视觉[M].北京：人民邮电出版社，2015.

[10]尹洪涛，付平，沙学军.基于DCT和线性判别分析的人脸识别[J].电子学报，2009，37(10)：2211-2214.

[11]余建波，卢笑蕾，宗卫周.基于局部与非局部线性判别分析和高斯混合模型动态集成的晶圆表面缺陷探测与识别[J].自动化学报，2016，42(1)：47-59.