数据驱动的晶圆图缺陷模式识别方法

杨振良 汪俊亮 张 洁 蒋小康

东华大学机械工程学院，上海，201620

0 引言

在半导体制造过程中，晶圆片需要薄膜、光刻、刻蚀等复杂的重入工艺，以实现复杂立体集成电路的制备[1]。制造过程中工序的异常会导致晶圆缺陷的产生，如薄膜过程中甩胶机的转速变化或氧化过程中温度不均匀易产生晶圆片表面Center和Edge-ring缺陷[2]。在晶圆质检中，利用电学测试设备对晶圆片上的每颗晶粒进行电性测试，可得到用于描述晶圆缺陷状态的晶圆图。对晶圆图的缺陷模式进行识别分析，可有效辅助识别制造过程中的缺陷根源，从而提升晶圆制造的产品质量。

在早期晶圆图缺陷识别中，基于简单统计的方法是一种比较常见的方法，如二项式测试[3]、空间特征分析[4]等。这些方法的局限性在于只能提供缺陷模式的统计分析，缺乏识别出详细模式的能力，无法为查找制造过程中的缺陷根源提供更多有效的信息。近年来，随着人工智能技术的发展，基于机器学习的方法已成为主流方法。基于机器学习的晶圆图缺陷模式识别的方法可分为两个过程：①晶圆图的图像预处理；②对预处理得到的数据进行缺陷识别。

利用图像的预处理方法对晶圆图数据进行尺度转换、数据采样等操作，可以获取表征晶圆图中所含的缺陷类别信息。在晶圆生产过程中，不同晶圆片中的晶粒布局方式不同，使得所含晶粒数量不一致，从而导致扫描成像的晶圆图所含缺陷数据的维度不同(通常有45×48、53×58、26×26、60×40等多种维度)。在机器学习中，同一个缺陷模式识别模型往往难以对不同维度的缺陷数据进行处理。除了晶圆图所含缺陷数据维度的多样性外，还存在角度多样性的特点。在晶圆制造过程中，缺陷晶粒在晶圆片上的分布角度受工艺参数、设备状态等因素的影响而呈现出多样的特点。在缺陷识别中，相同的晶粒缺陷图形在不同角度下也可能被误认为不同的缺陷模式，因此，如何针对晶圆图的数据维度与角度多样性，设计出一种有效的图像预处理方法，是晶圆缺陷模式识别中的难点。在图像缺陷识别问题中，基于轮廓特征的预处理方法[5]和基于灰度值特征的预处理方法[6]得到了广泛应用。基于轮廓特征的预处理方法是针对图像单个失效区域的特征(如面积、周长等)，提取出相应的失效区域轮廓数据，但无法提取存在多个失效区域的晶圆图缺陷模式的轮廓特征数据；基于灰度值特征的预处理方法通过灰度共生矩阵来反映亮度的分布特征，但得到的一些缺陷模式数据相似度较高，影响分类精度。Radon变换[7]在图像处理中属于线性变换，通过对晶圆图各个方向上的缺陷点做投影变换，可以解决晶圆图的缺陷角度多样性的难题，再对Radon变换图像提取特征数据后，对数据进行重采样，可以解决晶圆图的数据维度多样性难题。

在晶圆图缺陷模式识别中，构建机器学习模型对缺陷晶圆图的预处理数据进行分类，以实现晶圆缺陷的识别。WU等[8]采用基于支持向量机(support vector machine，SVM)的晶圆图缺陷模式识别(wafer map pattern recognition,WMFPR)和晶圆图相似度排序(wafer map similarity ranking，WMSR)的方法，执行WMFPR以识别晶圆图缺陷模式及使用WMSR协助检索其他晶圆映射中的类似缺陷，较为显著地提高了模型的晶圆缺陷识别性能；邡鑫等[9]提出了改进的Faster RCNN模型，利用卷积神经网络良好的特征学习能力，精准、快速地对晶圆缺陷图像进行分类。虽然以上模型在晶圆缺陷识别中取得了较好的效果，但它们均建立在各类缺陷模式的样本数量大致相同的情况下。在晶圆生产过程中，各类缺陷的比例各不相同，存在着某些缺陷模式的数据比例过少的情况，而在使用神经网络等模型对缺陷模式进行分类识别时，会因某些缺陷的样本量较少而无法充分学习样本的缺陷信息，从而影响识别精度。近年来，GOODFELLOW等[10]提出了生成式对抗网络(generative adversarial networks, GAN)框架，可通过模拟真实数据生成仿真数据，利用生成学习的方法来平衡缺陷晶圆图数据集，使各类缺陷样本达到相对平衡状态，以提升不平衡情况下的缺陷模式分类精度。

针对各类晶圆缺陷数据的不平衡特点和数据维度与角度的多样性，本文提出了一种面向晶圆缺陷模式识别的分类方法。通过图像预处理方法，将维度高且缺陷角度不统一的图像数据转化为低维度且与缺陷角度无关的数据；设计了GAN网络对预处理后的晶圆图数据进行缺陷模式分类，并利用WM-811K数据集进行数值试验。

1 晶圆图缺陷模式识别问题分析

晶圆图数据由下面的方式获得：利用电学测试设备自动对晶圆片进行探查和测试，检测晶圆片上每一个晶粒的电学性能，再通过软件利用正交坐标系将失效与正常的晶粒标出。每个晶圆图数据在计算机内都是一个由三种元素(0，1，2)构成的二维图像数组，其中，0表示空白点，1表示通过电学测试的正常晶粒，2表示未通过电学测试的失效晶粒。晶圆图缺陷模式识别问题本质就是利用晶圆图二维图像数组内3种元素(0，1，2)的分布规律来分辨晶圆的缺陷模式。晶圆图的二维图像矩阵见图1，其中，位置靠上的图表示晶圆图的二维图像矩阵，小椭圆划出的区域由数字2集合组成，是该晶圆图在缺陷模式识别时的主要缺陷区域，位置靠下的图是二维图像矩阵对应的可视化表示。在晶圆图缺陷模式的识别问题中，存在缺陷数据的维度多样性、角度多样性和数据集不平衡等特点，具体特点如下。

图1 晶圆图的二维图像矩阵Fig.1 Wafer map and the image matrix

(1)晶圆缺陷数据的维度多样性。在晶圆的实际生产过程中，不同晶圆片中的晶粒大小和布局方式可能会有所不同，所以不同晶圆片所含晶粒的数量也会不同。二维晶圆图像数组会因晶粒的数量不同导致其数据维度不同，在利用机器学习模型进行训练分类时，模型的输入数据维度会因晶圆缺陷数据的维度多样而无法确定，从而无法在同一机器学习模型中训练分类。

(2)晶圆缺陷数据的角度多样性。由于晶圆生产中的某些工艺需要通过旋转晶圆片来完成，故在最终形成的晶圆图内，缺陷数据会呈现多角度的特点。例如，在晶圆生产的光刻阶段，为了在晶圆表面得到均匀的胶膜覆盖，常常采用旋转涂胶的方法。但在旋转涂胶的过程中，晶圆可能会因转速和光刻胶黏度的不合适，导致晶圆的某些区域存在缺陷，且缺陷区域的角度不一致。对晶圆缺陷模式进行识别时，某些缺陷模式会由于存在缺陷数据角度多样的特点而影响该模式的识别精度。3张Loc缺陷模式的晶圆图见图2，其主要缺陷区域位于晶圆图的不同角度方向上。

图2 缺陷数据角度不同的晶圆图Fig.2 Wafer map with different angles

(3)晶圆缺陷数据集的不平衡性。在晶圆实际生产过程中，某些晶圆图的缺陷模式会因为背后对应的工艺或机器出现异常的次数较少，导致其样本数量也较少，例如Scratch缺陷模式。Scratch缺陷模式通常是由机器故障产生的[11]，且因机器出现故障的概率要远小于工艺出现异常的概率，所以其样本数量与工艺出现异常导致的缺陷模式(如Edge-Ring缺陷模式)也相对较少。以本文实例中所用的数据为例，Edge-Ring与Edge-Loc缺陷类型的样本要多于剩余缺陷类型样本的总和，各类缺陷数据存在典型的不平衡特点。

2 基于GAN的晶圆图缺陷模式识别方法

2.1 两阶段晶圆缺陷数据预处理方法

针对晶圆图的数据维度和角度的多样性，本文设计了Radon变换与数据重采样的两阶段晶圆缺陷数据预处理方法，以实现不同晶圆图数据维度与角度的统一。

(1)阶段一，晶圆图像Radon变换。过晶圆图中任意一点(x，y)的任意一条直线可表示为

xcosθ+ysinθ=ρ

(1)

式中，ρ为线与原点之间的距离；θ为直线与x轴所成的角度。

将ρ和θ看作定量，x和y看作变量，得到晶圆图沿着ρ和θ为定值的一条直线上的投影(图3)：

(2)

其中，D是与数据维度为m×n的晶片图相关的脉冲函数；τ是与直线相关的脉冲函数:

(3)

(4)

图3 缺陷数据Radon变换过程Fig.3 The Radon transformation for wafer map

当ρ和θ改变时，一张晶圆图的Radon变换就可用矩阵来表示：

(5)

经过标准二维坐标系向极坐标系的转换后，用晶圆图向极坐标系内的每一条直线进行投影变换，从而使图像表达与晶圆图角度无关，以解决晶圆图角度多样性问题。

为了使不同晶圆图的Radon变换数据F可比，对F进行最大最小归一化处理：

(6)

(2)阶段二，Radon变换图形的特征值提取与重采样。为了提取Radon变换图形的特征值，先计算F的行平均值Fm和行标准差Fv，得到两个一维数组Fm和Fv；再通过三次插值法[12]对Fm和Fv进行重采样(采样数为20)，得到数据维度统一的晶圆图Radon特征值Rm和Rv；最后将得到的Rm和Rv拼接组合，形成一个1×40的一维数组R：

R=[Rm,Rv]

(7)

图4 插值采样Fig.4 Interpolation sampling

经过Radon变换与插值采样之后，晶圆图数据在数据维度和角度上得到了归一化，可进一步对预处理后的数据进行分类，以实现晶圆缺陷模式的识别。

2.2 面向晶圆图缺陷模式识别的分类生成式对抗网络

针对实际生产中晶圆图数据集存在不平衡性的特点，本文采用GAN模型的泛化模型分类生成式对抗网络模型[13](categorical generative adversarial networks, CatGAN)，通过模型内两个子神经网络(生成器G和鉴别器D)的相互对抗，使生成器G学习真实样本的分布规律，生成大量的仿真数据来平衡晶圆图数据集，从而解决晶圆图数据集不平衡问题，同时，网络也会对晶圆图进行识别分类，提高晶圆缺陷模式中占比较小类别的识别精度。

2.2.1网络结构设计

面向晶圆图缺陷模式识别的CatGAN的网络结构见图5，它由一个生成器和一个鉴别器构成。

图5 CatGAN结构Fig.5 CatGAN network structure

(1)生成器网络结构。生成器是一个由全连接层组成的神经网络，一共3层，输入由噪声Z组成，输出是仿真晶圆样本，其具体结构如下：

输入层。输入层的输入向量Z=(z1,z2,…,zm)，共设计了m=40个节点，全由0到1的随机噪声产生。输入层到隐含层之间采用softplus激活函数，h1表示隐含层，w、b分别表示权重和阈值，有

softplus(x)=ln(1+ex)

(8)

h1=softplus(wZ+b)

(9)

隐含层。隐含层的节点数为20。隐含层到输出层之间不使用激活函数，o表示输出层，有

o=wh1+b

(10)

输出层。由于一个真实晶圆样本是一个1×40的一维数组，故将输出层节点数设为40。

(2)鉴别器网络结构。鉴别器是一个由全连接层组成的神经网络，内含3个隐含层，输入由真实晶圆样本和仿真晶圆样本组成，输出是样本属于各个缺陷模式的概率，其具体结构如下：

输入层。鉴别器的输入由3部分样本数据集组成，即未知缺陷模式的真实晶圆样本、已知缺陷模式的真实晶圆样本和生成器生成的仿真晶圆样本。输入层到隐含层之间采用tanh激活函数，h1表示第一层隐含层，即

(11)

h1=tanh(w[X,XL,GZ]+b)

(12)

隐含层。鉴别器共有3个隐含层，每个隐含层都有20个节点，为了加快网络的收敛速度，隐含层之间均采用tanh激活函数，hi表示第i层隐含层，有

hi=tanh(whi-1+b)

(13)

输出层。输出层最后输出的是样本属于各个缺陷模式的概率，本文共有8种缺陷模式，所以输出层的节点数为8，隐含层到输出层之间采用softmax激活函数，o表示输出层，有

(14)

o=softmax(wh3+b)

(15)

2.2.2损失函数改进

GAN网络主要通过损失函数来实现两个子神经网络的对抗，提高两个子神经网络的功能(生成样本和鉴别样本)，其损失函数为

Ex～G(z)ln1-DGz

(16)

但晶圆图的缺陷模式识别是一个分类问题，为解决这一问题，有效的方法是对GAN网络的损失函数进行优化，使得网络可以在生成样本的基础上同时具备分类的能力。在确定网络的损失函数时，引入SPRINGENBERG[13]提出的CatGAN网络相关理论。

CatGAN网络的对抗细节与标准GAN网络的对抗细节在鉴别器上有一个关键的不同点：鉴别器D的目标要求由鉴别出仿真晶圆样本和真实晶圆样本变为根据样本来源的不同(仿真晶圆样本和真实晶圆样本)输出不同的概率分布。为了满足上述要求的变化，可以用Shannon熵H来表示，其定义为样本所携带的信息的期望值。在晶圆图模式识别问题中，当样本来自于未知缺陷模式的真实晶圆X时，要求鉴别器输出的概率指向某个缺陷模式(即属于某个缺陷模式的概率很大)，即要求确定样本的缺陷模式(要求Hpy|x,D值减小)；当样本来自生成器的仿真晶圆G(z)时，则要求鉴别器输出的概率不指向缺陷模式(即属于所有缺陷模式的概率很平均)，即不要求确定样本的缺陷模式可以模糊样本的缺陷模式(要求Hpy|G(z),D值增大)。则可以定义未知缺陷模式的真实晶圆样本X和仿真晶圆G(z)样本的熵：

Ex～XHPy|x,D=

(17)

Ex～G(z)HPy|G(z),D=

(18)

其中，N表示数据集中有N个数据样本，K表示已知晶圆图有K个缺陷模式，Py=k|x,D是指通过softmox激活函数得到的属于各个缺陷模式的概率。

为了让鉴别器学习真实晶圆样本XL的缺陷模式分布规律，可以使用交叉熵(cross entropy，CE)来实现；为了让生成器在各个缺陷模式上生成数量相同的样本来平衡数据集，可以使用边际熵(marginal entropy)来实现：

k|xi,D))+(1-yi)ln(1-P(y=k|xi,D))

(19)

(20)

根据上述分析，鉴别器的损失函数可由式(17)～式(19)得到，它们分别表示确定未知缺陷模式的真实晶圆样本的缺陷模式、模糊仿真晶圆样本的缺陷模式、学习已知缺陷模式的真实晶圆样本缺陷规律。生成器的损失函数由式(18)、式(20)得到，分别表示确定仿真晶圆样本的缺陷模式，各缺陷模式的仿真晶圆样本数量相等。具体损失函数如下：

Ex～G(z)HP(y|G(z),D)+

μE(x,y)～XL[CEy,P(y|x,D)]

(21)

HGP(y|D)

(22)

式中，μ为加权成本。

2.3 基于CatGAN的晶圆图缺陷模式识别方法流程

基于CatGAN的晶圆图缺陷模式识别方法流程见图6。首先在晶圆图数据集中分离出已知缺陷模式的晶圆图和未知缺陷模式的晶圆图，然后对两部分晶圆图均进行两阶段的预处理方法，得到的每个晶圆数据都是1×40的一维数组。再将已知和未知缺陷模式的真实晶圆样本及生成器生成的仿真晶圆样本分别作为输入进入鉴别器，经过计算后得到鉴别器和生成器的误差损失LD、LG，通过梯度下降的方式对两个网络进行更新，为了防止生成器过拟合后总是生成同一种缺陷模式的样本，通常采用训练一次生成器后训练多次鉴别器的方法。最终通过在两个神经网络之间的对抗，生成器将提高生成仿真晶圆样本的能力，可以生成高度仿真的样本来平衡数据集，鉴别器将利用生成的仿真晶圆样本学习其数据规律，提高缺陷模式中占比较小类别的识别精度。

图6 晶圆图缺陷模式识别方法流程Fig.6 Wafer pattern defect pattern recognition method flow

3 试验与结果分析

为了对上述方法进行试验与分析，本文采用半导体制造工业实际晶圆图像数据(WM-811K数据)，先对CatGAN内的关键参数进行正交试验，再利用CatGAN对晶圆图数据进行缺陷模式识别，同时采用支持向量机SVM和Adaboost算法进行对比试验。试验中，使用Python 2.7和Tensorflow 1.0搭建模型，并在GPU为Nvidia GTX1080TI的Linux平台上训练。

3.1 测试数据

本文采用的数据为半导体制造工业实际晶圆图像数据(WM-811K数据)。从数据集中分别随机选取了3 000、2 000、1 000个缺陷晶圆图组成甲、乙、丙3个不同规模的数据集，这些缺陷晶圆图包含了全部8种缺陷模式(Loc、Edge-loc、Center、Donut、Edge-ring、Scratch、Random、Near-full)

3.2 CatGAN的相关参数优化

采用上述2000个缺陷晶圆图组成的乙数据集作为源数据，通过正交试验对CatGAN中的学习率、鉴别器损失函数中的加权成本μ、生成器与鉴别器的相对训练次数(在GAN网络中，为了防止生成器的过拟合，通常采用训练一次生成器后训练多次鉴别器的方法)、已知缺陷模式的晶圆样本比例(CatGAN是一个半监督分类网络，已知缺陷模式的晶圆样本和未知缺陷模式的晶圆样本进入网络训练的比例与最终的分类精度相关，后面统一用训练集比例表示)进行最优选择。对学习率为(A1=0.15，A2=0.1，A3=0.05)，加权成本μ为(B1=0.1，B2=0.07，B3=0.04)，相对训练次数为(C1=5，C2=10，C3=15)，训练集比例为(D1=0.6，D2=0.7，D3=0.8)等多种情况下进行正交测试。

表1 正交试验结果

为了直观显示测试结果，将数据经过处理之后以图的形式表示，见图7。

图7 正交试验结果Fig.7 Orthogonal experimental results

由参数测试结果发现，学习率为0.15，加权成本为0.07，相对训练次数为10，训练集比例为0.7时，CatGAN的分类效果较好。

3.3 缺陷晶圆图分类试验

通过对参数优化试验的结果分析，采用学习率为0.15、加权成本为0.07、相对训练次数为10、训练集比例为0.7，分别在3个不同规模的晶圆图数据集中进行分类试验，得到其在整体和各个缺陷模式上的分类正确率。试验结果见表2。

从整体上看，甲乙丙三个数据集均得到了较高的分类正确率，说明本方法适用于不同规模的晶圆图数据集，其中，乙数据集中，分类精度达到94.33%；在样本量最少的丙数据集中分类结果稍差，但也达到89.67%。从各缺陷模式的分类正确率来看，只有在丙数据集中效果稍差，但绝大多数的缺陷模式达到80%以上，Random和Near-full两种缺陷模式因样本少，即使在测试样本只错两个的情况下正确率也很低。

为了进一步验证CatGAN的分类效果，本文采用SVM和在不平衡分类问题上的基本算法Adaboost算法在乙数据集中进行对比试验。其中，SVM选择高斯核，Addaboost算法选择决策树作为弱分类器，其结果见图8。

图8 对比试验结果Fig.8 Compare experimental results

图8中，横坐标分别为总体及晶圆图的8种缺陷模式，纵坐标为分类的正确率，三条不同的折线分别表示三种算法的分类正确率。从试验结果可以看出，总体分类精度上，CatCAN的分类效果均优于其他分类器，SVM和Adaboost虽然可以对晶圆进行分类，但精度不高；从各缺陷模式的分类精度来看，SVM完全没有对4种样本比例少的缺陷模式的分类能力， CatGAN对各种缺陷模式的分类效果均比Adaboost好，证明了CatGAN通过生成学习的方式可以提升网络对比例少的缺陷模式的识别精度。

表2 CatGAN分类试验结果

4 结语

本文提出了一种基于分类生成式对抗网络模型的方法，可用于晶圆图不平衡数据集缺陷模式识别问题。通过分类生成式对抗网络内部两个子神经网络的相互对抗，使得两个子神经网络的功能(生成和鉴别)均得到了提高，尤其是生成器会生成一些仿真样本来弥补神经网络对样本比例少的类别识别结果较差的缺陷。在WM-811k数据的试验结果中，本文方法在随机抽取的3个不同规模的数据集中的整体识别率均高于89.67%，在各个缺陷模式的识别率绝大多数也高于80%，充分证明了本方法的有效性。结果表明，本文方法在晶圆缺陷模式识别问题上对总体和各缺陷模式均有较高的识别精度。