基于卷积神经网络的光学元件表面缺陷图像分类

侯劲尧，刘卫国，周 顺，高爱华，葛少博，肖相国

（1.西安工业大学 光电工程学院，陕西 西安 710021；2.西安应用光学研究所，陕西 西安 710065）

引言

表面缺陷是影响光学系统质量的重要因素之一[1]。传统的人工目视检测方法易受到人工经验和主观因素的影响，导致测试结果误差较大，无法满足现行检测要求和自动生产线的在线生产要求。机器视觉检测具有自动化程度高、识别率高[2]和非接触式测量等优点，逐渐成为主流表面缺陷检测的方法和发展趋势。

目前已经有大多成熟的算法可以有效完成对表面缺陷图像的去噪和分割处理，而对于表面缺陷的分类，最常见的是利用表面缺陷的散射特性用肉眼进行判定的目测法，但使用此法效率不高，易受人为因素影响，误判率较高[3-4]。近年来，随着以卷积神经网络(convolutionalneural network，CNN)为代表的深度学习模型在诸多计算机视觉(computer vision，CV)领域成功应用，例如人脸识别、场景文字检测、目标跟踪和自动驾驶等，不少基于深度学习的缺陷检测方法也广泛应用在各种工业场景中[5-6]。如通过散射成像系统，利用形状因子将表面缺陷分为划痕、麻点、噪点3 类，识别精度高，但识别速度很慢[7]。或者通过BP 神经网络实现对划痕和麻点的分类，但由于表面缺陷的随机性，整体数据的识别率不高[8]，通过神经网络将光学元件表面缺陷分为圆形、方形和条形轮廓，分类的情况较模糊[9]。

1 表面缺陷检测模型

表面缺陷主要指麻点、擦痕、开口气泡、破点及破边等异常结构。检测时大多利用其对光的散射原理，通过显微成像的方式成像在CCD 中，再结合相关的图像处理软件实现对表面缺陷的识别和分类[10-13]。

本文通过显微散射法来完成光学元件表面缺陷图像的采集，如图1（a）所示。为提高表面缺陷的检测效率和精度，需结合图像处理软件完成对表面缺陷的进一步处理。首先通过图像预处理，使用滤波算法消除表面缺陷图像的背景噪声，平滑图像降低不相关信息的干扰，利用形态学处理，能消除表面缺陷的毛刺和填补孔洞，降低了空气中灰尘所造成的干扰，增加了表面缺陷轮廓提取的精确性。阈值分割则有效地将表面缺陷和背景分割出来，便于对表面缺陷特征的提取，最后利用最小外接矩形(minimum enclosing rectangle，MER)对表面缺陷进行描述，如图1（b）所示。

图1 表面缺陷图像Fig.1 Surface defect images

常见表面缺陷大多分为划痕和麻点2 类，而在采用CCD 相机进行图像采集时，空气中的灰尘也会产生散射光，从而成像在CCD 中，我们将这类散射光形成的信息称为噪点。因此本文针对表面缺陷成像的特性，将分类目标确认为划痕、麻点和噪点3 类。

目前，卷积神经网络逐渐成为所有识别和检测任务的主导方法[14-17]，不仅具有更好的泛化性能，且具有很强的抗噪声能力，因此本文采用卷积神经网络模型用于光学元件表面缺陷的分类。该模型将工件表面缺陷数据集作为模型的输入，使用卷积层和池化层提取数据的内部特征，将提取的特征输入到Softmax 分类器进行分类，以提高反射镜表面缺陷分类的准确性。

2 基于卷积神经网络的表面缺陷分类

2.1 表面缺陷数据集

如图2 所示，得到表面缺陷的MER，分别计算表面缺陷MER 的长轴、短轴和外接矩形面积SMER，并得到表面缺陷所占的像素即面积S。通过（1）式，可以得到表面缺陷的矩形度。

图2 表面缺陷MER 模型Fig.2 MER model of surface defects

对于光学元件的表面缺陷，经过人工的初步筛选，基本满足了使用标准，表面缺陷在光学元件中存在的数量较少。

在检测过程得到的图像，麻点类的表面缺陷多为μm 级别，划痕类缺陷长宽比大致为1∶10～1∶50，对于光学元件，其表面粗糙度Ra≤0.5 nm，表面光洁度较高，因此图像中的噪点多是由空气中的灰尘所造成的。

通过图1(b)可以看出，图中共包括划痕1 个（蓝色）、麻点10 个（红色）、噪点15 个（绿色），通过MER 模型得到表面缺陷的长、宽和面积等信息，其中噪点各数据之间的相似度较高。本文主要分析划痕、麻点和噪点的差异性，统计了图1（b）中的部分数据，其中包括噪点5 个(序号12，11～13)、麻点5 个(序号16～20)、划痕1 个(序号26)，如表1 所示。因噪点所占的像素比例少，其MER无法包含整个缺陷区域，往往存在SMER＜S，而对于麻点和划痕则有SMER＞S，其结果在0～1 变化，当P=1 时，表面缺陷为矩形。

“知道了。”话虽这么说，可是，我并未打消要吃宵夜的念头。趁妈妈上床休息的时候，我跑到冰箱前，拿了一块巧克力。可谁知，一回头妈妈就站在我身后。

表1 表面缺陷特征提取Table 1 Feature extraction of surface defects

光学元件表面缺陷图像大多为暗背景的亮像。针对这类图像，卷积神经网络是目前主流的做法，光学元件表面缺陷图像分类流程图如图3 所示。在表面缺陷的像素矩阵中，表面缺陷区域存在连通域，是可以被观测到的。根据这个矩阵，光学元件图像将会根据表面缺陷像素的大小进行划分。原始采集的光学元件表面缺陷图像的大小是768×576 像素。考虑到我们分辨的表面缺陷尺寸大多是人眼极限分辨率以下的，即长轴≤100 μm，通过相机标定得到实际尺寸和像素之间的比例为0.83∶1，因此我们设计的判别区域的大小是120×120个像素。

图3 光学元件表面缺陷图像分类流程图Fig.3 Classification flow chart of surface defect images of optical elements

为了平衡不同样本的数量，本文实验中采集了900 张表面缺陷图像。其中表面缺陷图像中划痕、麻点和噪点各300 张。经过随机选择180 张作为测试集，其余720 张作为训练集。

为了防止训练过程中的过拟合，将图片进行数据扩增，考虑到表面缺陷的成像特征，如图4 所示，通过对表面缺陷图像进行旋转以及对镜像的方式来扩充图像，通过对不同方位表面缺陷图像的特征提取，可以加强网络的训练能力，提高分类的精确度。

图4 表面缺陷图像数据集的建立Fig.4 Establishment of dataset for surface defect images

2.2 卷积网络模型的建立和优化

光学元件表面缺陷图像的在线检测，其目的是识别并分类表面缺陷，并且保证图像在经过旋转、镜像等后，依然可以识别。因此本文采用AlexNet网络[3]，AlexNet 是在LeNet 的基础上加深了网络的结构，主要分为输入层、特征提取器和分类器，如图5 所示。

图5 AlexNet 网络模型Fig.5 AlexNet network model

为提升网络的计算性能，本文采用非对称卷积(asymmetric convolution，AC)替换AlexNet 中的卷积层以训练网络模型[18]。其原理如（2）式所示。输入特征图I，先进行K(1)和I卷积，K(2)和I卷积后再对结果进行相加，与先进行K(1)和K(2)的逐点相加后再和I进行卷积得到的结果是一致的。

如图6 所示，AC 的整体过程分为训练和推理阶段，因为卷积是大多数网络的基础组件，因此实验都是针对3×3 卷积进行的。训练阶段就是将现有网络中的每一个3×3 卷积换成1×3 卷积+3×1卷积+3×3 卷积共3 个卷积层，最终将这3 个卷积层的计算结果进行融合获得卷积层的输出。用融合后的卷积核参数初始化现有网络，通过1×3 和3×1 卷积对3×3 方形核的中心十字进行加强，增强了3×3 卷积核十字区域的图像特征的提取参数，再利用3×3 卷积核进行计算，得到卷积层的输出。该网络对于旋转和镜像的图像具有较好的鲁棒性，在推理阶段的计算量不会增加，且提升了CNN 网络的核心特征提取能力。

图6 非对称卷积过程Fig.6 Asymmetric convolution process

本文所使用的网络结构将表面图像块输入至神经网络中时，特征提取器主要包括非对称卷积层和池化层，使用3×3 的卷积核进行卷积操作，然后执行3×3 的池化操作，接着继续执行卷积和池化，最后计算全连接层与分类器的最终分类。该模型被广泛应用于特征提取环节，本文所用网络的模型如图7 所示。

图7 本文网络结构Fig.7 Proposed network structure

本文方法用以分类120×120 光学元件表面缺陷图像。在特征提取部分，此处的AC 均为核大小3×3 的非对称性卷积，再通过ReLU 激活函数输入给下一级网络层。MAX-Pool 为最大池化层，对特征图像进行降采样处理。对于分类部分采用全连接层结合dropout 层实现表面缺陷图像的3 分类。

本文使用3×3 的非对称卷积代替原本AleNet模型中大小为11×11 和5×5 的卷积层，同时全连接层的输出节点数设置为2 048。对于整体网络参数来说，既减小了参数量，又增加了网络的分线性拟合能力。通过表2 可以看出，改进后的网络模型比原本的AleNet 模型参数量减小了6%。

表2 改进前后网络模型参数量的对比Table 2 Comparison of network model parameters before and after improvement

卷积神经网络内卷积层与池化层交替出现，在卷积层内，经过卷积核的卷积操作与激活函数的处理等过程，光学元件表面缺陷图像相关数据会生成光学图像表现缺陷轮廓特征图。在池化层内，光学元件表面图像相关数据会依照减采样算子实施减采样操作。

在图7 所示的卷积神经网络结构内，采用Softmax 分类器，利用（3）式可表示分类器的激活函数：

式中：kθ和θ表示输出分类概率向量和分类器输出层与输入层间的参数向量；i和r分别表示第i个训练样本和分类数量；x表示输入层内输入的图像样本；kθ取值范围为[0，1]，总和为1。

式（4）为训练所用的代价函数：

式中：m和u分别表示训练样本总量和输出结果。

首先，光学元件表面缺陷图像作为第一层的输入，然后，卷积层与池化层对输入图像执行特征提取和维度降采样，将特征信息整合在全连接层作为下一步的输出特征。在全连接层之后使用参数为0.5 的dropout 层，可以避免网络训练时的过拟合现象。经过dropout 层后的全连接层在训练时，其节点数会以0.5 倍缩减因子实现随机缩减，有效地减少了网络的训练参数，在提高了网络非线性拟合的同时缩短了训练时间。

输出特征使用Softmax 分类器执行分类，经过不断强化训练，提高其分类性能，进一步探索这些特征的类别，提高分类的准确性，并做出新的决策。

3 实验结果及讨论

将光学元件表明缺陷图像数据按照4∶1 划分为训练集和测试集，在训练时，将其随机翻转并归一化到[-1，1]输入至网络中。由于实验设备限制，batch_size 设置为16，steps_per_epoch 设置为100，为了保证得到最好的训练效果，实验epoch 设置为200。训练使用Adam 优化器，学习率设置为1×10-4。本文在Linux 环境下进行实验，深度学习框架采用Tensorflow2.1 的GPU 版本，硬件配置为2 块NVIDIA RTX 2 060。

本实验将测试集的数据使用卷积网络模型进行分类，得到的结果如表3 所示，划痕与麻点识别的准确率较高，而噪点识别准确率较低。由于噪点特征的随机性变化较大且其在整幅表面缺陷图像中所占的像素比较小，缺陷特征复杂程度更高，因此容易造成结果的误判。本文算法的识别精度都在97%以上，对于常规的光学元件表面缺陷的识别和分类具有一定的稳定性。

表3 本文网络识别结果Table 3 Identification results of proposed network %

为了验证本文所采用的网络结构在光学元件表面缺陷在线分类的有效性和精确性，本文实验与其他4 种经典的神经网络模型相对比，其结果如表4 所示。

表4 模型对比实验Table 4 Model comparison experiments

实验的评价指标采用包括灵敏度（Sensitivity）、特异性（Specificity）、精确性（Precision）和算法运行时间（Times）共4 个不同的性能指标对本文的模型进行整体充分评估。各指标计算公式如式(5)、式(6)和式(7)所示。

式中：TP真阳性(true positives)表示被正确识别为正例的个数；FP假阳性(false positive)表示被错误识别为正例的个数；TN真阴性(true nagative)表示被正确识别为负例的个数；FN假阴性(false nagative)表示被错误识别为负例的个数。

使用相同的表面数据集训练其他4 种经典神经网络VGG16、ResNet50、InceptionV3 与AlexNet进行比较，本文模型方法在4 个评价指标中均取得最高值，灵敏度达到89.97%。本文模型的分类准确率达到99.05%，相比其余4 个神经网路，提高了分类的准确性。在时间上本文模型的时间最短，用时18.46 s，通过迁移学习提高了神经网络的性能，使训练时间降低。综合结果表明，本文模型的分类性能优于传统神经网络模型。

4 结论

光学元件的表面缺陷会直接影响光学系统的性能。为了有效实现光学元件表面缺陷的分类，本文提出一种基于卷积神经网络的光学元件表面缺陷分类方法，将表面缺陷分为划痕、麻点和噪点3 类。实验中考虑到表面缺陷特征的复杂性，通过对图像的旋转和镜像处理，在不改变表面缺陷特征的情况下扩增了数据集，再采用非对称卷积训练网络模型，提高了网络的核心提取能力。与原本的ALexNet 网络相比，本文方法在降低6%参数量的同时，使分类精度提升1.85%，通过与其他深度学习模型性能对比实验，可以看出本文使用的模型具有较高的分类性能，这表明该模型在光学元件表面缺陷识别和分类领域中具有较深远的前景。