基于优化残差网络的复杂纹理表面缺陷检测

林李兴，夏振平,，徐 浩，宋 玉，胡伏原

（1. 苏州科技大学 物理科学与技术学院，江苏 苏州 215009；2. 苏州科技大学 电子与信息工程学院，江苏 苏州 215009）

引言

近年来，随着科学技术的发展和人们生活水平的提高，各类工业产品的外形愈发复杂多样，复杂的表面纹理为实际生产中的产品质量检测带来巨大的困难。目前绝大多数工厂的复杂纹理产品表面质量的检测都是以人工目检的方式进行。复杂表面纹理使得质量检测出现人因干扰大、耗时久、准确率无法保证等问题。以人造木质板材为例，其表面花纹是通过模拟普通实木木材表面生成的天然复杂纹理，由于生产过程中存在冷压、热压、裁边等操作，导致产品出现表面油污、表面划痕、板材缺损、花色缺失等缺陷[1]。

随着工业4.0 的提出，各行业都在大力发展自动化生产。机器视觉是智能制造装备在自动化生产过程中精准识别和定位的关键部分，是机器人的“眼睛”[2]。机器视觉在图形图像学与信息学研究促进下迅速发展，其成果被广泛应用于医疗、军事、工业生产等领域[3]。工业生产中的产品质量检测，引入机器视觉检测代替人工目检的方法可以降低人工成本和提高检测准确率[4]，对复杂纹理产品表面进行缺陷检测是自动化生产过程中必不可少的一个环节[5]，提升机器视觉中缺陷检测方法的准确率是自动化生产设计中的关键点和难点。

复杂背景下的产品表面缺陷检测问题是目标检测问题。针对这一问题，有许多研究者使用机器视觉中的图形图像学方法解决[6]。在被检测的缺陷与其所在表面其他区域有较为明显的区别时，缺陷的边缘通常能够通过特征提取的方式勾勒出来。例如Roberts[7]基于交叉熵的梯度算法提出交叉微分算法对目标的轮廓进行提取，该算法常用于玻璃、金属表面等表面缺陷检测。如果缺陷所在表面过于复杂并且规律性难以掌握时，需要提取更多特征信息加以整合。Zhang 等[8]采集了缺陷几何区域特征、灰度纹理特征、不变矩特征等共25 个图像特征，并基于主元分析法（PCA）将特征融合至最具代表性的8 个特征，据此建立数据特征字典，以减少数据冗余和特征维度，最后使用压缩感知的方法对图像进行分类判别检测，其准确率达到了92.00%。在更为复杂的环境下，机器视觉的可见光红绿蓝（RGB）三通道信息无法提供足够的特征。为了进一步提取缺陷特征信息，研究者们引入了红外光[9]、近红外光等信息进行特征融合。Li 等[10]使用红外光与可见光RGB 的多通道图像信息，提取并引入特征金字塔进行特征融合，使得图像的信息熵从0.778 提升至0.845。以上方法应用于木质板材的木结、裂纹等缺陷检测时，因该类缺陷在图像中的占比大且特征较为明显，其表现较好，但是面对划痕、油污等小尺寸缺陷表现能力较差。同时，当前工业中生产环境要求检测方法和检测系统具备实时性和快速部署能力。在面对随机性纹理和变化复杂度较高的纹理背景时，存在某些正常花纹有可能会被误判为缺陷的情况。例如在人造木质板材的表面会出现“死结”、“裂纹”等花纹，使用图形图像学方法会产生误判，影响系统的准确性，导致传统缺陷检测方法难以满足人造木质板材表面缺陷的检测需要[11]。

发展迅速的机器学习技术使用神经网络对图像进行特征提取与分类识别，一定程度上解决了图形图像学检测方法遇到的问题[12]。深度学习中调整参数方法通常能使得模型获得较好的表现，例如Gao 等[13]优化了ResNet34 网络的损失函数并使用亚当算法调整超参，该方法对“木结”这类较大缺陷分类检测的准确率达到了98.69%。由于实际工业应用中没有特定产品的高质量公共数据集，同时对大量实际采集的图像进行手动添加缺陷标签的成本高，需要使用其他方法来规避制作数据集困难的缺点[14]。预训练是通常会使用的降低数据集要求的方法，例如Ren 等[15]选择使用图像预训练方法获取优秀的图像分类器，建立了一种深度学习的通用表面自动检测方法，该方法应用于普通实木木材表面缺陷检测的准确率达到了91.55%。Urbonas 等[16]选择使用数据增强和迁移学习的方式强化FRB-CNN 网络，对缺陷进行识别、分类和定位，该方法应用于普通实木木材表面木结检测的准确率达到了96.10%。目前深度学习在较多领域中都优于传统图形图像学算法，但绝大多数是面向复杂纹理上的大尺寸缺陷[17-18]，例如死结和裂纹等缺陷，这类缺陷在图像中尺寸占比较大时，才能达到较高的准确率。而在检测人造木质板材表面的小尺寸缺陷时，准确率下降严重，难以满足实际生产的需要。

为了解决复杂纹理表面的缺陷检测准确率低的问题，本文提出了一种结合网络优化和迁移学习的深度学习方法。该方法使用残差网络ResNet18作为骨干网络，针对小样本数据集的问题对模型进行针对性优化；同时利用迁移学习的特点，对模型的训练过程进行优化，提升了模型的特征提取能力，籍以优化模型在小样本数据集上的表现；此外该方法还解决了复杂纹理表面上缺陷检测耗时久、模型训练成本高、对同类型不同复杂纹理适应能力差的问题。

1 基于深度学习的图像识别

解决复杂纹理表面的缺陷检测问题，不仅需要面对实际应用中数据集制作困难而导致的小样本问题，同时也需要满足实际部署中的兼容性、实时性等要求。实践中，需要在网络模型的复杂性和检测速度之间找到平衡，并通过优化训练过程使得模型在小样本数据集上获得更好的效果。本文提出的方法结合了残差网络的特征提取能力和迁移学习的特征映射优势，使得模型获得更好的表现能力。

1.1 残差网络

在图像识别的深度学习网络中，骨干网络由特征提取网络和分类网络2 个部分组成。通常使用卷积神经网络CNN（convolutional neural networks）作为特征提取网络，通过卷积层和池化层获取图像信息。不同的卷积神经网络模型性能不同。在面对人造木质板材这类复杂纹理表面的缺陷检测时，实际训练过程中选择使用CNN、VGG（visual geometry group network）作为特征提取网络，常常会出现梯度爆炸和过拟合的问题。为了解决这些问题，研究者提出了使用“残差块”结构来优化网络框架的方法，使得模型达到较好的性能[13]。

残差块的结构由1 个正常块加上1 个映射层组成。正常块沿用VGG 的卷积层设计，由2 个卷积层和1 个激活层组成。输入信号经过卷积层运算获得输出残差映射F(x)；残差块输入x还需要通过1 个映射层将输入映射到输出。如果输入与输出的维度不同，则需要在映射层引入额外的1×1 卷积进行维度统一。正常块输出F(x) 与映射输出x做加权运算，得到输出理想映射H(x)。本文将权重和偏置参数设成0，即恒等映射，如（1）式所示。

残差网络是由多个残差块串联组合而成，残差块映射的设计方式使得网络深度较大时不会出现梯度消失现象。由于使用了更深的网络，模型分类的准确度得以提升，残差块的映射方式还解决了深层次网络退化问题。在目前各种图像识别深度学习网络中，残差网络在图像特征提取方面的性能最为优秀[12]。

1.2 迁移学习特征映射

迁移学习是一种有效提升模型性能的深度学习模型训练方式，其可以同时根据不同的域和任务来选择使用不同的迁移学习方式。目前主要的迁移学习方式有样本迁移、特征迁移和模型迁移。

迁移学习是模型对任务参数与特征的继承过程（如图1 所示）。首先，使用理想状态下大量高质量标注数据（图1 中Dataset1）对原始模型进行训练，得到对该类图像具有优秀特征提取能力的模型；其次，将第1 次训练获得的模型参数继承；最后，将另一个较少样本数量但学习任务具有相关性的数据集（图1 中Dataset2）加载到模型进行进一步训练，获得分类结果表现较好的新模型。从以上流程可以看出，迁移学习利用了前后2 种数据之间的相关性，使得前一次训练模型获得的特征提取能力分享给后一次的训练模型。

图1 迁移学习特征映射的方法示意图Fig. 1 Schematic diagram of method for transfer learning feature mapping

迁移学习过程的重要特点是迁移学习的共享域。如果前后两个任务具有相关性，则它们的部分参数会相似，使得卷积运算中获取的特征也会相似。复杂纹理表面缺陷检测任务中，复杂纹理的类型不同但缺陷类型一致。所以该检测任务中的学习域相近并且任务相同，适合使用微调迁移学习。

本文选择引入迁移学习的方法，先使用大量高质量的仿真缺陷数据集对模型进行第1 次训练，使得模型获得对复杂纹理类表面缺陷的特征提取能力；再将模型迁移至由实际图像数据组成的小样本数据集进行迁移学习，使最终模型在该类人造木质板材复杂纹理上达到比直接使用真实小样本数据集训练更好的效果。

2 复杂纹理表面缺陷检测方法构建

为了应对实际应用中复杂纹理小样本数据存在的问题，本文提出的缺陷检测方法主要从数据集构建、深度学习模型优化和迁移学习方法应用这3 个部分进行有针对性的优化。数据集构建部分是根据实际检测要求和已有素材，构建真实数据集和规模较大的仿真数据集；深度学习模型优化部分，从网络构架和网络函数两个角度进行优化，使得模型获得更好的收敛能力；迁移学习部分，利用迁移学习的特征映射原理，从模型训练角度进行优化，使得模型在多次训练中获得较好的特征提取能力和泛化能力。

2.1 数据集构建

构建数据集是深度学习的必要环节。本文选用人造木质板材为样例数据集，以此验证复杂纹理缺陷检测问题。人造木质板材样本是通过机器视觉方式进行采集，复杂纹理表面在图像中呈现矩形，其花纹是由生产过程中机械通过算法随机生成，花纹具有随机性。数据集原始图片由3 个批次构成，单个批次的板材数量少于40 张。由于原始数据集数据量过少且单张人造木质板材的尺寸较大，直接输入的方式会导致模型无法获得足够的特征信息。为了使模型尽可能获得完整的缺陷信息，图像预处理部分采用图形图像学的方法对产品表面区域进行等比例像素切割（如图2 所示）。实际流水线上的原始数据集采集可能导致图像中，矩形复杂纹理表面区域与水平方向有一定角度，所以在切割前需要进行图像预处理将人造木质板材表面图像矫正成水平矩形。训练数据集（即真实数据集）是通过滑块切割的方式将原始数据集切割成若干块尺寸为512×512 像素的彩色图像。具体数据集规模如表1 所示。

图2 原始图像经过预处理制作成数据集Fig. 2 Data set preprocessed by original images

表1 真实数据集参数Table 1 Parameters of real data set

切割后的训练数据集不仅数量少，还存在样本中缺陷数量过少的问题。表1 的3 个批次共950张图片中，只有13 张图片存在缺陷，这使得模型在训练过程中极易出现过拟合现象。在训练深度学习模型时，通常认为数据集的规模过小会引起模型的过拟合问题并影响模型的泛化能力，所以一般数据集的规模在万张或者十万张以上，这种规模的数据集的标注需要花费大量人力物力完成。为了解决这一问题，本文基于迁移学习的特征映射原理，构建缺陷数学模型并使用算法自动生成缺陷仿真数据集，以此低成本地扩充数据集样本数量。

要想构建高质量仿真数据集，首先需要掌握实际人造木质板材的缺陷类型与缺陷特征。经过产业经验分类，实际人造木质板材的缺陷类型主要有表面油污、表面划痕、板材缺损和花色缺失（如图3 所示）。图3 中，对照图为人造木质板材表面可能出现的4 类缺陷与无缺陷情况的对比，缺陷部分以红色椭圆框体标注。

图3 4 组表面无缺陷与表面缺陷对比（红色虚线框标志部分为缺陷所在位置）Fig. 3 Comparison of four groups without and with surface defects, and red dotted line frame is location of defect

根据卷积神经网络原理，同种物体经过卷积层多次运算后采集的特征相近。那么可以假设各种缺陷的形成原理是一致的，单个缺陷的数学模型是相似的，生成的缺陷在卷积网络中获取的特征也一定是相似的。表面油污是机油意外溅落在人造木质板材表面，呈现散斑状。分析认为，实际复杂表面油污样本可以视为若干个单个油污斑块随机叠加而成。复杂表面油污可以表达为如（2）式所示的数学模型。

式中：Foil为生成的表面油污模型；Foil,i为第i个从真实表面油污样本数据抽取的简单的表面油污。Foil,i的中心坐标D(x,y)概率呈现二维正态分布情况，如（3）式所示。

式中：μ1、μ2、σ1、σ2、ρ均为常数。同理，真实情况下，表面划痕是人造木质板材被尖锐物体划破表面产生一道底板颜色的细条状缺陷。分析认为，表面划痕的形状是高度相似的，并且同批次人造木质板材的划痕缺陷色度分布情况是高度相似的。真实表面划痕缺陷的一部分也是表面划痕缺陷，复杂表面划痕可以表达为如（4）式所示的数学模型。

式中：Fscr为生成的表面划痕模型；Fscr,i为从真实表面油污样本数据库中随机抽取的简单的表面划痕样本；P是缺陷的矩阵位移量，表示将数据库中的表面划痕截取随机部分并旋转随机角度后，摆放在无缺陷人造木质板材图像的随机位置，以此生成仿真划痕缺陷图。

根据上述数学模型建立仿真表面油污和仿真表面划痕仿真数据集（如图4 所示）。首先，对真实数据集中的缺陷进行分离提取，构建真实缺陷图库；其次，根据数学模型生成具有相同特征的仿真缺陷；最后，通过图形图像学的方式在无缺陷图像上生成仿真缺陷图，并生成对应的标签文件。

图4 仿真数据集构建方法示意图Fig. 4 Schematic diagram of construction method for simulation data set

根据所采集到的图像，人造木质板材除了表面油污和表面划痕外，还存在板材缺损和花色缺失2 种缺陷。板材缺损是生成过程中冷压、热压、裁边等操作，导致板材边缘由于应力挤压而发生崩裂的情况，在矩形人造木质板材的边缘区域产生了缺口。花色缺失是机器打印表面花纹时，由于油墨变质或者打印机故障等原因导致的非正常打印，使得该部分纹理在色度上与正常纹理不一致。相比表面油污和表面划痕，板材缺损和花色缺失是在人造木质板材表面上形成的尺寸大、形状规则且区域色度与人造木质板材表面花纹差距较大的缺陷。在构建仿真缺陷时使用随机种子生成的板材缺损和花色缺失的区域，并且填充相应缺陷出现的像素，使得仿真缺陷获得与真实缺陷相同的特征，可以达到模拟真实缺陷的效果。

通过上述数据增强的方法，本文构建了一个由7000张仿真缺陷图片和6690 张无缺陷图片组合而成的仿真缺陷数据集。

2.2 残差网络模型

本文构建的检测方法使用GPU 进行训练，实验中深度学习使用Python 程序和Anaconda 进行环境配置，具体信息如表2 所示。为了解决小样本数据集的模型劣化问题，以及模型冗余带来的实际部署问题，本文选择从激活函数和网络深度两个方面去寻找平衡点。

表2 实验环境和具体参数Table 2 Experimental environment and specific parameters

深度学习网络的激活函数是使网络非线性分类的主要元素之一。针对人造木质板材这类复杂纹理表面的小样本缺陷检测，优化激活函数能够使模型拟合到更好的效果。传统激活函数ReLU如（5）式所示。

当卷积输入x处于负值时神经元失活，这导致数据量较少时容易出现过拟合现象。

为了解决这一问题，本文以训练数据集为测试数据，选择使用多个不同的激活函数代替ReLU 函数对其进行训练（如图5 所示）。其中函数Leaky-ReLU 在该数据集上的准确率（ACC）和损失值（LOSS）的表现明显优于其他激活函数，这是因为函数LeakyReLU 在负区间也存在一定梯度值，这避免了梯度消失的问题（如（6）式所示）。

图5 不同激活函数在测试数据集上的准确率和收敛比较Fig. 5 Comparison of accuracy and convergence of different activation functions on test data sets

式中：ai是（0, +∞）的固定参数，其大小影响Leaky-ReLU 在负区间的斜率。ai过大会导致激活函数在负区间失活，ai过小会导致模型难以收敛，合适数值的ai会使得LeakyReLU 的区域线性代表其计算量相比ELU 这类激活函数更小并且收敛更快。通常认为ai的理论最优值受到不同数据集或者不同任务的影响较大，需要对ai进行调参实验以获得理论最优值。经测试，ai为1e-2 时模型有优于其他参数的表现。

理论上，残差网络的深度越深对特征的提取越多，但到达一定深度时会达到饱和值。为获得合适的残差网络饱和深度，同样选择训练数据集对模型进行测试。如图6 所示，ResNet18、ResNet34、ResNet50 这3 种残差网络深度对于数据集的表现水平相近，不同网络深度的准确率上升速度近似，最大准确率也几乎相同，损失函数收敛情况相近，所以ResNet18 网络深度对于该类数据集已经达到饱和状态。

图6 不同网络深度在测试数据集上的准确率和收敛比较Fig. 6 Comparison of accuracy and convergence of different network depths on test data sets

综上所述，本方法构建了一个基于ResNet18优化的网络模型。如图7 所示，此改进网络由17个卷积层、3 个池化层和1 个全连接层组成。输入模块由1 个输入模块和平均池化层组成，输入图像信息通过简单的池化压缩，从RGB 三通道512×512像素图像压缩成三通道224×224 像素图像，有效提升单张人造木质板材的检测效率。汇聚模块由1 个步长为2 的7×7 卷积层和步长为2 的3×3 最大池化层组成，图像信息通过大卷积和最大池化转换成64 通道56×56 信息，从而达到优秀的特征汇聚效果。残差卷积部分由4 个阶层、每个阶层2 个残差块组成，每个残差块都由3×3 卷积层、激活层、映射层以及1×1 卷积组成。其中，残差块激活层选择LeakyReLU 激活函数提升负区间的活性，映射层选择使用恒等映射权重。分类模块由平均池化层和全连接层组成，残差块输出的信息通过平均池化层进行信息平均汇聚，再传递到全连接层进行分类。模型使用标准损失函数计算损失。

图7 改进ResNet18 模型结构示意图Fig. 7 Structure diagram of improved ResNet18 model

2.3 训练与迁移学习

迁移学习特征映射原理使得特征提取能力在不同的学习中可以继承。基于这一特性，可以将仿真数据集中获取的特征提取能力继承到真实数据集训练模型中。如图8 所示，该方法首先使用高质量仿真数据集对模型进行训练，以此增强模型对缺陷特征的提取能力，从而解决小样本训练时模型的劣化问题；其次，将模型的卷积层参数迁移到新的模型中，并使用样本数较少的真实数据集进行训练。图8 中，模型①为使用高质量仿真数据集进行训练获得的卷积层，模型②卷积层的参数与模型1 卷积层的参数相同。

图8 迁移学习方法Fig. 8 Schematic diagram of transfer learning method

测试过程中，为了验证仿真数据集在不同类别人造木质板材纹理检测的兼容性，仿真数据集使用的原始数据集与真实数据集为不同批次类别纹理，以此避免使用同一类型纹理时，可能带来的相似性导致的结果偏差。

3 实验与结果分析

3.1 检测系统性能

在工业检测的实际应用中，召回率（Recall）、精确度（Precision）、准确率（Accuracy）和检测时间（Time）是对于机器视觉检测系统优劣的主要评价指标。其中，召回率是系统正确归类所有缺陷板材的比例（（7）式）；精确度是正确归类为缺陷板材数量占所有归类为缺陷板材数量的比例（式（8））；准确率表示所有正确归类图像数量与数据集总数量的比例（（9）式）。

式中：TP 是系统正确归类为缺陷板材的数量；FP是系统错误归类为缺陷板材的数量；TN 是系统正确归类为正常板材的数量；FN 是系统错误归类为正常板材的数量。

检测系统的准确率测试中，使用了模拟数据集。所选择的数据集样本包括250 张带有缺陷的图片与250 张无缺陷图片组成训练集、105 张带有缺陷的图片与105 张无缺陷图片组成验证集、2450张带有缺陷的图片和350 张无缺陷图片组成测试集。测试结果如表3 所示，可以看出该方法对板材缺损、花色缺失这2 种缺陷能够达到全部准确检测，对表面油污、表面划痕这2 种缺陷该方法有较高准确率。该深度学习模型在人造木质板材表面缺陷检测中，准确率高且所花费时间较短，能够满足工业流水线实时检测需求。

表3 在模拟数据集上检测系统对四类缺陷的实验结果Table 3 Experimental results of four types of defects by detection system on simulated data sets

3.2 迁移学习性能

为验证提出的方法中迁移学习所体现的优势，对是否使用迁移学习进行了测试比较。真实测试实验从流水线上采集3 批次不同类型的人造木质板材图片并将其分为批次A、批次B 和批次C，以批次A 图片预训练改进ResNet18 网络模型，并与普通直接训练方法在批次B 和批次C 上进行实际场景对比验证实验：首先以批次A 的人造木质板材图片为基础训练集，使用模拟缺陷的方式制作批次A 的仿真人造木质板材数据集对模型进行训练，其中批次A 仿真人造木质板材数据集由1050张带有缺陷图片和对应的标签组成；再分别使用直接训练的方式或特征映射的方式验证模型在小规模批次B 人造木质板材图片和批次C 人造木质板材图片上的表现，其中经过简单数据扩充（旋转图片）的批次B 人造木质板材数据集由300 张无缺陷图片、50 张带有缺陷图片和对应的标签组成，经过简单数据扩充的批次C 人造木质板材数据集由300 张无缺陷图片、50 张带有缺陷图片和对应的标签组成。测试实验性能对比结果如图9 所示，蓝色实线代表模型使用迁移学习进行优化训练的平均准确率和损失值，红色虚线代表模型直接学习小样本数据集训练的平均准确率和损失值。结果表明，使用迁移学习的准确率曲线上升速度更快并达到98.77%，并且损失函数的收敛程度更高，明显优于使用小样本数据集进行直接训练的结果。

图9 迁移学习方法的准确率验证Fig. 9 Accuracy verification of transfer learning method

为了进一步验证本方法的优越性，实验同时引入多种深度学习网络在数据集上进行测验：密集连接神经网络DenseNet(Densely connected convolutional networks)通常被用于小样本学习中；经典轻量级网络SqueezeNet 和高效卷积神经网络Mobile-Net 常被应用于工业领域的图像分类问题。对比结果如表4 所示，可见，本文提出的方法准确率明显优于其他方法，并且较小的模型尺寸利于工业实际部署。

表4 本文方法与其他方法在真实数据集上的结果对比Table 4 Results comparison of proposed method and other methods on real data sets

4 结论

本文使用优化骨干网络和迁移学习特征映射的深度学习方法，解决了实际生产问题中复杂纹理表面缺陷检测遇到的样本数量少、数据集制作困难、相似问题难以互相兼容等问题。该方法通过优化残差网络模型提升对图像特征的提取能力，同时使用仿真数据集对模型进行迁移学习，有效提升了检测准确率，并满足实际部署的实时性和简易性。实验结果表明，本文构建的方法在面对人造木质板材等复杂纹理产品表面缺陷检测具有较高的准确率，同时对训练数据集的规模要求较低，满足实际工业应用的需求。