基于少量缺陷样本的带钢表面缺陷检测方法

摘要：带钢在生产过程中受到工艺或设备等原因的影响，在表面产生了压伤、滴焦油等缺陷。提出了一种只需要少量的缺陷样本来训练生成对抗网络模型。模型通过学习大量的无缺陷图像数据分布特征，再引入少部分的缺陷图像来进行对比，模型可以学习到有无缺陷图像的分布情况和有缺陷图像的分布情况更有利于缺陷检测。为了使模型稳定，在损失函数中添加抽离项和多样性比因子。并加入优化特征的范数来稀疏模型从而减少无用特征的干扰。本文提出的方法对带钢表面缺陷检测的精度达到了95%。

关键词：缺陷检测图像处理生成对抗网络支持向量机

中图分类号：TH741.3

Surfacedefectdetectionmethodforstripsteelbasedonafewdefectsamples

LIAimei1WANGFang1YUJing1LIUJiwei1WANGShuopung2

1.TianjinCollege，BeijingUniversityofScienceandTechnology，Tianjin301811China;2.SchoolofInformationEngineering，TianjinUniversityofCommerce，Tianjin300134China

Abstract：Duringtheproductionprocess，stripsteelisaffectedbyfactorssuchasprocessorequipment，resultinginsurfacedefectssuchascrushanddropstar.Thegenerativeadversarialnetworkmodelisproposedthatonlyrequiresafewdefectivesamplestotraining.Themodellearnsthedistributioncharacteristicsofalargeamountofdefect-freeimagedata，andthenaddsafewdefectimagesforcompvUPRz8d2PSKJFi/7WA9ASw==arison，themodelcanlearnthedistributionofdefect-freeimagesanddefectiveimages，whichismoreconducivetodefectdetection.Inordertoimprovethestabilityofthemodel，thepull-awayterm（PT）anddiversityratiofactorsareaddedtothelossfunction.Andaddthenormofoptimizedfeaturestosparsethemodelandreducetheinterferenceofuselessfeatures.Themethodproposedachievesanaccuracyof95%forsurfacedefectdetectionofstripsteel.

Keywords：Defectdetection;Imageprocessing;Generativeadversarialnetworks;Supportvectormachine

带钢作为汽车制造业、航空航天等多个行业的重要材料，带钢表面的质量对于带钢产品至关重要。随着深度学习的不断发展，基于深度学习的机器视觉检测技术广泛应用到生产生活中。生成对抗网络（GenerativeAdversarialNetworks，GAN）只需要输入随机噪声就可以模拟样本的分布。深度卷积生成对抗网络（DeepConvolutionalGenerativeAdversarialNetworks，DCGAN）。通过改变激活函数和添加BatchNormalization层很好地改善了梯度爆炸和网络不稳定性的问题[1]。在实际的生产过程中，会面临缺陷种类多、数据收集困难的问题。贾东鑫等人[2]提出了基于深度学习的热轧带钢表面缺陷检测方法，该方法以MaskR-CNN网络为基础，对只有5～8张训练数据的缺陷类型能够准确判断其缺陷，实验取得准确率为98%的效果。沈春光等人[3]仅利用了1022个样本数据集来训练SSD模型，并高效完成了带钢表面的缺陷检测。KIMSH等人[4]只利用正样本训练生成对抗网络对CIFAR-10数据集进行个性化图像检索。KALYANSY等人[5]根据采集的卫星图像，利用生成对抗网络和一分类支持向量机对采集的图像进行伪造检测，检测图像场景中是否存在添加或移除的对象。SCHÖLKOPFB等人[6]通过最大化数据与原点之间的决策边界来获得一分类支持向量机（One-classSupportVectorMachine，OC-SVM）的缺陷检测模型。该模型通过优化函数找到一个决策边界来划分正常样本和异常样本。本文提出了基于少量缺陷样本的带钢表面缺陷检测方法。模型通过对比学习有缺陷图像和无缺陷图像的分布使得模型更好的模拟样本的分布情况。通过修改模型提高特征的质量，将从判别器提取的特征送入到一分类支持向量机进行训练，最后检测出缺陷的位置。

1研究方法

1.1模型框架

根据带钢的缺陷微小和与背景相似的特点，通过利用生成对抗网络深度学习网络来提取带钢的图像的特征。再将这些特征送入到一分类支持向量机当中进行缺陷检测。系统通过优化模型的损失函数来获取更好的特征。GAN网络生成器输入随机噪声z来生成缺陷图像。判别器通过输入大量的无缺陷图像和小量有缺陷图像使模型学习到样本的特征分布情况。通过将判别器提取的特征送入到一分类支持向量机当中进行缺陷检测。图1为基于少量缺陷样本的带钢表面缺陷检测算法框架，其中实线箭头代表训练过程，虚线箭头代表的是测试过程。

1.2模型损失函数

为了获得更好的图像特征和提高模型的稳定性，对生成对抗网络模型的损失函数进行优化。

在本文中训练生成对抗网络是为了使模式能够模拟出图像的特征分布情况，并且提取判别器的全连接层特征，送到OC-SVM中进行缺陷检测。生成对抗网络容易出现模型不稳定等问题，主要通过修改模型的损失函数来提高模型的稳定性，减少出现模型过拟合的概率。通过优化模型的损失函数、模型的范数和模型的网络结构来提升模型稳定和改善模型崩塌的问题。为了使生成器和判别器达到一个平衡的状态，引入一个超参数gamma的定义为[7]。gamma参数设置过低会导致生成缺陷的种类减少，此外gamma对生成图像的边界细节也会产生影响。经过修改后判别器的损失函数和生成器的损失函数分别为：

式（1）和式（2）中：为无缺陷样本；为有缺陷样本。判别器损失函数中的gamma参数，该参数主要是为了使判别器和生成器能够在对抗学习中达到平衡的状态。L1范数也称为“稀疏规则算子”（LassoRegularization）[8]，主要任务是对向量的元素求绝对值之和。通过加入L1范数来优化提取的特征，减少无用特征的干扰。

生成器损失函数中的项可以有效地改善模型崩塌的问题。当设，的时候，可以获得最好的实验效果。

2实验

本次实验采集的图像采用单色线性阵列相机。数据集中包含1万张无缺陷图像和约200张有缺陷图像包含11种类型的缺陷，由于缺陷大小不一样，所以图像没有固定尺寸。实验选择的局部小块图像的大小为32x32，图像重叠率为50%。训练GAN模型设置的参数为：学习率设为0.001，训练的epoch为8000次，采用Adam优化器，dropout率设为0.5，batchsize设为64。在训练次数达到8000次的时候，图像种类变得更多，基本上与输入的缺陷图像类似，说明模型基本能够模拟出图像的分布特征。

为了验证检测算法的效果，将本文方法与KIMSH等人[4]和KALYANSY等人[5]两种基于深度学习的方法进行比对。检测效果如图2和对精度（Pr），召回率（Re），F-测度（Fm）进行了统计表1所示。Kim方法在训练GAN模型的时候仅使用了正样本来训练模型，检测结果如图2（a2）-（f2）所示。由于模型只学习正样本特征，检测出现许多误检情况。Kalyan等人主要通过掩码模板来确定缺陷位置，检测结果如图2（a3）-（f3）所示。Kalyan方法检测精度对比Kim方法有所改善，但是检测精度也只能达到76.1%。以上这两种方法在训练阶段均只使用了正样本来训练模型，导致模型较容易出现过拟合的问题容易出现许多误检的情况。对比以上两种方法，本文提出的基于少量缺陷样本生成对抗网络的方法提取的特征有更强的表征能力，获得较好的检测效果检测结果如图2（a4）-（f4）所示。在图中可以看到所有缺陷区域均能够检测出来，通过表1发现，本文所提出的方法精度为95.9%，召回率为94.8%和F-测度为95.1%，并且对滴焦油缺陷的检测效果最好。

3结论

针对带钢缺陷种类繁多，样本不齐全的问题，在本文提出的基于少量缺陷样本的带钢表面缺陷检测算法，在充分利用无缺陷样本的情况下，只需要少量的缺陷样本就能获得很好的检测效果。针对生成对抗网络模型不稳定的问题，通过在生成器中添加抽样因子和判别器中添加抽离项来平衡模型，提升模型的稳定性。在判别器的损失函数中添加了L1范数，有效减少了无用特征的干扰。最后利用OC-SVM来进行分类和检测。实验结果表明该方法取得较好的缺陷检测效果。

参考文献

[1]WANGYL，ZHANGYL，ZHENGL，etal.UnsupervisedLearningwithGenerativeAdversarialNetworkforAutomaticTireDefectDetectionfromX-rayImages[J].Sensors，2021，21（20）：6773-6773.

[2]贾东鑫，姚剑敏，严群，等.基于小样本深度学习的热轧带钢表面缺陷检测[J].信息技术与信息化，2023，（6）：182-185.

[3]沈春光，李虎威，荆涛，等.基于深度学习的带钢表面缺陷检测在小样本数据集的应用[J].轧钢，2022，39（2）：82-86.

[4]KIMSH，KIMHJ，KIMJY.GAN-BasedOne-ClassClassificationforPersonalizedImageRetrieval[C]//IEEEInternationalConferenceonBigData&SmartComputing.IEEE，2018.

[5]KALYANSY，DAVIDG，PAOLOB，etal.SatelliteImageForgeryDetectionandLocalizationUsingGANandOne-ClassClassifier[J].ElectronicImaging，2018，2018（7）：214-1.

[6]SCHÖLKOPFB，PLATTJC，SHAWE-TAYLORJ，etal.Estimatingthesupportofahigh-dimensionaldistribution[J].Neuralcomputation，2001，13（7）：1443-1471.

[8]CONGH，JUNXW，YONGZL.Generatingadversarialexampleswithelastic-netregularizedboundaryequilibriumgenerativeadversarialnetwork[J].PatternRecognitionLetters，2020，140：281-287.

[9]Commentary：ChallengesinStatisticalMachineLearning[J].StatisticaSinica，2006，16（2）：307-321.