基于小样本学习的钢板表面缺陷检测技术

李钧正 殷子玉 乐心怡

摘要：近年来，数据驱动的缺陷检测技术在工业部门得到了初步应用，提升了生产智能化的水平，但是受制于训练样本不足、检测精度较低的问题，这种方法目前仍然难以进一步推广。因此，本文提出了一种数据驱动的钢板表面缺陷检测技术。针对训练样本不足的问题，采取数据增强方法增广数据集。针对检测精度较低的问题，采取层次结构模型方法提升缺陷检出率。试验证明，所提出的方法能有效检出缺陷，并且已经在生产线上部署，其准确率在95%以上。

关键词：缺陷检测；卷积神经网络；层次结构模型；数据增强；小样本学习

中图分类号：TP181文献标识码：ADOI：10.19452/j.issn1007-5453.2021.06.009

合金钢材料被广泛应用于航空航天、汽车工业、国防工业等各个领域，其性能的稳定性对于产品安全具有重大意义[1]。尽管现代航空工业已逐步采用铝合金、钛合金、复合材料等先进材料，但是作为一种廉价、高强度、高韧性、耐热的传统材料，合金钢在飞机结构件、叶片、蒙皮等部位仍有广泛的应用。钢板是合金钢的一种中间工业产品，然而，在钢板的生产过程中，由于环境因素、原材料成分、轧制工艺等原因，常常产生各类缺陷，如边线、边裂、气泡等。这些缺陷对于钢板的耐磨性、抗腐蚀性、疲劳强度等都会产生负面影响[2]，从而最终影响到成品飞行器的性能。实际生产情景下，通常会部署缺陷检测工序来对钢板产品进行检测，并按照其性能分级。

钢板的缺陷以表面缺陷为主[3]。传统的钢板缺陷检测方法多以人工目检为主。这种方法因影响工人健康、检测效率低、误检率高等原因，已被自动化视觉检测系统所取代。目前的钢板缺陷检测系统主要采用人机协作框架，检测程序能够判断大多数缺陷，仅当检测程序不能确定钢板质量时，需要对其进行人工检查。

针对检测程序，在20世纪末，已经形成了较为成熟的基于特征工程和统计信息的钢板缺陷检测技术[4]。这一类方案常需要专家对每一种缺陷设计特定的特征提取器。当所生产的钢板品种、光照条件等因素发生变化时，必须要修改或重新设计特征提取器，否则其算法的性能将快速下降。这一类方案由于精度不高，需要大量专家先验信息，不能适应我国航空工业对于多品种、小批量生产的需求，亟待提出一种具有更高柔性和可靠性的新型缺陷检测方案。

随着深度学习的快速发展，数据驱动的缺陷检测方法越来越多地取代了传统基于特征工程的方法[5-8]。这种方法不再需要烦琐的特征工程，并且对于环境变化的鲁棒性也有较大的提升，具有快速部署的优势。但是，当深度学习应用于缺陷检测领域时，往往存在训练样本不足的问题。工业缺陷很少发生，而且缺陷的种类多种多样，因此，在这样的不平衡小样本数据集上训练神经网络，容易造成过拟合的问题，其泛化性弱，难以实际应用。

深度学习应用于缺陷检测的另一个难点是精度问题。一方面是由于数据集小且不平衡，另一方面是由于深度学习的机制尚未研究清楚。尽管相比于传统特征工程方法，深度学习的精度相对较高，但是仍然需要人的协助。如何进一步从模型的方面提升精度，仍然是一个开放性的问题。

针对上述问题，在广泛调研钢板表面缺陷视觉检测领域的相关方法后，本文提出了一种新颖的小样本学习技术框架。该框架采取了数据增强、层次结构模型等方法大大提升了深度学习系统的性能。该技术已经应用于实际生产线上，其精度在95%以上。

1检测流水线框架与数据集

1.1缺陷检测设备

钢板缺陷检测流水线宽度为4m，在流水线上方和下方布置龙门架，等间隔分别安装10台工业相机，用于拍摄钢板两面的缺陷情况，其分辨率为1280×800px。这10路相机以视频流的形式输出到边缘服务器上进行计算。现场端将现场工艺参数和边缘服务器所输出的缺陷信息上传到材料资源计划系统（MRP）云端，由质检员鉴别难以分辨的缺陷，并依据缺陷的种类和数量对产品钢板進行分级。

现场端的边缘计算服务器有三个角色，分别是：（1）依据内置的算法进行缺陷检测，将缺陷的位置、种类上传到MRP云；（2）对于算法难以鉴别的缺陷，将局部图片上传到MRP云，由质检员鉴别；（3）滚动存储最近进行检测的历史图片，以提供给机器学习专家进一步优化缺陷检测算法。整个缺陷检测设备系统的示意图如图1所示。

1.2钢板常见缺陷

对于钢板品质影响较大的缺陷主要是边线、边裂、气泡三种缺陷（见图2）。这三种缺陷所出现的位置各有不同。边线和边裂缺陷只分布于边缘，由靠近边缘的两台相机捕捉。气泡缺陷主要分布于内部，由5台相机共同捕捉。其中边线和边裂出现的频率更高，且对于产品品质的影响更大。

1.3数据集

钢板制造过程中出现缺陷的频率低。在设计深度学习缺陷检测模型时，生产线已经部署了基于特征工程的缺陷检测系统。该系统可以粗略筛选掉大量无缺陷样本。针对筛选所得的缺陷样本进行标注，复核后划分为训练集和测试集。

缺陷检测模型包含三个层级神经网络，分别是：（1）内部—正常边—缺陷边的三分类器；（2）气泡的目标检测器；（3）边线、边裂的目标检测器。

针对内部—正常边—缺陷边的三分类器，训练集包括4000张内部照片、2500张缺陷边照片、900张正常边照片；测试集包括472张内部照片、538张缺陷边照片、359张正常边照片。

针对气泡的目标检测器，训练集包括67张气泡照片，测试集包括10张气泡照片。

针对边线、边裂的目标检测器，训练集包括1400张边线照片、1400张边裂照片；测试集包括100张边线照片、100张边裂照片。

2深度学习模型

构建深度学习模型以完成钢板边线、边裂和气泡的缺陷檢测任务，其检测流程如图3所示。缺陷检测过程分为两个阶段，首先是对从现场采集的图片进行分类，鉴别出正常边、缺陷边和内部。接着，依据分类阶段所得到的不同分类结果，执行不同的缺陷定位模型。对于正常边，由于其不包含缺陷，无须进一步进行缺陷定位。对于缺陷边，在其上执行SSD-边深度模型，即一个用来检测边线、边裂的目标检测器，对缺陷边进行更为详尽的分类，并给出坐标。对于分类结果为内部的图片，执行SSD-气泡深度模型，如果检出气泡，则按做气泡缺陷记录；如果未检出，则按做正常记录。训练过程采用预训练保证泛化性，特别地，由于气泡缺陷数据集小，在训练SSD-气泡深度模型时，还引入了数据增强技术以进一步保证泛化性。

2.1层次结构模型

各个缺陷种类非常不平衡，主要表现在气泡缺陷非常稀少。如果采用单一的分类模型或单一的目标检测模型，则气泡缺陷作为非常见种类，可能无法被神经网络正确地学习和识别。此外，气泡的纹理结构与其他缺陷相似，也会给识别带来较大的困难。因此，需要单独构建用来识别气泡的神经网络模型。类似地，考虑到边线和边裂具有相似的纹理结构，同样采用单独的一个神经网络来区分边线和边裂。

上一节讨论了三类缺陷在钢板上分布的位置，即气泡通常出现在边的内部，边线和边裂只出现在边上，在设计层次结构模型的时候参考这个规律也能够降低误检率，提高检测效率。

综上所述，使用一种先粗检后细检的层次结构神经网络模型，其结构如图4所示。

2.2数据增强

尽管神经网络在视觉领域取得了许多进展，但是如何在小样本数据集上训练具有良好泛化性的模型仍然是一个开放性的问题。针对小样本学习，数据增强是一种常用手段[9-12]。数据增强主要包括对像素的线性变换或对特征的对抗生成（GAN）方法。线性变换主要包括旋转、裁剪、翻转等。

GAN方法通过对抗训练两个神经网络，即生成器和判别器，然后利用生成器来扩充数据集。

注意到在钢板缺陷检测任务中缺陷数据量较小，气泡缺陷更是十分罕见。因此首先在67张气泡数据集上，通过训练一个WGAN-GP[13]网络，将气泡样本扩充到4000张，平衡了气泡回归网络中正常内部-气泡的数据量。WGANGP所生成的气泡缺陷样本如图5所示。然后将全部数据集进行翻转，加高斯噪声，以改变亮度的方法进行增强，将数据集扩充至6倍，其效果如图6所示。试验表明，联合应用像素级和特征级的数据增强提升了钢板缺陷检测模型的泛化性。

2.3预训练与骨干网络

在训练一个神经网络时，通常会加载一个预训练的模型作为特征提取层[14-15]。这种手段能够提升模型泛化性和训练速度。

对于分类器网络，选择Inception网络[16]作为分类网络，因为它具有较高的准确性和较快的速度。除了卷积网络的最后一层和全连接层以外，加载了ImageNet预训练模型的全部参数。特别地，针对钢板缺陷检测问题，修改全连接层的网络结构，实现了“内部”“正常边”“缺陷边”的三分类问题。

对于回归网络，采用SSD网络[17]的架构来实现。SSD网络采用直接回归的方法来检测对象，在速度和准确度上都有显著的优势。SSD采用VGG16作为骨干网络，从输入图像中提取特征。SSD在VGG16之后增加了6个辅助卷积层，以提取更多的特征图用于检测。然后在多层次的特征图上生成不同尺度的预测框，以检测各种尺寸的缺陷。对于每个对应的默认边界框，其与真实标签的交并比大于0.5则认为匹配度为正。之后，通过每个正向默认框中的4个偏移生成预测边界框，并保留前若干预测。最后，通过非极大值抑制进行过滤，并给出结果。

3试验与分析

3.1分类网络

对于分类器网络，加载Inception[16]模型在ImageNet预训练的参数，并在钢板缺陷数据集上训练。模型的具体结构参数见表1。以包含472张内部照片、538张缺陷边照片、359张正常边照片的测试集进行测试，其结果见表2，分类准确率在95%以上。

3.2回归网络

对于回归网络，使用SSD模型以及预训练VGG16骨干网络，其网络结构见表3。在钢板缺陷训练集上训练，并在10张气泡照片、100张边线照片、100张边裂照片的测试集进行测试，重叠区域交并比（IoU）阈值使用0.5。在此IoU阈值下，使用不同的检测阈值测定其精确率-召回率曲线（见图7），然后计算平均精度（见表4）。

3.3综合验证与生产线部署

为了进一步验证带有数据增强的、包含分类和回归两阶段的深度模型的漏检、误检情况，首先基于概率对误检率、漏检率进行初步估计。由于基于概率的估计，其计算过程需要给定缺陷率，而缺陷率与掺杂、工艺等因素密切相关，所以这种估计方法是相对粗略的。取气泡、边线、边裂的缺陷率分别为2%、10%、10%。计算可得整个检测系统的误检-漏检曲线如图8所示。图8中，边缺陷的曲线都不与坐标轴相交，这是因为在缺陷分类阶段，有4%左右的缺陷被错误地分类，进一步提示误检和漏检的主要原因产生在层次结构模型中Inception分类器模型。因此，如何更准确地分类是后续进一步继续提升精度的重点研究内容。

同時，该方法的有效性也可以从生产线部署的角度验证。在生产线上部署该检测系统，一些检测到的缺陷如图9所示。每10路工业相机连接至一台服务器。其检测平均速度约为4FPS，符合工业需求。对于所提示的置信度70%以下的缺陷采取人工复检，相比较于上一代基于特征工程的缺陷检测方法，极大降低了质检员的劳动负荷，提升了工厂的缺陷检测智能化水平。

4结束语

针对钢板缺陷检测领域使用传统特征工程和统计特征进行缺陷识别的方法，本文提出了一种新的基于小样本机器学习的检测系统。所提出的方法综合使用了数据增强、层次结构模型等方法解决了样本不足和模型泛化性弱的问题，达到了95%以上的精度，大大降低了质检员的工作强度并提升了工厂的缺陷检测智能化的水平。

参考文献

[1]薄鑫涛.航空航天等工业用超高强度钢的相关知识[J].热处理， 2019， 34（5）：61-63. Bo Xintao. Knowledge about ultra-high strength steels for aerospace and other industries[J]. Heat Treatment， 2019， 34（5）： 61-63. （in Chinese）

[2]郭联金，罗炳军. PNN与BP神经网络在钢板表面缺陷分类中的应用研究[J].机电工程， 2015， 32（3）：352-357. Guo Lianjin， Luo Bingjun. Application of PNN and BP neural network in the classification of steel plate surface defects[J]. Mechatronics Engineering， 2015， 32（3）：352-357. （in Chinese）

[3]程万胜.钢板表面缺陷检测技术的研究[D].哈尔滨：哈尔滨工业大学，2008. Cheng Wansheng. Research on surface defect detection technology of steel plate[D]. Harbin：Harbin Institute of Technology，2008.（in Chinese）

[4]吴平川，路同浚，王炎.机器视觉与钢板表面缺陷的无损检测[J].无损检测， 2000， 22（1）：13-16. Wu Pingchuan， Lu Tongjun， Wang Yan. Machine vision and nondestructive inspection of steel plate surface defects[J]. Nondestructive Testing， 2000， 22（1）：13-16. （in Chinese）

[5]顾佳晨，高雷，刘路璐.基于深度学习的目标检测算法在冷轧表面缺陷检测中的应用[J].冶金自动化， 2019， 43（6）：25-28. Gu Jiachen， Gao Lei， Liu Lulu. Application of deep learningbased target detection algorithm in cold rolling surface defect detection[J]. Metallurgical Automation， 2019， 43（6）：25-28. （in Chinese）

[6]杨宇，王彬文，吕帅帅，等.一种基于深度学习的复合材料结构损伤导波监测方法[J].航空科学技术，2020，31（7）：102-108. Yang Yu，Wang Binwen，Lv Shuaishuai，et al.A deep-learningbased method for damage identification of composite laminates[J].Aeronautical Science & Technology，2020，31（7）：102-108.（in Chinese）

[7]赵杨超，李艳军，曹愈远，等.基于K-means聚类的航空复合材料敲击检测研究[J].航空科学技术，2019，30（10）：45-49. Zhao Yangchao，Li Yanjun，Cao Yuyuan，et al. Study on percussion detection of aerospace composite materials based on K-means clustering[J].Aeronautical Science & Technology，2019，30（10）：45-49.（in Chinese）

[8]夏立群，王可.基于PNN网络的余度作动器智能故障诊断[J].航空科学技术， 2014， 25（1）： 73-78. Xia Liqun，Wang Ke. Redundant actuator intelligent fault diagnosisbasedonPNN[J].AeronauticalScience& Technology， 2014，25（1）：73-78. （in Chinese）

[9]Fiore U，De Santis A，Perla F，et al. Using generative adversarial networks for improving classification effectiveness in credit card fraud detection[J]. Information Sciences，2019，479：448-455.

[10]Huang Z，Yu Y，Xu J，et al. PF-Net：Point Fractal Network for 3D Point Cloud Completion[C]//Proceedings of the IEEE/ CVF Conference on Computer Vision and Pattern Recognition，2020：7662-7670.

[11]Zhang H，Chen Z，Zhang C，et al. Weld defect detection basedondeeplearningmethod[C]//2019IEEE15th InternationalConferenceonAutomationScienceand Engineering（CASE）. IEEE，2019：1574-1579.

[12]Le X，Mei J，Zhang H，et al. A learning-based approach for surface defect detection using small image datasets[J]. Neurocomputing，2020，48：112-120.

[13]Gulrajani I，Ahmed F，Arjovsky M，et al. Improved training of wasserstein gans[C]// Advances in Neural Information Processing Systems，2017：5767-5777.

[14]Donahue J，Jia Y，Vinyals O，et al. Decaf：a deep convolutional activation feature for generic visual recognition[C]// International Conference on Machine Learning，2014：647-655.

[15]Sharif Razavian A，Azizpour H，Sullivan J，et al. CNN features off-the-shelf：an astounding baseline for recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2014：806-813.

[16]Szegedy C，Ioffe S，Vanhoucke V，et al. Inception-V4，inception-ResNet and the impact of residual connections on learning[C]// Proceedings of the Thirty-First AAAI Conference onArtificial Intelligence，2017：4278-4284.

[17]Liu W，Anguelov D，Erhan D，et al. SSD：single shot multibox detector[C]//European Conference on Computer Vision. Springer，Cham，2016：21-37.

（責任编辑皮卫东）

Surface Defect Detection for Steel Plate with Small Dataset

Li Junzheng1，Yin Ziyu2，Le Xinyi1

1. Shanghai Jiao Tong University，Shanghai 200240，China 2. Software Engineering Institute of Guangzhou，Guangzhou 510990，China

Abstract： In recent years， data-driven defect detection technology has been initially applied in the industrial sector to improve the level of production intelligence. However， this method is still difficult to be further promoted due to the problem of insufficient training samples and low detection accuracy. Therefore， in this paper， a data-driven surface defect detection technology for steel plates is proposed. To address the problem of insufficient training samples， the data augmentation method is adopted to increase the dataset to ensure the generalizability of the model. To address the problem of low detection accuracy， a hierarchical model is adopted to improve the precision. Experiments prove that the proposed method can effectively detect defects. And it has been deployed in the production line with an accuracy of more than 95%.

Key Words： defect detection； convolutional neural network； hierarchical model； data augmentation； small sample learning