基于机器视觉的金属丝网缺陷识别方法

陈东亮，师素双，房立庆，蔡猛，师占群

基于机器视觉的金属丝网缺陷识别方法

陈东亮1，师素双1，房立庆1，蔡猛2，师占群1

（1.河北工业大学 机械工程学院，天津 300130；2.中国民航大学 机械工程学院，天津 300300）

提升金属丝网的检测效率与检测精度。提出一种应用于金属丝网表面缺陷识别的EfficientNetV2改进网络，首先更改了网络的骨干结构，在特征提取模块前后分别引入通道拆分与通道转换等操作，以增大网络容量，提高特征利用率；其次重新设计网络的分类器，通过对提取的高级语义信息进行逐层分步压缩，以减小特征损失，提高分类精度；最后搭建图像采集系统，构造金属丝网缺陷数据集。实验结果表明，文中改进的网络模型在数据集上的准确率、精确度和特异度分别达到99.43%、99.42%和99.88%，图像识别耗时为27.5 ms，增强了缺陷识别效果。该方法具有较高的准确率，在金属丝网缺陷检测上具有较好的实用性，也可为其他类似产品的缺陷检测提供参考。

缺陷检测；深度学习；EfficientNetV2；金属丝网；迁移学习

产品质量至关重要，它代表着企业的信誉，只有高质量的产品才能长期在市场上取胜[1]。在包装行业，金属丝网作为热收缩包装机的重要组成部分，其质量影响产品的包装效果，因此，对金属丝网表面缺陷精准识别是产品生产过程中不可或缺的一环，对保证金属丝网的生产质量具有重要意义。

目前，国内大多采用人工目测的方式对金属丝网进行缺陷检测与识别，不仅检测效率低、强度高，而且难以满足高效的生产需求。随着人工智能在计算机视觉领域的广泛应用，机器学习和深度学习被广泛应用于物体检测与图像分类[2]。针对丝网的早期检测研究[3]，前人大多采用图像处理与机器学习的方法对丝网进行质量检测，雷洋等[4]结合现代图像处理，提出了一种试验筛网经丝和纬丝夹角的自动检测方法。王延年等[5]提出了一种基于傅里叶变换和改进阈值分割的印刷丝网布疵点的检测算法，实现了对常见缺陷的快速检测。许悦等[6]提出了一种网片缺陷在线检测及分类方法，实现了对3种缺陷进行分类。虽然传统的机器学习方法有效地避免了人工检测的弊端，但是上述的方法都需要针对不同的任务手工制作不同的特征，因此模型的泛化性能低。

如今，卷积神经网络已广泛应用于图像分类、对象检测和图像分割等任务[7]。相比于传统的图像处理方法，卷积神经网络可以发挥其自动学习的优势，避免了复杂的手工设计特征，在工业[8-9]、农业[10-11]、医疗产业[12-13]等领域均有所应用。基于此，Li等[14]设计了一种检测织物缺陷的网络结构，与主流网络相比，模型小、分类准确度高。Chakraborty等[15]构造了印花织物缺陷库，并应用深度卷积神经网络对印花织物进行缺陷检测。He等[16]提出了一种新的基于卷积神经网络的分层学习框架，用于热轧缺陷分类。为了实现可靠的分类，Habibpour等[17]引入了不确定性估计，提出了铸件缺陷检测的不确定性感知深度学习框架，增强了铸件生产质量的保证。考虑到丝网缺陷的多样性、变化性以及训练数据相对较少等情况，为加快网络的拟合速度，可以使用迁移学习[18]进行网络训练。Cheng等[19]提出了一种新的基于迁移学习的表面缺陷检测方法，有效地解决了缺陷类别不平衡分布的问题。Ragb等[20]提出了一种基于深度卷积神经网络的算法来帮助从超声图像中准确识别乳腺癌，并通过迁移学习加快了收敛速度。Hohlfeld等[21]针对啤酒瓶分类问题提出了一种深度学习模型，达到了100%的准确率。尽管深度学习在公共数据集以及工业场景的分类问题上取得了很好的结果[16]，但是尚未发现其在金属丝网缺陷检测中的应用。

为此，文中在EfficientNetV2[22]网络的基础上，提出一种应用于金属丝网表面缺陷识别的方法。通过加入通道拆分与通道转换等结构，对网络骨干进行重新布局，以增强网络对特征的提取能力。调整网络分类器的结构，以减小特征损失的同时增强网络分类精度。搭建图像采集系统，构建金属丝网缺陷数据集并进行相应实验，获得较好的识别效果。

1 网络模型

图1为典型的卷积神经网络结构，其中卷积层的数学表达式为：

式中：为输出；f、k和b分别为第个通道上的特征图、卷积核与偏差；*为卷积操作。通常使用Relu作为激活函数，表达式为：

式中：为卷积层的输出。最大池化层数学表达式为：

式中：为区域内的最大值；R为第（，）个池化区域。

由于金属丝网表面缺陷复杂多样，简单的卷积神经网络结构对其进行缺陷识别的效果不佳，故提出了一种基于EfficientNetV2网络的改进模型。

图1 典型卷积神经网络结构

1.1 EfficientNetV2网络模型介绍

EfficientNetV2网络的基本结构见图2a，该网络由大量的倒残差结构组成。图2b为MBConv模块，该模块通过点卷积、深度卷积、通道注意力机制等卷积运算，对输入的特征图进行增维、特征提取、自适应通道权重、降维等操作，不仅减少了网络的运算量，也增强了网络的特征提取性能。此外，当深度卷积步长为1且倒残差结构中输入与输出维度相同时，主分支与捷径分支的和将作为下一步操作的输入。虽然深度卷积理论上计算量很小，但在浅层网络中应用会使训练速度变慢，故引入Fused–MBConv结构，见图2c。该结构将MBConv模块中的深度卷积和点卷积替换成了卷积核为3×3的卷积层，通过此操作可以提取更多细节信息并提升准确率。倒残差结构中的SE为简单有效的注意力模块，结构见图3。该模块通过压缩操作，将特征图压缩为1×1×向量，在经过激励操作后得到各通道权重，最后原有特征向量与通道权重相乘，以突出不同通道的重要性。

此外，为了避免模型过拟合，在倒残差结构中引入Dropout和批规范化（Batch Normalization，BN）策略。Dropout以一定概率随机失活神经元，得到更加精简的网络模型。各个神经节点的输入为：

式中：以渐进学习方法进行赋值。

BN策略就是对数据做批规范化处理，以缓解梯度消失现象，加快网络收敛速度。算法表达式为：

式中：和为可学习的参数；为趋近于0的常数；y为x处理后的值。

图2 EfficientNetV2结构

Fig.2 EfficientNetV2 structure

注：为Fused–MBConv；为MBConv。

图3 SE注意力模块

1.2 网络骨干改进

EfficientNetV2网络骨干由图2b、c所示模块堆叠而成，特征提取模块中虽然存在倒残差结构，但整个网络深度过深，以至于提取的特征信息利用效果不佳，并且网络存在密集卷积以及特征图元素相加等操作，导致运算成本增加，影响模型精度，因此，为提高特征的利用率，增强网络的运行速度与识别精度，对网络骨干进行改进。首先在各个特征提取模块之前增加了通道拆分操作，将特征通道拆分为2个分支，一个作为捷径分支，另一个作为主分支进行卷积操作提取特征信息。其中一半的特征通道直接连到下一模块，从而实现特征重用以获得较高的精度。之后将2个分支输出的特征图沿着通道方向进行拼接，代替了特征图元素相加的操作，从而减小模型运算成本、提高运行速度。最后应用通道转换操作，即将合并的2个分支通道各划分为若干个子组，然后将不同子组按顺序进行填充，以实现各通道之间的信息交流。特征图通道操作流程见图4。改进后的特征提取模块见图5a、b，其中3×3卷积步距全为1。空间下采样模块见图5c，特征图经过2个卷积分支分别进行特征提取，之后再合并2个分支特征，其中3×3卷积步距全为2。该模块应用在特征提取模块之前，使输入特征图宽高减半、通道扩增，达到下采样的效果。

图4 通道操作流程

图5 改进后各模块结构

1.3 分类器改进

EfficientNetV2通过网络骨干提取目标的高级语义信息，并根据信息利用分类器对目标进行分类识别。通常在迁移学习过程中只需修改分类器输出的类别个数便可直接应用。由于EfficientNetV2网络针对的是ImageNet[23]数据集上的1 000多种类别，而文中仅针对6种金属丝网目标。如果直接修改分类器输出的类别数量，可能会损失高层网络的语义信息，进而影响分类精度，因此，为了增强网络对金属丝网缺陷识别的稳定性，将网络的分类器进行重新设计，具体结构见表1。

表1 分类器参数

Tab.1 Classifier parameters

由于骨干网络提取的特征维度与分类器输出的类别差异较大，首先使用2个卷积核大小为1×1的卷积层对提取的特征进行分步降维，避免了数据因降维较大而造成语义信息的丢失。然后通过全局池化层对特征图尺寸进行压缩，进一步提炼语义信息。最后应用全连接层进行分类输出。

1.4 改进后网络总体结构

改进后网络结构见表2，其中Conv2d、Avgpool和FC分别为卷积、最大池化和全连接操作，Fused–MBConv和MBConv为特征提取模块，Spa–Down为空间下采样模块，为通道拓展因子，为输出通道，为当前层的操作重复次数，为步距，e为SE模块缩放因子。

2 图像采集设备

文中以目数为10、丝径为0.5 mm的不锈钢方孔网为采集对象。丝网以0.4 m/min的速度打卷包装，并在打包之前进行图像采集。金属丝网图像采集设备由工业相机、照明系统、黑色橡胶板、计算机组成，见图6。工业相机与丝网的视距为20 cm，通过外部输入的信号来控制相机对丝网进行连续采集。为了能够保证连续采集图像的精度要求，最终选择维视图像的Mako G–223 CMOS工业相机。该相机具有2 048×1 088的分辨率，最大帧速率为50帧/s，有效工作温度范围为−10～70 ℃，能够满足实际使用要求，并使用千兆以太网连接到计算机进行数据传输。照明系统由环形LED灯组成，由于金属丝网表面易反光，采用光照均匀的环形光源能够避免出现局部高光，从而获得高质量的金属丝网图像。

表2 网络结构

Tab.2 Network structure

图6 图像采集设备示意图

3 实验设计与分析

实验硬件环境为：Intel Cote i7−10700F CPU、16 GB RAM、Nvidia GeForce RTX 3080 Ti 12 G GPU。软件环境为：Win10专业版操作系统、Python 3.7、CUDA 11.4、cuDNN 11.4、Pytorch1.7。

3.1 金属丝网缺陷数据集

由于有关金属丝网表面缺陷的公共数据集较少，因此文中创建了一个目标缺陷数据集，所有图像均通过第3节介绍的图像采集系统进行收集。数据集共涉及6类目标样本，1类正常样本和5类缺陷样本，加入正常样本主要是为了提高网络模型对缺陷样本的识别能力。图7显示了金属丝网的部分图像，其中5种缺陷类型分别为缺经丝、缺纬丝、较大孔洞、经向细密道、纬向细密道。在图7中，图7a与图7b、图7d与图7e缺陷非常相似，但在方向上有所差异，因此作为不同缺陷类型进行处理。本次实验共包含5 294张金属丝网图像，随机选择其中4 767张样本图像作为训练集，其余527张样本图像作为测试集。各种缺陷类型的数量见表3。

图7 丝网图像

表3 丝网样本数量

Tab.3 Quantity of wire mesh samples

3.2 实验设置

所有分类网络均训练500个周期。在训练过程中采用随机梯度下降（SGD）优化器更新网络参数，其中衰减因子、动量分别设为0.01、0.9，batch_size设为16，并遵循余弦学习率衰减函数将学习率从初始值0.01降为0，学习率计算公式为：

式中：为总批次数量；为单批次数量；为初始学习率。

网络模型的有效性可以通过各种标准的性能指标进行评估，综合考虑最终选择准确率、精确度、特异度作为评判依据。各指标定义如下：

式中：、和分别为待评估模型的准确率、精确度和特异度；P、P、N和N分别为真阳性、假阳性、真阴性和假阴性的百分比。其中真阳性表示预测是正样本，实际也是正样本；假阳性表示预测是正样本，实际是负样本；真阴性表示预测是负样本，实际也是负样本；假阴性表示预测是负样本，实际是正样本。例如，缺丝径为正样本，则非缺丝径全为负样本，其他类别以此类推。

3.3 实验结果与分析

网络模型改进前后性能指标对比见表4。

表4 不同方法的评估结果

Tab.4 Evaluation results of different methods

注：A为原始EfficientNetV2网络；B为使用文中分类器的EfficientNetV2网络；C为使用文中分类器和骨干的EfficientNetV2网络。

由表4可知，改进分类器的网络与原始网络相比准确率提升了0.6%、精确度提升了0.46%、特异度提升了0.36%，单张图像的识别耗时提升了2.8%，由于改进后的分类器添加了一些卷积操作，从而增加了识别耗时。由此可见新的分类器对网络骨干提取的高级语义信息更加敏感，提高了网络对金属丝网表面缺陷的识别精度，却增加了识别时间；同时相较于原始网络，改进分类器和骨干的网络的准确率、精确度和特异度分别提高了2.5%、2.4%和1.4%，识别耗时降低了18.3%；与仅改进分类器的网络相比，改进分类器和骨干的网络的准确率、精确度和特异度分别提高了1.9%、2%和1%，识别耗时降低了20.7%。由此可知改进后的网络能够更好地提取特征语义信息，进一步增强了网络缺陷的识别效果。

改进的网络模型训练结果见图8。随着迭代的进行，在200步之前网络模型总交叉熵损失降幅较大，在200～400步之间缓慢下降，之后模型便趋于收敛，最终在训练集和验证集上的准确率分别达到97.8%和99.4%。观察模型在数据集上的曲线可知，改进后的网络快速收敛，没有出现明显的过拟合现象。图9为模型在测试集上的混淆矩阵，由图9可知改进后的模型仅3例样本出现误检，表明模型检测效果良好、误检率低。

综上所述，改进后的EfficientNetV2网络模型提高了特征的利用率，增强了网络识别精度，同时降低了模型单张图像的识别耗时。

图8 网络模型曲线

图9 测试集混淆矩阵

3.4 不同模型对比实验

为了进一步展示文中改进模型的实验结果，在相同的硬件配置下，分别使用VGG、GoogLeNet和MobileNetV3网络模型在同一数据集上进行对比。其中VGG用多个小的卷积核来代替大尺度卷积核，以减少网络参数增大感受野。GoogLeNet网络引入Inception结构充分发挥其融合不同尺度特征信息的优点。MobileNetV3网络因其体积小、模型复杂度低，被广泛部署在移动设备上。以上3种模型在图像分类任务中性能优异、应用广泛，因此作为本次实验的对比方法。表5为不同分类模型的识别效果。

表5 不同模型的识别效果

Tab.5 Recognition effects of different models

由表5可知，文中改进的网络模型在准确率方面相较于VGG、GoogLeNet和MobileNetV3分别提升了13.5%、12.1%和10.2%，在精确度方面分别提升了13.6%、18.5%和16.3%。由于改进的网络模型深度较深，从而导致单张图像的识别耗时大幅增加。考虑到产品的生产速度为0.4 m/min，而文中方法的单张图像识别耗时为27.5 ms，符合实际的工业需求。综上所知，文中方法在识别精度上具有较大优势，能够满足实际检测需求。

4 结语

文中以金属丝网为对象，研究了基于机器视觉的缺陷检测方法，在EfficientNetV2网络的基础上提出了一种新的改进网络，并取得了较好的识别效果。主要结论如下：

1）在网络模型骨干中引入通道拆分与通道转换操作可以增强各个通道之间的信息交流、扩大网络模型的容量，并在一定程度上提高了模型的特征学习能力。

2）在分类器中逐层有序地降低特征的维度，可以有效减少高层语义信息的丢失，提高模型分类精度。

3）通过自主构建的缺陷数据集进行网络训练，结果表明模型缺陷识别能力良好、准确率较高，能够满足实际检测需求。

由于金属丝网生产环境复杂可能会产生新的缺陷类型，后续会采集更多的缺陷图像进行数据扩增，用以优化网络模型，从而更好地将文中改进的模型应用于金属丝网表面缺陷检测。

[1] JING J, WANG Z, RTSCH M, et al. Mobile-Unet: An Efficient Convolutional Neural Network for Fabric Defect Detection[J]. Textile Research Journal, 2020, 38(1): 142-158.

[2] YANG D M, CUI Y R, YU Z Y, et al. Deep Learning Based Steel Pipe Weld Defect Detection[J]. AppliedArtificial Intelligence, 2021, 35(3): 1237-1249.

[3] 王晓飞, 裘祖荣, 杨聪, 等. 基于影像测量仪的试验筛自动测量方法[J]. 数据采集与处理, 2013, 28(2): 257-260.

WANG Xiao-fei, QIU Zu-rong, YANG Cong, et al. Calibration Method for Test Sieves Based on Video Measuring Machine[J]. Journal of Data Acquisition & Processing, 2013, 28(2): 257-260.

[4] 雷洋, 张建正. 一种试验筛网孔角度的自动检测方法[J]. 华东理工大学学报(自然科学版), 2014, 40(3): 315-320.

LEI Yang, ZHANG Jian-zheng. An Automatic Angular Measurement Algorithm of Mesh of Test Sieve[J]. Journal of East China University of Science and Technology (Natural Science Edition), 2014, 40(3): 315-320.

[5] 王延年, 杨万里. 一种改进的印刷丝网布疵点快速检测算法[J]. 国外电子测量技术, 2017, 36(1): 35-37.

WANG Yan-nian, YANG Wan-li. Improved Fast Printing Mesh Fabric Defect Detection Method[J]. Foreign Electronic Measurement Technology, 2017, 36(1): 35-37.

[6] 顾寄南, 唐良颖, 许悦, 等. 机器视觉在网片缺陷检测与分类中的应用[J]. 机械设计与制造, 2019(S1): 47-49.

GU Ji-nan, TANG Liang-ying, XU Yue, et al. Application of Machine Vision in Detection and Classification of Mesh Defects[J]. Machinery Design & Manufacture, 2019(S1): 47-49.

[7] LU Yang. Artificial Intelligence: A Survey on Evolution, Models, Applications and Future Trends[J]. Journal of Management Analytics, 2019, 6(1): 1-29.

[8] CHEON S, LEE Han-kang, KIM C O, et al. Convolutional Neural Network for Wafer Surface Defect Classification and the Detection of Unknown Defect Class[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 163-170.

[9] KANG G, GAO S, YU L, et al. Deep Architecture for High-Speed Railway InsulatorSurface Defect Detection: Denoising Autoencoder With Multitask Learning[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(8): 2679-2690.

[10] HASAN A S M M, SOHEL F, DIEPEVEEN D, et al. A Survey of Deep Learning Techniques for Weed Detection from Images[J]. Computers and Electronics in Agriculture, 2021,184(5): 1067-1084.

[11] ANDREASEN C. Deep Neural Networks to Detect Weeds from Crops in AgriculturalEnvironments in Real-Time: A Review[J]. Remote Sensing, 2021, 13(21): 44-86.

[12] LOU An-ge, GUAN Shu-yue, LOEW M. CFPNet-M: A Light-Weight Encoder-Decoder Based Network for Multimodal Biomedical Image Real-Time Segmentation[J]. Electrical Engineering and Systems Science, 2021, 5(4): 31-42.

[13] XIE Y, ZHANG J, SHEN C, et al. CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation[J]. Computers and Electronics in Agriculture, 2021, 3(3): 24-37.

[14] LI Y, ZHANG D, LEE D J. Automatic Fabric Defect Detection with a Wide-and-Compact Network[J]. Neurocomputing, 2019, 329(1): 329-338.

[15] CHAKRABORTY S, MOORE M, PARRILLO- CHAPMAN L. Automatic Defect Detection of Print Fabric Using Convolutional Neural Network[J]. ArXiv, 2021, 13(20): 325-337.

[16] HE D, XU K, WANG D. Design of Multi-Scale Receptive Field Convolutional Neural Network for Surface Inspection of Hot Rolled Steels[J]. Image and Vision Computing, 2019, 89(1): 12-20.

[17] HABIBPOUR M, GHAROUN H, TAJALLY A, et al. An Uncertainty-Aware Deep Learning Framework for Defect Detection in Casting Products[J]. ArXiv, 2021, 11(6): 43-52.

[18] YOSINSKI J, CLUNE J, BENGIO Y, et al. How Transferable are Features in Deep Neural Networks?[J]. Advances in Neural Information Processing Systems, 2014, 45(5): 3320-3328.

[19] CHENG J, GOU B, LIU J, et al. TL-SDD: A Transfer Learning-Based Method for Surface DefectDetection with Few Samples[C]// 2021 7th International Conference on Big Data Computing and Communications (BigCom), 2021: 136-143.

[20] RAGB H, ALI R, JERA E, et al. Convolutional Neural Network Based on Transfer Learning for Breast Cancer Screening[J]. ArXiv, 2021, 16(6): 16-25.

[21] HOHLFELD P, OSTERMEIER T, BRANDL D. Classification of Beer Bottles Using Object Detection and Transfer Learning[J]. arXiv, 2022, 3(7): 91-96.

[22] TAN MINGXING, LE Q V. EfficientNetV2: Smaller Models and Faster Training[J]. ArXiv, 2021, 4(6): 298-309.

[23] JIA D, WEI D, SOCHER R, et al. ImageNet: A Large-Scale Hierarchical Image DataBase[C]// Computer Vision and Pattern Recognition, Miami FL USA, 2009: 248-255.

Defect Recognition Method of Wire Mesh Based on Machine Vision

CHEN Dong-liang1, SHI Su-shuang1, FANG Li-qing1, CAI Meng2, SHI Zhan-qun1

(1. School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China; 2. School of Mechanical Engineering, China Civil Aviation University, Tianjin 300300, China)

The work aims to improve the detection efficiency and accuracy of wire mesh. An improved network EfficientNetV2 for wire mesh surface defect recognition was proposed. Firstly, the backbone structure of the network was changed, and operations such as channel splitting and channel conversion were introduced before and after the feature extraction module to increase network capacity and improve feature utilization. Secondly, the classifier of the network was redesigned, and the extracted high-level semantic information was compressed layer by layer to reduce the feature loss and improve the classification accuracy. Finally, an image acquisition system was built to construct a wire mesh defect data set. According to the experimental results, the accuracy, precision and specificity of the improved network model on the data set were 99.43%, 99.42% and 99.88% respectively, and the image recognition time was 27.5 ms, which enhanced the defect recognition effect. The method has high accuracy and good practicability in wire mesh defect detection, and can also provide reference for defect detection of other similar products.

defect detection; deep learning; EfficientNetV2; wire mesh; transfer learning

TP391.4

A

1001-3563(2023)03-0164-08

10.19554/j.cnki.1001-3563.2023.03.020

2022−04−13

陈东亮（1996—），男，硕士生，主攻机电系统智能检测。

师占群（1963—），男，博士，教授，主要研究方向为智能诊断。

责任编辑：曾钰婵