基于改进YOLOv5模型的织物疵点检测

高敏 邹阳林 曹新旺

摘 要：针对传统机器学习方法检测织物疵点精度低，小目标检测较困难的问题，提出一种基于改进YOLOv5的织物疵点的目标检测算法。在YOLOv5模型的Backbone模块中分别引入SE注意力机制和CBAM注意力机制，使模型聚焦于图像中的关键信息，改进传统 YOLOv5网络检测精度不高的问题。结果表明：改进后的模型具有更好的检测性能，其中引入CBAM模块后提升幅度最明显，较原网络mAP值提升了7.7%，基本满足织物疵点检测需求。

关键词：织物疵点；YOLOv5模型；注意力机制；深度学习

中图分类号：TS107

文献标志码：A

文章编号：1009-265X（2023）04-0155-09

收稿日期：2022－09－27

网络出版日期：2023－03－21

基金项目：国家自然科学基金青年基金项目（51503162）；湖北省自然科学基金青年面上项目（2016CFB459）；湖北省大学生创新训练计划项目（S201910495063）；国家大学生创新训练计划项目（201910495014）

作者简介：高敏（1996—），女，江西九江人，硕士研究生，主要从事图像处理方面的研究。

通信作者：曹新旺，E-mail：aswang1984@163.com

在纺织布品生产过程中，由于技术工艺水平有限和操作不当等因素可能会造成纺织品表面出现各种缺陷，如破洞、毛球和污渍等［1］。纺织品质量检验在制造产业中一直是不可或缺的环节，在实际生产过程中，传统的方式是通过人工肉眼的方式检测表面的缺陷，但这种方式效率不高，也不利于长时间高效率的检测［2］。因此，开发准确高效的纺织品质量自动检测方法很有必要。

近年来，深度学习技术在众多领域飞速发展，应用于许多实际场景检测中，而且都获得了理想结果，其中应用最广泛的就是工业检测方向［3］。许多企业利用智能检测技术来替代人工检测技术，不仅节约了经济成本，也提高了质检过程中检测的准确度和效率［4］。国内外许多学者在深度学习领域针对瑕疵问题进行了大量研究［5］。王恩芝等［6］提出了在YOLOv5基础型对缺陷目标的关注程度。郭波等［7］在YOLOv5網络引入Mish激活函数，提高模型非线性表达能力。Xue等［8］将YOLOv5原有的Spatial pyramid pooling-fast （SPPF） 模块调整为Spatial Pyramid pooling-fast-plus （SPPFP） 模块，以更好地关注目标的全局信息。Deng等［9］设计了一个多尺度动态加权特征融合网络（MDW-Net），以改进浅层和深层特征层的自适应优化和深度融合，提高特征提取能力并抑制背景噪声。Lei等［10］将Swin Transformer作为YOLOv5的基础骨干网络，通过改进路径聚合网络（PANet）的方法进行多尺度特征融合，网络可以专注于融合相对重要的分辨率特征。周文明等［11］采用YOLOv5s作为表面缺陷检测的模型，初始权值采用COCO数据集上训练好的权值，实现表面缺陷类别的识别与定位。针对目前存在的问题，如对小型疵点检测效果差和检测速度慢等问题，本文提出一种基于改进YOLOv5模型的织物疵点检测识别算法，在模型的Backbone模块引入注意力机制，使模型能够自适应地调整对各通道和空间的注意力权重，期望得到更好的检测效果。

1 YOLOv5网络结构

YOLOv5是YOLO系列的最新版本，基于YOLOv3、YOLOv4改进的目标检测算法［12］，而且处于不断更新中。根据网络的深度和宽度不同，YOLOv5分为YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 5个版本［13］。模型的检测精度和速度会受到网络深度的影响［14］，由于织物疵点检测对实时性和轻量化性能要求较高，因此本研究基于YOLOv5s模型对织物疵点检测网络进行了改进设计。YOLOv5模型主要分为Input、Backbone、Neck、Head 4个模块，如图1所示。

1.1 Input模块

Input模块包含 Mosaic 数据增强、自动锚框计算和自适应图片缩放。YOLOv5采用Mosaic数据增强方式丰富数据集，在训练集图像里随机选取4张图片对其进行截取、翻转和缩放等方式增加小目标的样本数量，不仅让网络的鲁棒性更好，也提升了模型对小目标的检测效果［15］。YOLOv5中默认设定的锚框为［10，13，16，30，33，23］、［30，61，62，45，59，119］、［116，90，156，198，373，326］，锚框通过计算反向传播输出的预测值与真实值之间的大小误差自动计算出最佳锚框值。YOLOv5中自适应图片缩放相比于统一缩放能够有效减少图片冗余信息和计算量，推理速度也得到了提升。针对输入图片的长宽比并不统一的问题，YOLOv5在源码中加入了填充功能。对小的原始图片进行黑框填充，大的原始图片进行缩放操作，之后得到了统一大小的图片标准，提高了模型的检测效率。

1.2 Backbone模块

Backbone模块引入了Focus 结构，原理如图2所示，具体操作是将图片切片之后获得了4个独立的特征层，对每个特征层呈周期性地抽出像素点进行重构，将图片从高分辨率转换为了低分辨率，输出的图片长宽变为原来的1/2，通道数变为原来的4倍，在不丢失特征信息的情况下进行下采样，最大限度地保留了原有信息，同时降低了模型的计算复杂度。之后经过一系列卷积、池化、跨阶段局部网络（Cross stage partial network，CSPnet）和特征金字塔池化（Spatial pyramid pooling，SPP）操作，完成特征提取过程。SPP结构采用提取与融合不同尺度的特征图的方法，可以将任意大小的特征图输出为固定大小的特征图，减少了模型计算量，结构如图3所示。

1.3 Neck模块

在YOLOv5之前的Neck模块中，采用的都是普通的卷积操作，而YOLOv5的采用特征塔网络（Feature pyramid networks，FPN）和路径聚合网络（Preceptual adversarial network，PAN）结构完成［16］，结构示意图如图4，FPN结构是自顶向下的，上层特征通过一系列的上采样操作得到的特征图，再与下层特征相融合，传递网络学习图像特征能力，得到预测的特征图。PAN呈自底向上的特征金字塔状，自下向上地传递强定位特征，加强网络特征融合的能力，使得网络能检测到更细微的目标，提高模型检测的精确度。

1.4 Head模块

Head模块中设计了19×19，38×38，76×76大小的网格分别来检测大、中、小目标，每个网格包含3个预测框，采用的是CIOU_loss函数计算bounding box损失，如式（1）所示。采用非极大值抑制（Non-maximum suppression，NMS）将多余和重复的框进行剔除直至保留预测框的置信度是最高的，提高模型的检测速度和精确度，完成目标检测。

CIOU_Loss=1－IOU－ρ2c2－αν（1）

式中：CIOU＿Loss表示位置损失；IOU表示真实框与预测框的重叠面积；ρ表示真实框与预测框的中心点距离；c表示真实框与预测框最小包围矩形的对角线长度；υ表示真实框与预测框之间的宽高比相似度；α为υ的影响因子。

2 Yolov5网络优化

织物中疵点目标一般较小，YOLOv5s模型在小

目标检测中精度往往会下降，为了将模型更好地应用在织物疵点检测任务中，还需要进一步改进模型以适应相应的检测任务。YOLOv5中的特征提取网络加入了残差块，在某些层之间设置了跳转连接，以此来提高检测精度，但同时也增加了模型的计算负担。在YOLOv5s模型中的Backbone模块分别引入SE、CBAM两种注意力机制，节省计算资源，提高对小目标的检测精度，使得模型更好地适应小目标检测。注意力机制（Attention mechanism）是实现网络自适应的一种方式，广泛用于自然语言处理、目标检测以及语义分割中［17］。在目标检测中引入注意力机制可以使模型聚焦于图像中的关键信息，降低对无关信息的关注度，节省计算资源，同时提升模型对目标的检测效果。注意力机制分为通道注意力机制，空间注意力机制，以及二者的结合。本文主要介绍SE和CBAM两种注意力机制，将这两种注意力机制分别引入图1中红色箭头指向的位置。

2.1 SE原理介绍

SE（Squeeze-and-excitation module）注意力机制注重特征图中通道信息的重要性差异，使模型自适应地调整对各通道的注意力权重［18］。在实际问题中，不同通道的重要性是有差异的，而在传统的卷积池化过程中，默认特征图中的每个通道同等重要。SE模块的基本结构如图5所示，主要包括 Squeeze（压缩）和 Excitation（激发）两部分操作。压缩是先对输入特征图（c，h，w）进行全局池化，将通道中整个空间特征编码压缩为全局特征，得到当前特征图上的全局压缩特征图（c×1×1）；激发通过两层全连接层构建通道的相关性，并通过ReLU函数激活，增强非线性关系；每个特征通道生成的权重因子经过Sigmoid函数获得归一化注意力权重，并将加权后的特征图作为下一层网络的输入。将YOLOv5中添加SE注意力机制的网络称为SE-YOLOv5。

2.2 CBAM原理介绍

CBAM（Convolutional block attention module）是由通道注意力（Channel attention module，CAM）和空间注意力（Spatial attention module，SAM）两个串行连接顺序的子模块构成［19］，结构示意图如图6所示，通道注意力和空间注意力序列化地在通道和空间两个维度上产生注意力特征图信息，加强了通道和空间的特征联系。将YOLOv5中添加CBAM注意力机制的网络称为CBAM-YOLOv5。

通道注意力结构如图7所示，特征图输入后，通道注意力机制模块对其分别进行全局最大池化和全局平均池化操作，聚合图像的空间信息，再利用2个多层感知机结构连接模型之间的相关性，最后经过Sigmoid激活函数获得每个通道的权重因子，最终输出不同比重的通道的特征图。

空间注意力结构如图8所示，輸入的特征图先经过通道注意力模块加权输出，再对该特征图分别进行全局最大池化和全局平均池化操作后，然后将2个单元特征图进行通道间拼接，最后经过一个7×7的卷积和Sigmoid激活函数获得每一个空间位置的权重因子，输出不同比重的空间特征图。

3 实验及结果分析

3.1 实验环境及训练参数

本文所有实验均在ubuntu18.04操作系统，显卡为RTX 3080 Ti，其中显存为12 GB，CPU为Intel（R） Xeon（R） Platinum 8350C，系统内存为45 GB，编程语言为Python，深度学习框架为PyTorch1.9.0。在上述实验环境下对图像数据集进行训练，改进前与改进后算法所采用的超参数相同。训练参数：初始学习率为0.01，动量值为0.937，权重衰减为0.0005，优化器为SGD，每批次包含64，最大迭代次数300次。

3.2 数据集

本文使用的织物疵点数据集来自于湖北武汉某纺织科技公司采集的部分数据，该数据集共2208张不同类型的疵点织物图像，其中织物类型有条纹坯布、格子坯布和无纹理坯布，疵点类型分别是断经、断纬、毛球、破洞和污渍。每个类别的示例图像和数量情况如表1所示，并且用数字0—4代表各个类别的疵点类型，图像大小为640 pixel×640 pixel。在实验过程中对织物图像数据集进行划分，按8∶2比例划分为训练集图像和测试集图像，其中训练集图像有1766张，测试集图像有442张，并采用Mosaic数据增强方法扩充数据集样本。

3.3 网络训练

为检验模型性能效果，将织物疵点数据集分别通过原YOLOv5模型、SE-YOLOv5模型和CBAM-YOLOv5模型进行训练，迭代次数为300时出现了较好的收敛情况。在训练时记录下模型的边界框损失（box_loss），置信度损失（object_loss）和分类损失（class_loss），图9是模型改进前后的损失曲线的对比图。从图9中可以看出模型改进前的损失曲线变化波动较大，损失值也达不到理想效果，不利于疵点目标检测。改进后的YOLOv5模型的各项损失值较为理想，损失曲线的收敛速度也更平缓。由此可见，改进后的模型更适合织物疵点的目标检测。

3.4 模型评估对比

模型的真实性能主要依靠模型的评价指标来反映，在本文中选取的评价指标包括精准率P（Precision）、召回率R（Recall）、平均精度均值mAP（Average precision precision），精准率能够反映出模型的误检情况，召回率能够反映出模型漏检目标的问题，mAP能够准确、合理地评价模型的定位和目标检测能力。如式（2）—式（5）：

P=TPTP+FP（2）

R=TPTP+FN（3）

AP=∫10P（R）dR（4）

mAP=∑ni=0AP（i）n（5）

式中：TP表示正样本被模型正确识别的数量；FP表示负样本被模型错误地识别为正样本的数量；FN表示正样本被模型错误地识别为负样本的数量；n为总类别数；i为当前类别的序号。

模型改进前后检测结果如表2所示，原YOLOv5模型的精准率为80.2%，召回率为75.1%，平均精度均值为79.7%。引入了注意力机制的YOLOv5模型检测疵点的性能更优，整体的精准率和召回率都有了一定的提升，而CBAM-YOLOv5的各项指标均优于SE-YOLOv5。SE-YOLOv5和CBAM-YOLOv5平均精度均值分别为84.7%和87.4%，比原YOLOv5模型提高了5.0%和7.7%，这个最能证明检测能力指标的提升。表明CBAM-YOLOv5模型比SE-YOLOv5模型和原YOLOv5模型有更好的检测效果，有效改善了模型的漏检错检问题。

图10为模型改进前后实际检测结果的对比图，检测结果由类别序号与置信度组成，置信度越高，表示模型的检测精度越高，预测框与真实框越接近。通过对比结果发现，SE-YOLOv5模型和CBAM-YOLOv5模型对织物疵点的检测精度都高于原YOLOv5模型，其中CBAM-YOLOv5对包含目标的预测框置信度达到94%，提高了对小目标的检测精度。

为了进一步可视化模型所关注的区域，本文对模型的检测结果进行得分热力图可视化分析，热力图所反映的区域为目标检测模型所关注的区域，图中模型所关注的区域为目标的中心位置，红色为中心重点关注区域，向外扩散的关注比重降低。如图11所示，表明模型所关注的区域正是所需要检测的区域，改进后的模型检测疵点的效果更好，CBAM-YOLOv5模型比SE-YOLOv5模型更好地实现了对疵点类别的识别与定位，进一步验证了模型改进的有效性。

4 结 论

传统的织物疵点检测过于依赖人工检测的准确性，检测效率低，本研究在YOLOv5s模型的基础上，引入CBAM注意力机制和SE注意力机制到模型中Backbone模块，得到优化后的网络模型CBAM-YOLOv5和SE-YOLOv5。通过实验发现引入注意力机制后模型的精准率和召回率都有所提升，其中CBAM-YOLOv5进行织物疵点检测识别结果精度最高，mAP值较原模型提升了7.7%，基本满足织物疵点检测需求。由于本研究中数据集的有限性，织物疵点类别并不全面，之后的研究计划需要加强织物疵点图像种类和数量的扩充，进一步提高模型检测织物疵点目标的精度。

参考文献：

［1］顾德英，陈龙，李文超，等.基于深度学习的复杂图案印花织物疵点检测［J］.棉纺织技术，2022，50（3）：14-18.

GU Deying， CHEN Long， LI Wenchao， et al.Complex pattern printed fabric defect detection based on deep learning［J］. Cotton Textile Technology， 2022，50 （3）： 14-18.

［2］崔春杰，景浩田，尹中信.深度学习算法在织物疵點识别中的应用研究［J］.化纤与纺织技术，2021，50（1）：69-71.

CUI Chunjie， JING Haotian， YIN Zhongxin. Application of deep learning algorithm in fabric defect recognition［J］. Chemical Fiber& Textile Technology， 2021， 50 （1）： 69-71.

［3］李一鸣，王潇.基于YOLOv5s模型的轧钢表面缺陷检测［J］.制造业自动化，2021，43（11）：117-119.

LI Yiming， WANG Xiao. Surface defect detection of rolled steel based on the YOLOv5s model ［J］. Manufacturing Automation， 2021，43 （11）： 117-119.

［4］俞新星，任勇，支佳雯.织物表面疵点检测方法的设计与实现［J］.现代纺织技术，2021，29（1）：62-67.

YU Xinxing， REN Yong， ZHI Jiawen. Design and imple-mentation of defect detection method for fabric surface［J］. Advanced Textile Technology， 2021， 29 （1）： 62-67.

［5］張团善，石玮.噪声干扰下的防羽布疵点检测算法［J］.西安工程大学学报，2020，34（1）：14-19.

ZHANG Tuanshan， SHI Wei. Anti-feather fabric defect detection algorithm under noise interference［J］. Journal of Xi'an Polytechnic University， 2020， 34（1）： 14-19.

［6］王恩芝，张团善，刘亚.基于改进Yolov5的织物缺陷检测方法［J］.轻工机械，2022，40（2）：54-60.

WANG Enzhi， ZHANG Tuanshan， LIU Ya. Fabric defect detection method based on improved Yolo v5［J］. Light Industry Machinery， 2022， 40 （2）： 54-60.

［7］郭波，吕文涛，余序宜，等.基于改进YOLOv5模型的织物疵点检测算法［J］.浙江理工大学学报（自然科学版），2022，47（5）：755-763.

GUO Bo， L Wentao， YU Xuyi， et al. Fabric defect detection algorithm based on improved YOLOv5 model［J］. Journal of Zhejiang University of Technology （Natural Sciences）， 2022，47（5）： 755-763.

［8］XUE Z Y， LIN H F， WANG F. A small target forest fire detection model based on YOLOv5 improvement［J］. Forests， 2022， 13（8）： 1332.

［9］DENG T M， LIU X H， MAO G T. Improved YOLOv5 based on hybrid domain attention for small object detection in optical remote sensing images［J］. Electronics， 2022， 11（17）： 2657.

［10］LEI F， TANG F F， LI S H. Underwater target detection algorithm based on improved YOLOv5［J］. Journal of Marine Science and Engineering， 2022， 10（3）： 310.

［11］周文明，周建，潘如如.应用遗传算法优化Gabor滤波器的机织物疵点检测［J］.东华大学学报（自然科学版），2020，46（4）：535-541.

ZHOU Wenming， ZHOU Jian， PAN Ruru. Application of genetic algorithm to optimize Gabor filter for woven fabric defect detection［J］. Journal of Donghua University （Natural Science）， 2020，46 （4）： 535-541.

［12］DLAMINI S， KAO C Y， SU S L， et al. Development of a real-time machine vision system for functional textile fabric defect detection using a deep YOLOv4 model［J］. Textile Research Journal， 2022， 92（5-6）： 675-690.

［13］LIAN J W， HE J H， NIU Y， et al. Fast and accurate detection of surface defect based on improved YOLOv4［J］. Assembly Automation， 2022， 42（1）： 134-146.

［14］FU H X， SONG G Q， WANG Y C. Improved YOLOv4 marine target detection combined with CBAM［J］. Symmetry， 2021， 13（4）： 623.

［15］XUE M F， CHEN M H， PENG D L， et al. One spatio-temporal sharpening attention mechanism for light-weight YOLO models based on sharpening spatial attention［J］. Sensors， 2021， 21（23）： 7949.

［16］SOZZI M， CANTALAMESSA S， COGATO A， et al. Automatic bunch detection in white grape varieties using YOLOv3， YOLOv4， and YOLOv5 deep learning algorithms［J］. Agronomy， 2022， 12（2）： 319.

［17］YAN P C， SUN Q S， YIN N N， et al. Detection of coal and gangue based on improved YOLOv5. 1 which embedded scSE module［J］. Measurement， 2022， 188： 110530.

［18］ZHAO Z Y， YANG X X， ZHOU Y C， et al. Real-time detection of particleboard surface defects based on improved YOLOV5 target detection［J］. Scientific Reports， 2021， 11（1）： 1-15.

［19］LV H H， YAN H B， LIU K Y， et al. YOLOv5-AC： Attention mechanism-based lightweight YOLOv5 for track pedestrian detection［J］. Sensors， 2022， 22（15）： 5903.

Fabric defect detection based on an improved YOLOv5 model

GAO Min1， ZOU Yanglin1，2， CAO Xinwang1

（1.School of Textile Science and Engineering， Wuhan Textile University， Wuhan 430200， China;

2.PowerChina Hubei Engineering Co.， Ltd.， Wuhan 430040， China）

Abstract：

China is the largest producer and consumer of textiles in the world， and the textile industry is a traditional industry in China. The industry affects people's life and employment issues， and plays an important role in the national economy. The widely used textile products are indispensable in people's lives and the quality of them not only affects people's lives， but the development of textile enterprises. Therefore， in the production process of textile products， the quality inspection is a very important link in the production chain.

For a long time， due to the limitations of the cloth making process and production equipment， the surface of the cloth is often stained， and there are broken figures and other defects. Traditional detection methods have many disadvantages. On the one hand， the detection efficiency of cloth inspection workers is relatively low， and a cloth inspector can find 200 defects per hour at most. Because some defects are small and difficult to be found， the defect detection rate is only 70%， and the concentration lasts half an hour at most. If this time range is exceeded， visual fatigue will occur. As workers rely on subjective experience when inspecting the quality of cloth， and long-term work will cause visual fatigue， missed inspections and wrong inspections will inevitably occur， leading to low defect detection efficiency of cloth. On the other hand， because the cloth inspection work requires a lot of eyesight and energy of the workers， it is difficult to recruit workers and the cost is high. If there is a missed inspection in the cloth inspection process and the defects are not picked out， the products produced will be classified as defective products even if the cloth has passed the follow-up cumbersome processing， which will cause certain economic losses to the enterprise.

With the development of artificial intelligence， all walks of life are moving towards intelligent production.Computer vision has replaced humans eyes and brains to observe the world through cameras and computers， automatically analyzing the collected videos or pictures. In the field of target detection， with the rise of deep learning， the performance of target detection has also been greatly improved.

To address such problems as unsatisfactory detection effects for small targets， we conducted research on the surface defects of cloth by combining with the deep learning network， proposing an algorithm model based on deep learning for defect detection and classification. This model can improve the detection accuracy and reduce the missed detection rate of small targets， which meets the needs of actual production for detection of cloth defects， and has certain practical significance on the intelligent development of the weaving industry.

Keywords：

fabric defects; YOLOv5 model; attention mechanism; deep learning