基于注意力机制的YOLOv5路面裂缝检测与识别

周双喜 杨丹 潘 远 丁建新 丁杨

摘要：【目的】针对传统路面裂缝检测实时性差、准确率低的问题。【方法】利用深度学习网络在目标检测方面的优势，提出一种改进的YOLOv5算法，称为YOLOv5s-attention，以实现路面裂缝自动化检测与识别。首先，对采集到的裂缝图片用LabelImg标注软件进行手工标记，然后通过改进YOLOv5网络训练得到网络模型参数。最后，利用所建立的模型对裂缝进行验证和预测。除此之外，采用综合评价指标（F1-measure，F1）和平均精度均值（mean average precision，mAP）这两个指标来比较原YOLOv5s、YOLOv5s-attention模型在路面裂缝上检测与识别的性能。【结果】经YOLOv5s与YOLOv5s-attention比较发现，YOLOv5s-attention检测准确率（Precision）提高1.0%，F1提高0.9%，mAP提高了1.8%。【结论】由此可知，该网络在实现道路裂缝自动化识别上具有一定的现实意义。

关键词：道路养护；路面裂缝；目标检测；YOLO；注意力机制；图像处理

中图分类号：TU528；U416 文献标志码：A

文章编号：1005-0523（2024）02-0056-08

Detection and Recognition of YOLOv5 Pavement Cracks Based

on Attention Mechanism

Zhou Shuangxi1，2， Yang Dan2， Pan Yuan2， Li Jianxing1， Ding Yang3

（1. School of Civil Engineering and Management， Guangzhou Maritime University， Guangzhou 510765， China; 2. School of Civil

Engineering and Architecture， East China Jiaotong University， Nanchang 330013， China; 3. School of Civil Engineering，

Hangzhou City University， Hangzhou 310015， China）

Abstract： 【Objective】Aiming at the problem of poor real-time performance and low precision of traditional pavement crack detection. 【Method】This paper uses the advantages of deep learning network in target detection，and proposes an improved YOLOv5 algorithm， which is called YOLOv5s-attention in this paper， to realize the automatic detection and recognition of pavement cracks. Firstly， the collected crack images are manually labeled with LabelImg annotation software， and then the network model parameters were obtained by improving the YOLOv5 network training. Finally， the model is used to verify and predict the cracks. In addition， F1 and mAP are used to compare the performance of the original YOLOv5s and YOLOv5s-attention models in detecting and identifying pavement cracks. 【Result】The comparison between YOLOv5s and YOLOv5s-attention showed that the precision of YOLOv5s attention increased by 1.0%， F1 increased by 0.9%， and mAP increased by 1.8%. 【Conclusion】 It can be seen that the network has certain practical significance in realizing the automatic recognition of road cracks.

Key words： maintenance; pavement cracks; object detection; YOLO; attention mechanism; image processing

Citation format： ZHOU S X， YANG D， PAN Y， et al. Detection and recognition of YOLOv5 pavement cracks based on attention mechanism[J]. Journal of East China Jiaotong University， 2024， 41（2）： 56-63.

【研究意义】随着计算机技术的迅速发展，机器学习（machine learning，ML）已经成为当今的热门，许多领域都与其相结合研究，特别是最近几年也多应用于道路裂缝检测上，产生了许多基于机器视觉自动化检测算法。根据最近流行的机器学习技术，基于深度学习结合神经网络，本研究提出基于注意力机制的YOLOv5路面裂缝检测与识别算法，该研究具有提高道路维护效率、降低交通事故风险、推动智慧交通发展，并促进深度学习算法的发展等重要的研究意义。

【研究进展】基于深度学习的目标检测分为两大类，第一类是单阶段目标检测，不使用区域候选框进行筛选，而是直接通过主干提取网络提取出目标物体的类别和位置信息，代表的网络有你仅看一次（you only look once，YOLO）系列和单步多框目标检测（single shot multibox detector，SSD）等；第二类是两阶段目标检测，第一步是通过卷积神经网络提取物体区域候选框，第二步是对区域候选框进行卷积神经网络（convolutional neural network，CNN）分类识别，代表网络有RCNN系列和SPPNet等[1-3]。

Faster-RCNN目前是应用在路面裂缝中最多的一个两阶段目标检测法，徐康等[4]对沥青路面因复杂背景难以检测提出了用VGG16、Mobile Net-V2和ResNet50替换主干特征提取网络，并在添加进的ResNet50中引入了注意力机制，实验表明，改进后的Faster-RCNN裂缝检测精准度达到85.64%，且能识别出沥青路面的细微裂缝。Hao等[5]以机场跑道裂缝为研究背景，采用Faster-RCNN网络检跑道的裂缝，并进入MobileNet2替换Faster-RCNN网络的主干网络，以及在里面加入注意力机制，实验表明，改进后的Faster-RCNN网络准确率提高了6.4%。此类算法精度虽然达到80%以上，但训练速度小于单步目标检测算法[6]。

YOLO系列是最流行的单级检测方法之一，在一阶检测模型中实现了快速检测速度和高检测精度之间的良好平衡，并且已经广泛应用到农业、地质、遥感和医学等领域。此外，它还广泛应用于交通运输，如交通标志、车流、路面坑洼、视觉裂缝等检测[7-10]。

【创新特色】本文研究基于深度学习建立卷积网络来实现路面裂缝自动化检测与识别。【关键问题】为了解决提高裂缝检测速度的问题，本文选择YOLOv5s算法应用到路面裂缝检测与识别上。

1 初始准备工作

1.1 数据集处理

本次研究目的是能利用最新的目标检测算法来自动识别道路裂缝，因此需要采集比较多的裂缝。本文的裂缝图片取自公开文献中提供的裂缝数据[11-12]，制作成一个新的数据集，新的数据集收集了3 022个样本，将自建的数据集以7∶2∶1的比例随机分为训练集、验证集和测试集，得训练集2 115张、测试集605张、验证集302张。像素密度分别为300 dpi和96 dpi，数据集中图片的尺寸不一，但由于YOLO网络中输入照片尺寸一般设置为32的倍数。因此，在搭建网络时通过程序将裂缝图片尺寸自动修改成640×640像素。在输入裂缝图片之前，我们将数据集中所有的照片用标注软件LabelImg进行标注，类别为HCrack（横向裂缝）、30°Crack、45°Crack、LCrack（纵向裂缝）、HoneyCrack（龟裂裂缝），标注类型保存为txt格式。标注步骤为先建立数据集存放的文件夹，一共在文件夹datasets下建立两个子文件夹，分别为images、labels，且images和labels文件夹中又包括train、test、val三个文件夹。其中images用于存放需要使用的裂缝图片，labels中存放对应的标注文件和索引文件classes。然后在Pytorch-GPU环境下打开LabelImg标注软件，对裂缝照片画矩形框进行标注。

1.2 设备与软件准备

用于搭建基于YOLOv5算法的深度学习道路裂缝自定识别模型的硬件CPU为英特尔Intel（R） Xeon（R） Platinum 8260，内存为128 G，显卡（GPU）为NVIDIA GeForce RTX 2080 Ti，内存为75 G。

2 YOLOv5算法介绍

2.1 目标检测算法

目标检测模型主要分为两大类：

1） 第一类是One-stage，是直接基于anchors进行分类和同时调整边界框。主要的网络有SSD、YOLO系列。

2） 第二类是Two-stage，首先通过专门的模块生成区域候选框（region proposal network，RPN），寻找前景（Foreground）以及调整基于anchors的边界框，然后基于之前生成的区域候选框RPN进一步分类以及调整基于Proposals的边界框。这一类主要的网络有Faster-RCNN。

这两类网络都有自己各自的优点，One-stage检测速度快，Two-stage检测更准确。本文是研究关于道路裂缝的自动识别，在前人研究了许多神经网络模型的情况下，对于道路识别精度已经达到比较好的一个精度了，因此这次为了使得检测速度更加快一点，选择将YOLO算法与道路裂缝结合在一起进行研究。

2.2 YOLOv5网络算法

YOLOv5算法有4个组成部分，分别是：输入（Input），主干特征提取网络（Backbone），特征金字塔网络（feature pyramid networks，FPN）和检测头（YOLOHead）。

YOLOHead是YOLOv5的分类器与回归器。详细信息如图1所示。

与广泛应用的YOLOv3相比，YOLOv5在以下几个部位进行了改进：

1） 数据增强，其中包括Mosaic数据增强和Mosaic利用了4张图片进行拼接实现数据增强。它最大的优点是可以丰富检测物体的背景，且当进行标准归一化BN计算的时候可以直接计算出四张图片的数据。

2） 多正样本匹配。在之前的YOLO系列里面，在训练时每一个真实框对应一个正样本，即在训练时，每一个真实框仅由一个先验框负责预测。YOLOv5中为了加快模型的训练效率，增加了正样本的数量，在训练时，每一个真实框可以由多个先验框负责预测。

[7]   GUO G， ZHANG Z. Road damage detection algorithm for improved YOLOv5[J]. Scientific Reports， 2022， 12（1）： 1-12.

[8]   周清松， 董绍江， 罗家元， 等. 改进YOLOv3的桥梁表观病害检测识别[J]. 重庆大学学报， 2022， 45（6）： 121-130.

ZHOU Q S， DONG S J， LUO J Y， et al. Bridge apparent disease detection based on improved YOLOv3[J]. Journal of Chongqing University， 2022， 45 （6）： 121-130.

[9]   ZHANG J， QIAN S， TAN C. Automated bridge crack detection method based on lightweight vision models[J]. Complex & Intelligent Systems， 2023， 9（2）： 1639-1652.

[10] HU G X， HU B L， YANG Z， et al. Pavement crack detection method based on deep learning models[J]. Wireless Communications and Mobile Computing， 2021， 220： 1-13.

[11] LIU Y H， YAO J， LU X H， et al. Deep crack：A deep hierarchical feature learning architecture for crack segmentation[J]. Neurocomputing， 2019， 338（21）： 139-153.

[12] YU G， ZHOU X. An improved YOLOv5 crack detection method combined with a bottleneck transformer[J]. Mathematics， 2023， 11（10）： 2377.

[12] LI L F， MA W F， LI L， et al. Research on detection algorithm for bridge cracks based on deep learning[J]. ACTA Automatica Sinica， 2019， 45（9）： 1727-1742.

第一作者：周双喜（1973—），男，教授，博士，博士生导师，南昌市521学术技术带头人，研究方向为混凝土材料与检测技术。E-mail：green.55@163.com。

通信作者：杨丹（1997—），女，硕士研究生，研究方向为混凝土材料与检测技术。E-mail：gryangdan@163.com。