王鹏辉,王旭飞,刘怡帆,周 鹏,惠继强
(陕西理工大学 机械工程学院,陕西 汉中 723000)
在汽车保有量越来越大的今天,交通事故频频发生,促使汽车安全性越来越受到社会广泛关注。目前,汽车轮胎面缺陷检测仍然依赖于人工肉眼判断,在及时判断轮胎面缺陷状况所导致的安全隐患方面存在不足。
将神经网络应用于汽车轮胎检测是通过视频监控采集汽车轮胎状况信息排除安全隐患的一种方式,对于智能化检测车辆轮胎信息具有重要意义。随着基于神经网络的深度学习方法日益成熟,其广泛地被应用于目标检测与识别领域。李明达等采用Faster-RCNN对轮胎面缺陷进行检测,在中大型轮胎面缺陷方面检测效果较好,但在检测轮胎实物的应用中存在缺陷。王嘉璐等提出了一种将YOLOv4(You Only Look Once)应用于识别车辆车标的识别系统,具有较高的精度与较快的速度,且在不同环境中仍能保持精度。宋欢欢提出一种Center Net车辆目标检测模型,在实际交通环境中实现较高的平均识别准确率。张素智等提出一种基于AlexNet卷积神经网络与岭回归分析的汽车轮胎图像识别算法,通过在原损失函数中引入一个新的正则项来降低特征信息的拟合曲线抖动问题。LV等通过利用不规则扭曲像素裂痕映射检测方式降低图像中噪点和孤立点对测量准确率的影响,提出一种轮胎表面缺陷识别算法。李珊将YOLOv5算法应用于道路病害的检测和分类,改善了原检测模型对目标车辆检测性能较低,实时性较低的问题。综上,汽车轮胎面缺陷检测领域仍存在检测成功率较低、检测速度较低、检测结果受环境影响大和难以识别小型目标等问题。本文以汽车轮胎为研究对象,自制轮胎面缺陷数据集,采用YOLOv5网络作为深度卷积神经网络进行训练,得到最好的训练权重,最后对测试的图像进行预测与分析。实验结果表明,YOLOv5网络相较于其他网络模型能够适用于不同缺陷特征的轮胎面缺陷智能检测,并且该网络在检测精准度和速度上优于YOLOv4网络与Faster-RCNN网络。
YOLO网络是一种基于深度学习的卷积神经网络。此网络发布以来,依靠其快速的检测速度,适应各类复杂场景的特点被广泛应用于目标检测领域。YOLO网络的设计理念遵循端到端训练和实时检测,特点是将输入图像划分为×个网格,如果一个物体的中心落在某网格(cell)内,则相应网格负责检测该物体。相比区域卷积神经网络(Region-CNN, R-CNN)此类传统目标检测算法,YOLO网络是一种可以一次性预测多个Box位置和类别的卷积神经网络能够实现端到端的目标检测和识别,在兼具精度较高的前提下,也具有速度快这一大特点。
YOLOv5网络使用YOLO家族的整体布局,由输入端(Input)、主干特征提取网络(Backbone)、Neck和输出层(Prediction)四部分组成。采用的数据增强方法包括Mosaic数据增强、自适应锚框计算、自适应图片缩放三部分,对于微小目标的检测效果有明显提升。在常用目标检测模型中,数据集中照片的长宽存在差异,在将其送入卷积神经网络训练之前,将全部照片缩放到一个标准尺寸,例如常见的608×608。主干特征网络由通信顺序进程(Communicating Sequential Process, CSP)模型和Focus结构组成,CSP模型基于Dense Net,Dense Net旨在连接卷积神经网络中的层,增强卷积神经网络的学习能力,并且在保证训练运行准确性的同时使卷积神经网络(Convolutional Neural Networks, CNN)更小,极大减小计算瓶颈产生的不良影响。Focus结构是在图片进入Backbone之前,对图片进行切片操作。例如,原始的608×608×3的图像输入到Focus结构,经过切片操作先变成320×320×12的特征图,经过一次卷积操作最终得到320×320×32的特征图,如图1所示。Neck层是YOLOv5在延续了YOLOv4优点的同时,在Neck结构中采用借鉴CSP net设计的CSP2结构,有效增强了网络特征融合能力。Neck层采用路径聚合网络(Path Aggregation Network,PAN)+特征金字塔网络(Feature Pyramid Networks,FPN)的结构。YOLOv5输出层的锚框机制与YOLOv4相同。Prediction由Bounding box损失函数和非极大值抑制(Non Maximum Suppression,NMS)组成,在YOLOv5中采用GIoU_Loss作为损失函数。NMS函数可以在预测结果处理阶段消除多余的框,找到最优的物体特征检测位置。
轮胎面缺陷的特征包括胎面裂缝(crack)、胎面划伤(scratches)、轮胎穿孔(punctured)和轮胎鼓包(bulge)共4类,如图2所示。数据集由手动拍照采集和镜像处理获得的1 487张图像组成。采用Labelimg标注工具对所有图像的轮胎面缺陷特征进行标注,然后对数据集按照训练集和测试集为8:2的比例进行随机划分,分别得到训练集1 183张图像、测试集304张图像。4类特征的图像数量分别为501张、412张、300张和274张。
深度学习框架采用PyTorch搭建,实验所采用的计算机配置为Inter (R) Core (TM) i9-10900X CPU @ 2.30GHz的CPU和NVIDIA GeForcePTX 3080,10 GB的图型处理器(Graphics Processing Unit,GPU),内存容量为64 GB,加速环境为CUDA11.3。
在考虑训练速度及训练精度的情况下,输入图像尺寸大小img_size=(640,640),批处理大小batch_size=8,迭代次数epochs=100,学习率lr=0.01,动量因子momentum=0.98。经过100次epochs迭代后,网络模型在IoU<0.5时的平均精度值(mAP)、精确率(Precision)、召回率(recall)及损失函数值(GIoU_Loss)变化曲线如图3所示。
图3(a)所示YOLOv5网络模型训练在前30次epochs时mAP曲线持续上升,在训练到30至100次epochs阶段趋于稳定,最终mAP值为时65.4%。如图3(d)所示YOLOv5训练开始时损失函数值小,在训练的前20轮损失值下降速度较快,训练至80~100次epochs曲线趋于稳定,训练结束前损失函数值收敛到0.02附近,未出现过拟合现象。
参考目标检测领域常用的评价指标,使用召回率(Recall)、精确率(Precision)、平均精度值(mAP)、损失函数值(loss)和帧率(FPS)作为实验结果的评价指标,其中前四个为衡量网络模型检测精度的指标,FPS是衡量网络模型每秒可以检测的图像数量。
召回率又称查全率,表示样本中有正类被预测正确的数量。分为两种情况,一种是把原来的正类预测为正类(TP),一种是把原来的正类预测为负类(FN),召回率的计算式(1)为
式中,为召回率。
精确率被称为查准类,表示预测为正类的样本中正类样本的数量。分为两种情况,一种是把正类预测为正类(TP),一种是负类预测为负类(FP),精确率的计算式(2)为
式中,为精确率。
平均精度均值是预测目标位置以及类别的这类算法的性能度量标准,也可理解为不同类别的AP值的均值,相对于、是能反映整体性能的指标。平均精度均值的计算式(3)为
式中,表示类别数;为第类的平均精确率。
YOLOv5中的损失函数采用GIoU_loss,GIoU是源自IoU的一种边框预测的损失计算方法,在目标检测等领域,需要对预测边框(pre BBox)与实际标注边框(ground truth BBox)进行对比与计算损失。损失函数值的计算式(4)为
式中,IoU代表原损失计算方法;A假设为Ground Turth;B假设为预测框;C则是A、B两区域的闭包。
为检验YOLOv5网络模型的性能,在使用同样数据集的情况下对YOLOv5网络模型、YOLOv4网络模型和Faster-RCNN网络模型的性能进行比较,3种算法在同一个数据集中的检测性能比较结果如表1所示。
如表1所示,Faster-RCNN的各项评价指标均远低于YOLOv4与YOLOv5,故在实验与分析中仅对YOLOv4与YOLOv5网络模型做实验对比。由于mAP是反映网络模型整体性能的主要指标,因此,针对mAP,YOLOv5的mAP值相比YOLOv4提高4.1%,相比Faster-RCNN提高31.6%。FPS(Frame Per Second)表示帧率,是衡量网络模型检测速度的指标,在工程应用中一般达到30FPS为合格,YOLOv5网络模型的识别速度达到38FPS。
本次实验将分为两阶段对图像进行检测,一是从数据集中随机抽取一张胎面裂缝图像,二是将4张在不同角度和光照条件下取得的含4类特征的图像拼接为一张图像,以此检验YOLOv5和YOLOv4两种网络模型对轮胎面缺陷目标的检测情况。
对比试验是在使用相同图像和硬件配置情况下,采用YOLOv5和YOLOv4网络模型对单张胎面裂缝图像进行检测,目标框上的数字表示置信度,如图4所示。
由图4可知,图4(a)中YOLOv5共检测出4处胎面裂缝与轮胎划伤特征;图4(b)中YOLOv4漏检较多,仅检测出1处。结果表明,在检测同一图像时YOLOv5的检出率明显高于YOLOv4,两者差异主要体现在对胎面裂缝这类目标的检测成功率上,YOLOv5明显更具优势。
为进一步探究两种网络模型检测不同特征存在的差异,将测试集中拍摄角度不同、环境亮度不同及包含特征不同的四张图像拼接为一张图像输入检测,如图5所示。
由图5可知,图5(a)中YOLOv5成功检测到4类轮胎面缺陷特征,其中轮胎穿孔置信度最高为0.74;图5(b)中YOLOv4出现漏检现象,仅检测出轮胎穿孔特征、轮胎鼓包特征2类特征,其中轮胎穿孔置信度为0.74。结果表明,虽然YOLOv4在个别轮胎面缺陷特征检测中置信度更高,但YOLOv5不仅对于胎面裂缝与胎面破损目标特征的检测成功率较高,且整体检测精度优秀,对环境的适应性更强,应用场景也更广泛。
本文使用YOLOv5网络作为轮胎面缺陷检测的基础网络进行轮胎面各类缺陷特征的智能检测。通过对比研究,该网络模型在测试集上的精确率()、召回率()、平均精度(mAP)和帧率(FPS)分别为74.3%、66.1%、65.4%和38,相较于YOLOv4的各项数值分别提高了近12.3%、10.1%、4.1%和12;相较Faster-RCNN的各项数值和FPS分别提高了近18.5%、32.8%、26.6%和15。综上,基于YOLOv5网络模型的汽车轮胎面缺陷检测在不同光照、角度等条件下,检测成功率高、鲁棒性和实时性高,在一定程度上可降低汽车轮胎安全隐患,实现了对汽车轮胎表面安全隐患的智能检测,提高了汽车行驶的安全性,为进一步更有效地研究轮胎面缺陷智能检测方法提供了参考。