基于改进YOLOv4的输送带损伤检测方法

周宇杰， 徐善永， 黄友锐， 唐超礼

(安徽理工大学 电气与信息工程学院，安徽 淮南 232001)

0 引言

矿用带式输送机是煤矿主运输设备，对煤矿运输起着至关重要的作用[1]。输送机功率大，输送距离远，设备长时间运转、持续受力及运输物料过程中会遇到重物和异物，导致输送带损伤[2-4]发生事故。因此，对输送带损伤进行快速准确的检测十分重要。

传统输送带损伤检测方法分为接触式检测法和非接触式检测法[5-6]。接触式检测法包括棒形检测法、漏料检测法、测力托辊检测法等，接触式检测法可靠性差、检测精度低且很难实现检测结果的可视化。非接触式检测法包括电磁感应检测法、X光透视检测法、机器视觉检测法等，其中机器视觉检测法[7-8]安全性强，检测精度高，具有自动化、智能化、可视化的特点。文献[9]将输送带灰度图像转换成一维向量，分析获得撕裂特征函数，当撕裂故障特征值大于设置的阈值时会产生报警，但是当撕裂故障特征值不明显时，会出现故障漏检问题，导致检测精度降低。文献[10]提出一种改进SSR(Single Scale Retinex，单尺度Retinex)算法的输送带纵向撕裂检测方法，通过对采集图像进行SSR算法处理，提取面积、宽度、矩形度等特征并设定三者的阈值，通过对比阈值来判断输送带是否撕裂，但往往输送带损伤形态不规则，大小不一，该方法难以区分除撕裂外的其他损伤，容易造成误检。文献[11]利用支持向量机对输送带红外图像进行分割，根据撕裂的像素点数目判断输送带撕裂情况，但该方法抗噪能力不佳，噪声严重影响红外图像的分割效果，降低检测精度。文献[12]通过高斯滤波、边缘检测和卷积运算等算法提取输送带撕裂特征，再对特征进行阈值分析，判断是否有撕裂发生，该方法提取特征这一步骤计算量较大，导致检测速度慢。传统输送带损伤检测方法检测速度慢、检测精度低且缺少对面积较小损伤的检测。

针对上述问题，本文提出了一种基于改进YOLOv4[13-14]的输送带损伤检测方法。该方法以YOLOv4为基础，对PANet路径融合网络部分进行改进，增加与浅层特征层的融合，可提高模型对面积较小损伤的特征提取能力，并减少特征层融合后的卷积次数，减少计算量，实现对输送带撕裂、表面磨损和表面缺陷3种损伤的快速、准确检测。

1 改进YOLOv4模型

1.1 YOLOv4模型结构

YOLOv4模型从结构上分为主干网络、Neck层及预测层3个部分，如图1所示。

图1 YOLOv4模型结构

YOLOv4的主干网络采用CSPDarknet53，CSPDarknet53对输入图像(尺度为416×416)进行5次下采样，不断提取目标的特征信息，由浅入深得到5个尺度逐渐减小的特征层P1—P5，5个特征层尺度分别为208×208，104×104，52×52，26×26，13×13。YOLOv4主干网络使用Mish激活函数加快训练过程并实现较强的正则化效果。

Neck层处于主干网络和预测层中间，由SPP(Spatial Pyramid Pooling，空间金字塔池化)[15]模块和PANet组成，是一种特征金字塔结构。主干网络的输出进行3次卷积后作为SPP模块的输入，SPP模块对该输入进行不同尺度的最大池化和融合操作，经过该操作后可以扩大感受野。PANet是路径聚合网络，SPP的输出进入PANet后进行2次上采样，分别与P4和P3层进行融合并做5次卷积运算，得到特征层N1和N2。N2层再进行2次下采样，分别与N1层和SPP的输出进行融合并做5次卷积运算。

预测层是最终的检测部分。PANet通过3个不同尺度的特征层融合，再进行卷积运算，得到3个不同尺度的Yolo Head，尺度大小分别为52×52，26×26，13×13，检测不同大小的目标。每个Yolo Head都包含3个先验框，预测层首先对PANet输出的3个特征层进行预测，然后对每个先验框里面的目标信息进行分析，最后采用非极大值抑制方法并调整先验框来确定最终的预测框。

1.2 损失函数

YOLOv4目标检测的损失函数L由预测框回归损失函数LCIOU、分类损失函数Lcls及置信度损失函数Lconf3个部分组成。

L=LCIOU+Lconf+Lcls

(1)

(2)

(3)

(4)

(5)

(6)

1.3 YOLOv4模型改进

输送带很多损伤与背景区分度不高，特征不明显，且存在许多较小的损伤，YOLOv4模型存在损伤 漏检问题，导致检测精度较低。为此，在YOLOv4 PANet部分的3个尺度特征层融合的基础上，与浅层特征层进行融合，提高对输送带损伤的特征提取能力，同时减少特征层融合后的卷积次数，减少计算量。改进后的PANet结构如图2所示。

图2 改进后的PANet结构

特征层N2继续上采样，然后和主干网络的P2层进行融合并做3次卷积运算，得到尺度大小为104×104的特征层N3。N3层进行下采样，再和N2层融合并做3次卷积运算，得到尺度大小为52×52的特征层N4，N4的输出作为改进YOLOv4的一个Yolo Head。将PANet部分每个特征层融合后的5次卷积运算减少到3次，卷积核大小分别为1×1，3×3，1×1。

2 模型训练

2.1 实验数据采集

本文实验平台为Windows 10操作系统，CPU为Intel i7-10870H，显卡为Nvidia Geforce RTX2060，采用Tensorflow深度学习框架。

实验数据集来源于现场拍摄，包括输送带撕裂、表面磨损和表面缺陷3种常见的损伤图像。由于数据集中图像大小不一，在训练前通过图像处理软件将图像裁剪成416×416的统一大小。为了提高模型泛化能力，避免网络过拟合，通过旋转、翻折、对比度调节、亮度调节等图像处理方法对数据集进行数据增强，扩充数据集，扩充后数据集图像共3 132张。训练集和测试集按比例8∶2进行划分。采用LabelImg软件对图像中输送带损伤部位进行标注，将输送带损伤类型及坐标信息保存到xml文件中。之后通过程序代码将xml文件转化成txt文本格式文件，用于网络模型训练。

整个训练迭代次数为50，学习率为0.005，批尺寸为16。

2.2 评判指标

采用检测精度和检测速度来衡量模型检测性能。检测精度指标包括精确率P、召回率R、平均精度PA及平均精度均值PmA；模型检测速度指标采用帧速率fFPS。

(7)

(8)

(9)

(10)

(11)

式中：NTP为正确预测的正样本个数；NFP为错误预测的正样本个数；NFN为错误预测的负样本个数；n为待检测的目标类别数；PAi为第i个目标类别的平均精度；N为待检测图像个数；t为检测时间。

3 实验结果与分析

通过50次迭代训练，模型训练结果如图3所示。可看出在前10次迭代中损失大幅下降，10次迭代后下降幅度变缓，在40次迭代后曲线变化趋于平缓，表明基于改进YOLOv4的输送带损伤检测方法损失收敛速度快，模型训练效果好。

图3 迭代次数和损失的关系曲线

为了验证改进YOLOv4的优越性，将其与YOLOv4，YOLOv3及Faster-RCNN目标检测模型进行对比，结果见表1。

表1 改进YOLOv4与其他目标检测模型性能比较结果

从表1可看出,基于改进YOLOv4的输送带损伤检测方法对输送带撕裂、表面磨损和表面缺陷检测的平均精度均值达96.86%，检测速度达20.66帧/s；与YOLOv4，YOLOv3和Faster-RCNN相比，平均精度均值分别提升了1.4%，6.35%，2.16%，检测速度分别提升了2.39，2.34，15.25帧/s。

3种输送带损伤图像检测结果如图4所示。在撕裂和表面磨损检测中，改进YOLOv4检测的置信度更高，表明检测精度更高；在表面缺陷检测中，YOLOv4有1处损伤漏检，改进YOLOv4能全部检测出3处表面缺陷，改进YOLOv4对面积较小损伤的检测效果更好。

(a)改进YOLOv4撕裂检测

4 结论

(1)基于改进YOLOv4的输送带损伤检测方法损失收敛速度快，模型训练效果好。

(2)基于改进YOLOv4的输送带损伤检测方法对输送带撕裂、表面磨损和表面缺陷检测的平均精度均值达96.86%，检测速度达20.66帧/s；与YOLOv4，YOLOv3和Faster-RCNN相比，对输送带撕裂、表面磨损和表面缺陷3种损伤检测的平均精度均值分别提升了1.4%，6.35%，2.16%，检测速度分别提升了2.39，2.34，15.25帧/s。

(3)与YOLOv4相比，基于改进YOLOv4的输送带损伤检测方法检测精度更高，对面积较小损伤的检测效果更好。