基于改进YOLOv5+DeepSort算法的块状磨屑的识别与计数研究

邵靖男

摘要：传统块状磨屑的处理方式存在效率低、收集不及时等问题，为了实现块状磨屑的精准定位检测，需研究块状磨屑的识别及数量统计。文章在原始YOLOv5算法的基础上添加注意力机制后，进一步强化了块状磨屑的有效特征；用BiFPN 结构代替 YOLOv5 原有 PAN 结构，加强了浅层特征的利用。添加大尺度检测层，可更加准确地定位小尺寸块状磨屑；选择 EIoU 作为目标框回归的损失函数，提高收敛速度。在此基础上，该研究采用DeepSort算法和虚拟检测线法实现块状磨屑的数量统计。利用轨道小车采集的数据进行块状磨屑的检测和计数试验。试验结果表明：较于原始 YOLOv5算法，改进 YOLOv5算法虽然检测速率有所下降，但是精确率提升了 4%、召回率提升了 7.5%、均值平均精度提升了 9.7%，改善了小尺寸块状磨屑的检测效果。改进YOLOv5+DeepSort算法结合改进检测线在各场景下可较准确地实现对块状磨屑的计数。

关键词：高速铁路；计算机视觉技术；YOLOv5算法；DeepSort算法；块状磨屑

中图分类号：U270  文献标志码：A

0 引言

随着我国高速列车运营速度的提高和运输能力的增强，钢轨会出现各种形式的损伤和缺陷［1-2］。钢轨打磨车作为常用的打磨设备之一［3-4］，在其打磨过程中，高温颗粒状磨屑飞落到防火帘上，逐渐形成块状，最后在其重力和车辆振动的作用下随机掉落在轨道内从而影响行车安全。目前，块状磨屑的处理方式主要是人工处理，存在效率低、主观性强、收集不及时等问题。

为实现对块状磨屑的精准定位检测，研究块状磨屑的识别及计数尤为重要。深度学习技术的发展和铁路信息化设备覆盖率的提高，为块状磨屑的识别和计数提供了一种可行性方案。基于深度学习的目标检测算法有较高的识别率。其中，YOLO系列算法应用于实时性较高的场景。对于目标跟踪领域，针对SORT算法容易因背景中其他杂物遮挡而产生ID切换的问题，研究人员提出了精度和实时性更好的DeepSort算法。因此，本文在YOLOv5算法上做了改进，提高块状磨屑的识别效果，结合DeepSort算法实现对块状磨屑的计数。

1 基于改进YOLOv5算法的目标检测算法

YOLOv5算法的网络结构主要包括：输入端（Input）、骨干网络（Backbone）、颈部（Neck）和输出端（Head）。為了提高块状磨屑识别效果，本文从注意力机制、颈部网络、多尺度检测和损失函数4方面进行了改进，改进后的YOLOv5算法网络框架如图1所示。

1.1 增添注意力机制

增添注意力机制（Convolutional Block Attention Module，CBAM）是由 Sanghyun 等提出的高效注意力模块［5］，主要包括通道注意力模块和空间注意力模块，通过对不同重要性关注区域的特征增加权重，以此来实现加强感兴趣区域特征表达的目的，其模块结构如图2所示。

本文在骨干网络中用CBAMC3模块替换C3模块，增强对块状磨屑有效特征的关注度。

1.2 特征金字塔结构的改进

加权双向特征金字塔网络结构（Bi-Directional Feature Pyramid Network，BiFPN）的主要思想包括：高效的双向跨尺度连接以及加权特征图融合，如图3所示。

本文采用BiFPN结构代替YOLOv5原有PAN结构。图3（a）结构通过自上而下的传递，有效增强浅层特征的语义表达，但是会受到单向信息流的限制；PAN结构在FPN的基础上增加一条自下而上的通道；相比PAN，BiFPN首先通过删除一个输入边且无特征融合的节点，以简化双向网络；针对同一尺度特征，在其输入和输出节点之间引入横向连接，使原始特征信息参与特征融合；最后，BiFPN针对不同重要性的特征增加了权重，可学习调节每个特征的贡献度，同时将自上而下和自下而上的路径作为一个特征层，通过重复堆叠，获得更深层次的特征。

1.3 添加多尺度检测

对于小尺寸块状磨屑的检测，过多的下采样和过大的感受野，使小尺寸块状磨屑在深层特征图所占据的像素点较少，并且在其周围存在大量无用特征，影响检测精度，因此深层网络的高级特征不利于小尺寸块状磨屑的检测。本文在原始网络上增加尺度为160×160的检测层来提取浅层的特征信息，从而加强对小尺寸块状磨屑的检测能力。

1.4 损失函数改进

由于YOLOv5的定位损失忽略了宽、高分别与其置信度的差异，本文选择EIoU（Efficient Intersection over Union）代替CIoU，加快模型的收敛速度，其计算见式（1）。

LEIoU=LIoU+Ldis+Lasp=1-IoU+ρ2（bpred，bgt）c2+ρ2（wpred，wgt）c2w+ρ2（hpred，hgt）c2h（1）

其中：IoU为交并比；cw、ch分别为覆盖块状磨屑预测框和真实框的最小包围框的宽和高；b、bgt分别为块状磨屑预测框和真实框的中心点；ρ为块状磨屑预测框和真实框的欧式距离；c为能够覆盖块状磨屑预测框和真实框的最小包围框的对角线距离。

2 基于DeepSort的块状磨屑计数算法

在完成对块状磨屑的识别后，接下来就是对块状磨屑进行计数。目标跟踪算法能够实时跟踪块状磨屑的轨迹，从而实现计数的目的。

在对轨道内多个块状磨屑进行实时跟踪时，会涉及不同尺寸块状磨屑之间的ID识别，以及对受到道砟、落叶灯遮挡的处理，目标检测位置与跟踪位置之间的准确匹配等问题。多目标跟踪算法SORT在目标跟踪过程中有较高的精度［6］，但是该算法会因为目标受到场景中其他杂物遮挡而产生ID切换的问题。因此，研究人员提出DeepSort算法来解决该问题。

本文通过将改进的YOLOv5 与DeepSort相结合从而实现对块状磨屑的有效追踪，为接下来块状磨屑的数量统计做铺垫，检测流程如下。

（1）输入实时视频流，利用改进的YOLOv5目标检测算法检测出当前帧目标的方位及类别信息。

（2）將上一步得到的识别信息和前一帧的卡尔曼滤波的预测信息作为输入。

（3）计算基于运动信息的马氏距离和基于外观特征的最小余弦距离，将计算结果融合成关联矩阵，并使用匈牙利算法进行跟踪匹配。

（4）结果输出的同时，通过卡尔曼滤波实现实时更新，重新开始目标检测。

本文在对块状磨屑的计数过程中采用虚拟检测线法。传统检测线法在计数过程中会因掉帧、块状磨屑漏检等原因而出现数量统计不准确的情况。为此，本文在原始虚拟检测线的基础上进行改进，可实现双向计数，并有效改善以上存在的问题，如图4所示。

3 试验验证

3.1 数据集收集及试验环境

本文通过轨道小车在光照不足、光照正常、光照充足和遮挡4种不同的场景下进行数据采集；然后对采集到不同尺寸的块状磨屑图片进行预处理；最后，利用开源工具对每张图片中的块状磨屑进行标注。试验环境：Windows10的操作系统，GPU为RTX2070，CPU为Core I7-10875H，CUDA的版本为11.0，CuDNN的版本为8.0.4。

3.2 评价指标

（1）目标检测评价指标。

块状磨屑识别的评价指标主要采用召回率R、均值平均精度mAP和检测速度FPS，其计算公式如下：

P=TPTP+FP（2）

R=TPTP+FN（3）

AP=∫10P（R）dR（4）

mAP=1m∑mi=1APi（5）

其中，TP为模型识别块状磨屑正确的个数；FP为模型将其他目标错误识别为块状磨屑的个数；FN为模型将块状磨屑错误的识别为其他目标的个数；P为模型在所有预测情况中正确预测块状磨屑的概率；R为模型准确识别块状磨屑的概率；AP为准确率对召回率的积分；mAP为对所有类别的AP取平均值。

（2）目标计数评价指标。

块状磨屑计数算法的计数结果与人为计数做对比。

3.3 块状磨屑检测试验

3.3.1 消融试验

为验证本文算法各改进部分的有效性，进行消融试验。4种模型试验结果的对比如表1所示，其中符号“√”表示在原始网络上进行的相应改进。

在原始模型的基础上添加一个检测层，可提高小尺寸块状磨屑的定位精度；嵌入CBAM注意力机制可加强对块状磨屑有效特征的关注，其P值和R值有小幅度提升；选择EIoU替换CIoU，可加快收敛速度；在此基础上，用BiFPN替换PANet，其R值提升了2.8%。试验结果表明：与原有的YOLOv5算法相比，改进YOLOv5算法在多尺度检测、注意力机制、边框回归损失函数和颈部网络4个方面的优化下，P值、R值和mAP值均有显著提升；检测速度FPS稍有下降，但仍能够做到实时且更加精准地检测块状磨屑。

3.3.2 模型特征提取能力分析

为了更直观地体现在骨干网络中嵌入注意力机制对算法性能的影响，本节通过对原始算法和改进算法的中间层特征图进行可视化分析，如图5所示。

图5是网络中p/2、p/4、p/8、p/16和p/32共5层级的特征图可视化对比结果。第一列和第二列图像为原始算法针对不同尺寸目标的中间层特征图，第三列和第四列图像为改进算法针对不同尺寸目标的中间层特征图。浅层网络提取到的特征信息较为完善，如图5（c）和（d）中的块状磨屑、道砟和落叶等；随着卷积次数的增多，特征图的尺度逐渐减小，特征图抽象化程度增高的同时，也会模糊掉一些细节信息如图5（k）和（l）；从图5（e）和（f）之间的对比可以看出，添加注意力机制之后，块状磨屑和轨道内侧背景差被明显放大，突出了目标信息的亮度，可更清晰地辨别出块状磨屑的具体位置和轮廓。

3.3.3 热力图分析

为更好地展现多尺度检测和BiFPN结构改进对网络的贡献，本文使用Grad-CAM对原始算法和改进算法进行了类激活映射可视化的效果对比。图6给出了不同尺寸的块状磨屑在光照不足、正常、充足以及遮挡背景下的输入图像及其类激活热力图。

从图6可以很直观地看出模型在原始图像中识别时所关注的一些特征区域。其中，白色区域为模型的重点关注区域，激活区域的颜色越偏黑说明该区域与所属类别越不相关。通过对比改进前后算法在不同场景下的热力图可以发现：（1）在识别非小尺寸块状磨屑时，改进算法在上述背景下都能准确地提取到图像中的关键信息，激活区域对非小尺寸块状磨屑的覆盖程度较为全面；（2）原始算法在光照不足、正常和充足情况下关注到小尺寸块状磨屑的同时，也关注到道砟、轨枕和部分阴影区域，并且在小树枝遮挡情况下，激活区域没能准确覆盖目标，进而产生漏检情况；（3）改进后算法受复杂背景的影响较小，并且能精准地定位到目标的关键特征区域。当小尺寸块状磨屑表面有树枝遮挡时，激活区域也能准确地覆盖。通过上述分析可知，4尺度的检测层和BiFPN结构的使用可进一步增强网络对不同尺度特征信息的融合能力，使得深层特征图中小尺寸块状磨屑的位置信息更为精确。

3.3.4 检测结果分析

图7第一列和第二列分别为原始YOLOv5算法和改进YOLOv5算法在不同光照环境下对不同尺寸块状磨屑的部分检测结果。对于非小尺寸块状磨屑的识别，改进算法和原始算法差距不大，如图7（a）所示；在对于小尺寸块状磨屑的识别，原始算法存在误检：将道砟误识别成块状磨屑，如图7（b）和（c）所示，以及漏检的问题，如图7 （d）所示；相对于原始算法，改进算法则有效提高了对小尺寸块状磨屑的检测精度。

3.4 块状磨屑计数试验

在块状磨屑计数阶段，本文在改进YOLOv5算法的基础上结合DeepSort和改进检测带进行检测。为验证算法的有效性，本文在光照不足、光照正常和光照充足多个场景下进行块状磨屑的计数试验，并将计数结果与原始算法和人为计数进行对比，如表2所示。

通過表2对比结果可以发现：（1）改进的YOLOv5+DeepSort 算法在3种环境下的计数结果的准确度均高于原始算法；（2）在光照不足的情况下，原始算法无法提取块状磨屑的有效特征，导致块状磨屑识别精度降低，从而严重影响其计数的准确度；（3）在光照正常情况下，改进后的算法基本不受光照影响，能准确识别及追踪块状磨屑，其准确率能达到96.7%，相比于原始算法提升了16.1%，同时该场景下改进算法的计数结果最接近人为计数结果。

试验结果表明：与原有的YOLOv5算法相比，在改进YOLOv5算法的基础上结合DeepSort和改进检测带对块状磨屑计数准确度更高，能够适应多种复杂环境。

4 结语

在原YOLOv5算法的基础上对注意力机制、特征金字塔结构、多尺度检测和损失函数4方面进行了改进，通过消融试验，结合中间层特征图和热力图可视化对比了改进前后的算法，改进YOLOv5算法在牺牲一定实时性的情况下，精确率提升了4%、召回率提升了7.5%、均值平均精度提升了9.7%，提升了对小尺寸块状磨屑检测的准确率。

将改进的虚拟检测线算法与改进YOLOv5+DeepSort算法相结合，在不同场景下进行块状磨屑统计试验。试验表明，相较于原始算法，改进算法结合改进检测线在各场景下计数准确率更高。

参考文献

［1］金学松，刘启跃.轮轨摩擦学［M］.北京：中国铁道出版社，2004.

［2］王璞.高速铁路道岔钢轨磨耗发展规律的试验研究［J］.铁道建筑，2019（7）：109-112.

［3］雷晓燕.钢轨打磨原理及其应用［J］.铁道工程学报，2000（1）：28-33.

［4］金学松，杜星，郭俊，等.钢轨打磨技术研究进展［J］.西南交通大学学报，2010（1）：1-11.

［5］曹义亲，伍铭林，徐露.基于改进YOLOv5算法的钢材表面缺陷检测［J］.图学学报，2022（10）：1-11.

［6］陈紫强，张雅琼.一种基于YOLOv4的改进DeepSort目标跟踪算法［J］.桂林电子科技大学学报，2021（2）：140-145.

（编辑 王永超编辑）

Research on the recognition and counting of block debris based on improved YOLOv5+DeepSort algorithm

Shao  Jingnan

（China Railway SIYUAN Survey and Design Group Co.， Ltd.， Wuhan 430063， China）

Abstract： The traditional treatment method for block debris has problems such as low efficiency and untimely collection. In order to achieve precise positioning and detection of block debris， it is necessary to study the identification and quantity statistics of block debris.This article further strengthens the effective features of block debris by adding CBAM attention mechanism on the basis of the original YOLOv5. Replacing YOLOv5s original PAN structure with BiFPN structure enhances the utilization of shallow features. Adding a large-scale detection layer can more accurately locate small-sized block debris. The paper selects EIoU as the loss function for the target box regression to improve convergence speed. On this basis， the DeepSort algorithm and virtual detection line method are used to achieve the quantity statistics of block debris. Detection and counting of block debris use data collected by rail cars. The experimental results show that compared to the original YOLOv5， although the detection rate of the improved YOLOv5 has decreased， the accuracy has increased by 4%， the recall has increased by 7.5% and the average accuracy has increased by 9.7%， improving the detection effect of small-sized block debris. The improved YOLOv5+DeepSort algorithm combined with improved detection lines can accurately count blocky debris in various scenarios.

Key words： high-speed railway; computer vision technology; YOLOv5 algorithm; DeepSort algorithm; block debris