R-YOLO轨道人员目标检测模型

张永强,李胜男,张子强,刘健章,张 坤,苗 磊

(1.河北科技大学信息科学与工程学院,河北石家庄 050018;2.河北省智能物联网技术创新中心,河北石家庄 050018;3.国能朔黄铁路发展有限责任公司,河北沧州 062350)

中国大部分铁路的运行场景是相对开放的,人员活动范围的随机性非常高,常有行人、施工人员等越过铁路防护限界,威胁列车的安全行驶[1]。2022-08-03,57003次列车在钦港线钦州东普速场至海棠站间运行时,司机发现前方约300 m处有2名女子在线路上拍照后,立即采取紧急制动停车,并鸣笛警示,所幸无人员伤亡。2022-07-26上午10:00时,台铁高雄路段疑行人闯入轨道,遭区间车撞上,凤山站至九曲堂站只能单线,导致南下以及北上的列车均有延误。因此,对铁路周围重点区域进行实时监测,当遇到威胁行车安全的人员入侵时,快速检测并及时提醒工作人员进行处理成为研究热点。

铁路人员侵限检测方法的成熟度还不是很高,现有方法主要包括传统的人工巡视、物理保护隔离网检测技术和基于视频监控的检测技术等[2]。传统的人工巡视检查方法不仅耗费大量的人力物力,且无法达到对行驶轨道情况的实时监测[3]。随着对铁轨上以及铁轨周围人员检测要求的提高,以视频图像检测为主的非接触式检测,尤其是基于深度学习的图像处理方法逐渐成为研究重点[4]。基于深度学习的目标检测算法,例如卷积神经网络(convolutional neural network,CNN),学习出检测目标的原始特征,相较于传统的行人检测算法,具有更强的判别能力和泛化能力[5]。基于卷积神经网络的目标检测算法分为单阶段算法和双阶段算法,单阶段算法YOLO使用卷积神经网络提取目标特征后,将分类问题转换成回归问题,直接输出目标的类别信息和位置区域,大幅度提升了检测效率[6]。YOLOv3优化了YOLO算法的损失函数,精简了网络模型,显著提升了检测性能[7]。目前YOLOv4是最受欢迎的一种检测框架,其网络结构简单高效,具有易部署、运用场景广泛的特性,针对红外图像下的小目标检测有很大的应用前景[8]。文献[10]利用MobileNet系列网络代替YOLOv4模型中的CSPDarknet特征提取网络,添加坐标注意力机制,通过权重调整的方式聚焦图像中的感兴趣区域,用最优锚配置算法平衡所有目标类别的检测精度。文献[14]提出了一种基于改进型YOLOv4-Tiny的电力机车行驶危险区域障碍物检测方法,引入多头注意力机制,进一步提高目标的检测速度,但检测精度不理想。文献[15]提出了一种动态入侵区域和轻量级神经网络的铁路入侵检测方法RailDet,基于轻量级神经网络的对象识别对入侵区域进行处理,获得坐标和类别。文献[16]提出了一种基于改进Faster R-CNN的小尺度铁路侵限算法,但模型较为复杂。文献[17-20]改进了原有YOLO算法的模型结构,通过分组预训练提升异物检测的速度,在骨干网络和特征融合网络之间加入压缩和激励模块,取得了良好的检测效果,但模型参数量大。文献[21-22]提出了基于YOLOv5的铁轨异物入侵检测,通过训练模型对划定的检测区域进行检测,指出SSA混合注意力机制提升了小目标识别效果,检测准确性高但忽略了检测速度。

深度学习算法速度慢,占用内存大,需要高性能计算机设备的支持。铁路上的摄像头很多,但铁路人员入侵现象比较稀少,大量使用高性能计算机设备并不经济。因此,在复杂的铁路场景中需要一种高效的铁路人员入侵检测方法。为满足铁路人员入侵检测的需求,本文以具有良好性能的YOLOv4作为基本网络,提出一种R-YOLO轨道人员目标检测模型,优化模型网络结构,创新训练方法,提升铁路人员入侵检测的准确率和实时性,以降低模型的误检漏检率。

1 R-YOLO轨道人员目标检测模型

R-YOLO轨道人员目标检测模型,通过替换主干网络和普通卷积,嵌入注意力机制,优化先验框尺寸,采用迁移学习和混合数据集联合训练,解决人员识别精度不理想和误检漏检等问题,降低模型大小和参数量,提高模型的检测速度。

1.1 R-YOLO 检测网络

根据铁路入侵检测任务对检测速度、检测精度以及算法稳定性的要求,本文采用稳定性强的单阶段目标检测算法YOLOv4作为基本框架,基于铁路轨道人员目标检测的特点,对网络的3个部分进行改进,并提出R-YOLO的检测网络,如图1所示。

图1 R-YOLO检测网络

1.1.1 骨干网络的优化

深度学习模型网络越深,表达能力越强,但是CNN网络达到一定深度后,再加深,网络的性能也不会提高,网络的收敛速度会变慢,准确率降低。HE等[23]发现残差网络能解决这一问题,于是提出了ResNet50。ResNet50由卷积和4个Res-n模块组成,ResNet50经过了4个Block,每一个Block中分别有3,4,6个Bottleneck。与CSPDarknet53相比,ResNet50网络层数少且包含更多细节信息,利于数据集中的小目标检测;模型体积小,易于部署到设备中。R-YOLO用轻量级网络ResNet50代替了原有的Darknet作为骨干网络,减少了网络层数、减小了模型体积,且更适用于火车轨道小目标人员检测。

1.1.2 深度可分离卷积

深度可分离卷积与普通卷积相比,用较小的精度损失换取极大的计算量以及内存的减少,从而加快模型检测速度。深度可分离卷积示意图如图2所示,主要分为2个过程:逐通道卷积和逐点卷积。先将卷积核拆分成单通道形式,对所有通道进行卷积,获得与输入特征图通道数相同的输出特征图;然后使用1×1卷积得到结果图。

对于维度为DF×DF×M的输入,卷积核尺寸为DK×DK,输出通道数N,则深度可分离卷积与常规卷积对比后减少的计算成本,如式(1)所示。

(1)

式中:C1为深度可分卷积的计算式;C2为常规卷积的计算式。

R-YOLO利用深度可分离卷积替代PANet中的标准卷积,减少了网络层数以及模型体积,加快了模型的识别速度。

1.1.3 有效通道注意力模块

注意力机制是在计算能力有限的情况下,将计算资源分配给更重要的任务,同时解决信息超载问题的一种资源分配方案。分为通道注意力机制(squeeze-and-excitation networks,SENet)[24],空间注意力机制(spatial attention mechanism,SAM)以及将二者融合起来的混合注意力机制(convolutional block attention module,CBAM)[25]。有效通道注意力(efficient channel attention,ECA)模块避免了降维对学习通道间依赖关系的不利影响,可高效实现局部跨通道交互。

图3为有效通道注意力模块,ECA模块首先将输入特征图进行全局平均池化操作,获得聚合特征,删除宽度维度并交换通道和高度维度。然后进行卷积核大小为k的1维卷积操作,并经过Sigmoid激活函数得到各个通道的权重ω,将权重与原始输入特征图对应元素相乘,得到最终输出特征图。如式(2)所示。

图3 有效通道注意力模块

ω=σ(Conv1Dk(y)),

(2)

式中:ω为通道权重;σ为Sigmoid激活函数。

R-YOLO在加强特征提取网络的前后3个特征层分别加入有效通道注意力模块,在不增加大量参数的情况下增强骨干网络输出特征和颈部网络输出层对有用信息的注意力,使全局信息充分发挥作用,更好地拟合相关特征信息,提高模型对人员目标的识别效果。

1.2 K-means++聚类算法

YOLO算法是根据网络预设的先验框回归到最终的预测框,因此先验框的尺寸直接影响检测算法的检测精度。原YOLOv4算法的先验框大小是根据COCO数据集目标尺寸聚类得到的,混合数据集中小目标的占比较大,与COCO数据集存在较大差异。因此,R-YOLO采用K-means++聚类算法重新对数据集进行聚类和分析,得到适合本模型数据集的Anchor,分别为(10,29),(20,49),(56,51),(37,104),(113,105),(74,184),(149,279),(256,174),(332,346)。图4为K-means++聚类结果图,图中x为聚类中心,不同颜色代表混合数据集中不同类别的聚类簇。由图4可以看出,K-means++聚类算法所选取的聚类中心都平均分布于每一类中。

图4 K-means++聚类结果图

1.3 迁移学习

迁移学习把任务A开发的模型作为初始点,重新应用在为任务B开发模型的过程中,通过从已学习的相关任务中转移知识改进学习新任务。例如,学习识别苹果可能有助于识别梨,或者学习识别弹奏电子琴可能有助于学习识别钢琴[26]。

迁移学习在图像识别领域同样适用,迁移学习可以将已学习到的对图像检测的理解应用到新的模型中。CNN模型从数据集中获取信息,进而获得相应的模型权重,这些权重可以迁移到其他网络中,加快并优化模型训练收敛速度,使模型在小数据集上也具备较好的泛化性能。R-YOLO模型基于迁移学习思想,对模型在大样本量的VOC数据集上进行训练,得到最优权重,将训练好的特征提取网络运用到新组合的数据集中,通过新的数据集对网络进行微调。

2 实验设计

2.1 数据集及训练配置

本研究数据集在VOC数据集的基础上,增加了货运火车实际运行场景下的相关图像,采用混合数据集进行训练,部分数据集图像如图5所示。主要的图像数据包括VOC2007和VOC2012中各个场景下的人员目标图像。另外,按照VOC2007格式标注了铁路场景下的人员目标图像。

图5 部分数据集图像

本文模型训练与测试采用的软件环境和硬件环境配置为Windows10操作系统,PyTorch深度学习框架,电脑配置的CPU型号为Intel(R) Core(TM) i7-8550U。GPU型号为NVIDIA GeForceRTX 2080 SUPER,使用Python3.6编译器,同时配置CUDA10.1,Cudann7.6.3进行GPU加速处理。网络总共进行300次迭代,其训练分2个阶段,先冻结模型的主干网络,进行50个epoch的冻结训练,接着解冻主干网络,迭代剩余的250个epoch,初始学习率设置为0.001。

2.2 评价指标

本文选取预测框与目标框的交并比(intersection over union,IoU)大于0.5的阈值作为判定目标检测的标准,平均精度(average precision,AP)、平均精度均值(mean average precision,mAP)和每秒帧数(frames per second,FPS)作为模型的评价指标。mAP的提升体现了改进模型检测准确率的提高,帧速率FPS的提升体现了改进模型实时性的提高。

(3)

(4)

(5)

式中:TP指正样本识别为正样本的数量;FP指负样本识别为正样本的数量;FN指正样本误判为负样本的数量;P是精度;R是召回率。AP为P-R曲线与坐标轴围成的面积,计算如式(6)所示:

(6)

对所有类别的AP值取平均,得到均值平均精度mAP,表示为

(7)

式中:numClasses为总目标类别数;classes为目标类别集合。

2.3 对比试验设计

为了选取更加优秀的检测模型,本文设计了4次对比试验。1)本模型为实现轻量化网络,在不损失大量精度的同时替换了骨干网络,针对轻量化网络的选择,对目前较流行的轻量化网络分别作为骨干网络进行试验。2)为了直观展现网络轻量化后的参数量变化,本试验计算了轻量化改进前后网络的参数量,并进行对比。3)为了验证本模型添加的注意力机制对网络检测精度提高的优势,本试验将在同网络的相同位置分别添加SENet,ECA,CBAM和CA模块,在相同的训练集和测试集上进行训练和测试,并进行对比。4)为了体现R-YOLO模型与其他模型相比的优越性,本试验在相同设备和数据集上将R-YOLO模型与Faster R-CNN,YOLOv3,YOLOv4,YOLOv4-Tiny 4种卷积神经网络模型进行对比。

2.4 消融实验设计

为了更好地理解R-YOLO模型中各种改进对检测结果的影响,在基准模型YOLOv4的基础上,采用本文混合数据集对改进前后的模型进行训练,对模型不同改进阶段进行实验。将YOLOv4基准模型作为模型A,将主干特征提取网络替换为轻量化网络ResNet50以及将部分卷积替换为深度可分离卷积作为模型B,在颈部网络的3个特征层添加有效通道注意力机制作为模型C,最后利用K-means++聚类算法重新对数据集进行聚类分析作为模型D。

2.5 铁路数据集测试试验设计

为了验证本文模型在铁路背景下的检测结果,建立了真实铁路轨道人员入侵数据集,并在该数据集上进行测试。该数据集为非公开数据集,在相关铁路段实地模拟行人入侵场景并采集高清视频,以10～100 s为间隔将视频转换成图片,用LabelImg进行图像标注,从而完成数据集的构建。

3 结果与分析

3.1 对比试验结果分析

表1为将骨干网络替换为5种轻量化网络试验的对比结果。将骨干网络分别替换为轻量化网络MobileNetV1,MobileNetV2,MobileNetV3,VGG和ResNet50进行试验,其中在替换为ResNet50后,mAP值为89.90%,结果最优。因此,选用ResNet50作为本文模型的骨干网络。

表1 骨干网络对比

通过将YOLOv4的骨干网络替换为ResNet50以及将网络中的部分普通卷积替换为深度可分离卷积可以有效减少模型的整体参数量。表2为将网络进行轻量化改进后的参数量的对比情况,与基准模型YOLOv4相比,R-YOLO模型参数量减少了45%。

表2 网络参数量对比

表3为在相同网络的相同位置分别添加不同注意力模块试验的对比结果。由表3可以看出,增加不同注意力模块后,模型检测精度均有所提升。其中,添加ECA模块后的模型精度提升最高,mAP值提升了1.62个百分点。试验结果表明,使用ECA模块,提高了模型对目标的关注,抑制了复杂背景的干扰。

表3 注意力机制对比

表4为不同模型的对比试验结果。由表4可以看出,Faster R-CNN检测准确性较高,能够对同一目标进行多次检测,检测准确性较高,但检测速度相对较慢。通过对YOLO系列网络结构地不断改进,在检测速度和精度上都有显著的提升,本文模型与轻量检测模型YOLOv4-Tiny相比,R-YOLO模型的mAP值要高14.32个百分点。虽然YOLOv4-Tiny在模型大小和检测速度方面均优于R-YOLO模型,但是R-YOLO模型均衡性更好,可以同时保证模型的检测精度和速度。

表4 不同模型对比试验结果

3.2 消融实验结果分析

图6为300次迭代后的模型训练集和验证集的Loss曲线。由图6可以看出,本文模型在训练过程中训练集和验证集的Loss值随训练周期增多呈下降趋势,在0.04左右趋于稳定,说明模型在训练过程中已达到稳定和最优。图7为各类目标在不同改进阶段的各类别AP,从图7可以看出各类目标的AP在不同改进阶段均有所提升。

图6 训练集和验证集的Loss曲线

图7 各类别AP

表5是逐步增加各种改进措施的消融实验结果。由表5可以看出,基准模型YOLOv4的mAP为90.23%。模型B将主干特征提取网络替换为轻量化网络ResNet50以及将部分普通卷积替换为深度可分离卷积,检测精度有所下降,mAP为89.90%,但是模型大小与基准模型A相比减少了50%。模型C添加有效通道注意力机制,加强了网络的特征提取能力,进一步改进后的模型mAP值提升了1.62个百分点,检测速度略有下降。模型D采用新的先验框尺寸后,改进模型的定位回归,在不影响检测速度的情况下检测精度进一步得到提升,mAP为91.52%。

表5 消融实验结果

3.3 铁路数据集测试试验结果分析

图8为真实铁路轨道人员入侵数据集部分测试结果图。由图8可以看出,R-YOLO模型在真实铁路数据集中表现出了极佳的检测效果,能准确检测到轨面以及轨道范围中的人员目标。为了更加直观地评价本文模型的性能,图9对改进前后的检测效果进行了对比。结果表明,R-YOLO在3组图片中表现出了优异的检测性能,检测到了更多小目标,并识别出被遮挡目标,且不存在误检问题。相比于原始的YOLOv4模型,R-YOLO模型在对遮挡目标以及小目标检测时存在的误检和漏检问题都有所改进,并且FPS达到了47.73 f·s-1,满足铁路复杂场景下实时性与精确性的需求。

图8 部分真实铁路数据集测试结果

图9 YOLOv4和R-YOLO检测效果对比

4 结 语

本文针对骨干网络部分进行改进,使用轻量级网络ResNet50替换了YOLOv4中的主干特征提取网络,在颈部和头部网络中,将部分3×3普通卷积替换为深度可分离卷积,使模型参数量大幅减少。在加强特征提取网络的3个特征层分别加入有效通道注意力模块,针对铁路人员入侵的数据集普遍目标较小的情况,通过K-means++聚类算法重新设计网络先验框尺寸,提高了网络检测精度。R-YOLO模型采用迁移学习和混合数据集联合训练,解决了因铁路含有阳性样本数据集数量少、识别精度不理想和人员误检漏检等问题。本文R-YOLO模型只对晴朗天气轨道人员的入侵进行检测,未来还需完善更多天气下的轨道人员入侵检测,如雨雪、雾天等,以提升模型的普适性。

参考文献/References：

[1] 朱亚男,李冰毅,房楠,等.铁路入侵智能检测方法研究[J].机车车辆工艺,2019(2):44-45.

[2] 王瑞,李霄峰,史天运,等.基于视频深度学习的铁路周界入侵检测算法研究[J].交通运输系统工程与信息,2020,20(2):61-68.

WANG Rui,LI Xiaofeng,SHI Tianyun,et al.Railway perimeter intrusion detection algorithms based on video deep learning[J].Journal of Transportation Systems Engineering and Information Technology,2020,20(2):61-68.

[3] 王泉东,杨岳,罗意平,等.铁路侵限异物检测方法综述[J].铁道科学与工程学报,2019,16(12):3152-3159.

WANG Quandong,YANG Yue,LUO Yiping,et al.Review on railway intrusion detection methods[J].Journal of Railway Science and Engineering,2019,16(12):3152-3159.

[4] 王瑞,史天运,包云.一种基于视频的铁路周界入侵检测智能综合识别技术研究[J].仪器仪表学报,2020,41(9):188-195.

WANG Rui,SHI Tianyun,BAO Yun.Research on an intelligent comprehensive recognition technology in railway perimeter intrusion detection based on videos[J].Chinese Journal of Scientific Instrument,2020,41(9):188-195.

[5] 郭保青,王宁.基于改进深度卷积网络的铁路入侵行人分类算法[J].光学精密工程,2018,26(12):3040-3050.

GUO Baoqing,WANG Ning.Pedestrian intruding railway clearance classification algorithm based on improved deep convolutional network[J].Optics and Precision Engineering,2018,26(12):3040-3050.

[6] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:Unified,real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas:IEEE,2016:779-788.

[7] REDMON J,FARHADI A.YOLOv3:An Incremental Improvement[EB/OL].[2023-04-21].https://arxiv.org/abs/1804.02767.

[8] BOCHKOVSKIY A,WANG C Y,MARK LIAO H Y.YOLOv4:Optimal Speed and Accuracy of Object Detection[EB/OL].[2023-04-21].https://arxiv.org/abs/2004.10934.

[9] 李松江,耿兰兰,王鹏.基于改进Yolov4的车辆目标检测[J].计算机工程,2023,49(4):272-280.

LI Songjiang,GENG Lanlan,WANG Peng.Vehicle target detection based on improved Yolov4[J].Computer Engineering,2023,49(4):272-280.

[10] FU Junpeng.CHENXingjie,LV Zhaomin.Rail fastener status detection based on MobileNet-YOLOv4[J].Electronics,2022,11(22):3677.

[11] ZHANG Yong,ZHOU Aibo,ZHAO Fengkui,et al.A lightweight Vehicle-Pedestrian detection algorithm based on attention mechanism in traffic scenarios[J].Sensors,2022,22(21).DOI:10.3390/s22218480.

[12] 韩淑梅,王阳萍,于坤,等.基于轻量化网络的遥感影像铁路沿线地物检测方法[J].兰州交通大学学报,2022,41(5):42-51.

HAN Shumei,WANG Yangping,YU Kun,et al.Remote sensing image detection method of ground objects along railway line based on lightweight network[J].Journal of Lanzhou Jiaotong University,2022,41(5):42-51.

[13] 朱梦瑞,牛宏侠.改进YOLOv3模型的铁路异物入侵识别算法[J].北京交通大学学报,2022,46(2):37-45.

ZHU Mengrui,NIU Hongxia.Algorithm for railway foreign object intrusion detection by improved YOLOv3 model[J].Journal of Beijing Jiaotong University,2022,46(2):37-45.

[14] WANG Wenshan,WANG Shuang,GUO Yongcun et al.Detection method of obstacles in the dangerous area of electric locomotive driving based on MSE-YOLOv4-Tiny[J].Measurement Science and Technology,2022,33(11).DOI:10.1088/1361-6501/ac82db.

[15] CAO Zhiwei,QIN Yong,XIE Zhengyu,et al.An effective railway intrusion detection method using dynamic intrusion region and lightweight neural network[J].Measurement,2022,191.https://doi.org/10.1016/j.measurement.2021.110564.

[16] 余志强,张明.基于改进Faster RCNN的小尺度铁路侵限算法[J].计算机工程与设计,2022,43(4):1023-1031.

YU Zhiqiang,ZHANG Ming.Improved faster RCNN based railway intrusion detection algorithm for small objects[J].Computer Engineering and Design,2022,43(4):1023-1031.

[17] 于晓英,苏宏升,姜泽,等.基于YOLO的铁路侵限异物检测方法[J].兰州交通大学学报,2020,39(2):37-42.

YU Xiaoying,SU Hongsheng,JIANG Ze,et al.Detection method of railway intruding obstacle based on YOLO algorithm[J].Journal of Lanzhou Jiaotong University,2020,39(2):37-42.

[18] WOO J,BAEK J H,JO S H,et al.A study on object detection performance of YOLOv4 for autonomous driving of tram[J].Sensors,2022,22(22).DOI:10.3390/s22229026.

[19] 管岭,贾利民,谢征宇.融合注意力机制的轨道入侵异物检测轻量级模型研究[J].铁道学报,2023,45(5):72-81.

GUAN Ling,JIA Limin,XIE Zhengyu.Research on lightweight model for railway intrusion detection integrating attention mechanism[J].Journal of the China Railway Society,2023,45(5):72-81.

[20] 刘力,苟军年.基于YOLO v4的铁道侵限障碍物检测方法研究[J].铁道科学与工程学报,2022,19(2):528-536.

LIU Li,GOU Junnian.Research on detection method of railway intrusion obstacles based on Yolo v4[J].Journal of Railway Science and Engineering,2022,19(2):528-536.

[21] 蔡鑫楠,丁学文,张子怡,等.基于YOLOv5的铁轨异物入侵检测[J].智能计算机与应用,2022,12(11):161-167.

CAI Xinnan,DING Xuewen,ZHANG Ziyi,et al.Intrusion detection of rail foreign objects based on YOLOv5[J].Intelligent Computer and Applications,2022,12(11):161-167.

[22] 孟彩霞,王兆楠,石磊,等.改进YOLOv5s的铁路异物入侵检测算法[J/OL].小型微型计算机系统.(2023-02-02)[2023-05-09].http://kns.cnki.net/kcms/detail/21.1106.TP.20230217.1616.007.html.

MENG Caixia,WANG Zhaonan,SHI Lei,et al.Improved railroad foreign object intrusion detection algorithm for YOLOv5s[J/OL].Journal of Chinese Computer Systems.[2023-05-09].http://kns.cnki.net/kcms/detail/21.1106.TP.20230217.1616.007.html.

[23] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Deep residual learning for image recognition[J].IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:IEEE,2016:770-778.

[24] HU Jie,SHEN Li,SUN Gang.Squeeze-and-Excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,UT,USA:IEEE,2018:7132-7141.

[25] WOO S,PARK J,LEE J Y,et al.CBAM:Convolutional block attention module[C]//Computer Vision-ECCV 2018:Springer international publishing.Cham:Springer,2018:3-19.

[26] 徐慧智,闫卓远,常梦莹.一种结合ResNet和迁移学习的交通标志识别方法[J].重庆理工大学学报(自然科学),2023,37(3):264-273.

XU Huizhi,YAN Zhuoyuan,CHANG Mengying.A traffic sign recognition method based on ResNet and transfer learning[J].Journal of Chongqing University of Technology(Natural Science),2023,37(3):264-273.