基于无人机机器视觉的轨道异物入侵检测方法

李树杰　贾子彦

摘要：针对传统轨道入侵异物检测方法效率和时效性的不足，文章提出一种基于无人机航拍视频的轨道异物入侵检测算法。首先，通过LSD算法定位铁轨位置并划定铁路安全边界；然后，以YOLOv5s网络为基础，针对其小目标识别率低的问题，改进网络原有的检测层尺度；最后，再引入双向特征金字塔网络，并结合CBAM注意力机制重构模型的Neck部分，进而提出改进后的模型。实验结果表明，改进后模型在VisDrone数据集和自制轨道异物数据集的平均精度值分别提高了9.7%和5.9%，模型体积缩小32%，检测速率达到50.5 frames·s-1，可以为铁路异物入侵智能化检测的研究提供参考。

关键词：轨道异物；目标检测；YOLOv5；无人机

中图分类号：TP391.4文献标志码：A0引言轨道异物入侵是人为事故和列车本身故障以外造成铁路事故的主要因素，现阶段通常采用间接检测的方法避免异物入侵带来的危害。间接检测以非接触式的视频监控、微波为主［1］，目前的研究重点主要集中在视频监控方法上。德国学者利用车载摄像机和激光雷达实现轨道异物识别［2］。陈根重［3］设计了融合单目与双目一体的异物入侵检测系统。金炳瑞［4］提出了基于图像处理的轨道异物入侵检测方法。何文玉等［5］利用YOLOv3网络模型完成定点监控的轨道异物检测。

目前视频监控检测异物的方法大多用于铁路关键位置，检测范围有限。随着无人机技术和机器视觉技术的发展，利用无人机灵活机动的优势检测入侵轨道的异物，能够弥补传统轨道异物入侵检测方法的不足。Huang等［6］提出了一种基于卷积神经网络的无人机航拍视频铁路入侵检测算法。刘芳等［7］通过改变模型检测尺度提高小目标检测的准确率。俞军燕等［8］利用CNN网络完成无人机航拍视频中轨道入侵异物的检测，并在自制数据集上证明了方法的有效性。解博等［9］提出了一种航拍图像梯度聚类SSD目标检测算法，并证明了其速度优势。

针对现有轨道异物检测算法的不足，本文提出了一种基于无人机机器视觉的轨道异物入侵检测算法。首先，使用无人机沿轨道飞行，通过机载云台相机获取实时巡检图像数据；然后，利用LSD算法和传统图像处理技术确定安全边界；最后，将图片输入改进后的模型进行检测。若安全边界内检测到异物，则判定异物入侵，无人机将异物入侵现场图片和位置信息上传并记录，供工作人员处理。

1确定安全边界由于无人机航拍时轨道在图像中的位置不固定，本文先根据轨道直线特性，使用LSD直线检测方法确定轨道位置，再通过传统图像处理技术划分安全边界，作为判断异物入侵轨道的范围标准。本文所用素材由DJI MINI2无人机拍摄，拍摄高度为15～20 m。安全边界的划分流程为：

（1）将无人机拍摄图片转化为灰度图后进行LSD直线检测。

（2）保留长度和角度符合轨道特征的直线。

（3）将最左侧和最右侧直线分别向左右两边平移一个轨道距离并延长至图片边缘，直线中间区域为安全边界。

1.1轨道线检测

1.2划分安全边界将最左侧和最右侧的轨道线分别向外平移一个轨道宽度并延长至图片边缘，两条直线间的区域即为铁路安全边界，轨道的宽度由无人机实际飞行高度和相机参数决定。具体过程如图1（d）所示，白框范围内为安全边界。

2YOLOv5目标检测算法YOLOv5属于单阶段检测算法，结构简单、兼顾检测效率和精度，容易部署，适合无人机巡检作业。YOLOv5s的网络结构如图2所示，主要由输入端、主干网络、颈部网络和检测头组成。

输入端（Input）对输入的图像进行数据增强、锚框计算和图片缩放；主干网络（Backbone）使用残差结构块提取异物特征；颈部网络（Neck）由特征金字塔网络（Feature Pyramid Networks，FPN）与路径聚合网络（Path Aggregation Network，PAN）相结合的方式组成，实现语义信息和位置信息的传递与融合；检测层（Head）中使用Detect检测器在同尺度的特征图预测不同尺寸的目标。

3算法改进为了提高无人机场景下目标检测的准确率，本文对YOLOv5s网络做出改进：

（1）将YOLOv5s的模型寬度提高50%，删除大目标检测层，增加微小目标检测层，并在Neck部分的Concat之后加入SPP模块。

（2）采用BiFPN双向加权特征金字塔结构进行特征融合。

（3）在模型的Neck部分的检测头之前，引入CBAM （Convolutional Block Attention Module）注意力机制。

3.1网络宽度和检测尺度改进YOLOv5按照输入特征图尺寸的1/32，1/16，1/8输出特征层进行检测，分别进行大、中、小不同尺寸目标的检测。数据集目标尺寸分布如图3所示，大部分目标属于微小目标，YOLOv5原有的检测尺度在此场景下识别效果较差。

本文对YOLOv5模型的多尺度特征融合网络进行调整，采用K-Means聚类方法确定VisDrone数据集和自制轨道异物数据集先验框的尺寸分布，根据数据集中实际目标出现频次、长宽先验信息，增加输入尺寸1/4的特征层作为微小目标的检测层，并删除输入尺寸1/32的特征检测层。同时，本文在Neck网络中concat模块后加入SPP模块对特征图进行池化操作，提取不同尺寸的空间特征信息，进而实现多重感受野融合。

此外，本文也将YOLOv5s的宽度加宽50%，以增加模型容量，提高网络保存历史信息的能力。经过实验证明，改进了网络宽度和检测尺度后的模型检测精度上升，同时模型的体积和计算量减少。

3.2Neck部分改进YOLOv5采用FPN+PAN的结构增强了模型整体特征融合能力，但融合过程中缺少来自主干网络的原始特征，容易使训练结果出现偏差从而影响小目标检测精度。本文使用双向加权特征金字塔结构改进FPN+PAN结构，改进的结构如图4所示，当输入图像尺寸为640×640时，输出尺度为160×160，80×80，40×40的特征层分别对微小、小、中目标进行检测。

改进后的连接方式使得特征的融合更加合理，特征中包含的语义信息更加丰富。改进后的模型在推理速度不变的前提下，对小目标的检测精度有提升。

3.3融入CBAM注意力机制注意力机制（Attention Mechanism）能根据任务需求从复杂的信息中关注有用信息，本文通过在网络中融入CBAM注意力机制提高模型训练学习能力。CBAM包含通道注意力和空间注意力两个独立子模块，对于输入特征F∈Rw×H×c，通道注意力和空间注意力模块输出计算公式分别如下：

4实验设计

4.1实验准备

4.1.1数据处理公开数据集VisDrone2019和自制数据集的目标种类及数量分布如图7所示，VisDrone2019全部由无人机拍摄，识别难度较高，能有效反映算法的优劣；自制数据集由DJI MINI2无人机沿轨道飞行拍摄的图片组合而成。

4.1.2实验设置

4.2评价指标

4.3消融实验本文在VisDrone数据集上进行了消融实验，以原始YOLOv5s算法为基础，分别只增加一种改进方法验证每种方法的效果，实验结果如表1所示。其中，参数量用来衡量模型复杂程度，参数量越小，模型所需计算资源越少；mAP是衡量算法检测精度的指标，mAP数值越高代表算法的检测能力更强。从表1可以看出，本文所提出的4种改进，每一种都能够提高模型精度，其中改进多尺度检测层对精度的提升最大，达到了5.4%。改进后的算法相比于原始的YOLOv5s算法检测精度提高了9.7%，同时模型体积降低32%，参数量降低35.8%，检测速度达到40.3 frame·s，满足无人机轨道巡检实时性要求。

本文将改进后的算法与主流的目标检测算法YOLOv3-tiny，CDNet，SSD（single shot multiBox detector），Faster R-CNN，YOLOv5m在公开数据集VisDrone数据集上进行性能对比，如表2所示，改进后的算法平均检测精度达到了41.8%，相较于其他算法有明显的优势，平均检测精度达到了41.8%，与YOLOv5m算法相比也有5.3%的提升。此外，改进后的算法模型体积更小，对硬件的要求低，便于后续算法的部署。

4.4自制数据集迁移实验本文的自制数据集包含1 143张图片，选择的目标以汽车、电动车、卡车、人、骑行者和动物这些常见的轨道异物为主。目标的尺度跨度从卡车到动物，能够验证模型对不同尺度目标的检测性能，电动车、人和骑行者的分类能验证模型的细节分类能力。在自制数据集上，改进后的算法平均精度达到了76.4%，相比于原始的YOLOv5s算法提高了5.9%，充分证明了改进后的算法具有较好的泛化性。同时，改进后的算法检测速度也达到了50.5 frame·s-1，能够满足实时性检测要求。部分铁路异物检测结果如图8所示，其中图8（a）和（b）在安全边界内检测出入侵异物判定为异物入侵，图8（c）检测出的行人在安全边界外判定为安全。

5结语本文提出了一种无人机视角下的动态轨道区域检测方法，相比于传统的轨道区域检测方法有更好的鲁棒性，為后续判断异物是否入侵铁路范围提供依据。此外，本文还通过改进YOLOv5s特征融合模块，增加小尺度目标检测层，引入注意力机制，优化了小目标检测精度差这一重点与难点问题，这对无人机视角下的目标检测任务有重要参考意义。本文还通过实验证明，改进后的算法在VisDrone和自制轨道异物数据集上的检测精度都有所提升，改进后的算法在自制轨道异物数据集上的平均检测精度达到了76.4%，检测速度达到了50.5 frame·s-1，优于其他目标检测网络，能够为无人机检测轨道异物提供算法支持。

参考文献

［1］王泉东，杨岳，罗意平，等.铁路侵限异物检测方法综述［J］.铁道科学与工程学报，2019（12）：3152-3159.

［2］RUDER M，MOHLER N，AHMED F.An obstacle detection system for automated trains：Intelligent Vehicles Symposium［C］.New York：IEEE，2003.

［3］陈根重.基于单目视觉的轨道交通异物侵限检测方法研究［D］.北京：北京交通大学，2013.

［4］金炳瑞.基于图像处理的铁路轨道异物入侵的自动识别研究［D］.兰州：兰州交通大学，2016.

［5］何文玉，杨杰，张天露.基于深度学习的轨道异物入侵检测算法［J］.计算机工程与设计，2020（12）：3376-3383.

［6］HUANG H，LIANG L，ZHAO G，et al.Railway clearance intrusion detection in aerial video based on convolutional neural network：2019 Chinese Control And Decision Conference （CCDC），Kunming，China［C］New York：IEEE，2019.

［7］刘芳，吴志威，杨安喆，等.基于多尺度特征融合的自适应无人机目标检测［J］.光学学报，2020（10）：133-142.

［8］俞军燕，黄皓冉，杨毅，等.基于卷积神经网络的航拍视频轨道异物检测方法［J］.城市轨道交通研究，2022（10）：91-97.

［9］解博，朱斌，樊祥，等.基于SSD卷积网络的航拍图像目标检测方法［J］.光电子·激光，2019（4）：407-414.

（编辑 沈强）

Orbital foreign body intrusion detection method based on UAV machine visionLi  Shujie， Jia  Ziyan*

（School of Electriacl and Information Engineering， Jiangsu University of Technology， Changzhou 213000， China）Abstract：  Aiming at the deficiency of efficiency and timeliness of traditional orbital intrusion detection methods， an algorithm for orbital intrusion detection based on UAV aerial video was proposed. Firstly， LSD algorithm is used to locate the railway track and delimit the railway safety boundary；Then， based on the YOLOv5s network， the original detection layer scale of the network is improved to address the problem of low small target recognition rate; Finally， a bidirectional feature pyramid network is introduced and combined with the CBAM attention mechanism to reconstruct the Neck part of the model， thereby proposing an improved model. The experimental results show that the average accuracy of the improved model in VisDrone data set and self-made track foreign body data set is increased by 9.7% and 5.9% respectively， the model volume is reduced by 32%， and the detection rate reaches 50.5 frames·s-1， which can provide reference for the research of intelligent detection of railway foreign body intrusion.

Key words： orbital foreign body; object detection; YOLOv5; drone