基于改进Faster R-CNN的高铁扣件检测算法

裴莹玲 罗晖 张诗慧 李佳敏 徐杰

摘要：针对高铁无砟轨道中扣件发生松动，导致高铁扣件发生偏移或丢失的问题，提出一种基于改进Faster R-CNN的高铁扣件检测算法。在特征提取网络中引入可变形卷积，构建可变形残差卷积块，使特征提取过程更加集中于扣件区域，实现扣件状态的精确提取;并采用Alpha-IoU作为目标回归损失函数提高高铁扣件的回归精度。实验结果表明，该算法提高了高铁扣件的检测精度，相比于其他算法，能更准确地进行扣件定位和状态检测。

关键词：高铁扣件检测;可变形卷积;Faster R-CNN;Alpha-IoU

中图分类号：U213;TP39 文献标志码：A

本文引用格式：裴莹玲，罗晖，张诗慧，等. 基于改进Faster R-CNN的高铁扣件检测算法[J]. 华东交通大学学报，2023，40（1）：75-81.

High-Speed Railway Fastener Detection Algorithm Based on

Improved Faster R-CNN

Pei Yingling1， Luo Hui1， Zhang Shihui1， Li Jiamin1， Xu Jie2

（1.School of Information Engineering， East China Jiaotong University， Nanchang 330013， China;

2. Jiangxi Huitong Technology Development Co.， Ltd.， Nanchang 330013， China）

Abstract：Aiming at deflection or loss of high-speed railway fasteners caused by the loose fasteners in the ballastless track of high-speed railway， this paper proposes a high-speed railway fastener detection algorithm based on improved Faster R-CNN. Deformable convolution was introduced in the feature extraction network to build deformable residual convolution block（DRCB）， which makes the feature extraction process more focused on the fastener region and achieves the accurate extraction of fastener state; and Alpha-IoU was used as the target regression loss function to improve the regression accuracy of high-speed railway fasteners. The experimental results show that the algorithm proposed improves the detection accuracy of high-speed railway fasteners and can perform fastener localization and state detection more accurately than other algorithms.

Key words： fastener state detection; deformable convolution; Faster R-CNN; Alpha-IoU

Citation format：PEI Y L，LUO H，ZHANG S H，et al. High-speed railway fastener detection algorithm based on improved faster R-CNN[J]. Journal of East China Jiaotong University，2023，40（1）：75-81.

高鐵扣件用于连接轨枕和钢轨，固定钢轨，为钢轨提供横纵向约束，是高铁重要的组成部分[1]。但由于高铁运行速度快，行车密度大，使高铁扣件在承受列车荷载的同时受到连续冲击，容易出现偏移和丢失等问题[2]，并直接影响高铁的安全运行，对高铁扣件状态的检测具有十分重要的意义[3]。

目前，采用基于机器视觉的目标检测方法相比于传统的人工巡检，可以降低高铁扣件的漏检率和误检率，但无法实现对高铁扣件的准确、快速检测。随着人工智能技术的发展，针对目标检测，Girshick等[4]提出了R-CNN网络，采用卷积神经网络来对目标进行特征提取，并提出了Fast R-CNN[5]网络，再采用Soft-max作为分类器对目标进行分类，提高了模型的检测精度;Ren等[6]提出了Faster R-CNN，改进了Fast R-CNN，采用区域候选网络（region proposal network，RPN）来生成目标候选框，提升了检测速度，同时提高了模型的检测精度。Li等[7]提出了一种新的基于区域的Faster R-CNN算法来对目标进行检测，提高了检测精度和检测速度。为了实现铁路扣件的准确定位，白堂博等[8]提出了一种基于改进Faster R-CNN的扣件定位算法，根据标注数据优化区域候选网络边框信息，提高了检测精度。

以上方法虽然都可以对高铁扣件进行检测，但针对高铁扣件状态检测的研究并不多。为了应对高铁扣件的不同形态特征变化，本文提出了一种基于改进Faster R-CNN的高铁扣件检测算法，采用ResNet-101作为特征提取网络，同时引入可变形卷积，构建可变形残差卷积块（deformable residual convolution block，DRCB），并采用Alpha-IoU作为目标回归损失函数，进一步提高了高铁扣件状态的检测精度。

1 Faster R-CNN算法

Faster R-CNN 的网络结构包含3个模块，分别是特征提取模块、区域候选模块和分类回归模块。其中，特征提取模块通过卷积层对高铁扣件进行特征的提取，从而获得相应的高铁扣件特征图;区域候选模块通过RPN网络生成大量的候选框，接着采用Soft-max判断候选框中目标的类别，边框回归损失函数对候选框进行修正，从而得到较为精确的高铁扣件候选区域;分类回归模块采用Soft-max分类器和回归器进一步对高铁扣件进行状态分类和边框回归，最后输出高铁扣件状态和高铁扣件位置信息。网络结构如图 1 所示。

2 基于可变形卷积的改进Faster R-CNN检测模型

2.1 改进特征提取网络

在高铁扣件状态检测过程中，卷积神经网络的深度越深，能够提取到越多的特征信息，但随着网络层数的增多，会造成梯度爆炸或梯度消失等问题，从而降低网络的检测精度。为了解决这个问题，特征提取模块采用了ResNet-101网络来对高铁扣件进行特征提取，通过采用残差连接的方式，以在保证网络深度的同时，尽可能地避免网络性能的恶化。如图 2 所示，其中：x为输入;F（x）为3×3卷积后的输出;H（x）为通过卷积残首卷积块后的输出。

高铁扣件包括正常、偏移、丢失等不同状态，存在不同的形态，采用标准卷积只能获取高铁扣件的部分形态特征信息。为了解决这个问题，在特征提取网络ResNet-101中引入可变形卷积，构建可变形残差卷积块，如图 3 所示。在提取高铁扣件特征的过程中，通过额外的卷积层去学习相应位置高铁扣件的偏移量，以扩大感受野，从而获取更丰富的高铁扣件形态特征[9]。

在特征提取模块中，将最后两部分残差卷积块全部替换为可变形残差卷积块。在可变形卷积的计算过程中，通过对特征图上每个位置增加一个偏移量Δpn来对高铁扣件的特征进行学习，同时采用相应的偏移权重Δmn来消除背景噪声的干扰。假设采样域R={（-1，-1），（-1，0），…，（0，1），（1，1）}其输出为

y（p）=wn x（p+pn+Δpn）Δmn（1）

式中：N为卷积的组合值;pn表示采样域R中的位置;wn为权重值。

式中：pi?为真实样本的概率。

在未改进的Faster R-CNN检测模型中， smoothL1作为目标回归损失函数，只考虑了预测边框和实际边框之间的距离，没有考虑到预测边框和实际边框发生重叠的情况，不利于预测边框的精确回归。为了解决上述问题，考虑到预测边框和实际边框之间不同的重合度，以及预测边框和实际边框中心点和对角线之间的距离，采用Alpha-DIoU损失函数为目标回归损失函数Lreg，用于调整边界框位置，提高边界框的回归精度。

Lreg（ti，ti?）=Lα-DIoU（ti，ti?）（4）

Lα-DIoU=1-IoUα+（5）

IoU=（6）

式中：Lα-DIoU，IoU为中间变量;α为IoU的参量;ti*为第i个候选框对应的真实样本的边界框回归参数;b，bgt为预测边框A和实际边框B的中心点;ρ为欧氏距离;c为最小外接矩形的对角线距离;A为预测边框;B为实际边框。

3 高铁扣件数据集

3.1 数据集采集

本文利用轨道交通基础设施性能监测与保障国家重点实验室的实验场地采集了1 600张的高铁扣件状态图像（其中偏移状态1 050张，丢失状态550张），构建了高铁扣件原始数据集。如图 5 所示。

3.2 数据增强和数据标注

本文采用几何变换方法来对数据集进行数据增强，将数据集扩充至2 616张。同时采用labelImg来對数据图像进行标记。所有图像均由最小矩形框标记，由xml格式保存，它包括方框中最小矩形的4个坐标和目标的类别。在训练过程中，随机取70%作为训练集，剩下30%作为测试集。

4 实验与结果分析

4.1 实验平台与参数设置

本文采用了Pytorch深度学习框架对检测网络进行训练和验证，实验平台参数如表1所示。网络模型训练分为两个阶段，冻结训练阶段，初始学习率设为0.000 1，解冻训练阶段，初始学习率设为0.000 01。

4.2 评价指标

在对高铁扣件的检测过程中，检测精度PA表示检测模型对于不同高铁扣件状态的识别程度;平均精度均值PMA反映了检测模型对所有高铁扣件状态的识别程度;检测速度FPS是每秒帧率，反映了每秒钟可以处理的图片数量。计算如下

PA=p（r）dr（7）

PMA=（8）

其中：p为精确率;r为召回率;N为检测类别总数。

4.3 实验结果分析

为了验证所提算法的先进性，本文从3个方面进行了比较实验。

4.3.1 特征提取网络实验对比分析

为了验证特征提取网络的改进有效，采用了3种不同的特征提取网络进行实验对比分析，分别是ResNet50，ResNet101和引入可变形卷积的ResNet101。在自建的高铁扣件数据集上进行训练，对网络模型进行评估。Off为高铁扣件发生偏移，Miss为高铁扣件发生丢失。检测结果如表2所示。

从表2中可以知道，相比于ResNet50和ResNet101，ResNet101+DCN检测精度最高，平均准确率分别提高了2.03%和0.34%，表明采用ResNet101+DCN作为特征提取网络有利于提升Faster R-CNN算法对高铁扣件的状态检测。

4.3.2 损失函数实验对比分析

为了验证回归损失函数的改进有效，将改进回归损失函数后的Faster R-CNN算法与改进前的Faster R-CNN算法在自建的高铁扣件数据集上进行训练，同时对网络模型进行性能对比评估。检测结果如表3所示。

从表3中可以知道，相比于原始的Faster R-CNN算法，采用Alpha-DIoU损失函数作为目标回归损失函数，平均检测准确率提高了0.7%，表明采用Alpha-IoU损失函数作为目标回归损失函数，能够提升Faster R-CNN算法对高铁扣件状态的检测精度。

4.3.3 与其他算法的实验对比分析

采用自建的高铁扣件数据集，通过与不同的目标检测算法进行实验对比。其中，SSD算法和YOLOv4算法是具有代表性的单阶段目标检测算法，Faster R-CNN算法是典型的两阶段目标检测算法，这3种算法有一定的权威性，可以更好地验证算法的有效性。检测效果如表4所示。

从表4中可以知道，在高铁扣件状态的检测过程中，基于改进Faster R-CNN的高铁扣件检测算法相比于其他算法的检测精度最高，检测性能最好。图6为采用改进Faster R-CNN的算法得到的高铁扣件状态检测实例。由图7可以看出，蓝框表示高铁扣件发生偏移，红框表示高铁框架发生丢失，改进Faster R-CNN的算法在对高铁扣件状态进行检测可以得到很高的检测精度。

5 结论

本文采用自建的高铁扣件数据集，对高铁扣件的不同状态检测进行了研究，得出以下结论。

1） 本文提出了基于改进Faster R-CNN的高铁扣件检测算法。通过在 Faster-R-CNN 的特征提取网络中引入可变形卷积，提高检测模型的特征学习能力，有效地提高检测网络对高铁扣件不同形态特征的提取，同时采用 Alpha-IoU作为目标回归损失函数，对损失函数进行了优化，提高了检测模型的回归精度。

2） 实验结果表明，改进后的Faster R-CNN算法对高铁扣件偏移状态的检测精度为99.34%，丢失状态的检测精度为76.80%，平均精度均值为88.07%，相比于Faster R-CNN算法、SSD算法、YOLOv4算法，改进后的Faster R-CNN算法检测精度最高。

参考文献：

[1] YAO D C，SUN Q，YANG J W，et al. Railway fastener fault diagnosis based on generative adversarial network and residual network model[J]. Shock and Vibration，2020（12）：8823050.

[2] BAI T B，YANG J W，XU G Y，et al. An optimized railway fastener detection method based on modified Faster R-CNN[J]. Measurement，2021，182：109742.

[3] PENG Z Y，WANG C，MA Z J，et al. A multi-feature hierarchical locating algorithm for hexagon nut of railway fasteners[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（3）：693-699.

[4] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Radio Engineering，2021，85（9）：115-126.

[5] GIRSHICK R. Fast R-CNN[J]. Computer Science，2015，34（6）：1440-1448.

[6] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[7] LI Y，ZHANG S，WANG W Q. A lightweight Faster R-CNN for ship detection in SAR images[J]. IEEE Geoscience and

Remote Sensing Letters，2022（19）：1-5.

[8] 白堂博，楊建伟，许贵阳，等. 基于Faster R-CNN的铁路扣件定位方法研究[J].铁道科学与工程学报，2021，18（2）：502-508.

BAI T B，YANG J W，XU G Y，et al. Research on the positioning method of railway fasteners based on Faster R-CNN [J]. Journal of Railway Science and Engineering，2021，18（2）：502-508.

[9] LIU T，LUO W，MA L，et al. Coupled network for robust pedestrian detection with gated multi-layer feature extraction and deformable occlusion handling[J]. IEEE Transactions

on Image Processing，2020，30：754-766.

[10] WU K，ZHANG Y，XIE Z，et al. DDFPN：context enhanced network for object detection[J]. Future Generation Computer Systems，2021，124：133-141.

[11] CHEN L，SUN Q S，WANG F. Attention-adaptive and deformable convolutional modules for dynamic scene deblurring[J]. Information Sciences，2020，546：368-377.

[12] FENG H，JIANG Z，XIE F，et al. Automatic fastener classification and defect detection in vision-based railway inspection systems[J]. IEEE Transactions on Instrumentation & Measurement，2014，63（4）：877-888.

[13] GIBERT X，PATEL V M，CHELLAPPA R. Deep multitask learning for railway track inspection[J]. IEEE Transactions on Intelligent Transportation Systems，2017，18（1）：153-164.

[14] LIU J，TENG Y，NI X，et al. A fastener inspection method based on defective sample generation and deep convolutional neural network[J]. IEEE Sensors Journal，2021，21（10）：12179-12188.

[15] OU Y，LUO J，LI B，et al. A classification model of railway fasteners based on computer vision[J]. Neural Computing

and Applications，2019，31（12）：1-13.

[16] GOU H，RAN Z，YANG L，et al. Mapping vertical bridge deformations to track geometry for high-speed railway[J]. Steel and Composite Structures，2019，32（4）：467-478.

[17] REN Y，ZHU C，XIAO S. Deformable Faster R-CNN with aggregating multi-layer features for partially occluded object detection in optical remote sensing images[J]. Remote

Sensing，2018，10（9）：1470.

[18] XU Z，XU X，WANG L，et al. Deformable convnet with aspect ratio constrained nms for object detection in remote sensing imagery[J]. Remote Sensing，2017，9（12）：1312.

[19] ZHU J，FANG L，GHAMISI P. Deformable convolutional neural networks for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters，2018，15（8）：1254-1258.

[20] LIU Z，YANG B，DUAN G，et al. Visual defect inspection of metal part surface via deformable convolution and concatenate feature pyramid neural networks[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（12）：9681-9684.

[21] LIU J，HUANG Y，ZOU Q，et al. Learning visual similarity for inspecting defective railway fasteners[J]. IEEE Sensors

Journal，2019，19（16）：6844-6857.