基于铁路5C装置的受电弓滑板缺陷智能检测技术

莫小凡， 王科理， 潘长清， 赵文军， 占栋

（1.中国铁道科学研究院集团有限公司 标准计量研究所，北京 100081；2.中铁检验认证中心有限公司，北京 100081；3.成都唐源电气股份有限公司，四川 成都 610000）

1 概述

高速铁路作为铁路运输的重要组成部分，不仅具有便民、安全、实惠的优点，且因其快速、舒适的特点成为大众出行的重要选择之一。高铁的发展给社会带来便利的同时，其运输安全也日益受到重视［1］，受电弓的可靠运行在很大程度上决定了高铁运输的安全性。为保障列车维持正常运行状态，及时检知受电弓故障问题，必须对受电弓进行快速准确的检测。目前的检测方法仍然停留在人工检测阶段，且人工检测存在效率低下、检测标准不一致等诸多问题。在此前提下，一种新的检测方法被提出，即受电弓滑板监测装置（5C）安装在电力机车或高速铁路的车站、车站咽喉区和动车段、机务段出入库线路上，采用高速、高分辨率、非接触式图像分析测量技术，实现了对受电弓滑板的损坏、断裂等重要隐患的动态自动检测和车顶异物及关键部件状态的室内可视化观测［2-4］。

目前常用的受电弓定位方法是采用霍夫变换提取受电弓碳滑板边缘［5］，进而通过直线测距方法计算滑板磨耗值［6-7］，但传统图像处理手段不均匀，光照和噪声等影响因素较为敏感，难以应对受电弓检测的复杂工况。近年来，随着人工智能和大数据分析技术的快速发展，人脸、指纹、虹膜等智能识别理论与技术已渐趋成熟，在机场与车站安检、网络支付、上班考勤等方面得到广泛应用，解决了传统技术难以突破的关键技术难题［3］。针对受电弓及其缺陷为对象做出相应的优化，提出结合深度学习和传统图像处理方法的智能检测算法，并以此阐述机器视觉技术在高速铁路检测中的应用。

2 受电弓检测及滑板缺陷智能识别方案

5C 主要由高清成像设备、数据采集处理设备、远程网络传输通道、用户终端等组成（见图1）。该装置能够：（1）探测到受电弓滑板状态，并将采集到的视频或图像信息传输给相关管理部门；（2）智能分析受电弓滑板状态，识别并报警受电弓滑板出现的异常情况；（3） 能对动车组车号进行抓取并识别。

图1 5C组成示意图

受电弓触发模块一般安装在支柱上，通过结构件固定。受电弓成像模块一般安装在硬横梁上，设计为一定的拍摄角度。雷达和车号成像模块一般安装在支柱上，便于雷达监测车速。安装示意见图2。

图2 5C主要模块安装示意图

3 受电弓智能识别定位

基于深度学习目标检测模型的受电弓智能识别定位方法包括深度学习目标检测模型设计，受电弓数据处理以及算法的验证实验。

3.1 模型设计

实现受电弓缺陷检测功能的前提是对5C 采集图像中的受电弓进行目标定位。深度学习方法以海量数据和先进的计算资源为基础，通过神经网络模型实现自动的数据特征学习和提取。相比于传统图像处理方法中人为选定图像特征及人为制定分类标准，深度学习方法所得到的特征具有更优秀的泛化性和鲁棒性，适用于多变的复杂场景［8］。

受电弓智能识别采用基于深度学习的图像目标检测网络作为算法模型。传统的图像目标检测算法以R-CNN为代表，以卷积神经网络对图像特征的提取为基础，将目标检测任务拆分为两步：对候选框的位置回归和对候选框内的图像分类，称为two-stage 网络模型［9］。而近年来例如YOLO、SSD 等one-stage 网络的出现，不仅在定位精度上超越了R-CNN，同时在运行速度上也有了很大提升［7］。最新的YOLOv4 网络模型作为算法的基础结构，根据受电弓图像背景复杂、目标较大等特点对网络结构进行调整，最终实现受电弓的智能识别功能。YOLOv4的网络结构见图3。

图3 YOLOv4网络结构示意图

YOLOv4 网络模型主要由4 个网络结构组成：主干网络CSPDarknet53，路径聚合PANet（Path Aggregation Network） 网 络，多 尺 度 特 征SPP （Spatial Pyramid Pooling）网络以及检测头YOLOhead。

主干网络是提取特征的网络，在整个网络结构中的作用就是提取图片中的信息，供后面的网络结构使用。Darknet 网络是通过逐层卷积计算，在不同尺度和感受野中提取图像的特征。CSP（Cross Stage Partial）结构是一种网络结构设计的优化方式，可实现更丰富的梯度组合，同时减少计算量。CBM结构是YOLOv4网络结构中的最小组件，由Conv+Bn+Mish 三者组成，其中Conv 代表卷积层，是最基本的图像运算单元；Bn 代表批归一化层，用来加速模型收敛；Mish 是激活函数，用来增加网络非线性运算。YOLOv4在设计时为了追求极致准确率，选用了计算较为复杂的Mish 激活函数。其计算公式见式（1）：

式中：x为网络卷积层计算得到的特征值。路径聚合PANet网络、多尺度特征SPP网络共同构成了YOLOv4的特征融合模块。特征融合模块作用是连接主干网络和检测头，接受主干网络提取到的特征并通过一定方式进行融合，再输出给检测头进行检测分类。SPP网络即空间金字塔池化，该结构可使网络不受图像尺寸的限制输出统一大小的图像数据，同时提取多尺度的特征便于更好的进行分类。PANet网络是图像多尺度特征融合的路径网络，它具有自下而上的路径通道，极大缩短了低级特征和高级特征的通信路径长度、提升特征融合的效率。

检测头YOLOhead 的作用是根据前面结构中计算的特征对结果进行评价。通过计算YOLOloss 来评价样本与标签的符合程度。总的来说，YOLOv4从设计层面是面向日常场景下多类目标的检测任务，其特点是运行速度快，支持类别数多。

但接触网的场景与日常场景有很大区别，例如：

（1）图像数据的差异。由于5C 装置安装在车辆线路的特定位置，采集到的图像背景基本固定，不同时间空间采集的数据之间背景差异较小。同时，列车顶部的受电弓区域的各类部件安装较为密集，图像中各个部件交错在一起没有确定边界，分类难度大。

（2）任务类型的差异。日常场景下需要对生活中的各类物体进行检测，而受电弓智能识别的任务目标较为单一，不需要支持多种类型的分类。

（3）识别需求的差异。受电弓智能识别任务对目标边界的检测准确性要求与理论场景的也有不同。受电弓智能识别对于目标边框检测需要兼顾识别准确性与实时性，而YOLOv4 在设计时更多偏向准确性的提升，可能会牺牲部分运算速度。

针对上述3点不同，结合受电弓智能识别的业务特点，对网络结构提出以下改进：

（1）选用ShuffleNetv2 主干网络替换现在的CSP⁃Darknet53。由于接触网场景不需要支持多类别的分类信息，所以模型无需选用复杂的深层网络进行特征提取，可选用更简单更轻型的网络来实现。ShuffleNetv2是一个高效快速的特征提取网络，其根据高效网络的设计准则对网络结构进行优化，相比Darknet53 在运行效率上有极大提升［10］。2种网络模型的比较见表1。

表1 ShuffleNetv2与CSPDarknet53对比

（2）选用LeakyRelu 激活函数来代替Mish 函数。由于每次基本运算后都需要计算激活函数，故选用Mish函数的时间成本和计算成本较大，且对于准确率并没有显著提升，其性价比较低。而受电弓智能识别模型需要兼具准确性和运行速度，所以对其中的激活函数进行更换，采用计算简单同时效果也几乎没有下降的LeakyRelu 激活函数来代替Mish 函数。LeakyRelu 激活函数的计算公式见式（2）：

式中：x为网络卷积层计算得到的特征值；a取值范围为（0，1），根据实际应用选取。对比式（1）及式（2）可明显看出其计算复杂度的差别。

（3） 选用NAS-FPN 代替原有的路径搜索模块PANet。由于5C 受电弓识别任务背景干扰较多，检测难度大，在特征融合部分需要更为强大的特征提取网络。NAS-FPN 使用神经网络架构搜索NAS （Neural Architecture Search） 技术对特征金字塔网络FPN（Feature Pyramid Networks）的架构进行优化，该方法采用搜索方式代替人为规划各尺度间的特征融合方式，融合效果方面较为优秀，而速度方面也没有明显变慢。

综上所述，在沿用YOLOv4的总体设计框架的基础上，结合5C 实际业务场景，对模型内结构进行调整。调整后的模型结构见图4。

图4 调整后的YOLOv4网络结构

3.2 图像样本扩增

5C采集的原始图像存在以下问题：

（1）图像质量参差不齐。有时由于受光照、车速、信号干扰等因素的影响，部分图像会出现模糊、噪声干扰、欠曝光、过曝光等图像质量问题。而这类图像在整个数据集中的分布较少。直接采用原始数据集来进行训练，会导致训练得到的模型分布不均匀，识别效果不佳。

（2）样本分布不均衡。即受电弓有缺陷的图像相比正常数据太少，影响模型的识别结果。

为解决以上问题，须对原始图像进行数据增强处理。数据增强处理的原理是通过图像运算、图像裁剪、图像旋转等方式，在原有样本基础上，生成新的样本加入数据集中，从而改变数据集的样本分布。

样本扩增分为单样本扩增和多样本扩增。YOLOv4网络模型中集成了多样本扩增的Mosica 方法，故在此基础上，加入采用单样本扩增的方式，包括图像翻转、对比度变化、灰度调整、添加噪声、图像模糊等方法，模拟图像质量不佳的情况，保证训练模型的普适性和稳定性。

3.3 模型训练与验证

（1）原始图片集。受电弓数据来源于受电弓高清成像系统，包含不同路况、不同角度和不同身型的受电弓图像数据，共计2 000 张，统计信息见表2。受电弓图像数据集展示见图5。

表2 训练集与测试集图像类型占比统计 %

图5 受电弓图像数据集展示

（2）实验平台。实验平台硬件信息：显卡型号GTX1080Ti，内存16 GB 和250 GB 固态硬盘；软件信息：操作系统ubuntu16.04，基于TensorFlow 深度学习平台。

（3）数据集制作。由于数据集的样本分布不均，采用3.2 小节所述方法对亮度过暗和亮度不均的图像进行扩增，使过暗与不均的图像总数与正常图像大致相当，扩增后图片总数为3 000 张。由于采用的是有监督方式，在训练受电弓零部件检测网络前，需要手动标注3 000张受电弓图像，其中80%图像作为受电弓识别的训练集，剩余20%作为本模型的测试集合。使用labelimg 脚本工具进行标注，使用方框标记每张受电弓图像中的滑板位置，脚本会将其自动转换为YOLO网络的输入数据格式。

（4）模型训练。使用上述数据集训练受电弓识别YOLOv4模型。训练过程中，模型损失值的变化见图6。由曲线可知4 000 次迭代后，最终模型在训练集上的损失值loss稳定在0.05附近波动，且变化较小，说明模型已基本收敛。

图6 模型训练loss图

（5）受电弓识别模型测试。为验证基于YOLOv4的受电弓识别模型的准确性，使用测试集中600张受电弓图像进行测试。软件界面和典型图像的受电弓识别效果见图7。

图7 受电弓识别软件效果图

（6）受电弓识别模型实际验证。在训练计算机上对模型的性能测试需要在模型完成收敛后进行。输入尺寸为1080p 的受电弓图像10 组，每组200 张。不同质量图像类别的识别率统计和识别耗时曲线见表3、图8。

表3 图像识别率统计 %

图8 受电弓识别耗时曲线

现场数据结果表明，模型对于正常亮度质量较好的图像可达到97.07%的准确率。当图像中存在亮度过暗或亮度不均等极端现象时，检测准确率分别为81.08%和90.64%，识别效果有待提升。平均图片识别时间为12.75 ms。考虑到现场5C 线扫描相机采样率10 kHz，生成图片行数2 048，总体而言，受电弓识别模型可满足现场精准在线实时作业需求。

4 受电弓滑板缺陷智能检测

在列车运行过程中，受电弓可能受到来自外力的作用造成零部件受损和故障。正常情况下，受电弓的2条滑板为平行状态，但在被打弓后，容易出现滑板不平行（结构异常）的情况，如不能被及时检测到，极易威胁到行车安全。在受电弓定位的基础上对上述缺陷进行检测识别。

4.1 滑板结构异常检测原理

弓网在线相机持续采集受电弓图像，利用上述模型定位受电弓区域。结合传统图像处理方法提取2根碳滑板轮廓特征，并设定阈值判断2条受电弓滑板是否存在结构异常。算法流程见图9。设备采集图像存在较多噪声干扰，首先对图片进行滤波操作消除高频噪声干扰，运用边沿算子对轮廓初步提取，然后洗濯边缘特征点，对滑板边沿直线进行精密拟合，最后与设置的阈值比较，进行滑板结构异常判断。

图9 受电弓滑板结构异常检测流程

（1）图像滤波去噪。降噪采用高斯滤波算法，可过滤掉孤立的噪声异常点，提升图像质量，减少后续边缘提取过程中的干扰边缘。高斯滤波过程中，每个像素点均由加权平均后得到，此处选用高斯核模板如下：

受电弓原始图像滤波前后效果见图10。

图10 受电弓原始图像与滤波后图像

（2）受电弓轮廓提取。对梯度图像进行边沿提取时采取canny 算子。图像中灰度的变化与梯度值大小呈正相关。在边缘提取前，首先将二值化方法应用于梯度图像，提取出强边缘，其中二值化阈值设置为150。为了避免干扰边缘的提取，需要在强边缘的基础上再进行边缘检测（见图11）。

图11 边缘提取效果

（3）滑板精细提取。边缘提取的线条呈现出各个方向，为减少后续算法处理时间，首先对线条通过角度进行过滤，去除和x轴角度相差较小的线条。方向过滤方式：将线条上所有坐标点做直线拟合，计算拟合后的直线与x轴的角度，根据角度保留和x轴角度差较大的线条，结果见图12。

图12 碳滑板精细提取效果

（4）滑板结构异常判定。在已保留的直线中，计算每2条直线间的角度。设置阈值为15°，若直线间的角度出现大于阈值的情况，则判定为受电弓碳滑板结构存在异常，否则认为受电弓结构正常。判定结果见图13。

图13 滑板缺陷异常判定

4.2 结构异常检测验证

以某线路数据为基础，对受电弓滑板缺陷智能检测算法模块进行车载动态试验。试验中利用受电弓状态在线检测装置采集受电弓动态图像，并根据现场实测数据，分析受电弓识别和缺陷判定情况，验证算法模型的实时性和有效性。

线路巡检获取270 张受电弓图片，其中40 张图片存在碳滑板结构异常。利用上述受电弓滑板结构异常监测算法对图片进行结构异常判定。经统计，检测过程中每张图像耗时11.14 ms。已知现场5C 线扫描相机采样频率10 kHz，生成图片行数2 048。每张图片的耗时曲线和图像识别率见图14和表4。

表4 受电弓结构异常检测准确率统计 %

图14 受电弓结构异常识别耗时曲线

5 结束语

从受电弓在线检测需求出发，将YOLOv4结构应用到5C 智能识别场景中。设计基于YOLOv4 的检测算法从5C 图像中准确提取受电弓目标区域，进而实现受电弓滑板结构异常的检测。某线路车载现场试验结果显示，所述受电弓滑板结构异常检测算法鲁棒性好，在复杂场景中均保持90%及以上的识别精度，且平均检测用时约10 ms，可满足受电弓状态在线检测的实时性需求。但受电弓识别模型在图像出现亮度过暗、亮度不均时，识别率分别为81.08%和90.64%，识别精度有待提升。对于受电弓图像质量不佳的情况，在现有YOLOv4模型基础上，还要加入更多的目标检测方法，尤其针对受电弓工况的图像预处理方案，使受电弓滑板缺陷智能检测技术具有更强的实际应用价值。