北京纵横机电科技有限公司 中国铁道科学研究院集团有限公司机车车辆研究所 / 韩彦青 中车长春轨道客车股份有限公司 / 王超
关键字:城轨车辆;受电弓;接触网;深度神经网络;目标检测
工业生产现场的监控视频对安全预警提供重要的数据支持。以现代高速列车系统为例,架空接触网 (OCL)是向列车供电的接口,是电力列车运行的动力来源。然而,由于接触网的物理特性和安装结构,系统易受到环境和机电效应的干扰,这些干扰影响列车电力的质量。在时速超过 200km/h 的高速列车上,由于运行过程中受电弓和接触网的相互摩擦作用,导致接触点附近温度过高,震动剧烈,接触不良等问题,因此必须严格对 OCL的各个参数进行评估,在众多的测试参数中,接触网的物理结构,电学参数及力学参数等可以在测试平台中完成检测,但是运行过程中的动态偏移值,受电弓高度等数据需要通过接触点相对于受电弓中心的位移来测量,运行过程中接触网接通高压,因此,动态偏移值和高度只能通过非接触式的受电弓和接触网图像测量得出。
目前基于深度学习的图像物体检测算法相比基于人为设计特征的传统检测算法取得了巨大进步,但是对于工业图像,通用物体的检测算法不能良好地移植到特定领域,比如列车受电弓监控图像是在高速运行的条件下拍摄,存在物体运动模糊、拍摄焦距失调、物体部分遮挡等情况,直接应用通用物体检测算法难以获得较为准确的结果。本系统主要针对列车架空接触网和受电弓的图像监控数据,利用深度学习方法进行受电弓接触点检测。
为提高电气化铁路牵引供电系统的安全性和可靠性,铁路部门构建电气化铁路供电安全检测监测系统,列车车载接触网运行状态检测装置是其中的一部分,安装在运营列车上,实现对接触网的动态检测,检测结果用于指导接触网运行维修。在车辆行驶的过程中,为了保证持续供电,受电弓滑板必须与上方的接触网持续接触,如图1所示,这会带来剧烈地摩擦,铁轨上空的高压线为“之”字形架设,使得接触网可以与受电弓上的所有位置接触摩擦,避免在一处长时间摩擦导致受电弓过热和持续磨损。
图1 受电弓接触网示意图
目前在列车装有监控摄像头实时采集受电弓和接触网的运行视频,通过弓网监测视觉模块,采用工业相机、智能分析主机对受电弓导高拉出值(超界自动报警)、燃弧(大小、频次)、受电弓状态等进行识别,并将计算结果在图像上展示。
图2 弓网视觉监测原理
检测网络使用单阶段物体检测模型,工业图像检测算法流程如图3所示,主要包括:第一步数据预处理,得到网络训练时输入的图像及对应的标注;第二步通过 卷积神经网络(CNN)提取图像的特征得到特征图;第三步在得到的特征图上生成候选边框,并对候选区域进行分类和边框回归,得到当前图像中目标的预测结果。
图3 工业图像检测算法流程图
YOLO[5-9]算法是人工智能深度学习领域目标检测和跟踪最先进的算法,其速度快、精度高,在工业检测领域得到了广泛的应用。
YOLO算法采用 “全卷积模型”同时实现分类和回归“端到端”的“单阶段”目标检测算法,将工业目标检测物体当做回归问题来处理,实现了一步快速算法。
YOLO算法的思想(如下图所示):将图像平均分成n个格子,每个格子代表原图的一个区域,每个区域都相当于一次组合卷积(无重叠);每个格子负责预测中心落在格子里的物体,预测类型和整个框。
本文采用YOLO第五代算法(简称yolo1v5)算法,实现弓网特征提取、目标检测,从而实现导高、拉出值和燃弧的检测。导高拉出值:通过目标检测提取弓网接触点目标框(中心点为弓网接触点)、滑板目标框(长度为滑板长度,高度为弓网接触点距车顶的距离)、受电弓目标框、燃弧目标框,然后根据滑板中线与车顶水平线计算导高、拉出值的像素距离,最后通过相机位置、角度将像素距离转换成实际距离,从而求得导高拉出值。
图4 目标检测
图5 目标框转成导高拉出值像素距离
导高拉出值的计算公式如下所示。B为受电弓滑板中点,C为弓网接触点,A、D分别为受电弓滑板左右端点,E为车顶水平线的中点。
式中:L为拉出值,mm;L1为相机与滑板的距离,mm;L2为滑板长度,mm;H为导高,mm;H1为钢轨与车顶的距离,mm。
燃弧检测:通过目标检测直接在图像上进行特征提取,对燃弧进行实时检测与定位。
图5 受电弓燃弧检测
本文的数据集包括 4 台列车的14个监控设备的数据。采集到的图像像素为 1920 × 1080。原始图像过大,在高速运动的列车上,采集的图像存在运动模糊、光照变化、视频失焦、部分遮挡等问题。所获得的受电弓监控图像如图6。
图6 受电弓接触点图像
由于安装位置角度的问题,在图像上存在无关背景区域,首先对图像进行裁剪,减少无关区域的影响,如在受电弓监控图像中,我们只关注受电弓及接触网,且受电弓相对摄像头的位置固定,以图像中心向四周裁剪包含受电弓和接触网的区域。在选定待检测图像之后,使用labelImg工具对图像中物体进行标注,labelImg是一个图形图像注释工具,在标注的同时labelImg将标注信息自动以 XML 格式的文件,在训练的过程中解析图像对应的标注文件即可。图7展示了labelImg工具及数据标注方法。
图7 labelImg 工具
生成的标注文件如图8所示,folder、path、filename标签代表文件路径,size 标签代表图像的像素,其中的 3 个属性分别是图像的宽 (width),高 (height) 和深度 (depth),object 标签表示图像中物体属性,其中 name 属性代表物体的类别,bndbox属性代表物体在图像中的位置。在物体检测问题中,每张图像的标注对应图像上所有物体的类别和位置,物体的位置由中心点坐标和物体的长宽表示,所以一张图像的标注是一个 m×5维向量,m表示图像中物体的个数,5 维向量表示为 (class, x, y, w, h),其中class是类别的索引,x代表边框中心点的横坐标,y代表边框中心点的纵坐标,w是边框的长度,h 是边框的高度。
图8 xml文件格式
本次训练过程中图像单边的尺寸为 {320, 352,...,608},最小的尺寸是 320 × 320,最大的是 608 × 608。在图像缩放的时候保持图像长宽比不变,这样就需要判断原图像的长边和短边,短边在等比例缩放之后小于设定的长度,对空余位置进行补零操作。
采用数据增强和多尺度训练的方法对训练数据进行训练。数据增强方法是对输入图像进行随机旋转,裁剪,翻转等操作,获得丰富的数据,提升模型的鲁棒性。多尺度训练方法,将每10个批次随机将图像调整到一个新的尺寸,为了将输入图像组成包含多张图像的一个批次进入网络中训练,所有图像需要保持同样的大小,这样在网络中才能表示为张量的形式进行统一的处理。
由于特征提取网络是 32 倍下采样,将图像尺寸调整到 32 的倍数,图像大小通常调整到适中,如果图像过大,会明显增加显存和计算量,从而增加训练时间,如果显存超出显卡的显存容量则会导致内存溢出错误,如果图像过小,经过 32 倍下采样之后,小物体可能会在特征图的中没有对应的像素,导致后续的边框分类和回归不准确。当输入图像被调整到对应尺寸的时候,图像标签的数值也要进行相应的调整。这样网络在各个尺度上都能得到较好的预测,当输入尺寸小的情况下,检测速度快,输入尺度大的情况下,检测效果好,这样网络可以在速度和精度之间权衡。
调用模型训练器,对模型进行训练(不断迭代、模型不断收敛)。训练过程中训练集、测试集的召回率(recall)、精度(precision)、平均精度均值(mAP)以及分类损失(cls_loss)、IOU损失(giou_loss)、对象损失(obj_loss)各个指标的变化如图9所示。
图9 模型训练指标变化及权重分布
当召回率、精度、平均精度均值不在上升,损失基本趋近于0,表明模型已经收敛。
图10 不同场景下的测试结果
将训练好的模型进行测试(天津地铁6号线采集的数据测试):拉出值的准确率为96%,导高的准确率为95%,燃弧的准确率为91%。
模型分别在出库运行、进入隧道、正线运行、反线运行、入库等不同情况下进行了测试,不同场景下的测试效果如下如所示(图像上的参数解释:拉出值:“-”表示在左边,“+”表示右边,绝对值大小表示偏移距离;导高:车顶距钢轨的距离+受电弓距接触线的距离;燃弧:“0”表示无燃弧,“1”表示有燃弧)。受电弓滑板的长度为910mm,拉出值的上下边界为±455mm。
本文介绍了轨道车辆在行驶过程中,对于受电弓和接触网的正常运行的多种检测方式,当列车在行驶中,弓网出现异常情况后迅速进行定位跟踪,有效避免了列车的受电弓接触网在运行过程中出现突发意外却缺少定向的解决方案,对轨道车辆的运营安全管控具有重大意义,也为我国轨道交通事业再添一份新力。