基于受电弓采集图像的智能识别技术应用研究

宋国良 ,王 刚 ,任广强

(1.中国国家铁路集团有限公司,北京 100844;2.青岛四方阿尔斯通铁路运输设备有限公司,山东 青岛 266000)

受电弓是动车组取流受流的关键部件,也是整车的动力来源,其工作状态直接影响列车运行的安全性和可靠性。目前在动车组批量运用的受电弓视频监控系统仅具备视频实时观看、记录、查看功能,无法监测受电弓工作状态,也无故障报警机制,仅可在受电弓监控屏观看受电弓的实时工作状态。

近年来,基于视频分析的智能监控已广泛应用于铁路部件的安全检测,其中受电弓在运行时可能会出现弓网电弧、弓头缺损、碳滑板变形以及悬挂异物等异常状态,危害列车安全运行,因此受电弓状态检测一直是安全检测的重点。为了保证列车运行安全,需要一种实时检测的方法来监控受电弓状态,并将受电弓状态及时反馈给列车机械师,由其进行相应操作,避免受电弓异常状态进一步劣化。

为了及时发现并降低受电弓状态异常故障对车辆引起的次生灾害,本文结合智能识别算法,利用受电弓视频监控图像分析了受电弓工作状态,实现了智能识别预警功能,便于随车机械师及时发现并处理受电弓异常状态。考虑既有动车组实际情况,为充分利用现有受电弓视频监控资源,通过增加一台智能分析主机并在监控屏中增加智能分析人机交互界面,实现了在既有动车组中增加受电弓视频智能分析功能,提高了行车安全性,同时具有较好的改造便利性和经济性。

1 系统结构

动车组现有受电弓视频监控系统由受电弓视频监控服务器、摄像机、监控屏和相应连接电缆组成,在该系统中增加一台智能分析主机,通过以太网抓取弓网实时视频进行智能分析,将智能分析结果经以太网推送至监控屏显示,可以实时帮助机械师获得受电弓异常状态,从而进行相应操作,系统结构如图1所示。

图1 系统结构图

2 图像处理过程

智能分析技术主要通过机器视觉,利用统计识别、结构识别及人工智能处理模型对受电弓每帧图像的颜色特征、形状特征、纹理特征等进行处理、分析比较与异常报警,并将各类报警信息进行归类,然后有序地在监控屏中依次呈现,其图像处理过程主要分为以下三部分:

(1) 图像信息获取。从受电弓视频画面中识别弓形,捕捉碳滑板与接触网的交点并分离出背景信息。

(2) 信息加工与处理。把识别、捕捉及分离出的数据材料进行加工、整理、分析、归纳以及去伪存真,抽取出反映受电弓形态的特征数据。

(3) 判决或分类。基于特征提取、统计识别从数据认知到评价的过程。

目前,针对受电弓运营故障诊断与检测,已形成受电弓结构异常识别、悬挂异物识别、受电弓倾斜识别、弓网燃弧识别和画面脏污识别5种具体功能。

3 智能识别模型建模和设计要素

3.1 受电弓结构异常识别

智能分析主机启动后,将提取的受电弓每帧图像划分为左侧弓角、碳滑板和右侧弓角3个子区域(图2)。智能识别模型对每个子区域进行边缘检测,分析其特征分布情况,排除各类背景干扰后对数据进行拟合,提取边缘特征值,同时,将此特征值与阈值进行匹配并计算相似度。当相似度低于阈值时,判定此帧图像存在受电弓弓体畸变,当异常图像数量累计到一定程度时,智能识别模型即刻判断为受电弓结构异常,并触发报警,记录故障数据,并同步推送故障照片、故障前后1 min视频以及故障后1 min视频至监控屏。

图2 受电弓弓头区分区

图3中受电弓碳滑板被打断,图像智能识别时首先要精确定位受电弓在图像中的位置,确定图像的感兴趣区域(Region Of Interest,ROI),如图3 中的蓝色矩形框。在精确定位到受电弓位置后,使用大津阈值分割方法对受电弓的ROI区域进行受电弓结构分割,分割后的结果如图4所示。

图3 受电弓碳滑板被打断故障

图4 受电弓分割结果图像

对图4进行二值化,并对二值化后的图像每行的像素值进行累加,将累加后的值作为特征值形成特征曲线图,如图5所示,其中图5(a)为正常的受电弓特征曲线图,图5(b)为被打断后的受电弓特征曲线图。在特征曲线图的2个峰值之间,2个曲线图有着明显的区别,使用相关性计算方法计算两者的相关性为0.73,即通过设定合适的相关性阈值即可判断受电弓结构的异常。

图5 每行累加后的特征曲线图

3.2 受电弓悬挂异物识别

通过深度学习算法对受电弓可能悬挂的异物样本模型进行学习、驯服,这些样本包括不同颜色、不同大小,不同材质的塑料袋、气球、绳索等,智能识别模型在每帧弓头有效区域内提取类似异物并计算面积,综合考虑时间周期、异物大小以及异常状态持续时间等因素设定报警阈值,达到报警阈值时触发报警,记录故障数据,并同步推送故障照片、故障前后1 min视频以及故障后1 min视频至监控屏。

图6为列车运行过程中受电弓弓头区域的横梁悬挂了塑料袋碎片,对图6中的受电弓弓头区域使用大津阈值进行分割,受电弓弓头区域的分割图如图7所示。图7中塑料袋碎片异物被清晰地分割出来,最好对分割图像使用分块检测的方法计算每个分块的轮廓大小,当轮廓大小在阈值范围内时认定为正常,当超出阈值范围时认定为异常。

图6 受电弓悬挂异物图像

图7 弓头区域分割结果

3.3 受电弓倾斜超限识别

根据每帧图像提取受电弓碳滑板轮廓,得到边缘特征空间并进行霍夫变换从而获取碳滑板的拟合直线,以此计算出斜率并转换成角度,即受电弓碳滑板倾斜角度,从而判断是否出现受电弓倾斜故障。当某一连续周期内累计超过一定数量的画面出现受电弓倾斜角度时,判别为受电弓倾斜故障。

图8(a)为正常图像,其碳滑板相对水平位置仅有2°的倾斜,图8(b)为受电弓碳滑板相对正常图像的受电弓碳滑板有了一定角度的倾斜,图像中的受电弓碳滑板相对水平位置的倾斜角度为12°。

图8 受电弓碳滑板倾斜

计算受电弓碳滑板倾斜角度的预处理方式与检测受电弓结构异常的诊断逻辑相同,同样先要确定受电弓的精确位置,然后使用图像分割算法分割出受电弓弓头的结构,再进一步定位到受电弓的碳滑板位置,然后根据图像中碳滑板的大小确定霍夫变换所需参数,通过霍夫变换求得直线的倾斜角度。

3.4 受电弓火花识别

智能分析主机通过网络提取受电弓碳滑板区域每帧图像,捕捉碳滑板与接触网的交点,在交点附近通过机器视觉检测、边缘检测提取类似燃弧轮廓,利用图像的颜色特征、形状特征、纹理特征等对燃弧轮廓进行比对,甄别出火花并计算火花轮廓面积占比大小。根据弓头区域内检测到的火花特征,判断是否存在受电弓火花频繁故障或受电弓大火花故障。

图9为受电弓与接触网之间产生了离线火花的图像,火花在图像中最明显的特征是其亮度很高,用图像软件打开后查看火花的像素值,发现在8位图像中像素值均在250以上。

图9 受电弓火花

检测受电弓火花前,仍需要对受电弓进行精确定位,排除干扰因素,降低系统误报。在定位到受电弓位置后进一步定位到受电弓弓头区域,对弓头区域使用固定阈值250进行图像分割,计算分割后图像中的轮廓位置,分割结果有如下几种情况:

(1) 分割结果没有轮廓,则受电弓没有火花;

(2) 分割结果有1个轮廓,如果碳滑板和接触网之间的交点不在轮廓范围内,则认为该轮廓不是火花轮廓;

(3) 分割结果有多个轮廓,这种情况比较少见,处理这种情况时取最大的轮廓作为火花可能性最大的轮廓,再计算碳滑板与接触网的交点是否在最大轮廓的范围内,判断方法同第(2)种情况。

3.5 画面脏污识别

列车全天候在不确定的地域、时域、自然环境中高速运行,受电弓摄像机前挡风玻璃极易出现蒙尘、纳污、残留水渍现象,进而对摄像机拍摄弓形画面产生干扰,引起智能分析误判。为此研究脏污滤除算法、模糊程度分析技术,并通过图像差分法实现静态脏污干扰滤除,使用实时迭代动态脏污滤波算法实现准动态的脏污干扰滤除;当遇到暴雨雪、大面积脏污等情况,严重影响视频正常采集、视觉分析时,则暂停结构异常、悬挂异物等其他智能识别功能,一旦系统能正常识别受电弓形状,应立即恢复所有智能识别功能。

识别画面脏污前,仍需要先定位受电弓在图像中的位置。当定位到受电弓的精确位置后,进一步定位受电弓的弓头区域,提取到受电弓的弓头位置后使用sobel算子提取受电弓结构的边缘。图像越清晰,提取到的受电弓结构边缘越多。图10为正常图像与脏污图像对比,如图11所示,正常图像提取的边缘特征明显多于图10中受雨水干扰的脏污图像提取的边缘特征。通过设置合适的阈值将正常图像与受环境干扰造成的脏污图像区分开。

图10 正常图像与脏污图像对比图

图11 Sobel算子边缘提取结果图

4 降低误报率机制

智能识别系统预设了防误报机制,通过算法逻辑过滤或屏蔽不利于受电弓结构特征提取或分割效果较差时所产生的误报,在实际运用中主要有如下误报场景。

4.1 隧道场景

列车进出隧道时,由于隧道内光线原因导致拍摄到的受电弓弓形、弓角模糊,从而易引起受电弓结构异常误报。图12为列车进出隧道的受电弓图像,因隧道内外光线变换大导致摄像机成像质量较差,受电弓的边缘轮廓模糊不清,此时使用大津阈值对图像进行分割无法准确分割出受电弓的结构,容易使系统误报结构异常。

图12 列车进出隧道的受电弓图像

在车辆驶出隧道时通常存在连续十几帧甚至几十帧图像过曝的情况,当图像过曝时,整图的像素平均值很大且方差很小,因此通过判断连续多帧图像的像素平均值及方差来判断当前车辆是否处于进出隧道。

4.2 复杂背景场景

处于桥梁、进出车站、建筑物遮挡时,由于背景与受电弓形态相似,且在画面中可能存在重叠的情况,导致系统误报受电弓整体结构异常。图13为列车进出车站时的受电弓图像,受车站顶棚的干扰,受电弓图像部分弓模糊不可见,此时使用图像分割无法准确分割出受电弓的各个结构,容易导致系统误报结构异常。此时大津阈值分割出的受电弓轮廓数目较少,通过计算受电弓的轮廓大小和数目就能区分此时受电弓图像是否存在背景干扰的情况。

图13 车辆进出车站受电弓图像

4.3 光线干扰

在检测火花过程中,容易受到太阳光、轨旁灯光、隧道内或站顶灯光、出隧道口时自然光线的影响,易导致燃弧检测误报。图14为受太阳逆光干扰的受电弓图像,图中在接触网与受电弓碳滑板交点处所形成的图像特征与燃弧非常相似,容易导致系统误报受电弓燃弧。

图14 受太阳逆光干扰的受电弓图像

太阳逆光所形成的高亮像素块在图像中的位置基本不变,且停留时间明显长于燃弧持续时间,太阳逆光一般会持续几分钟甚至几十分钟,因此可以利用图像中高亮像素块位置连续多帧不变的特征,过滤太阳光的干扰。

5 试验验证

为验证受电弓智能识别模型的识别准确性,进行了地面人工模拟试验,模拟受电弓运行过程中出现的各类故障,主要有受电弓弓角缺失、弓头变形等结构类异常及受电弓悬挂异物和摄像机画面模糊等。图15(a)为左右弓角缺失时的智能识别照片,图15(b)为受电弓上分别悬挂塑料袋和绳子的智能识别照片,图15(c)为摄像机存在大面积污染时的智能识别照片,图15(d)为受电弓摄像机出现火花的智能识别照片。

图15 智能识别结果

地面人工模拟试验共模拟各类受电弓异常状态103种,结果表明,结构异常和大型火花类故障识别率基本可以达到100%,悬挂异物类故障识别率可以达到90%,镜头污染类故障识别率可达到85%。

6 应用案例

受电弓视频智能识别功能经过充分试验和验证后,于2021年6月在复兴号智能动车组上陆续装车运用,目前共93列上线运营,在过去近20个月的运用中全面检验了智能识别模型的各项功能,总体效果良好,运用中及时识别并报出了大型火花、脏污等故障,同时也暴露出长时间处于桥梁、隧道等复杂背景时易产生的误报问题。针对运用中发现的问题,及时对诊断逻辑和报警策略进行了相应优化,优化后未再发生同类问题。通过批量装车运用,不断积累运用经验,基于机器深度学习,持续提高智能识别性能。

7 总结

本文介绍的基于多种智能识别算法的动车组受电弓智能分析系统,实现了对动车组受电弓运行状态的实时检测和实时报警,经人工和实车验证,该系统可有效地识别出各类受电弓异常状态,为随车机械师及时处理受电弓异常提供了辅助判断手段。目前已在智能配置动车组中运用,对提高列车运行的安全性和可靠性具有重要意义。