轨道车辆AI巡检系统的设计

孙信贤,罗燕龙,陈振波,潘 乐

(深圳地铁运营集团有限公司,广东 深圳 518040)

0 引言

随着城市化进程的加快,地铁已成为各大城市的交通枢纽。为了确保地铁列车载客过程的稳定性,需采用巡视检查保证地铁运营效率,检修人员需在停车库内完成大量的人工检测[1]。而这种方式主要依靠地铁检修人员在地铁列车回库后进行人工检查,检修质量的好坏取决于巡检人员的经验及状态,存在作业任务多、巡检效率低、跳检漏检多、监管难度高、统计追溯难等问题。很多地铁车辆安全事件与员工违规作业直接相关,体现在检修过程中违反巡检作业流程标准、巡检作业完成后没有及时将设备设施恢复到位及遗漏巡检物品、漏检漏修等方面。巡检作业质量控制及自动化是地铁车辆中心管理的重点,面对日益增长的巡检任务,仅通过人工巡检很难满足行业发展需求,因此智能化的巡检方式逐渐走入人们的视线。

随着大数据时代的来临及AI技术的逐步成熟,已有很多场景使用人工智能技术取代传统的人工技术。在轨道交通领域[2],AI辅助人工减少了工作量,但不能完全替代人工,因为地铁列车巡检过程中设备部件死角较多,人工智能巡检只能覆盖60%～80%的部件设备检查,而人工巡检可达90%以上,因此人工巡检是保证列车正常出库的最后一道安全防线,可避免跳检漏检造成的安全隐患。依托AI技术实现巡检人员的轨迹查询及工作管理可实现动态实时化、数字可视化、网络化、空间可视化管理,使MT5系统成为数字地铁的基础工程。

1 轨道车辆巡检系统的总体设计

1.1 系统架构

轨道车辆巡检系统主要包括便携式结构光3D光学采集设备、面向地铁检修场景的3D视觉训练库、面向巡检的故障在线检测分析模型、巡检边云协同系统。轨道车辆巡检系统由数据采集、边缘计算、中台服务、展示交互等层次构成,系统架构如图1。

图1 系统架构Fig.1 System architecture

1.2 巡检终端

改变巡检行业手持式终端应用模式,巡检终端采用穿戴式设计,分解为不同模块,头戴模块的主要功能是图像采集、显示及照明。腰带部分主要功能是边缘服务器的数据处理、供电。此设计方式可最大限度减少头戴部分的重量,长时间佩戴无任何不适,可以与任意型号的安全帽相结合,适应性强。

1.3 便携式结构光3D光学采集设备的设计

对3D光学摄像机进行改造,形成一套满足地铁巡检工人现场使用的巡检装备,将RGB摄像头与深度摄像头相结合,识别出地铁列车部件的所有设备信息。

2 面向地铁检修场景的3D视觉训练库的设计

研发人员巡检现场,了解地铁巡检人员的日常作业及作业行为习惯,模拟巡检人员的检修作业,进行地铁列车设备图像采集,在快速移动过程中对列车部件的核心检查区域进行区分和拆解,形成一套符合地铁列车部件的训练数据集,后续进行大量的部件图像数据采集,对其进行标注及训练。区别出各个不同的零部件及其重点检查区域,对地铁巡检场景下的所有列车部件进行全面分析,搭建基于深度学习的模型框架数据库,建立基于深度学习算法的数据集。

2.1 数据处理

在地铁检修中,由巡检工人采集的数据存在较多的问题,在图像和视频数据中无法直接使用和标注,需通过算法数据处理进行分类,筛选无用数据,留下符合视觉识别的基础数据,对此提出3种策略解决动态图像问题:将部件设备进行分类,按照巡检工艺卡进行拆解,形成地铁列车部件模块化。对重点检查的部件区域进行图像特征提取。提取图像特征后进行二次训练。

2.2 数据标注

采用深度摄像头,按照巡检方式采集地铁车辆部件数据,研发一个半自动标注工具,实现画框标注功能,根据视频采集特点[3]由前一帧图像标注结果自动匹配后一帧图像的标注,实现半自动标注,提高标注效率。采用鼠标点击画框的形式对目标进行标注,采用前后帧模板匹配的方法提高标注效率,具体算法是:对第一帧图像进行标注,通过鼠标点击框部件位置并选择正确的标记。保存当前帧标注结果时,将当前帧选择的部件区域作为匹配模板。第二帧图像读取后,以上一帧标注的部件位置为基准,扩大范围,并在这个范围内生成不同大小和长宽比的网格,每个网格作为一个目标候选区,与上一帧提取的模板进行匹配,匹配算法通过计算模板与当前帧候选区域的归一化相关系数实现,相关系数最高且超过一定阈值的区域作为部件在当前帧中的位置。自动添加上一帧中的标注结果,实现部分自动标注,减少手动操作工作量。

3 面向巡检的故障在线检测分析模型设计

采用Yolo-V3作为基础目标检测网络,对其进行修改,融合深度数据,实现RGB-D目标检测。具体实现包括[4]:修改Yolo-V3的特征提取backbone(Darknet53),分别提取RGB与深度特征,进行融合,RGB图像与深度图像分别输入到Darknet53网络,提取3个不同尺度的特征,分别输入到融合网络中进行处理,输出融合后的特征图,用于Yolo检测。对多种不同的特征进行合并,在训练库中进行卷积及叠加。由于多种不同的特征存在差异性,将进行特征剥离,应对多种不同特征在融合状态中的影响。通过自适应学习各通道的权重,对特征响应值进行预处理及判断,体现RGB和深度特征的重要程度。融合后的特征图输入得到Yolo-V3目标检测网络,输出图像中的部件位置及类别信息。

4 巡检边云协同系统设计

4.1 硬件设计

人员是安全生产的最核心要素,巡检数字化不是替代人工,而是辅助人工做得更好。作业过程需监控漏检、跳检、疑似故障并实时提醒,提升巡检过程质量。对列车部件巡检整体过程进行记录,保证事后追溯有迹可循,提升人员责任感。开发边缘计算方案,不依赖库区网络环境,不对环境做改造,不影响车库现有业务运行。开发穿戴式设备方案,不对列车做改造,不对现有巡检流程作调整。整套设备轻量化、智能化,尽可能弱化巡检员对该设备的感知。在硬件设计过程中不断与现场使用人员进行交流,使硬件设备满足人员需求。

4.2 软件设计

本系统采用Lab VIEW语言进行开发,该框架符合现代开发的快速迭代及稳定性要求[5],接口丰富,可对接地铁车辆中心内部使用系统,在对接过程中可减少工作量,大大缩短研发周期,提升工作效率。

4.3 作业流程

巡检边云协同系统从巡检规划、任务创建、数据管理、统计分析、状态监测、缺陷识别、故障分析、AI学习等方面对人员巡检全过程进行管控,实现人员巡检作业的精益化建设与规范化管理,保障人员作业合法、合规开展,为轨道交通巡检提供决策支撑。如图2所示。

图2 巡检边云协同系统作业流程Fig.2 Workflow of inspection edge cloud collaborative system

5 深圳地铁车辆库现场测试应用

在深圳某车辆段进行现场实车测试,完成实际巡检流程,验证地铁车辆巡检系统的整体功能是否已实现。测试设备:穿戴式巡检终端样机。试验地点:某车辆段运用库。测试结果如下:在此车辆段运用库对26列车车型进行模拟测试,共采集设备类型54类,覆盖列车巡检点数量700个,综合识别准确率为94%。如表1所示,现场故障如图3所示。

表1 现场检修点实测识别率统计情况

图3 现场故障Fig.3 Field failure

6 结论

设计了轨道车辆巡检系统,在深圳某检修库进行应用测试,综合识别准确率达94%,获得了较好的效果,解决了地铁人工巡检的局限性问题。以AI技术为主线,设计光学采集设备、3D视觉训练库、稳定的目标检测算法,巡检边云协同系统实现了如下功能:结合深度学习算法及自主设计的软硬件,完成了地铁列车巡检场景下的人员室内定位,解决了近距离快速运动场景下对列车部件的识别问题,不依赖于环境及人员特征的人工智能辅助巡检流程卡控及监管。通过软件模块化设计,支持所有类型的巡检作业流程卡控。从巡检规划、任务创建、数据管理、统计分析、状态监测、缺陷识别、故障分析、AI学习等功能模块入手,实现了巡检及运用的信息化与智能化管理,工作效率比传统人工巡检作业有了大幅度提高,缩短了巡检时间,提高了地铁运营的可靠性,提升了地铁巡检品质,在很大程度上推进了轨道交通产业的发展,助力实现了传统人工巡检的数字化转型。