铁路货车装载状态标准图像智能识别技术体系设计研究

石 磊

(中国国家铁路集团有限公司 货运部，北京 100844)

《新时代交通强国铁路先行规划纲要》(铁发改〔2020〕129号)明确提出，要增强兴安强安保障能力，加大大数据、人工智能等新技术应用，增强安全数据和问题隐患、运行状态和性能规律等集成管理、智能分析和预警预告能力[1]。对视频监控设备获取的铁路货车装载状态标准图像进行智能识别，辅助人工对列车进行货运交接检查，提高发现问题隐患的能力，是铁路货检作业方式的发展方向。铁路货车装载状态标准图像(以下简称“标准图像”)是指利用采集、传输、控制等设备和软件，对通过检测点的铁路货车车体、货物、货物装载加固状态，进行监视所形成的完整、无变形、无噪点、无模糊高清图片信息。自2020年实施优化货检作业流程以来，运用货运安全检测和视频监控设备，实现了货检作业由人检为主、机检为辅转换至到达作业机检为主、人检为辅，出发作业人检为主、人机结合的方式，有力地推进了货检作业质量和效率的提升。部分货检站探索采用智能识别技术辅助货检人员视频检查，在降低人工漏报、提升作业质量等方面取得了一定成效。为确保标准图像识别质量，采用深度神经网络图像识别模型是主要发展趋势[2]。但是，由于训练集数据规模不足，造成图像智能识别质量与铁路货车装载状态检查要求间存在一定差距，尤其是货检作业项点覆盖不全、问题识别率和识别准确率差异较大，需要系统构建铁路货车装载状态标准图像智能识别技术体系架构，为推动铁路货车装载状态检查少人化、无人化提供可靠技术支撑。

1 标准图像智能识别技术架构及关键技术

1.1 体系架构设计

针对图像智能识别质量与铁路货车装载状态检查要求间存在一定差距的问题，以标准图像为基础，以标准图像智能识别项点范围为导向，结合检查项点训练集充足和训练集不足的特征，按照“识别需求-识别技术-识别应用”的体系构建思路，以铁路货车装载状态检查场景下的基于深度学习目标检测技术和传统目标检测技术为核心，构建铁路货车装载状态标准图像智能识别技术体系架构，明确铁路货车装载状态标准图像智能识别技术路径。铁路货车装载状态标准图像智能识别技术体系架构由识别需求层、识别技术层、识别应用层组成。铁路货车装载状态标准图像智能识别技术体系架构如图1所示。

图1 铁路货车装载状态标准图像智能识别技术体系架构Fig.1 Intelligent recognition technology system architecture for standard images of wagon loading status

其中，识别需求层由货车车体状态检查、货物状态检查、货物装载状态检查等标准图像智能识别项点范围和识别需求组成，给出标准图像智能识别需要解决的场景问题。识别技术层由实例分割技术、基于深度学习的目标检测、传统目标检测、数据集扩充等关键技术组成，解决训练集充足、训练集不足不同条件下的项点识别问题。识别应用层由门窗开启、端侧墙破损、掩挡失效、加固线松动等图像识别模型组成，形成轻量化、强泛化能力的标准图像智能识别模型。

（1）识别需求层。主要包括铁路货车装载状态检查项点标准化、标准图像智能识别项点标准化2 部分组成。一是铁路货车装载状态检查项点标准化，系统梳理各类铁路货运规章制度和现场检查作业需要，按照货车车体状态检查、货物状态检查、货物装载状态检查明确铁路货车装载状态检查项点范围。二是标准图像智能识别项点标准化，明确标准图像智能识别项点范围，进一步明确各类项点的识别技术要求，如车门锁锁钩开启角度≥10°、异物长度≥20 mm 且宽度或直径≥4 mm等。

（2）识别技术层。按照训练集充足、训练集不足2 类标准图像识别项点进行划分，构建相应类别项点下的图像识别关键技术模块。考虑传统目标检测技术存在特征表达能力弱、检测准确率低、检测实时性差等问题，而基于深度学习的目标检测算法拥有强大特征提取能力、检测精度高、速度快等优点[3]，一是针对训练集充足的识别项点，根据各标准图像智能识别项点图像特征，综合运用基于深度学习的目标检测技术和实例分割技术，不断提升标准图像智能识别模型泛化能力；二是针对训练集不足的识别项点，综合运用传统目标检测技术和数据集扩充技术，对当前检测点获取的标准图像与上一检测点获取的标准图像进行比对识别，为检查作业提供辅助决策支持。对于训练集不足的项点，在标准图像数据量积累达到一定规模后，运用基于深度学习的目标检测技术实现项点智能识别。

（3）识别应用层。主要由门窗开启识别模型、货物位移识别模型、加固线断裂识别模型、活动部件旋转识别模型、篷布苫盖不良识别模型等标准图像智能识别模型组成。考虑标准图像智能识别项点范围较大，所需构建的识别模型数量较多，对标准图像智能识别装置算力压力较大的问题，运用检测项点条件下目标检测模型轻量化技术，形成轻量化、强泛化能力的标准图像智能识别模型。

1.2 项点范围确定

铁路货车装载状态检查的对象是铁路货车车体、货车所装载货物、货物装载加固状态3 项内容，以确保不同车型车种所装载的不同类型货物的装载质量良好。按照“车种车型-货物类型-检查项点”的设计思路，构建铁路货车装载状态检查项点关联模型。铁路货车装载状态检查项点关联模型如图2所示。

图2 铁路货车装载状态检查项点关联模型Fig.2 Correlation model of check points for wagon loading status

铁路货车装载状态检查项点复杂程度与车种车型、货物类型相关联，包括车体状态检查、货物状态检查、货物装载加固状态检查3部分内容。

（1）车种车型复杂性。车种包括了敞车、棚车、平车、罐车、长大货物车等，货车车体技术状态与货物装载加固质量密切相关，目前也纳入了货运检查范围，需要分析提出检查重点和评判标准。不同车型货车中与货物装载加固相关的车体结构或部件(如平车地板、敞车中侧门、棚车中门、罐车车体等)不同，造成检查项点各异，如棚车需重点检查车门开启和脱槽等问题，罐车需重点检查盖阀关闭等情况。考虑冷藏保温车、毒品车、隔热保温车等车种涉及货物装载的车体结构与棚车差异不大，将其归纳为棚车类进行分析。

（2）承运货物复杂性。目前铁路装运的货物品类繁杂、外形规格不一，主要包括散堆装货物、卷钢等钢材类货物、成件包装货物、集装箱、超限超长货物、轮式履带式货物、气体液体货物等。装车时车种货种相关匹配适应，带来装载加固方式不同、防护方式不同(如苫盖篷布等)，需要针对不同的货物类型、不同的装载加固方式等确定不同的检查项点。例如，散堆装货物需重点检查超偏载问题，卷钢需重点检查位移问题，棚车装运的成件包装货物则更多地需检查车体技术状态。

通过对铁路货运规章制度系统梳理，铁路货车装载状态检查范围覆盖了棚车类、敞车、平车、罐车、漏斗车、JSQ 小汽车运输专用车、检衡车、长大货物车、长钢轨运输车组等9 大车种的约200 个检查项点，包括门窗盖阀开启、货物撒漏、货物装载状态不良等。根据管理需要和作业经验，进一步明确标准图像智能识别项点范围，部分货物装载状态检查项点范围和标准图像智能识别标准如表1所示。

表1 部分棚车货物装载状态检查项点范围和标准图像智能识别标准Tab.1 Range of check points and intelligent recognition criteria of standard images for box wagon loading status

1.3 技术难点分析

目标检测、实例分割、数据集扩充和模型轻量化等技术，是标准图像智能识别的关键技术组成。结合铁路货车装载状态检查业务场景需要，明确各关键技术所需要解决的技术难点。

（1）目标检测技术难点。一是小目标物体对象检测技术难点。标准图像的小目标对象是指大背景标准图像中，尺寸占比为0.01%(30×60像素)～0.2%(160×200像素)的物体对象。小目标检测主要存在于车体异物、箱顶异物、盖阀开启、篷布破损等问题项点，由于背景图大，问题点小，肉眼辨识困难，存在漏检、误检的情况。二是传统目标检测技术难点。对训练集不足的项点，技术难点在于运用梯度或边缘方向分布描述所检测的局部物体外形，以及该局部物体外形微小变化引起的标准图像差异(如挖掘机旋转部位的微小旋转所造成的图像差异)。

（2）实例分割技术难点。面向轮廓规则物体(如卷钢、钢轨货物等)旋转、倾斜、窜动等不良状态的图像智能识别需求，需要运用实例分割技术为不同对象实例提供不同标签，进一步获取对象实例轮廓边界。对于夜间或灯光较差条件下获取的铁路货车装载状态图像，不同对象实例间边缘轮廓不清晰，尤其是对小目标物体对象的实例分割，计算过程中会出现分辨率降低、细节丢失等问题，是当前标准图像智能识别技术难点之一。

（3）数据集扩充技术难点。传统图像增强技术能够帮助算法在处理图像数据时提高数据集可靠性，但无法对数据进行扩充，需要运用基于深度学习的图像扩充技术解决数据集不足问题。生成对抗网络(GAN)、条件生成对抗网络(CGAN)、基于深度卷积的生成对抗网络(DCGAN)等方法，能够一定程度上解决生成对抗网络存在的训练不稳定、训练难度大、模型易崩溃等问题[4]。但对标准图像智能识别场景，如何在对抗训练中保留深层语义信息，仍是标准图像数据集高质量扩充的技术难点之一。

（4）目标检测模型轻量化技术难点。按照不同检查项点构建图像识别模型的数量巨大，需要对识别模型进行轻量化处理[5]。一是需要从卷积核尺寸、激活函数等方面适应性优化Faster R-CNN，YOLO V5 等目标检测技术，优化图像处理和计算流程，不断提升标准图像智能识别模型泛化能力和轻量化水平。二是统筹考虑级联检测器(VJ-Det)、梯度方向直方图检测器(HOG-Det)和可变形组件检测器(Deformable Part Model，DPM)为代表的传统目标检测算法，融合优化同一车型下标准图像智能识别模型，减少智能识别装置算力消耗[6]。

此外，标准图像采集质量优化也是标准图像智能识别的基础，尤其是雨、雪、雾等不良天气影响下图像失真现象明显。在无法通过优化补光、优化相机等措施下，就需要运用图像处理技术进行去雨、去雾、去模糊等操作，提升标准图像质量。

2 铁路货车装载状态标准图像智能识别配套措施

标准图像智能识别体系建设，需要完善视频设备配置、加强标准图像评价、快速积累负类样本、统一图像识别模型等配套措施，以实现项点辨识率、问题识别率、识别准确率的稳步提升，为降低货车装载状态检查劳动强度，深化铁路货运劳动组织改革提供可靠技术支撑。

（1）完善视频设备管理，发挥成套装备作用。标准图像智能识别技术需要以标准图像采集设备为基础，辅以标准图像智能识别装置为判图载体，才能发挥其辅助决策作用[7]。一是完善标准图像采集设备与识别装置技术条件，以标准图像质量要求和图像识别质量要求为核心，推进采集设备和识别装置的标准性技术文件编制下发。二是完善铁路货车装载视频监控设备运用管理制度，从配置、运用、维护、维修等方面，明确标准图像采集设备和标准图像智能识别装置运用管理要求，确保设备状态良好、满足作业需要。

（2）加强标准图像评价，确保标准图像质量。铁路货车装载状态标准图像训练集质量，直接决定了图像智能识别模型的可靠性[8]。一是以完整、高清、无变形、无噪点、无模糊为主要特征，明确标准图像定义和内涵，为视频监控设备供应商明确设备输出质量要求。二是建立标准图像质量评价机制，在设备新建、更新改造、大修等影响成像质量的活动结束后，要求设备应通过标准图像质量评价。

（3）快速积累负类样本，稳步提升泛化能力。不同类型训练样本的规模化增长，才能够保证标准图像智能识别模型泛化能力的快速提升。一是以铁路货运生产作业与管控平台为载体，汇集全路问题车图片信息，实现标准图像训练集的网络化采集和存储。二是加强训练集图像标记质量管理，持续扩充不同识别模型训练集，推进多项点识别模型融合和轻量化，稳步提升模型泛化能力。

（4）统一图像识别模型，考核图像识别质量。良好的标准图像智能识别质量，能够有效减少现场作业漏报，是提升铁路货车装载状态检查水平的技术支撑。一是统一图像识别模型，避免因模型不一致造成现场作业辅助决策项点范围差异，以及问题车误报、漏报造成的作业隐患。二是考核图像识别质量，按照车站别、路局别、项点别对标准图像智能识别质量进行考核，明确图像采集、图像识别、图像展示等不同环节主体的相互关系，对因漏报造成的安全问题应当进行追责。

3 结束语

在物联网、人工智能等技术驱动下，依靠人眼盯控、经验决策的传统作业方式不能满足铁路货运高质量发展需要，铁路货运安全风险识别与处置将越来越依赖智能技术装备，从人工经验决策向机器辅助决策转变。标准图像智能识别技术的研究应用，就是按此思路进行的探索和创新，能够有效促进当前优化货检作业流程工作的深入推进，有力提升货运安全隐患排查和防控能力，并将有利于降低作业人员的劳动强度，提高货运安全管理和作业整体科技保障水平。同时，该项应用前景广阔，在当前铁路货检作业场景应用成熟后，还可以广泛应用到专用线(专用铁路)交接检查、货场安全管理等方面，更好地服务运输安全工作。