铁路货车装载状态图像智能识别系统

张萼辉

（上海铁路局科学技术研究所，上海200071）

铁路货车装载状态图像智能识别系统

张萼辉

（上海铁路局科学技术研究所，上海200071）

货车装载状态高清视频监控系统每日产生的图像数量众多，目前完全依靠人工识别异常状态，工作量巨大且效率低下。采集货车装载状态图像进行人工分类和定义后，输入深度学习模块进行学习，得到正常及异常状态模式识别算法。基于此算法开发的铁路货车装载状态图像智能识别系统可替代大部分人工查看的工作量，明显提高效率，进一步保证安全。

铁路货车；装载状态；异常检测；图像智能识别；深度学习模块

0 引言

上海铁路局南京东站、金华东站、南翔站及徐州北站等7个大型货站共50条到达或出发线均安装了货车装载视频监视系统，每日平均过车数约为1275列。每辆货车分别采集左视、右视和俯视3张图像，供现场值班人员查看货车外观的异常状况；对进站货车通过查看实时拍摄的高清图像进行预检，以指导装卸作业；对出发货车装载状态进行复核，如发现问题需通知下一站进行处理。货车装载视频监视系统对于货运系统的安全运营具有重要意义。

按货站每日平均过车数180列、每列车平均50辆编组计算，一个货站需人工检测2.7万张图像，工作量及人工劳动强度巨大，且长时间作业容易因疲劳发生漏检，存在安全隐患。因此，利用深度学习技术开发铁路货车装载状态图像智能识别系统，自动排查异常情况以替代大部分人工工作量，显得异常紧迫[1]。

1 需求分析

货车装载状态图像主要用于查看货车外观异常情况。根据《上海铁路局货车装载视频监视系统运用管理办法》，监控检查的主要内容包括本站到发、通过列车货物装载状态，集装箱、篷布和篷布绳网状态，货车门、窗、盖关闭以及未苫盖篷布的敞车内部情况，押运人押运行为，扒乘和闲杂人员，货车车体顶部、外侧，集装箱顶部存在残货或杂物，货车发生火灾，罐车发生泄漏，散堆装货物发生撒漏以及其他通过图像可明显发现的危及行车安全的情况。

开发货车装载状态图像智能识别系统的目的，一是为了部分替代图像的人工筛查工作，二是要自动找出危及行车安全的异常装载状态。已经定义的异常装载状态种类较多，情况复杂，同时还有未定义的其他明显危及行车安全的情况。因此，识别已经明确定义的异常状态，虽然可以找出部分问题，但并不能达到减轻人工工作量的目的。因为货车装载状态异常情况所占比例较低，即使机器可从2.7万张图像中找出100张已定义的异常状态图像，其他还需人工筛查。

对异常状态的计算机图像检测与模式识别是一个开放式问题，即危及行车安全的货车外观异常情况不可穷尽。计算机并不理解哪些情况会危及行车安全，需要人工描述危及行车安全情况的图像特征，因此无法对所有异常情况进行图像特征描述及识别模型开发。

为达到图像智能识别技术开发的目的，系统首先应准确、高效地识别正常装载状态的图像，其次应找出发生概率较高的几种货车异常装载状态事例。经系统自动识别分类后，图像将分为3类，即正常图像库、异常图像库及不确定图像库，既不能作为正常图像滤除，又没有被系统发现为异常的不确定图像，再通过人工方式进行查看和分析。

2 正常状态识别

2.1 识别策略

准确、高效地识别正常装载状态图像是一个聚类问题，将图像分为两类：异常（假）和正常（真）。正常状态图像这一类应有相当高的可信度，即凡是归类为正常状态的图像，其真判断为真的概率应很高。如果将假判断为真，会产生漏检隐患，降低系统可信度。超过一定的误检阈值，系统将失去可用性。同时，系统应尽量提高真判断为真的数量，因这些图像将不再需要人工查看，数量越多，越能体现系统减少人工工作量的价值。

在同一智能水平下，真判断为真的概率和真判断为真的数量成反比（见图1）。图1将横轴作了归一化处理，将真判断为真的数量转化为判断为真的图像占所有图像的百分比。若判断为真的标准设置得越高，则入选为真的图像越少，其为真的概率越高。在识别模型使用时，应选择一个合适的工作点，兼顾2个指标，保证系统的可用性和效率。

图1 图像识别可信度与可用性的关系

系统的智能水平越高，对应的曲线越往上凸，即相同的真判断为真的概率对应更多的真判断为真的数量，整体上提高了系统的可用性和效率。为达到该效果，需要对分类模型进行细化。具体操作如下：每种车型有其对应的典型故障，故障发生的位置也是固定的。对每种车型的关键位置正常状态进行标注，输入深度学习模块进行训练，开发包含正常状态参数的智能识别算法。识别时，根据车号获取需要分类的货车型号，利用这种车型的算法对货车状态进行分类。

2.2 算法选择

正常装载状态的判断可转化为不同车型关键位置的局部图像特征匹配。在基于局部特征的图像匹配算法研究中，角点作为重要的局部特征，具有旋转不变性，几乎不受光照变化的影响，集中了图像上很多信息，因而具有重要的实用价值。角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。这些点在保留图像图形重要特征的同时，可以有效减少信息的数据量，使其信息的含量很高，有效提高了计算速度，有利于图像的可靠匹配，使得实时处理成为可能。

系统采用一种基于角点和局部差分不变量（Gray value Differential Invariants，GDI）特征描述子的快速匹配算法[2]对货车局部位置的状态进行判断。具体是利用单次高斯卷积建立具有较少图层的阶梯金字塔[3]，利用Shi-Tomasi算法[4]提取图层中数量适中的强角点，并确定角点的特征主方向；即使存在旋转、噪声等灰度变化影响，也能稳定提取强角点；最后，通过建立GDI局部特征区域统计直方图的描述子，实现角点的快速匹配。

系统通过角点匹配进行识别，因此即使训练图像与被测图像的特征位置在空间上不一致，算法通过扫描图像，也能找到特征位置与之匹配，具有良好的适应性。货车车门角点特征提取见图2。考虑到特征的普适性，后续还需滤除由文字产生的非车门特征角点。

3 异常状态识别

3.1 识别策略

通过现场调研与统计，发现3类异常状态占应检出故障总数的80%以上，分别是：车门车窗未关闭（见图3）；篷布或绳网掀起、脱垂、破损（见图4）；车内残留杂物（见图5）或人员逗留。其中，敞车中门、下侧门开启，重棚车车门开启（有押运人除外），篷布和篷布绳网存在脱落危险属一类报警，应立即停车处理；空敞车内存留有易飘起的杂物、空棚车车门开启、货车上有扒乘和闲杂人员属二类报警，应在前方站停车处理。这3类异常状态对行车安全危害较大，且图像特征较为明显，因此项目初期主要对此进行识别模型开发。

图2 货车车门角点特征提取

图3 车门开启

图4 篷布撕裂

图5 车内杂物

对此类异常状态的检测应遵循尽量不漏检，允许少量误检的原则。通过系统检测，此类异常状态被归入异常事例库中。异常事例库已将异常状态图像进行浓缩，其异常状态图像的比例远远高于未经筛选的原始图像。因此存在少量误检，不会降低查看人员工作效率。漏检图像会出现在不确定图像库中，虽然不确定图像也会有人工查看，但查看力度肯定不如异常图像库，人工也存在较大漏检可能。因此对异常状态的机器检测，应当尽量提高其检测率。在识别模型中，异常检测的特征匹配度可以设置得较为宽松，以保证系统足够的检测率。

3.2 算法选择

对于异常状态的特征，采用Faster-RCNN[5]的深度学习框架完成目标的检测和识别。具体流程如下：通过人工方式将不同类型的异常状态图像进行分类，并对分类的目标进行标注，形成深度学习数据集。设计和训练深度学习卷积神经网络模型，通过该深度模型完成对目标的分类识别。

RCNN算法使用区域提取替代滑动窗口进行检测，对每个区域提取特征，然后利用一个分类器预测这个区域包含一个感兴趣对象的置信度。RCNN采用显著性检测[6]的方法划分区域，利用像素级的标注，把颜色、边界、纹理等信息作为合并条件，使用多尺度的综合采样方法划出一系列区域，这些区域要远远少于传统滑动窗口穷举法产生的候选区域。

Faster-RCNN用区域生成网络代替选择性搜索方法，将目标检测的4个基本步骤（候选区域生成、特征提取、分类、位置精修）统一到一个深度网络框架之内，所有计算没有重复，完全在GPU中完成，大幅提高了运算速度，适用于数量巨大的货车装载状态图像模式识别应用。

4 技术指标

为满足实用性，系统至少应达到以下技术指标：

车门开启检出率≥90%；

车内残留杂物（长度≥30cm）检出率≥80%；

篷布或绳网掀起、脱垂、破损、苫盖不良检出率≥70%；正常装载状态图片滤除率≥50%；

50辆编组货运列车高清图像识别时间≤150s。

5 结束语

铁路货车装载状态图像智能识别系统为解决目前货车装载状态图像人工查看工作量巨大、检测效率低的问题提供了有益尝试。系统可用性的关键在于提高识别精度，一方面应选择适用的算法，另一方面需要在应用模式上进行创新，了解各项技术的优缺点，扬长避短，进一步提升识别精度，实现以科技促效益、保安全的目的。

[1] 赵耀．铁路货车装载视频监视系统设计方案[J]．中 国铁路，2016(1)：87-89.

[2] 毕国玲．智能视频监控系统中若干关键技术研究[D]. 北京：中国科学院大学，2015.

[3] 吕冀，高洪民，汪渤，等．图像制导的目标匹配算 法与系统设计[J]．弹箭与制导学报，2009，29(5)： 43-45.

[4] SHI J，TOMASI C．Good features to track[C]//Computer Vision and Pattern Recognition．IEEE Computer Society Conference on IEEE，1994：593-600.

[5] REN S，HE K，GIRSHICK R，et al．Faster R-CNN： towards real-time object detection with region proposal networks[J]．IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39(6)：1 137.

[6] GIRSHICK R，DONAHUE J，DARRELL T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Computer Vision and Pattern Recognition. IEEE，2014：580-587.

lmage lntelligent ldentification System for Railway Freight Wagon Loading Condition

ZHANG Ehui
（Science and Technology Research Institute，Shanghai Railway Administration，Shanghai 200071，China）

The high-definition video surveillance system for wagon loading conditions produces mass data every day. At present, the identification of abnormality relies on human work, which means huge workload and low efficiency. This paper proposes a normal and abnormal condition identification algorithm by collecting,classifying and defining the wagon loading condition images and inputting the data in the deep learning module.The image intelligent identification system for railway freight wagon loading condition developed based on this algorithm can take over most of the workload previously taken by human and thus improves the efficiency and safety.

Railway freight wagon；loading condition；abnormality detection；image intelligent identification；deep learning module

U298

A

1001-683X（2017）09-0113-04

10.19549/j.issn.1001-683x.2017.09.113

张萼辉（1980—），男，高级工程师，硕士。E-mail：18918121605@126.com

责任编辑 卢敏

2017-06-15