基于大数据分析技术在铁路卸车组织优化中的研究

潘云松，刘柏盛

（昆明铁路局 信息技术所，昆明 650011）

基于大数据分析技术在铁路卸车组织优化中的研究

潘云松，刘柏盛

（昆明铁路局 信息技术所，昆明 650011）

文章介绍铁路卸车组织管理系统，该系统利用大数据分析技术，解决待卸车动态分布实时分析、重车在运输过程的监控和预警、重车到达时间的预测和预报，辅助编制卸车计划，安排货运专用线或公共货场使用等问题。系统已在昆明铁路局试用，取得了很好的经济效益和社会效益。

大数据；卸车组织；到达时间预测；辅助决策

提高卸车组织效率是铁路运力资源最大限度发挥作用和铁路局加速周转，减少经营支出、降低物流成本的有效途径，是确保全年货运任务完成和推动铁路市场化运作关键。做好卸车组织关键是对全局待卸车信息能实时准确掌握、对重车流能推算与预警、对到达重车运输过程进行监控；利用计算机辅助编货运计划手段，提升生产决策水平。大数据技术已被广泛应用在预测、辅助决策等方面，取得了很好的效果。如铁路客运部门通过分析大量客票数据发现客流变化、客流结构等信息指导售票工作。在大数据技术成功应用基础上，研究能够辅助调度指挥、优化卸车作业流程的卸车组织管理系统非常重要。

1 现状分析

1.1 调度运输组织方面

目前,昆明铁路局准确掌握装卸车作业进度能力不够，计算机不能有效推算出重车到站时间，为调度编制卸车计划提供依据。货运人员主要靠人工方式了解生产状况，凭经验安排货运工作计划，计算机辅助货运组织管理运用还很欠缺。

1.2 车站卸车组织方面

（1）目前，车站能够及时掌握已到达本站的待卸车情况，但对在其它站存放、途中车、管外到本站的车辆情况掌握，以及预计到达时间预测不准，对车站卸车资源调配没有依据。遇大宗货物集中到达时，由于准备工作不充分，容易出现货场货区货位、装卸劳力及设备紧张，影响卸车作业效率。

（2）铁路局系统反应各车站装卸车能力的基础数据不够，其中包括：作业点货物线线路有效长、有效容车数，仓库、雨棚、堆场数量，常备装卸设备及劳力情况，以及货区货位占用、出货组织、货装设备故障等情况。铁路局、站段不能全面掌握各车站作业现场的装卸车生产情况。这对车流组织及预警工作造成影响。

（3）由于车站装卸车作业能力受到车站接发列车能力、机车运用、作业股道取送车效率、运用车辆匹配，以及货场货装设备能力、装卸车作业效率和进出货组织等多种因素影响。目前，铁路局尚未全面核查各车站针对车型和货物品类的装卸车作业能力，调度部门只能凭经验估算车站装卸车作业能力，安排卸车计划并组织车流拉运。遇大宗货物集中到达，超出车站正常装卸车作业能力时，往往现场发生车流堵塞后才采取解堵措施，影响卸车作业和车辆运用效率。

2 需求分析

2.1 总体需求

通过大数据分析技术，为货运调度人员提供重车实时位置分布和装载信息、车站卸车进度信息；提醒铁路局调度人员对超运到期限的货车优先组织，对途中重车全程监控和管理。实现待重车到达时间准确预测，辅助调度人员编制调车计划；为车站货运组织人员提供到达重车详细信息,做好卸车准备，实现卸车计划、卸车作业、卸车组织分析考核的精细化。

2.2 业务需求

（1）对铁路局管内运行货车编组全程监控和预警。对到运到期限的待卸车预警；对长期停留在车站的重车（俗称老牌车）预警；对车站卸车能力不足预警（根据设定的卸车最大车数）；对重车越站的车辆预警。

（2）实现分3个阶段重车到达预报。通过到达货票推算出货车应到时间（以天为单位），制定远期卸车计划；通过预确报,提前几个小时掌握分界口接入车流，预先编制中期卸车计划；获得准确分界口车辆接入信息，编制详细(近期)卸车计划，实现重车运行及作业轨迹全程追踪。

（3）调度人员和车站调度能实时掌握车站货场专用线使用情况、货区货位、劳力、装卸设备情况。

（4）调度指挥人员能实时掌握车站待卸车、停放在途中车站的待卸车、在途待卸车分布情况,以及分界口接入列车情况。

（5）自动推算2天内铁路局分界口接入车流大致情况、几小时后车站预计到达重车情况。

（6）辅助调度编制计划。能推算卸车进度即到各时段卸车数、将要到达重车数，在此基础上，推算到下个时间点车站待卸车数，辅助编制卸车计划。

2.3 大数据分析需求

实现数据仓库与生产系统联动，形成一体化决策支持能力。通过数据通信技术、数据挖掘技术，将各种系统数据进行集中、整合、加工、数据格式转化，建立面向主题分析的数据集市，提供各部门360。数据分析平台。

实现与生产系统有效互动，形成智能化、一体化管理。构建信息服务平台，实现对铁路局、车站、货主全方位服务。通过数据挖掘、机器学习等手段，支持辅助决策，使铁路局与车站联动构成有机整体。

向参与卸车组织的不同岗位提供有针对性信息服务：（1）铁路局调度决策人员全面掌握运输、经营情况，科学进行调度指挥；（2）计划人员侧重于掌握列车现状和预计到达重车数量，制定科学、合理的计划；（3）行车调度和货运调度人员关注计划落实以及执行情况；（4）车站货运人员能掌握本站将要到达重车、仓库使用情况、装卸设施设备、劳力的情况，组织车站卸车。

3 技术方案

3.1 卸车组织管理系统架构

（1）数据源层：包含原始数据，如集成平台、货票系统、计划调度、车站系统等，集中在铁路局或分散在车站。数据多存储在数据库，还有照片等非结构化数据文件，数据增长速度很快。

（2）数据提取层：主要实现数据同步、数据采集、数据集中、数据清洗、数据格式的转换。同步软件：实现将全局所有车站系统数据同步到铁路局集中数据库；数据清洗：将集成平台、货票、确报中所包含车辆和装载信息，经过匹配、选择、格式转换生成车辆轨迹记录库（各时间点位置、货运作业记录历史）；将文件（图形文件）类型数据转换并存入数据库，方便数据的分析挖掘。以上功能均采用开源Hadoop技术实现。

（3）数据集市层：用于存放经过处理，供分析的中间数据库，包括车辆作业历史、当前车辆状态、判断策略及知识库、中间运算结果和标准基础字典等库。

（4）应用服务层：由提供各种基础应用功能和服务组成。软件架构完全遵循SOA思想，此层设计重点解决将各业务需求分解成粒度不同的基本服务问题，以适应经常变化的业务需要。

（5）业务逻辑层：由到达车流预测分析、超卸车能力预警、重车到达预报、卸车进度分析和预测、卸车作业质量分析考核、基础数据维护等功能组成，通过调用应用层的基本功能实现。

（6）用户交互层：针对调度总长、调度人员、车务段、车站货运员等不同用户提供不同的交互界面。以电子地图方式为生产决策者提供全局货车卸车信息，方便决策者多角度分析生产状况。为车站货运内勤人员提供察看重车到达、分界口接入等分析功能；货运外勤人员能通过手持机App应用查看和上报待卸车信息；货主通过短信、微信手段获得各种信息服务。

（7）用户认证和网络安全管理：实现所有应用认证系统统一管理。应用访问数据库不仅要通过网络安全认证，还要通过数据库安全管理认证。这保证了整个系统安全可靠、稳定运行。

总体架构图如图1所示。

3.2 业务流程设计

卸车组织管理系统参与者包括铁路局调度人员、车务段、车站货运员。

（1）根据货票历史库中发到站、制票时间和局分界口接入时间等信息，计算出管外各车站到达局分界口的平均时间，以此为依据，推算出几天后到达局分界口的车流，辅助编制远期车流计划。

（2）根据车号识别、集成平台、行车调度、计划调度等系统数据，分析出实际分界口接入车辆信息（中期车流信息）。铁路局调度人员对局管内重车进行全程监控和管理。

（3）本系统完成车辆和货票信息匹配：找出每辆重车对应的货票，获得运到期限、收货人、品类等信息。系统发现重车超运到期限，就提醒调度人员提前组织，抓紧拉运。

（4）在运输过程中，系统通过分析确报、行车调度、集成平台等信息，实时监控重车越界、重车在站停留时间超时风险，发现则立即提醒铁路局调度人员采取措施。

（5）车站货运人员负责维护车站的卸车能力数据，包括仓库库存、专用线、劳力、装卸设施设备，以及分品类、车种、专用线卸车作业指标等。

（6）系统推算出下阶段到达车站待重车数，依据车站当前卸车进度，辅助调度指挥人员编写下个阶段卸车计划，并下达到车站。系统判断车站是否存在超卸车能力风险，提醒调度指挥人员采取措施。

（7）车站货运人员实时上报卸车进度，系统将实际进度数据与预计数据进行比较，调整卸车作业标准，成为下次推测依据，实现机器学习过程。具体业务流程如图2所示。

3.3 主要功能设计

图2 业务流程图

3.3.1 实时分析

（1）分界口接入车流分析。根据计划调度系统、确报系统、集成平台数据分析，推算出预计接入货车、到达重车数量。

（2）待卸车分布查询。通过对车站系统、行车调度系统、ATIS系统、集成平台数据分析，统计本站待卸车、途中车站停放、在途重车实施分布情况。

（3）超运到期限待卸车分析。通过数据挖掘、关联分析，找到车辆货票中运到期限信息，对马上到和已超运到期限的重车，分级别预警。提醒调度人员重点组织，以提高服务。

（4）违反车流径路分析。根据“车流径路”软件计算走行径路，系统对车站发出预确报进行判断，如有“违流”，及时向车站调度人员预警通知；自动判断车辆实际运行是否违反车流径路，提醒铁路局调度人员。

3.3.2 预测和预警

预测重车到达车站时间。此功能对车站、调度人员合理安排卸车计划非常重要。运用大数据分析技术，分析车辆运行轨迹、作业历史记录（站间的平均速度、期间开行车次等）数据，依据当前重车的分布情况、运行状态，推算出各阶段车站预计到达重车。

装卸车超能力预警。通过对以往卸车作业历史数据分析，基于各站货运营业办理限制、货物装卸设施设备及人员情况、货物装卸车作业品类和专用线信息，推算车站、专用线的卸车能力。当车站预计待卸车数超过车站装卸车作业能力时，提醒站段提前做好卸车组织准备，并提前为跨站分流和装卸劳力、机具调动做好准备。

3.3.3 辅助决策

辅助卸车计划制定。建立卸车推算数据模型，通过训练集（历史数据）学习得到模型中的参数，最后基于模型和参数进行预测，利用预测信息采取相应措施。推算模型参数不仅包含车辆位置变化、作业时间点、编挂列车车次顺序等信息，还包含大量调度运输组织计划、车站调车作业执行情况信息。基于当前调度计划执行、重车分布情况，辅助调度人员编制计划，使用数据模型算法（机器学习过程）推算下个时间点重车分布状况。

安排卸车专用线和公共货场使用。在预测重车到达时间的基础上，根据到达货车的收货人、车种、品类、数量等信息，依据货场专用线长度、空闲货区货位信息，分析卸车能力（装卸设施设备、劳力等），系统按照人工设定策略，安排专用线或公共货场使用。

3.4 大数据处理流程设计

大数据处理主要包括数据采集、数据集中、数据服务3个环节，具体流程如图3所示。

3.4.1 数据源分析

随着铁路集成平台、货票、货运调度及保价系统等数据不断更新与增长，沉淀了大量的运输调度及货运信息数据。这些数据主要具有大量、高速、有价值等大数据特点。利用大数据技术，实现从大量数据中挖掘出隐藏的规律和关联信息，用于预测各个时段到达重车数，提前发现运输拥堵潜在风险。

图3 大数据处理流程图

3.4.2 数据提取、清洗和集中

从既有铁路信息系统提取数据。所提取的数据来自铁路局各信息系统数据库和全路局各车站数据库，需要通过数据同步技术上传到铁路局中心数据库，实现数据集中。这些数据是大量的、不完整的、有噪声、模糊的，存在相同车号车辆同时出现在不同车站、确报与车号识别数据不一致、确报装载信息与货票数据不一致问题。在非正常情况下(如发生事故)车辆在站停留时间、车站之间运行时间数据超长，不能用于计算平均速度，需要去除。

数据清洗主要解决数据质量问题。解决重复记录选择问题及业务专家共同分析判断数据价值。主要工作是去伪存真，通过数据的完整性及一致性检查，消除噪声。系统从集成平台提取车辆位置信息，从货票中提取详细装载信息，通过取舍生成每辆货车唯一的各个时间点位置和装载状态数据，并保存到历史数据库。信息包含了车辆到达和出发时间、空重状态等，为数据挖掘做准备。

工具选择主要考虑到采集数据的多样性、需要高性能处理能力、灵活的算法等因素，选用开源的Hadoop、MapReduce工具，实现对无限、无意识、结构化和非结构化的数据采集、数据处理。

3.4.3 大数据分析方法

联机分析处理（OLAP）是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。行车调度人员主要考虑车辆编组内容、列车的开行点（时刻表）；车站人员关心的是货主信息、货物品类；营销人员关心的是货主信息和货主运输需求。

多维分析是指对以多维形式组织起来的数据采取切片（Slice）、切块（Dice）、钻取（Drill-down和Roll-up）、旋转（Pivot）等各种分析动作，以求剖析数据，使用户能从多角度、多侧面地观察数据，从而深入理解包含在数据中的有价值信息。卸车组织系统就是通过图形和报表等直观、可视方式提供分析结果。

3.4.4 提高大数据处理性能设计

（1）缩短事务尽力将长期锁减至最少，提高并发性。在事务期间，避免用户交互。通过执行单个存储过程处理整个事务。将对经常访问表的引用置于事务的末尾，以便将控制锁的持续时间减至最短，联机备份。

（2）提高数据库规范化程度。尽可能减少冗余信息以提高更新速度，从而提高并发性。减少数据提高备份速度。

（3）引进内存数据库提高数据处理能力。有效结合常规数据库和内存数据库功能，将实时变化的数据放在内存中，将不再变化的数据存放在I/O磁盘中。在应用层主内存中存储数据，能够极大地加速OLTP交易事务处理速度，实现后台在线实时数据处理，达到极短的时间内完成大量比对校验、车辆与货票关联、确报与运行线关联、归并等消耗大量IO资源的操作要求。将实时型数据和分析型数据存储在同一个数据库内，分析和报表业务采用列格式运行，利用内存列式存储技术进行分析类操作的强大优势，对各类业务数据进行实时快速分析。

4 结束语

卸车组织管理系统已在昆明铁路局调度所试用，有效地提升了卸车组织效率，产生了很好的经济效益和社会效益。该系统实施后，全局卸车水平逐渐提高，运输组织的目的性越来越强，大力压缩了货车周转时间。同时，通过加强对车站老牌车的盯控，有效地降低了车辆使用费。同时，系统为货主提供了货车到达时间查询和通知服务；为调度所提供了货物运到期限预警等功能，降低了货车超运到期限而被投诉的发生率。

[1]王宏志.大数据算法[M].北京：机械工业出版社，2015.

[2] Oracle.Oracle Database In-Memory [EB/OL].http://www.oracle.com,2014.

[3] 黄 文，王正林.数据挖掘 [M].北京：电子工业出版社，2014.

责任编辑 陈 蓉

Big data analysis techniques applied to optimization of railway unloading organization

PAN Yunsong,LIU Bosheng
( Institute of Information Technology,Kunming Railway Administration,Kunming 650011,China)

This article described the application of big data technology in optimization of railway unloading organization such as real-time analysis for railway unloading freight cars dynamic distribution,monitoring and early warning in the process of transportation for railway loaded freight cars,prediction and early warning of arrival time for railway loaded freight cars,aided unloading plan,arranging freight special line,the use of public goods yard,etc.Through the use of big data technology,Kunming Railway Administration has achieved very good economic and social benefts.

big data;railway unloading organization;arrival time prediction;assistant decision making

U294.26：TP39

A

1005-8451（2016）09-0049-06

2016-06-15

中国铁路总公司科技研究开发计划课题（2015X006F）。

潘云松，高级工程师；刘柏盛，高级工程师。