区域车流监测系统的设计与实现

2012-11-29 08:40
铁路计算机应用 2012年11期
关键词:车流数据源数据中心

毕 诚

(济南铁路局 信息技术所,济南 250001)

铁路日常运输组织工作中,掌握车流信息的准确性、完整性、实时性,决定着运输组织精细化的程度和效率的高低。收集掌握车流情况及其变化趋势是相关调度业务人员的核心工作;在铁路生产力布局调整之后,管理结构优化,层次减少,调度指挥岗位管理跨度增加,工作量加大,使用传统手段提高运输组织的精确度、效率和效益,使区域内作业组织均衡、协调,已经力不从心。随着铁路信息化工作的推进,各类信息系统逐渐覆盖了运输调度指挥涉及的各个领域和层面。但由于各系统服务对象不同,系统间数据交互、共享不足,调度人员要面对多个远程或本地系统去查询、提取和整合所需要的车流信息,因此需要一个平台将散布于各系统中的车流数据集中起来,按照调度指挥岗位的要求将信息整合、衔接和展示,为车流集中掌握及分析推算提供辅助手段。

1 系统分析与设计

1.1 数据源分析

区域车流数据产生于运输生产的各个环节,按车辆位置可简单分为在站和在途,在站车流主要来源于区域内各站段运行的车站现车管理系统,在途车流来源于列车调度指挥系统和确报系统,区域车流数据内容与分布见表1。

1.2 系统架构设计

系统主要功能是实现外部数据源车流数据的采集、集成,数据更新、转储,车流数据分析展示。系统架构及功能组成见图1。

ETL(Extraction transformation Load)子系统负责将分布、异构数据源中的数据进行抽取、转换、集成,进行数据的清洗、拆分、汇总等处理,保证来自不同系统、不同格式数据的完整性和一致性,按业务要求加载到车流数据中心。数据中心子系统负责创建、维护、更新各类车流数据表,负责按面向主题构建的历史数据的生成和维护。数据发布展示子系统由数据查询和多维分析功能组成,是用户交互接口,面向铁路局、站段调度、管理人员提供实时车流数据查询、历史数据分析、决策支持信息等。任务管理子系统提供元数据维护、数据采集、访问接口管理、任务调度、系统监控和故障处理等功能。

表1 区域车流数据内容与分布

图1 系统架构图

1.3 远程数据采集

建立区域车流数据中心首先需要确定外部数据源的数据采集方案。由于车流数据中心服务器与列车调度系统服务器、确报系统服务器共同位于铁路局调度系统局域网内,因此确定在途车流数据采集的技术方案相对简单。在站车流信息散布在管内各站段数据中心,需要通过远程网络实现数据采集,数据采集有多个方案,不同的方案将导致软件结构、业务量、影响范围、维护方式及运用效果的差异,在站数据采集方案与特点见表2。

表2 在站数据采集方案与特点

1.4 数据库对象设计

系统的应用以查询为主,用户对数据无修改、删除操作,要求响应速度快、效率高。同时,区域车流数据中心的数据量大,更新频度高,按照用户需求,区域在站、在途实时数据更新间隔不得高于30 min。据此,在实时数据存储设计中采用反规范化设计,严格控制表的数量,减少表间关联,最大限度降低连接操作频度,以适当的冗余设计和空间占用来提高系统运行效率。实时数据中,设计静态车流表,存储全部在站现车信息,设计动态车流表,存储全部在途现车信息。

2 功能实现技术

2.1 静态车流数据采集

既有现车管理系统的数据库存储平台均为Oracle9i以上版本,因此,利用Oracle Pro*C开发工具开发车站数据采集软件模块,部署于各站段现车数据中心,自动采集现车数据。该模块与自研FTM传输软件、数据中心加载模块和监控模块共同构成了系统的ETL子系统。车站数据采用全量抽取模式,类似数据复制。根据各类型车站系统数据结构决定抽取字段及抽取规则,构建运用支持系统的读取控制表作为系统抽取策略。在数据中心端,采用全删除加载模式,加载前删除相应旧数据,对新数据进行转换和清洗后入库,2次删除动作间,安排历史数据生成、转储作业。在车站端,将数据采集与传输软件集成,将采集、清洗、打包、传输和管理功能整合到一个系统进程中,简化结构,利于远程运维管理。

由于尚有部分中小站未实施现车系统,同步开发实施了集中式运用车管理系统,覆盖区域内全部有货车出入的中小站,不具备网络条件时由车务段调度代为管理,实现现车数据采集。并基于确报系统,列车调度指挥系统(TDCS)提供的部分站存车信息为系统提供辅助数据源,降低录入工作量。

2.2 动态车流数据采集

利用Oracle数据库提供的任务队列管理器Job queue和存储过程,实现基于TDCS/CTC列车调度指挥系统、列车调度指挥系统以及确报系统的在途车流实时采集处理。数据抽取策略设定为按时间段读取,只读取实际运行列车信息。动态车流实时采集与处理的关键是在途列车运行线与确报匹配,即货车车辆属性及装载内容与运行信息的集成。匹配综合运用列车车次、时间戳、调度系统基础数据、确报发报时间、内容等多种元素。针对个别匹配失败的情况,利用数据更新进行重复匹配,提高数据准确性。在数据中心端,同样采用全删除加载模式。2次删除动作间,安排历史数据转储作业。

2.3 数据中心管理

2.3.1 车流信息整合

为提高数据采集的准确度和完整性,运用Oracle Job 和存储过程,基于调度系统、确报系统、铁路局现车库系统,统计由于现场作业过程不连续、不规范所导致的区域车流中的待发、待解车流数据,采用增量加载模式加载入库。该作业与动态车流采集作业接续运行。

2.3.2 去向数据计算

建立与列车编组计划动态监控和实时调整系统数据接口,实现接口数据自动导入,生成车流径路信息库。利用数据库触发器、调用径路数据计算存储过程,在数据加载入库时,自动计算重车去向、后续技术作业站、通过分界口等数据。实现线路、区间、分界口的自动划分,为车流分析及推算提供数据基础。

2.4 数据传输

研发了跨操作系统平台、统一的数据传输中间件软件(FTM)。采用Socket技术,设计了数据传输的可靠校验协议和断点恢复的实现方法,实现了跨系统平台(Unix、Windows、VMS)数据的可靠传输,采用了LZSS压缩算法和自主开发的加密算法,实现了数据传输的安全性,提高了数据传输的效率。将部分数据逻辑检查及基于统一基础字典的数据规范化功能纳入传输中间件。

2.5 数据发布

数据分析发布子系统面向铁路局、站段2级运输管理和调度指挥岗位,实现调度各工种间,局、站2级调度间车流信息的统一发布。根据用户的类别和角色分别提供不同深度、不同层次的数据展现。系统采用面向服务的系统架构(SOA),将基于标准的服务整合优化,使其重新组合和应用。与传统的紧耦合架构相比,松耦合架构更能适应业务的变化,其特征对数据展示发布具有重要的指导意义。面向服务的系统架构可以更多地继承原有系统中的应用模型、业务逻辑关系和数据,降低系统重构的造价,提高效率。为满足部署简单、适应平台广、访问便捷、易于升级等设计性能目标,考虑良好的可扩展性及低廉的维护成本,在SOA架构下,数据分析展示系统采用基于J2EE应用的B/S设计模式进行构建,如图2,用户通过浏览器对数据进行查询。

图2 基于SOA模式的J2EE架构

2.6 任务管理

对数据采集子系统、数据中心管理子系统的各类应用程序、传输软件、数据库作业、服务器的运行状态进行自动实时监测、报警及进程恢复等维护,实现系统运行监控、维护自动化,减轻软件维护及监控工作量。负责基础数据字典,接口参数表管理。

3 结束语

通过系统的开发应用,建立了铁路局车流集中管理平台,实现了管内现车数据的自动采集、汇总、查询、分析,实现在途车、站存车按移交、管重、线路、调度台、分界口等分类统计查询。以统一数据源为基础实现了推算分析结果的统一,实现了多角度分析应用。对准确、完整地掌握车流信息,提高车流调整、计划编制、车站作业组织的质量和效率,优势明显。作者将以此为基础进行短期车流推算的探索。

[1]铁路计划调度管理系统研究报告[Z]. 北京:铁道部信息技术中心,2009.

[2]李辉康. 铁路局调度分析系统的设计与实现[J].铁路计算机应用,2008(9).

[3]杨在申. 一种基于SOA的铁路数据中心数据展示方案[J].铁路计算机应用,2008(4).

[4]牛志敏. 铁道部货调系统Oracle数据库的设计与实现[J]. 铁路计算机应用,2008(1).

[5]曾长云. 铁路局现车管理和货车追踪系统的设计与实现[J].铁路计算机应用,2006(9).

[6]W.H.Inmon.数据仓库[M]. 北京:机械工业出版社,2003,1.

猜你喜欢
车流数据源数据中心
《车流》
酒泉云计算大数据中心
浅析数据中心空调节能发展趋势
关于建立“格萨尔文献数据中心”的初步构想
道路躁动
Web 大数据系统数据源选择*
基于不同网络数据源的期刊评价研究
随机车流下公路钢桥疲劳可靠度分析
参考答案
基于云计算的交通运输数据中心实现与应用