铁路运输决策支持系统关键技术研究

2014-01-15 07:55黄远新
铁道标准设计 2014年2期
关键词:客票决策支持系统数据仓库

李 敏,黄远新

(1.铁道部信息技术中心,北京 100844;2.西南交通大学交通运输与物流学院,成都 610031)

铁路运输决策支持系统关键技术研究

李 敏1,2,黄远新2

(1.铁道部信息技术中心,北京 100844;2.西南交通大学交通运输与物流学院,成都 610031)

为了向铁路运输管理人员提供科学的决策依据,以数据仓库和决策支持技术为基础,开发了铁路运输决策支持系统。介绍该系统的架构,研究该系统中一个子系统,即综合运输指标数据集市,包括基于数据源特点的数据集市模型设计和ETL方案设计。该系统在决策支持中具有很多方面的应用,包括报表应用、多维分析、即席查询和数据挖掘应用等。

铁路运输;决策支持系统;数据仓库

1 概述

铁路运输是一项极其复杂的系统工程,这其中存在着战略、管理和生产3个层次全系列的决策活动。从20世纪70年代开始,我国铁路行业陆续开展了计算机技术的多方面应用,20世纪90年代初期开始建设铁路运输管理信息系统(TMIS)[1-3]。经过多年努力,计算机技术已经广泛应用于运输组织、运输指挥和运输生产各个方面,TMIS货票系统、确报系统、编组站现在车管理系统、货运营销与生产管理系统、运输计划系统、运输统计系统、车号自动识别系统以及客票发售与预定系统相继建成。但是,由于各个系统是先后独立开发、自成体系的,各系统之间的数据难以共享,各系统也难以对决策活动提供有效地支持。

决策支持系统[4-6](“Decision Support Systems”,简称DSS)是20世纪70年代,在传统的管理信息系统(“Management Information Systems”,简称 MIS)[7]的基础上形成和发展起来的。20世纪80年代,决策支持系统迅速成为一门新兴科学,其依托运筹学、管理学、计算机科学等学科不断发展,20世纪90年代初提出的数据仓库[8-9](Data Warehouse)、数据挖掘[10-11](Data Mining)等决策领域的新技术,更是为决策支持系统的研究和发展开辟了一条新的途径。

充分利用现代信息处理技术和铁路系统已经建立的各种信息系统资源,将能够获取的海量数据转化为实用的决策根据,为铁路运输各级和各部门管理人员提供科学的决策依据,日益成为一种迫切的现实需要。为此,科技部在国家科技公关计划中拨款20万元立项进行研究,课题名称为信息综合利用决策支持系统的研究与设计,该项目已经通过科技部验收。

2 铁路运输决策支持系统

传统数据库在进行决策支持时具有以下几个方面的不足:(1)缺乏组织性,首先是获得的数据格式杂乱不稳定,无统一标准;其次,由于各部门在分析时对数据的片面抽取,对同一问题的分析,可能导致不同的结果;(2)数据的利用率低,难以转化为有用的信息;(3)数据存储不完整,难以满足决策支持的需要;(4)模型库分析能力有限;(5)人机接口开发不理想。

数据仓库和联机分析处理(OLAP)技术[12]及数据挖掘技术的日渐成熟,为克服传统数据库存在的问题提供了技术上的支持,为决策支持系统开辟了一条新的途径。

铁路运输决策支持系统是以数据仓库技术为基础,以OLAP技术和数据挖掘工具为手段,从而进行设计实施的一整套解决方案。

2.1 铁路运输决策支持系统的架构

铁路运输决策支持系统由数据抽取、数据仓库管理系统、模型库/知识库管理系统、数据挖掘、用户界面等模块组成。如图1所示。

铁路运输决策支持系统具有如下特点。

(1)从异构的多种数据源中抽取数据,实现数据库系统无关性。

(2)以数据仓库和OLAP相结合建立辅助决策系统,相互结合、相互补充。

(3)利用数据挖掘工具发现过去未被认识的数据关系,帮助决策者做出更好的决策。

(4)将数据仓库、OLAP、数据挖掘、方法库/模型库以及用户交互结合起来形成的综合决策支持系统能以此进行定量分析和定性分析,进一步提高了辅助决策能力。

铁路运输决策支持系统采用数据仓库技术,遵循数据仓库的结构体系,包括以下几个方面:环境、数据仓库、主题、主题表、汇总表组、信息集市和数据集市。

2.2 数据仓库的数据源

数据仓库的数据源基于铁路系统现在的业务系统及其综合应用,包括:(1)十八点统计分析系统;(2)车号自动识别系统;(3)货车追踪系统;(4)确报系统;(5)TMIS货票系统;(6)集装箱系统;(7)货运营销与生产管理系统(8)客票发售与预定系统;(9)精密统计系统;(10)调度系统;(11)编组站现在车管理系统。

图1 铁路运输决策支持系统架构

2.3铁路运输决策支持系统的原型系统

对于铁路运输决策支持的核心组成部分——数据仓库,选取综合运输指标数据集市和客运数据集市,作为该项目的原型。

选取“综合运输指标数据集市”作为本项目的原型,是出于以下几个方面的考虑。

(1)目前能够综合反映运输生产组织和经营状况的十八点运输统计报告系统和精密统计系统,其基本信息通过手工作业进行采集,再逐级上报。系统的稳定性好,也已经积累了丰富的数据;在此基础上建立数据集市,见效快,效果明显。

(2)综合运输指标体系所涉及的内容,是指导运输生产和经营的重要信息,为各级运输部门服务,如:运输分析部门、运输统计部门、调度部门。其中,某些综合效益指标(货运收入、客运收入、货物发送量、旅客发送量等)更是部领导们重点关心的信息。

(3)十八点统计分析系统和精密统计系统所设计的指标虽有交叉,但时间范畴不一致,十八点统计分析系统是日报系统,每日十八点上报;精密统计系统是月报系统,是经过层层校验、核实过的月信息,准确度高,每月的中旬上报上个月的精密统计数据;所以,两者相结合,既能掌握每日的运输情况,又能得到准确的数据用于指导今后的运输生产和经营。而目前的情况是由于十八点统计分析系统、客运精密统计和货运精密统计均是数据库系统,各个运输部门所关心的内容又各不相同,往往不能及时得到想要的信息。

铁路客运业务系统经过近十多年的发展,绝大部分的客运业务都实现了计算机管理。主要包括客票联网系统、客票非联网站系统、小站系统、车务段系统、移动补票系统、客运管理信息系统,手工完成的业务主要包括代用票、偏远小站的手工售票。

客票系统全称为“铁路客票发售和预定系统”,是国家“九五”科技攻关计划重中之重项目,项目自1996年启动以来,经过1.0、2.0、3.0、4.0版的研制和中央、地区、车站三级系统的建设,建成了包括铁道部客票中心、23个地区客票中心、1 800多个计算机售票车站在内的计算机售票系统,其中800多个车站已实现了联网售票。

客票系统实现了车站售票业务处理和地区中心的客运业务应用管理,这些业务操作产生的数据是信息综合利用决策支持系统重要数据源。而且客票系统联网站的增多,使得经客票系统发售的客票销售量占全路总售票量的85%以上,客票收入占全路总客票收入的90%以上。因此,客票系统已经积累了丰富的历史数据,具备了建立数据集市的各种优越条件,应该是铁路运输决策支持系统的不可或缺的一部分。

3 综合运输指标数据集市的设计

综合运输指标数据集市的数据来源于十八点统计分析系统和精密统计系统(包括货运精密统计和客运精密统计)。前者所涉及的维度少,指标多,大多数指标值仅与时间维度相关;后者所设计的指标少,但相关的维度较多。因此,可采用不同的逻辑模型。

3.1 综合运输指标数据集市的模型设计

十八点统计分析系统的数据关系简单,采用传统的E_R模型。精密统计系统的数据采用星型模型。精密统计系统的维度包括:时间维度、地理维度1(层次为铁道部、路局、分局、分界口)、地理维度2(层次为全国、省、市)、品类维度、运输距离维度、席别维(硬座、软席、卧铺)、统计分类维(站售、车补、退票)、 运输类别维(管内直通、管内接入、管内到达)、干线维、车次维、发到站维。

十八点统计分析系统和精密统计系统的数据在数据集市中采用不同的物理存储模型。前者采用关系数据库组织形式(由关系型事实表和维表组成);后者多采用多维数据库组织形式(MDDB)。

3.2 综合运输指标的ETL方案设计

综合运输指标的数据清洗任务主要是:(1)十八点统计分析系统和精密统计系统中编码的统一;(2)为了方便OLAP分析,需要将数据源的数据整合以后,加载到数据集市的主题表中,而不是将数据源直接复制到数据集市中。

十八点统计分析系统的ETL方案,包括:综合指标主题表,现在车类,装卸车类,分界口货车出入,客运综合指标,重点、快速旅客列车指标和主要客运站上车人数指标。

货运精密统计的ETL方案,包括货物发到量统计,货物运输量及吨公里统计,分界站货物接入交出及通过统计,省 间 货 物 交 流 统 计,货物运输距离统计,主要干线货运统计表,铁路分局货物交流统计。

客运精密统计的ETL方案,包括旅客发送量及票价统计,旅客运输量及周转量,距离别旅客人数及周转量,车次别旅客人数、周转量及票价,行李、包裹发送、中转及到达量统计,局别/窄轨行包运输量、周转量及平均行程等。

3.3 建立数据仓库更新的时间机制

数据仓库的数据并不要求与联机事务处理系统保持实时的同步,因此数据抽取可以定时进行,但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。十八点信息系统是每天18点这一时刻的统计信息,更新数据仓库的时间是24 h;精密统计信息系统每个月更新1次。

4 综合运输指标数据集市的决策支持应用

4.1 报表应用

报表一直是表现数据的最为简便的方式,这种方式在铁路业务部门间是必不可少的数据传递方式。所以报表应用也是铁路运输决策支持系统的主要应用之一。

系统采用Business Objects软件实现报表应用,Business Objects能够灵活、随意地制作出各种不同形式的报表以进行数据分析。

基于铁路运输决策支持系统,首先制作部门日常经常使用的报表,然后在已有报表上衍生其他各式各样的报表,报表的个数是不限的,报表的形式是可多变的。

报表主要包括货运静态报表和客运静态报表。

4.2 多维分析

在决策支持系统中可进行各种多维分析,包括货物运量变化趋势分析、旅客运量变化趋势分析等。在货物运量变化趋势分析中可以生成总运量变化趋势图,各局(省、市)运量变化趋势图,按品类运量变化趋势图,各局(省、市)按品类运量变化趋势图,省间货物交流变化趋势图,以及各运输距离的货物发送量变化趋势图;在旅客运量变化趋势分析中可以生成旅客发送量及收入变化趋势图,局别、省别、线别、窄轨别旅客发送量及周转量变化趋势图,局别行包发送量及周转量变化趋势图,各运输距离的旅客发送量变化趋势图,车次别旅客人数、周转量、收入变化趋势图等。多维分析的展现方式包括多维报表和三维柱图、饼图。

4.3 即席查询

即席查询,是数据库应用最普遍的一种查询;利用数据仓库技术,可以让用户随时可以面对数据库,获取所希望的来自各业务系统的数据。

在综合运输指标数据集市里,包含了所有的运输指标。通过提供给终端用户友好、易用的图形界面,提供选择和模糊查找指标的功能,即用户键入他希望查询的指标名称(部分名称)和其他如时间、局名、品类、运输类别、席别等,就能得到相应的信息,并能根据需要导入文本文件或存为HTML格式的文件。

4.4 数据挖掘应用

基于十八点统计分析系统和精密统计系统的数据,可以利用数据挖掘工具对运输综合指标作时间序列预测分析。具体方法包括:使用广泛的预测方法,包括指数平滑模型,Winter方法以及 ARIMA(Box-Jenkins)模型,也可以通过组合模型产生新的预测模型或方法;在预测模型中使用预测因子变量,预测模型包括时间趋势曲线,回归因子,干扰影响;浏览时间序列图,预测-真实值、预测误差图,带置信区间的预测图;逐个比较任意两个预测模型的拟合优度值或按一特定拟合统计排序的所有模型;浏览每个模型的预测和误差值或任意选择两个模型比较预测结果;检验每个预测模型的拟合参数及其统计显著性。

5 结语

本文介绍了铁路运输决策支持系统的基本架构,该系统依托数据仓库,运用数据挖掘技术,力图实现信息的综合利用,并为铁路系统的各级各部门提供决策支持。其中重点研究了铁路运输决策支持系统中一个子系统,即综合运输指标数据集市的设计,包括基于数据源特点的数据集市模型设计和ETL方案设计;并针对综合运输指标数据集市,研究了其在决策支持中的应用,包括报表应用、多维分析、即席查询和数据挖掘应用等。

本文首次将数据仓库、数据挖掘和决策支持技术系统性地应用于构建我国的铁路运输决策支持系统,具体研究了系统基本架构的建立,包括系统建立中的数据源抽取、数据集市模型设计、数据清洗技术,以及系统在决策支持中的若干具体应用。从而为这一系统的建立提供了坚实的理论基础和富有现实意义的实践指导,并且为先进的数据处理技术在其他第三方物流企业决策支持系统中的应用提供了宝贵的借鉴。

[1] 孙远运.TMIS总体架构设计研究[J].铁路计算机应用,2005,14(7):11-14.

[2] 朱涛.TMIS综合调度管理信息系统[J].铁路计算机应用[J].2005,14(7):18-20.

[3] 张红麟.铁路信息化建设的核心——TMIS[J].计算机系统应用,2003(7):9-12.

[4] 陈文伟.决策支持系统教程[M].北京:清华大学出版社,2004.

[5] 孟波.计算机决策支持系统[M].武汉:武汉大学出版社,2001.

[6] 汤银英,况漠.LDSS的研究[J].物流技术[J].2003(2):20-22.

[7] 穆绪涛,穆建华,邹微,孙志红.管理信息系统的作用及应用[J].现代情报,2005(10):20-21.

[8] W.H.Inmon.数据仓库[M].北京:机械工业出版社,2003.

[9] M.Golfarelli,S.Rizzi.Designing the Data Warehouse:Key Steps and Crucial Issues[J].Journal of Computer Science and Information Management,1999,2(3):13-22.

[10] N.Tryfona,F.Busborg,J.CzBorch Christiansen.StarER.A Conceptual Model for Data Warehouse Design[J].In Intl.Workshop on Data Warehousing and OLAP,1999:3-8.

[11]乐剑平.基于数据挖掘的决策支持系统的设计与实现[D].上海:上海交通大学,2008.

[12]杨光,张雷,艾波.数据仓库及联机分析处理技术[J].计算机工程与科学,2000,22(1):39-42.

Study on Key Technologies of Railway Transportation Decision Support System

LI Min1,2,HUANG Yuan-xin2

(1.Information Technology Center,the Ministry of Railways,Beijing 100844,China;2School of Transportation and Logistics,Southwest Jiaotong University,Chengdu 610031,China)

To provide a scientific decision-making basis for railway transportation administrative staff,the railway transportation decision support system was developed based on data warehouse and decision supporting technology.The architecture of this system was introduced in this paper.And also,a kernal subsystem in this system,namely the integrated transportation index data mart,was emphatically studied in this paper,including the data mart model design and ETL scheme design which are based on the characteristics of data source.For decision supporting,this system is of multi-functions,including reporting application,multi-dimensional analysis,ad-hoc query,data mining application,etc.

railway transportation;decision support system;data warehouse

U29

A

10.13238/j.issn.1004-2954.2014.02.031

1004-2954(2014)02-0135-04

2013-11-19;

2013-11-29

国家科技攻关计划(2002BA407B06)

李 敏(1979—),女,助理工程师,2001年毕业于北京印刷学院应用电子技术专业,工学学士。

·桥 梁·

猜你喜欢
客票决策支持系统数据仓库
护理临床决策支持系统的理论基础
基于数据仓库的数据倾斜解决方案研究
面向知识转化的临床决策支持系统关键技术研究
中国铁路客票在跨境客运中的互通方案
基于数据仓库的住房城乡建设信息系统整合研究
电务维修决策支持系统研究
探析电力系统调度中数据仓库技术的应用
航空公司客票直销的现状与分析
基于大数据的客票超售策略
基于数据仓库的数据分析探索与实践