动车段(所)调度与检修分析数据仓库方案的研究

2018-03-20 06:38杨洪权
铁道运输与经济 2018年3期
关键词:数据仓库动车动车组

刘 隽,杨洪权

LIU Jun, YANG Hong-quan

(中国铁道科学研究院 通信信号研究所,北京 100081)

(Signal & Communication Research Institute, China Academy of Railway Sciences, Beijing 100081, China)

1 概述

1.1 动车段 (所) 调度与检修现状

随着我国高速铁路运输体系的快速发展,动车组运用与检修管理模式也经历了建立、发展与完善的过程,以动车组维修和养护为核心业务的动车段、动车运用所 (以下简称“动车段 (所)”) 成为我国高速铁路安全高效运营的重要保障。2015 年 9 月29 日中国铁路总公司印发的关于《全路动车段 (所)布局中长期规划》(铁总计统 [2015] 269 号) 提出:近期规划至 2020 年,维持既有 7 个动车段,并对其进行扩建,设置 59 个动车所;远期规划至 2030年,新建 2 个动车段,新建 14 个动车所[1]。动车运用所承担动车组的一级、二级日常运用检修,动车段承担三级至五级高级修。

由于动车组在动车段 (所) 内要执行入段 (所) 存放、洗车整备、入库检修、出库待发、出段 (所) 上线等多项相互关联的作业任务,因而现场配置了调度指挥系统,主要负责列车、调车作业管理[2-3],同时配置了检修管理系统,主要负责动车组运用、维修、技术、设备、物流、质量、安全等方面的集中化管理[4-5]。目前,上述系统在不间断的运行过程中实时产生和不断积累起来的大量调度指挥和检查检修作业数据,为动车段 (所) 综合自动化、信息化、智能化提供了丰富的、完整的、准确的原始数据。对这些信息资源进行充分利用,以期服务于动车段 (所) 管理决策,成为提高动车组运用效率、增强检修水平的一项重要课题。

动车段 (所) 的调度系统和检修管理系统是独立设计、开发与实施的,目前依据业务需要,系统间通过特定接口可以互传调车需求及实时站场信息,初步具备了对列车、调车作业的自动化控制能力。上述系统都是生产运作系统,专注于处理实时信息,不具备对信息的统计、分析能力。而现场需求的核心是对调度、检修作业效率的分析,通过对生产作业数据进行查询、汇总、统计、对比、分析、预测、挖掘,从多个角度对调度与检修的作业过程实施评估,最终实现检修计划的自动调整和调度指挥过程优化等动车组检修组织管理决策支持。因此,需要构建一套系统实现上述功能。针对现场的这一需求,以数据仓库理论为基础,结合商业智能决策分析工具提出相应的技术解决方案。

动车段 (所) 的站场规模庞大,进出动车组较多,作业流程和作业内容较为复杂,要求调度、检修等作业能够高度协同、紧密衔接,通过多工种、多区域并行作业方式,实现集中调度指挥和一体化作业生产管理的目标。因此,在调度与检修数据分析方面具有比较紧迫且相互关联的需求,包括了解动车组检修计划的落实情况;确定检修班组的工作效率;对检修计划进行优化处理;对调度作业进行自动化率统计;自动分配接发车股道;对生产运作系统运行日志进行分析、统计。以北京动车段为例,北京动车段列车、调车作业流程如图 1 所示。

图1 北京动车段列车、调车作业流程Fig.1 Work fl ow of scheduling and shunting emu at Beijing emu depot

1.2 数据仓库与商业智能的运用

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用以支持企业经营管理中的决策制定过程。商业智能是一类辅助决策工具,通过将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策[6]。上述定义中的“数据”包括:企业业务系统的订单、库存、交易账目、客户和供应商的数据;企业所处行业和竞争对手的数据;企业所处的其他外部环境中的各种数据。商业智能可以辅助进行业务经营决策,这种决策支持既可以是操作层的,也可以是战术层和战略层的。为了将数据转化为知识,商业智能需要综合利用数据仓库、联机分析处理工具和数据挖掘等技术。由此可见,作为商业智能解决方案的基础,构建一个适用、可靠的数据仓库是进行动车段 (所) 调度与检修数据分析和决策支持的重点和首要工作。分析数据仓库与调度、检修管理系统对照表如表 1 所示。

目前,动车段 (所) 的调度与检修管理系统每天产生大量的生产作业数据,分布存储在全路各动车段 (所) 的调度与检修管理系统各自的数据库中。为了实现大规模数据库查询和多角度的统计与分析,需要将这些数据进行集中、长期存储,同时要确保分析数据仓库的运行不能对生产运作系统产生任何负面影响。因此,专为调度与检修作业设计的数据结构无法满足上述要求,必须对生产数据进行重组,采用全新的数据组织模式,才能构造出相应的分析数据仓库。

综上所述,动车段 (所) 调度与检修分析数据仓库就是把分布在全路各动车段 (所) 的调度与检修生产作业数据集中起来,重新规划、设计数据的组织架构,全面服务于动车组运用管理所关心的各类主题,如检修效率、调度作业自动化率等;依据动车组运用管理考察问题的角度和指标对各类数据进行关联,形成星型模式,如时间、地域等角度和动车组运用指标进行关联;各类数据通过特定的转换过程,以标准、统一的格式加载到分析数据仓库中。至此,分析数据仓库就成为了一个综合性的动车组运用信息平台,在其基础上叠加分析、挖掘、预测等功能,就能够对动车组运用管理提供具有针对性的决策支持。

2 动车段 (所) 调度与检修分析数据仓库总体方案

2.1 数据仓库逻辑结构

分析数据仓库的建设主要涉及数据仓库配置方案、数据源组织、数据仓库的设计、ETL工程、数据分析与展现等 5 个方面。调度与检修作业数据是基础,满足联机分析处理需求的合理数据仓库模型是核心,数据展现与决策支持是目的。分析数据仓库逻辑结构如图 2 所示。

2.2 数据仓库配置方案

基于分析数据仓库逻辑结构,数据仓库的硬件运行环境主要包括操作数据库服务器、数据仓库存储服务器、分析服务器和应用服务器等设备。其中,操作数据库服务器是调度、检修作业系统与数据仓库之间的桥梁,负责完成数据汇聚与转移工作;分析服务器上运行联机分析处理软件;应用服务器运行数据展示部分的软件。

表1 分析数据仓库与调度、检修管理系统对照表Tab.1 Comparisons between the data warehouse and the scheduling and maintenance management system

根据分析数据仓库的逻辑结构和数据组织架构,软件系统和工具包括:数据库系统、数据仓库存储系统、数据仓库设计工具、OLAP 软件、数据展现软件。其中数据仓库存储可直接采用数据库系统,如 Oracle 相关数据库产品。OLAP 和数据展现软件可采用 Power BI 的集成解决方案。Power BI包含了一系列的组件和工具:数据获取工具 Power Query、数据分析工具 Power Pivot、交互式报表工具 Power View、地图可视化工具 Power Map,支持Web 发布、桌面应用和移动端 App,极大地扩展了数据分析的应用场景[7]。

图2 分析数据仓库逻辑结构Fig.2 Logical structure of the data warehouse

2.3 数据源组织

(1)构造动车段 (所) 基础数据。无论是生产运作系统还是分析数据仓库,都需要建立描述企业全部生产环境的基础数据。调度和检修管理系统在这方面做出了大量的工作,建立了丰富的数据字典,如站场信息 (到发线、检测线、高级修线),动车组信息 (车型、车号组、修程修制),运行图信息 (列车、停靠站、时刻表、编组) 等。分析数据仓库所需的基础数据将在生产运作系统基础数据之上进行扩充、细化。这些基础数据是动车段 (所) 管理人员进行各项生产作业绩效考核的必要条件,也是构造数据仓库的基础。

(2)生产数据的采集。调度和检修生产数据是进行分析的核心数据,是数据仓库的主要数据源。但该类数据分布在各动车段 (所) 本地的生产服务器中,及时、准确、完整地实现数据的收集与汇总是数据仓库开发与运用的必要条件。利用调度系统与和检修系统之间已有网络通信接口,以及各个铁路局集团公司所属的动车段 (所) 之间的高速网络通道,可以实现对各动车段 (所) 的调度和检修生产数据的采集和汇总。

2.4 数据仓库设计

2.4.1 数据仓库需求分析

数据仓库是面向分析的存储系统,为了进行后续的数据分析,其中存储的通常都是数年内的、以汇总数据为主的内容。来自生产运作系统、以细节为主的数据必须经过提取、清洗、整理、综合、概括等一系列处理,才能够进入到数据仓库中。

2.4.2 数据仓库建模

维度建模是专门用于分析型数据库、数据仓库的建模方法。它本身属于一种关系建模方法,但与操作型数据库的关系建模方法相比增加了维度表和事实表 2 个概念[8]。

(1)维度表。维度是对分析主题所属类型的描述。对于动车段 (所) 而言,管理人员从站别、作业班组、日期、作业类型、春暑运时间段等方面来考察调度与检修生产指标,一般作为识别业务指标信息的索引,对维度的描述就构成了数据仓库中的维度表。

(2)事实表。对调度与检修生产指标事实的描述构成了数据仓库的事实表。它包括的数据是用户从中获得决策支持的真实信息,是对业务行为进行定量衡量的数据。这些数据是动车段 (所) 进行日常管理的必备信息。例如,进路办理方式、作业类型、到发点、运用股道、作业实绩点、作业计划点等。针对不同的主题需要建立不同的事实表,在事实表中,既有详细数据,还包括聚合、汇总所得的数据。

(3)星型模式。维度表和事实表的关联是通过维度表的键值来实现的,一个主题的多个维构成了事实表中的若干列,这种关系就构成了一个星的形状,事实表是星的中心,维度表则是星的各个角,星型建模技术可以为数据仓库建立完善的模型。按日期、检修班组、动车组等维度与动车组作业实绩事实表关联的星型模型示意图如图 3 所示。

实际的维度建模过程可以通过明确下面 4 个问题来逐步实现:一是哪些维度对数据分析有用;二是如何使用现有数据生成维度表;三是用什么指标来“度量”数据分析的主题;四是如何使用现有数据生成事实表。

2.5 ETL 工程

ETL 分别代表:提取 (Extraction)、转换 (Transformation)、加载 (Load)。其中“提取”过程表示从生产数据库中抽取出分析所需的数据;“转换”过程表示将数据转化为指定格式,并进行数据清洗,保证数据质量;“加载”过程表示将转换过后满足指定格式的数据加载进数据仓库。

由于分析数据仓库所需的数据来自于多种结构各异的数据源,为了便于执行 ETL 操作,应当将基础数据、调度和检修生产数据、追踪系统生产数据进行集中汇总,暂时存放在操作数据库 (Operational Data Store,ODS) 系统中。ETL 主要操作都将在ODS 中完成,这样既能方便地将源数据从生产数据库中提取过来,又能够定期向数据仓库中批量加载已准备好的各类数据。

图3 星型模型示意图Fig.3 Sketch diagram of the star model

2.6 数据分析与展现

建立数据仓库的目的是为动车组管理和决策者提供各种类型的数据分析,为决策支持提供新的思路和途径。数据分析主要是借助前端商务智能软件工具,访问数据仓库内已准备好的数据,完成不同层次的数据分析工作,并以各种有效、直观的方式向使用者进行结果展示。第一层次是依据数据进行各类汇总报表制作;第二层次是提供灵活丰富的多维分析与查询,通过上卷、下钻、切片、切块、旋转等方式从不同的角度去分析调度与检修数据,全面掌握作业实际情况;第三层次是对数据进行更深入的数据挖掘,探索尚未发现的动车组运营与管理的内在规律[9]。

3 结束语

为了实现动车组运用与检修的高效率,充分利用调度与检修系统的业务数据资源,需要综合运用商业智能领域的多项技术构建面向动车段 (所) 的分析数据仓库。数据仓库建设是一个长期、复杂的系统工程,需要逐步对各个主题进行数据建模与实现,最终才能形成完整的数据仓库。对于动车段(所),调度与检修分析数据仓库本身就是一个面向主题的数据仓库,在其内部依据作业流程、工种又可以划分成多个子主题,在数据仓库及应用分析的设计与开发的过程中,应遵循紧贴需求、整体规划、逐步深入、不断完善的原则,进而达到充分利用动车段 (所) 调度与检修业务数据的目的。

[1] 中国铁路总公司. 关于印发《全路动车所 (段) 中长期布局规划》的通知:铁总计统[2015] 269 号[A].北京:中国铁路总公司,2015.

[2] 刘 隽,张 华,孙 洋. 动车基地调度集中系统[J].铁道通信信号,2012(11):14-16.LIU Jun,ZHANG Hua,SUN Yang. Centralized Traffic Control System of EMU Depot[J]. Railway Signalling & Communication,2012(11):14-16.

[3] 刘 隽. 动车段 (所) 集中控制系统的业务执行流程设计[J]. 中国铁路,2016(3):36-38.LIU Jun. The Design of Operation Execution Procedures of the Centralized Control System of EMU Depots[J]. Chinese Railways,2016(3):36-38.

[4] 赵文超. 一张图看懂微软 Power BI 系列组件[EB/OL].(2016-11-04)[2017-07-25]. http∶//mp.weixin.qq.com /s/jZe36VkdJxE1Gx8r0-VEww.

[5] 穆 晨. 数据仓库[EB/OL]. (2016-03-28)[2017-06-16].http://www.cnblogs.com/muchen/category/794750.html.

[6] 刘春煌,梁明珠. 铁路客票数据仓库建设方案的研究[J].中国铁道科学,2001,22(3):9-14.LIU Chun-huang,LIANG Ming-zhu. Study on the Building of Railway Ticket Data Bank[J]. China Railway Science,2001,22(3):9-14.

[7] JIA W H,MICHELINE K,JIAN P. Data Mining:Concepts and Techniques (Third Edition)[M]. Singapore:Elsevier Pte Ltd,2012.

[8] 郭 黎. 乌鲁木齐铁路局集装箱多式联运管理信息系统研究[J]. 铁道运输与经济,2017,39(11):46-51.GOU Li. Management Information System for Multi-modal Container Transport in Urumqi Railway Administration[J].Railway Transport and Economy,2017,39(11):46-51.

[9] 周凌云,王丹竹,王慧婷,等. 铁路物流业务统计信息系统设计方案探析[J]. 铁道货运,2017,35(12):30-34.ZHOU Ling-yun,WANG Dan-zhu,WANG Hui-ting,et al. Anaylsis on the Design of the Statistics Information System for Railway Logistics Business[J]. Railway Freight Transport,2017,35(12):30-34.

猜你喜欢
数据仓库动车动车组
坐上动车去西藏
基于数据仓库的数据倾斜解决方案研究
动车过桥
“95后”动车组女司机的首个春运
“湖南造”首列CJ6动车组上线运营
动车西行记
动车组BTM带内干扰的排查与整治
乐!乘动车,看桂林
CRH3型动车组轮对压装曲线研究
探析电力系统调度中数据仓库技术的应用