基于大数据分析的城轨列车运行路线追踪研究

2018-03-03 19:46黄聪
现代电子技术 2018年5期
关键词:大数据分析

黄聪

摘 要: 传统基于移动闭塞模式下的城轨列车运行路线追踪方法在面向海量人流和车流的情况下,存在延误扩散以及线路运行的恢复能力差等问题。因此,提出基于大数据分析的城轨列车运行路线追踪方法,在Hadoop架构下塑造Map/Reduce并行计算架构的大数据运行方法,通过Map阶段任务配置与分发以及Reduce阶段任务合并与数据存储,对城轨列车运行数据进行学习、分析以及存储,塑造基于极大代数的列车运行计划模型,在分析模型参数的基础上,设计列车运行计划模型的约束条件,得到列车运行计划在极大代数中的线性模型,实现大数据环境下城轨列车运行路线的合理规划。实验结果表明,运用此方法的列车可顺利通行,对客流具有较强的调控性,确保列车均匀稳定地运行。

关键词: 大数据分析; 城轨列车; 运行路线; 追踪; Hadoop架构; Map/Reduce

中图分类号: TN911?34; U292.4 文献标识码: A 文章编号: 1004?373X(2018)05?0110?06

Abstract: The moving block mode based traditional running route tracking method of urban rail train has the problems of delay diffusion and poor restoration capability of the running route under the condition of mass passenger flow and traffic flow. Therefore, a big data analysis based running route tracking method of city rail train is proposed. The big data running method of Map/Reduce parallel computing architecture is constructed on the basis of Hadoop framework. The task allocation and task distribution of Map stage, and task combination and data storage of Reduce stage are performed to study, analyze and store the running data of city rail train. The train running planning model based on maximum algebra is constructed. On the basis of analyzing the model parameters, the constraint condition of the train operation planning model was designed to obtain the linear model of the train operation planning in the maximum algebra, and realize the rational running route planning of urban rail train in big data environment. The experimental results show that the proposed method can control the train pass smoothly and ensure the uniform and stable operation of the train, and has the strong regulation for passenger flow.

Keywords: big data analysis; urban rail train; running route; tracking; Hadoop framework; Map/Reduce

0 引 言

軌道交通的发展日趋网络化,网络化运作的发展方向是完成各线路间的“互联”。在城市轨道交通相互联通网络化运作的大形势下,研究相互联通网络化运作中列车运行方案的整编问题,为相互联通网络化运行线路的实施通行提供经验和借鉴。城轨列车运行方案作为城市轨道交通的核心技术,为列车的运行提供指导。目前需要解决的问题是针对各线路之间繁琐的相互限制情况,寻求网络中不同列车运行的和谐机制以发挥出相互联通网络化的利益方法[1]。传统基于移动闭塞模式下的城轨列车运行路线追踪方法在面向海量人流和车流的情况下,存在延误扩散、线路运行的恢复能力差等问题。在信息化的高速成长及构建环境下,我国城轨列车交通领域中存储着大量的历史数据,其在维度和容量上具备大数据的特点,所以可在城轨列车运行路线的追踪过程中采用大数据分析方法。因此,本文研究了基于大数据分析的城轨列车运行路线追踪方法,以提高城市轨道交通运行管理的质量。

1 大数据分析方法

大数据分析方法就是通过大数据的研究方法运行解决现存数据,有效处理现存数据库技术达不到设定目标要求的问题,提升业务操控的及时性、解决响应的速度问题。本文运用的方法是Hadoop架构下的大数据分析方法,Hadoop分布式系统基础架构有利于大数据集的运行。依据运行Hadoop的程序语言,可用其他语言对Map和Reduce函数实施编程,采用Hadoop Streaming的API调用Map和Reduce函数,通过Map阶段任务配置与分发以及Reduce阶段任务合并与数据存储,能够对城轨列车运行数据进行学习、分析以及存储。endprint

1.1 Map/Reduce并行计算架构设计

在构建出Hadoop集群名字节点和数据节点的基础上,规划并开发Map与Reduce用户编程,便于通过车流计算要求分割程序。程序被分割成许多子任务,用数据it点服务器操作子任务,并做归纳整理,得出列车车流计算中车站的工作时间。在丢掉数据时,先清洗整理字段丢失的数据记载[2],统计不寻常的数据,比较其和可实施计算的数据记载的数量,从而得出不寻常数据在全部数据记载中的比重。采用Map/Reduce并行运算架构实现城轨列车运行数据清洗以及数据切片过程,如图1所示。

在车流数据增长的过程中,数据清洗过滤器增加车流数据最先通过的位置,车号完善度、列车到发标识完善度、列车到发时刻完善度、始发站以及终到站完善度、报告站完善度等是其过滤的规则。若数据完善度达到系统的标准,则新增车流数据被留存;反之,其被放入不寻常记录数据库中。

1.2 Map阶段任务配置与分发

系统将实现清洗及切片的数据分布到特定的Map任务阶段。Slaver角色由Map的部分数据节点担任,名字节点派遣的有关任务也由它来操作。用图2来描述其任务信息。

1) Map阶段通过HDFS(分布式文件系统)获取城轨列车车流数据,切片处理输入文件。车流数据依据规范被划分成18个切片,将其设定为一级切片,通过关键界限处、分组站以及管辖道路的状况实施二级切片,其余不同铁路局一般通过车站的车流数据被设定为单个数据切片,所有城轨列车车流数据的二级切片全部实现[3]。车流数据以记录的模式保存在文件里,一个输入的车流数据用一个记录表示。

2) 在实现录入切片的前提下,Hadoop系统框架通过远程流程协定对名字节点进行调用的倡议,在相关切片被分布到设定的数据节点的基础上对Map阶段任务进行操作。TaskTracker(任务跟踪者)被容纳在数据节点里。

3) 各车流数据记录表示的是Map阶段的录入值,录入的键值(Key)则用各车流数据记录以及切片文件中存在的偏移量(Offset)表示,产生的是。通過列车车流及框架自定义Map阶段函数的计算,明确函数的输入数据以及输出数据,LongWriteable表示输入键(Offset),String表示输入值(Value),String表示输出键(Offset),Text表示输出数据类型。实现Map阶段任务时会产生输出结论,其输出方式为流(Stream),表示成。key描述的是符合车站、车号、OD对特点的列车,value描述的是具备到发识别的列车报告日期及时间。

1.3 Reduce阶段任务合并与数据存储

Reduce阶段作业的输入数据流等同于Map阶段作业的输出数据流,如图3所示。

1) 将所研究的一个车站内、一个方向上、一个车种的操作时间键值对实施二维关系排列后,数据通过Reduce函数进行汇总输出,是Reduce阶段对Map阶段的输出数据实施统一的前提。依据Reduce函数输出数据库中的车站ID、车流去向标志、车种标志三个字段对惟一的数据记录进行明确。在新增车流数据中,依据完成变更的任务时间在置信范围内对相关数据记录实施修正。根据中国铁路总公司数据库的运行状况,存储数据库设定为Oracle。HDFS同关联数据库间的数据传输手段为Sqoop开源手段,新增数据以及修正数据全部采用Sqoop在Oracle中作业。由于数据在Map/Reduce阶段操作的时间不定,在数据库中保存数据的时间也是变化的,对于车流计算的及时响应,这段时间是可以实现的。

2) 列车车流计算任务开始操作的时间以列车从始发站发出为依据,计算列车车流;并在列车通过车站的过程中,根据车流方向、车站代码、车种类型对列车通过车站的操作时间进行计算;结合列车在途状况的时间、列车抵达车站的时间,到站时刻就被计算得出;在估算数据库里输入车流计算结果,并对数据通过B/S或C/S模式做可视化操作。上述操作部分就是Map/Reduce对车流计算的自动化研究操作流程。

2 列车运行计划模型的构建

通过上述Map阶段任务配置与分发以及Reduce阶段任务合并与数据存储,在对城轨列车运行数据进行学习和分析的基础上,实现大数据环境下城轨列车运行路线的合理规划。

2.1 模型假设及参数定义

1) 模型假设。为简化城市轨道交通系统的运行,需建立更简便的模型[4]。假设行驶时间都以秒为单位且都为整数,客流不产生变动,每个车站都停留且停留时间相同,车速都一致,车的型号大小都相同;乘客都以最短路径为选择方案,最近选择车站;研究的列车都为最早一班列车,研究路线为环形路线,两端可同时发车、互不影响。

2) 参数定义。表示列车,总数为表示车站,总数为表示反馈数值,即列车行驶的总时间,包括往返时间、停留时间、作业时间等。是极大数上的无穷大;是列车循环行驶往返时间;是列车到车站的时间;是列车在第次往返到站的时间集合;是第辆列车开始运行的时间;是全部列车行驶时间集合;是列车在车站的停留时间;是列车往返行驶次数,是列车与前车最小安全时间间隔;是列车从车站到车站的行驶时间;是列车在车站的停留时间;是最小发车间隔;是计算出的总最小发车时间;是计算出的平常在某时段的发车数;是发生其他活动时的发车数;是估算高峰时期的断面客流量;是列车上可容纳的人员数。

2.2 列车运行计划模型的约束条件

列车的往返运动不仅与时间逻辑有关,还要符合行驶的具体条件。例如:

1) 列车只能在固定车站停留,不可中途停站,且两辆车之间还要满足最小追踪安全时间的要求[5]:

2) 列车行驶过程会受到上一列车在上个车站的行驶时间、停留时间的限制和影响。限制条件如下:

3) 在列车进行往返作业的过程中,稳定的城市轨道交通需要列车在指定的路段和站点进行往返作业,且为了保证列车的作业安全,规定了可往返作业的站点之间的最小安全距离[6],具体距离计算公式如下:

4) 考虑到列车的行驶能力,在制定列车的行驶计划时既要考虑列车的安全容量,也要考虑出现突发情况时的紧急疏散能力,求得列车运输能力的关系式为:

5) 考虑到列车最早开始行驶时刻,为保证两辆列车的安全距离,相邻两辆列车的时间间隔需大于最小发车时间间隔,具体要求如下:

6) 当前车辆进行返回行驶时,可能会与下一辆相遇,因此需对列车运行轨道模型进行调整。当某次循环的上行列车行驶到最后一站进行返回运行时,下一辆列车同时进行下一次运行,这两辆列车会在最后一站相遇,但是还需满足列车的最小安全追踪时间,如图4所示,如果两辆列车行驶满足最小安全追踪时间,则列车运行顺序不发生改变,反之则需调整[7]。

对图4的城轨列车往返冲突进行调整的示意图用图5描述。能够看出,在的情况下,列车和分别按照图中的方式发车;当时,不满足条件,无法执行该程序,可以让列车在返回时增加停留时间,满足最小追踪间隔时间。另一种方法是取消列车当列车之间不满足最小追踪时,取消在第次往返后的某辆列车,列车快速往返直接行驶,这样使列车在系统中安全行驶。

2.3 列车运行计划在极大代数中的线性模型

综合考虑列车行驶时遇到的各种情况,如时间?逻辑关系、客流量及往返时与前车的关系[8]等,为提高城市交通列车运行的稳定性,为乘客提供更加安全的乘车环境,塑造的列车运行计划在极大代数内的线性模型如下:

限制条件如下:

模型中的所有运算关系均用极大代数表示,决策变量用字母和表示,是一个常矩阵也是反馈矩阵,其中的元素是列车循环工作过程的总折返时间,包括列车停战清客时间、入折返线时间、列车折返运行时间以及出折返线时间。

此模型只是从线路一端出发的列车行驶规划,现实应用中,线路的两边都能够进行发车,同时当列车返回时会与下一班列车相互作用。列車之间的往返过程反映了两个闭环系统间的联系,两个闭环系统的相互作用和叠加会使系统的联系更加紧密,使城市的交通更加完善。在此线性模型中将极大代数法转换为线性构造的方法有利于对模型的研究和求解。在系统平稳运作的情况下,此模型能够节约能源,并确保将大量旅客迅速分散。

3 实验结果与分析

在列车返回的过程中,列车运行路线追踪方法能够自觉检验列车同反方向列车间的矛盾,根据设置的规则对对应的列车进行去除。在对某城轨列车通行方案的设计中,依据实验方案,预计发出27辆列车,将放入线路时间的输入数据[9]设成27辆,并设置在进行城轨列车运行路线追踪的过程中,上下行的第1辆列车在返回时能与反方向的第27辆列车发生矛盾,此时采用本文方法得出时列车折返冲突调整示意图,用图6描述。从图6中能够看出,当上行第1辆列车完成返回操作的出发时间为12:59:48,依据输入数据下行第27辆列车预备的出发时间为12:59:18。它们的出发时间间距比最小跟踪时间间距小,因此要将下行第27辆列车去除。同下行第26辆列车作对比,它们的出发时间间距比最小跟踪时间间距大,因此下行第26辆列车可根据预定的时间出发。采用本文方法同样能检验下行第1辆列车与上行列车间的矛盾。

实验依据变更后预计发出的车底数,采用本文方法对线路中相应使用的车底数进行研究。以上行方向为例进行分析,得到计划发出车底数同实际运用车底数的关系,用图7来描述。设研究对象的计划发出车底数分别为25以及28,其他与之类似。如果预计发车车底数是25,上行的第1个车底返回时与反方向的车底不发生矛盾,那么发车依据这个规律。如果预计发出车底数是28,上行的第1个车底返回时与反方向的第28、27个车底会发生矛盾,那么依据规律去除第28、27个车底,得出26个最后通行的车底,确保全部车底在线路上下行方向进行反复通行不会发生矛盾。

对本文方法设计的列车通行方案可承载的旅客数量进行研究,其前提条件是线路中列车的通行时刻、到站时刻、最小跟踪间距、总返回时刻和平日旅客人数恒定,只对流动增长的旅客人数进行调节。所需要的列车数随着流动旅客人数的增长而增加,依据相关的旅客人数实施求解模型,获得的相关输入数据即是相关的每小时的发车数量。用图8描述客流增加时理论与实际发车数的关系。从中能够看出,当客流量低于20%时发车数为28,采用本文方法代入客流量求得发车数为28,可以达到客流要求。客流激增到30%以上后实际发车数为30。依据图8得出客流量在30%以下时利用本文方法计算得出的理论数据均可满足实际的发车需求,超过30%以后如果还利用本文方法计算发车数,就要对列车发车时间、停留时间等进行调整,说明本文方法对客流的增加具有很好的可调节性。

实验中城轨列车在某时段的客流入场分布图用图9描述,由于车站6与比赛场馆接近,若观众乘坐地铁到比赛场馆都会在车站6下车,车站6的车流数据相对比较准确,因此实验统计本文方法下车站6分时段到站列车数,用图10描述。能够得出下午1:00—2:00运动场的人约占44%左右,车站6上下行的列车总数是25,下午2:00—3:00的人约占35%,上下行列车总数是23。客流高峰期时列车数是25,所求结果也是25,符合客流需求。说明本文方法依照分析结果重新安排列车的运行计划,可预测当客流量增大时的列车需求。

下面是对本文方法中列车行驶的稳定性分析。列车行驶一个完整周期用时指从第一辆车驶入第一个车站时到最后一辆列车行驶完最后一个车站的用时。列车行驶的稳定是采用极大代数法求解的基础,根据极大代数法可分别获得上行列车和下行列车行驶一个周期所耗费的时间,根据记录的运行时间整理得到图11。

从图11中能够看出,上下行列车行驶一周期耗时都呈交替状态,波动较小,而且列车能均匀稳定地在线路中循环运行。endprint

4 结 论

本文提出基于大数据分析的城轨列车运行路线追踪方法,其在Hadoop架构下塑造Map/Reduce并行计算架构的大数据运行方法,通过基于极大代数的列车运行计划模型,对大数据环境下城轨列车运行路线进行合理规划,提升了城市轨道交通运行管理的质量。

参考文献

[1] 刘炜,王栋,李群湛,等.基于时间逼近搜索算法的城轨列车运行节能优化研究[J].西南交通大学学报,2016,51(5):918?924.

LIU Wei, WANG Dong, LI Qunzhan, et al. A novel time?approaching search algorithm for energy?saving optimization of urban rail train [J]. Journal of Southwest Jiaotong University, 2016, 51(5): 918?924.

[2] 刘晓娟,康随武.基于通信的列车控制系统的列车追踪间隔时间计算[J].城市轨道交通研究,2014,17(12):21?24.

LIU Xiaojuan, KANG Suiwu. Calculation of train headway based on CBTC system [J]. Urban rail transit research, 2014, 17(12): 21?24.

[3] 罗俊杰,李芷欣.基于路线图方法的环保大数据开发利用机制研究:以宁波市为例[J].中南林业科技大学学报(社会科学版),2016,10(3):8?13.

LUO Junjie, LI Zhixin. On the development and use mechanism of environmental big data based on road map: a case study of Ningbo [J]. Journal of Central South University of Forestry and Technology (social science edition), 2016, 10(3): 8?13.

[4] 张玉琢,曹源,闻映红.基于交换式以太网的列车通信网络建模与性能分析[J].通信学报,2015,36(9):181?187.

ZHANG Yuzhuo, CAO Yuan, WEN Yinghong. Modeling and performance analysis of train communication network based on switched Ethernet [J]. Journal of communications, 2015, 36(9): 181?187.

[5] 张继栋,郑金芳.面向大数据的多Agent资源粒子调度算法[J].科技通报,2015,31(12):212?214.

ZHANG Jidong, ZHENG Jinfang. Multiple particle Agent resources scheduling algorithm for big data [J]. Bulletin of science and technology, 2015, 31(12): 212?214.

[6] 牛方曲,刘卫东.基于互联网大数据的区域多层次空间结构分析研究[J].地球信息科学学报,2016,18(6):719?726.

NIU Fangqu, LIU Weidong. Identifying the hierarchical regional spatial structure using internet big data [J]. Journal of information science of the earth, 2016, 18(6): 719?726.

[7] 李倩伟,唐丙寅.基于大数据分析的移动对象轨迹预测方法[J].计算机测量与控制,2016,24(10):198?201.

LI Qianwei, TANG Bingyin. Moving object trajectory prediction method based on large data analysis [J]. Computer measurement and control, 2016, 24(10): 198?201.

[8] 巴兴强,朱海涛,李燊,等.基于出租车GPS大数据的城市道路交通运行状态判别方法刍议[J].森林工程,2015,31(5):110?113.

BA Xingqiang, ZHU Haitao, LI Shen, et al. Discussion on the method of judging the state of urban road traffic operation based on the data of GPS [J]. Forest engineering, 2015, 31(5): 110?113.

[9] 刘伟铭,李松松.大数据中高速公路旅行时间预测仿真研究[J].计算机仿真,2017,34(3):395?399.

LIU Weiming, LI Songsong. Freeway travel time prediction simulation research based on big data [J]. Computer simulation, 2017, 34(3): 395?399.endprint

猜你喜欢
大数据分析
基于大数据分析的低压台区降损系统研究及应用
大数据分析对提高教学管理质量的作用
基于大数据分析的电力通信设备检修影响业务自动分析平台研究与应用
面向大数据远程开放实验平台构建研究
面向大数据分析的信息管理实践教学体系构建
传媒变局中的人口电视栏目困境与创新