基于智慧运维系统的城轨列车数据溯源研究

罗显光，胡 晨2，刘 博

(1.中车株洲电力机车有限公司产品研发中心，湖南 株洲 412001；2.深圳市地铁集团有限公司运营总部车辆中心，广东 深圳 518000)

0 引言

数据溯源(data provenance)是一个新兴的研究领域，诞生于 20 世纪 90 年代，大部分文献将其命名为数据起源，有追踪数据的起源和重现数据的历史状态之意[1]。智慧运维系统已经实现对安装WTD设备且能够进行车地通信的全部列车的WTD数据的接收、解析、存储、应用和展示；为保证城轨列车数据在智慧运维系统中的完整性和可追溯性，对其整个链路的可追溯进行可视化研究，本文从应用的角度出发，强调智慧运维系统对城轨列车相关数据追踪的过程和方法，根据追踪路径重现数据的历史状态和演变过程，实现数据历史档案的追溯和管理。

1 基于智慧运维系统的城轨列车数据溯源研究与应用

1.1 城轨列车WTD数据传输流程

目前城轨列车WTD数据自车上WTD设备通过4G网络直接传输至中车公司的前置接口服务器，中车公司将数据从其前置接口服务器整合后转发至我司大数据平台，最终对中车公司前置接口机数据进行读取、解析和存储，并最终在智慧运维系统进行展示和应用。城轨列车WTD数据依赖于车地通信协议，以数据包方式进行传输，采用不同端口和位置表示列车运行状态数据的不同类型，决定了其数据本身的特性及传输过程的特殊。此过程采用Kafka+Spark Streaming方式进行数据解析，并将解析后的数据缓存至Redis中，保障列车运行状态数据的实时性；同时数据还会存入Hbase中，为在线的数据挖掘提供支持；通过Hive对Hbase中的数据进行关联映射，基于Hive的特性，可以通过SQL的方式进行数据分析，并将分析后的结果存入Mysql中，并提供离线数据分析的展示。WTD数据传输流程见图1所示。

1.2 数据溯源过程和方法

由于应用场景不同，更由于上述城轨列车WTD数据包特性和传输流程特殊，本文从实际应用出发，研究基于数据包和传输链路的逐点追溯、分析和管理的数据溯源方法，并最终在智慧运维系统进行可视化展示应用。本文从数据整条传输链路出发，逐步回推数据流程，实现数据的可追溯，并在此过程中增加数据分析和管理功能，最终实现数据溯源。

图1WTD数据传输流程图

数据溯源在各行各业有着相当广泛的应用，人们清楚地认识到实际操作中，并不是和理论上想的一样，往往存在着误差，而误差的存在就需要人们对项目本身进行优化，从而尽可能地区减少或者消除误差，但是，某些时候，人们可能并不知道某个误差是怎么产生的，影响的因素是什么；此时就有必要对初始情况做标记说明。本文重点对数据源头进行标记，在后续的每一步传输过程中增加对应的标记，最终从数据展示层出发，逐步回推数据传输情况。

1.2.1 消息总线数据追溯处理

城轨列车WTD实时数据传输至前置接口服务器后，经Kafka形成消息队列发送给Spark实时流程序进行数据解析，在发Kafka时应该生成唯一Rowkey，规则为：(分区序号)partirionid+"_"+(发送当前时间戳) ctime+"_"+(记录行号)recordid，Partition的ID采用java的随机函数生成得到。由于前置接口服务器有2台，目前采用双链路同时接收数据，Phmftp1为编号为1的单数链路，Phmftp2为编号为0的双数链路，单双号通过文件名的文件序号计算单双得到如图1所示。

1.2.2 平台数据追溯处理

数据解析程序实时对Kafka消息服务器上的数据进行读取、解析和存储，而且解析后根据业务应用场景不同，将数据存储到不同的Hbase表中，最终供智慧运维系统进行展示应用。但是仅是存储表不同，存储格式是一样的，其所附加的数据追溯属性也是一样的。以列车历史数据存储为例，由于存储在Hbase中，Rowkey的设计很重要，根据实际应用场景设计rowkey命名规则是：(月份+车号).hash().substr(最后 4 位)_项目_线路_车号_(long.max-数据时间)。还有很重要的一点，数据包文件名和数据入库时间作为其数据属性存储在一起，方便对原始数据的查询。

1.3 数据重现

城轨列车WTD数据重现则为数据溯源的实际应用成果，在这不得不提到本文数据溯源过程中一车一协议配置的重要性。一车一协议配置是基于目前智慧运维系统已经解析落地的不同车型的WTD车地通信协议，结合在数据解析实际过程中遇到并解决的问题，最终形成的解析配置文件。简单的说，由于WTD数据依赖于车地通信协议并以数据包传输的特性，一车一协议实现以数据位置进行编码，这看似简单的方法为数据溯源提供便捷和基本保障。对于解析后的数据来讲，只要找到其对应的编码，就能根据编码找出其在数据包中的位置。

基于上述的数据溯源过程和方法，任何一个协议参数都可以首先找到其原始文件名，然后根据文件名追溯其整个传输链路涉及到的存储节点和时间节点；在此过程中不仅可以重现参数的传输过程，也可以重现参数的解析过程，包括解析规则、解析前参数值、解析后参数值、解析时间等等，为城轨列车数据的标准化解析和分析提供准确性的基础保障。

最终此研究与智慧运维系统进行有效集成，并以可视化界面进行展示推广应用，供相关人员根据追踪路径重现数据的历史状态和演变过程，实现数据历史档案的追溯和管理，提高了城轨列车检修业务人员的工作效率。

2 实际应用成果

1)本研究针对城轨列车WTD数据和智慧运维系统集成数据进行了数据全流程的路径追溯，通过开发可视化界与智慧运维系统进行了有效集成：展示城轨列车数据所运用的协议名称、协议版本、协议类别、协议规则，为相关人员对数据进行追溯管理提供支撑。具体成果见图2所示。

图2 数据追溯管理界面

2)本研究成功对WTD数据进行历史重现，通过智慧运维系统界面详细的描述了每一个列车运行状态参数的由来，为业务人员对数据进行核对提供有效的支持，降低了人员工作量，提升了工作效率。具体成果见图3所示。

图3 数据追溯详情展示界面

3 结语

数据溯源成为考究数据质量的有效途径，而车载WTD数据是智慧运维系统保障列车运行安全的基础，因此必须保证数据的完整性与准确性。本文的研究成果已经成功应用在智慧运维系统中，利用数据路径追踪实现对城轨列车WTD数据的全流程监控与管理，并结合可视化技术逐步实现数据的历史追溯和重现过程。尤其在城轨列车数据发生异常解析或者展示的情况下，业务人员可以快速定位到问题节点，并能够清晰的解析异常问题，快速做出应对解决方案，以提高城轨列车在智慧运维系统上信息展示的完整性和准确性，进而提升智慧运维系统运营支撑能力，为保障列车的运行安全夯实了数据基础。