铁路站车Wi-Fi运营服务系统大数据文件同步的研究与实现

王雪峰，阎志远，黄伟伟

（1.北京经纬信息技术公司 ，北京 100081；2.中国铁道科学研究院 电子计算技术研究所，北京 100081；3.中铁程科技有限责任公司，北京 100081)

铁路站车Wi-Fi运营服务系统大数据文件同步的研究与实现

王雪峰1，阎志远2，黄伟伟3

（1.北京经纬信息技术公司 ，北京 100081；2.中国铁道科学研究院 电子计算技术研究所，北京 100081；3.中铁程科技有限责任公司，北京 100081)

随着中国移动端网民数量的不断增加，人们对3G/4G无线网络，以及无线局域网Wi-Fi热点的依赖程度越来越高。据统计，中国高速铁路每天的旅客发送量高达500万人次，所以，能够为出行的旅客在高铁车站和车厢内提供Wi-Fi 热点服务，将极大地提高旅客的出行体验，同时，也为铁路多种经营提供了便利。本文从Rsync文件同步、数据同步方案、网络拓扑结构等几个方面，阐述了大数据文件如何在铁路站车Wi-Fi运营服务系统中进行同步。并结合实际给出了具体的实现方案。

Rsync；文件同步；网络拓扑结构

随着高速铁路的飞速发展，在建设旅客无线上网通道的同时，相应的软件服务也应与时俱进。铁路站车Wi-Fi运营服务系统就充当了提升旅客服务质量的重要角色，为旅客提供内容服务、休闲娱乐服务、视频等。其中视频服务功能需要将大视频文件，从铁路总公司（简称：总公司）机房通过铁路局和动车所的内容服务器同步到车站和列车的车载服务器上，由于视频文件较大，并且涉及的环节也较多，所以大数据文件同步的设计和实现相对难度较大，同时还需要充分考虑文件传输过程中由于网络原因出现传输中断的后续处理问题。本文将从Rsync、文件同步、网络拓扑结构等几方面，提出一些关于大数据文件同步的设计和实现方案。

1 需求分析

1.1 系统需求概述

随着“互联网+”概念的提出，铁路也需要结合自身资源优势，整理铁路内部和外部的相关资源。为了给旅客提供一个便捷高效的互联网上网环境，进一步提升旅客的出行体验，铁路相关部门计划搭建铁路站车Wi-Fi运营服务系统。为旅客在车站和列车车厢内提供一个安全稳定的Wi-Fi上网环境以及相关的铁路出行延伸服务。

1.2 业务场景分析

由于要搭建一套可以让旅客在车站和列车车厢内的上网环境，并提供视频浏览、新闻资讯、商旅交易等相关服务，而视频等大数据文件需要在总公司统一进行维护和发布，所以，需要将视频文件通过铁路局的网络传输到车站服务器和动车所服务器，再上传到车载服务器上。

基于以上的业务场景可知，大数据文件的同步在铁路站车Wi-Fi运营服务系统中起到决定性作用，是该系统得以实现的一个关键点，同时也是一个难点。

1.3 非功能性需求

1.3.1 性能需求

通过对列车运行的车站和停靠的动车所环境的调研，综合考虑后发现，列车在动车所进行检修时，最适合进行视频文件的传输。但列车在动车所进行检修时，只有1 h的带电作业时间，所以要求视频文件必须在1 h内，从动车所的服务器传输到列车的车载服务器上，这就对视频文件的传输速率有一定的要求。

1.3.2 可靠性需求

视频文件传输的过程中，系统能够自动监测文件的传输状态，如果出现网络连接中断，那么当网络恢复后，系统能够自动实现断点续传。

视频文件需要采用冗余的方式存储在总公司的多个节点上，当某个节点出现故障，可以从其他节点很快地将数据进行恢复。

1.3.3 易用性需求

系统整个文件同步采用自动传输模式，无需人为干预。系统可以自动监测文件的传输状态，并支持断点续传。

2 关键技术和需要解决的问题

2.1 关键技术

Rsync即Remote Synchronize，是一款实现远程同步功能的、开源的软件，它在同步文件的同时，可以保持原来文件的权限、时间和软硬链接等附加信息。Rsync采用 “Rsync算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，可以通过ssh协议方式来传输文件，使其保密性能更好。

Rsync具有以下特性：（1）能更新整个目录的树和文件系统；（2）有选择性地保持符号链接、硬链接、文件属性、权限、设备以及时间等；（3）对于安装来说，无任何特殊权限要求；（4）对于多个文件来说，内部流水线减少文件等待的延时；（5）支持匿名Rsync同步文件，是理想的镜像工具。

2.2 需要解决的问题

视频等大数据文件在总公司统一进行管理，并且整个铁路数据传输网从总公司到车站或动车所是树形结构，也就是说总公司会对应下属18个铁路局（公司），每个铁路局（公司）又对应多个车站和动车所，所以视频传输是采取下级节点主动到上级节点进行拉取的，还是上级节点直接将数据文件广播推送到下级节点，是铁路站车Wi-Fi运营服务系统在设计大数据文件同步时需要重点解决的问题。

由于视频文件的同步采用的是自动模式，在有新任务产生时，需要告诉数据同步服务自动进行数据同步。在视频文件开始传输后，数据同步程序能够自动判断文件是否传输完毕，并通知业务系统进行后续操作。如何发现有新任务产生，以及如何判断文件是否传输成功，传输成功后对其他系统进行通知，这些问题都需要在系统的设计阶段找到相应的解决方案。

3 系统总体方案设计

3.1 网络拓扑结构设计

铁路站车Wi-Fi运营服务系统的网络结构分为4层：铁路总公司层、铁路局层、站段层和列车层，采用铁路数据通信网作为数据传输骨干网，如图1所示。

从图1可以看出：（1）最上层是总公司网络，视频等大数据文件首先由部署在该层网络中的业务系统进行发布和管理，一旦有新的数据传输任务产生后，同步程序就会通过外部服务网将视频同步到下属的各个铁路局；（2）各铁路局再将大数据文件通过互联网专线网络同步到下属的各动车所和车站；（3）通过部署在动车所和车站的无线局域网，将文件同步到列车上。图1中，右侧的互联网和无线网络作用是：（1）方便旅客访问外部的互联网资源；（2）完成以接口调用方式的小数据量的数据交换。

3.2 数据同步方案设计

图1 系统网络拓扑结构图

3.2.1 同步流程设计

铁路站车Wi-Fi运营服务系统的大数据文件同步包括车站文件同步和列车文件同步两类，如图2和图3所示。两者的区别在于列车文件同步需要通过动车所服务器将文件同步到列车的车载服务器上。

铁路站车Wi-Fi运营服务系统的文件同步是基于Rsync实现指定文件夹目录下文件的同步传输。分别在铁路总公司、铁路局、动车所配置Rsync服务端，在铁路局、动车所、车站、车载服务器配置Rsync客户端。在铁路总公司、铁路局、动车所，分别基于“传输配置文件”中当前单位的直属下级单位动态设置Rsync传输文件目录。

铁路总公司的同步程序监控并获取到新的传输任务后，解析传输路径并将目标文件拷贝到相应的Rsync文件传输目录中，然后启动文件传输。

动车所收到数据文件后按照列车车底码动态建立Rsync的同步目录，并拷贝数据文件到相应文件目录。

当列车进入动车所进行带点检修时，会自动搜索相应的Wi-Fi热点，一旦检测到已经连接到动车所数据同步的Wi-Fi热点后，Rsync客户端就会主动向动车所服务器请求相应的数据文件。将数据拉取到列车的车载服务器上。

在Rsync服务端和客户端配置当前机构的唯一单位码，并作为地址关键字检索文件的传输地址。

传输过程以文件为最小单元，通过检查文件名、文件大小来确定文件是否传输成功，并向上级单位标记和反馈文件的传输状态。

图2 车站文件同步流程图

3.2.2 定义

（1）文件格式定义

从传输的角度看，文件同步服务主要涉及两类文件：目标源文件和传输配置文件。目标源文件属于系统传输的目标文件，在铁路站车Wi-Fi运营服务系统中主要是多媒体视频文件和内容发布文件；传输配置文件主要是记录所要传输源文件的文件属性和待同步的目标系统地址等信息。

图3 列车文件同步流程图

（2）目标源文件定义

多媒体文件：日期+来源渠道+多媒体名+后缀，来源渠道为两位编码，如“TX”代表腾讯等。

内容发布文件：日期时间+内容标识+后缀，内容标识分为内容管理发布内容为“CMS”。

（3）传输配置文件定义

传输配置文件是传输的重要参数文件，该文件由业务系统根据业务逻辑生成，并在传输过程中起到指导传输的作用。一个目标源文件有一个传输配置文件与之相对应。

传输配置文件以目标源文件名（不含后缀）+“property”后缀组成。传输配置文件的内容包括两部分：对目标文件的描述、对目标源文件同步地址的描述。

4 系统测试与部署

铁路站车Wi-Fi运营服务系统已完成了系统的研发工作，并计划于近期进行上线前的部署实施。为了进一步验证大数据文件同步的可靠性和易用性，为其搭建了一套模拟环境。

模拟环境的网络采用树形网络结构，其中，铁路总公司一台服务器会对应多个铁路局服务器，并组成一个局域网，而一个铁路局服务器也会对应多个车站和动车所服务器，每个动车所服务器还对应配置了AP热点，用于发射Wi-Fi信号。每趟列车采用一台服务器进行模拟，并配置AP热点，便于测试时连接到车厢的Wi-Fi热点，验证数据是否同步到列车的服务器上。

整个模拟环境搭建完毕后，将10个大小在1～2 G之间的视频文件拷贝到铁路总公司服务器的指定目录下。在铁路总公司一级的管理系统中维护相应的视频内容信息和同步目标地址信息，并对视频源文件生成相应的传输配置文件，然后启动文件传输程序，文件开始进行同步，通过测试发现在模拟的车站和动车所的服务器上视频文件在逐渐增多，大约在10 min后10个视频文件全部传输完成。在此基础上，又重新做了一次文件传输测试，这次在传输的过程中，将动车所的服务器的网线拔出，可以发现文件传输中断，该视频文件的大小也只有正常文件的三分之一。记录相关的结构后，再将网线接入到动车所服务器，可以发现该视频文件开始继续进行传输，并最终传输完成。

通过以上的测试，可以得到如下结论：铁路站车Wi-Fi运营服务系统的数据同步方案可以实现数据文件的逐级自动同步，无需人为干预，具有较高的易用性。

在文件传输的过程中，由于网络等其他原因出现连接中断后，当连接得到恢复后，同步程序可以自动检测网络的连接状态，一旦发现网络可用后，可以自动实现断点续传，提供了系统文件同步的可靠性。

5 结束语

本文主要对铁路站车Wi-Fi运营服务系统的数据同步方案进行探讨和阐述。分别从系统需求、关键技术、系统网络拓扑结构、数据同步方案设计等几个方面进行详细分析和说明，验证了数据同步方案的易用性和可靠性。为系统的大数据同步提供了一套切实可行的实施方案。随着系统功能的不断完善，以及相关技术研究不断深入，铁路站车Wi-Fi运营服务系统定会在提升铁路客运服务质量方面发挥关键作用。

[1]李 贞．基于Rsync算法的远程文件同步系统的设计与实现[D].北京：北京邮电大学，2010.

[2]朱建生,周亮瑾,单杏花,等．新一代客票系统总体架构研究[J]．铁路技术创新，2014（4）：93-97.

[3]张海峰．基于Rsync的异构环境数据同步机制研究[D]．成都：电子科技大学，2009.

[4]阎志远，何志根，宋 超，等.铁路站车客运信息无线交互系统关键技术[J]．铁路技术创新，2014（4）.

[5]彭晓曦.嵌入式Linux下文件系统的研究与实现[D].成都：电子科技大学，2007.

[6]张 航.文件同步服务中数据同步传输消重策略研究[D].长沙：国防科学技术大学，2011.

责任编辑 陈 蓉

Big data fle synchronization in Railway Wi-Fi Operation Service System

WANG Xuefeng1,YAN Zhiyuan2,HUANG Weiwei3
( 1.Beijing Jingwei Information Technology Company,Beijing 100081,China;2.Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China;3.China Rails Travel Technology,Co.Ltd.,Beijing 100081,China)

With the increased number of users of China mobile,people rely more and more on the 3G/4G wireless network,as well as the wireless LAN Wi-Fi hotspot.According to the statistics,the daily passenger volume of China high-speed railway reached 5 million to provide Wi-Fi hotspot service for passengers in the high-speed railway station and on the train,could greatly improve passenger travel experience,offer convenience for railway diversifed business.This article discussed the method to synchronize the big data fles in the Railway Wi-Fi Operation Service System from the aspects of Rsync fle synchronization,data synchronization scheme,network topology structure,and so on.Combined with the reality,the specifc implementation scheme was given.

Rsync;fle synchronization;network topology structure

U293.3∶TP39

A

1005-8451（2016）07-0022-05

2015-12-11

王雪峰，工程师；闫志远，副研究员。