基于大数据技术的铁路货运价格策略应用研究

伍 峰

(中国国家铁路集团有限公司 货运部，北京 100844)

0 引言

随着铁路货运价格市场化改革不断推进，国家逐步扩大铁路货运市场价格调节范围，形成了政府指导与市场调节相结合的铁路货运价格体系。铁路企业取得国家赋予越来越多价格调整权限的同时，也面临着诸多挑战。一是面对货运市场的供需情况，如何精准制定价格策略，实现企业效益最大化；二是针对竞争对手的复杂变化，如何及时调整价格策略，保持企业竞争力；三是对于制定实施价格策略的各环节，如何全过程留痕，有效开展廉政风险防控。铁路货运价格策略研究方面，张小强等[1]考虑容量约束设计了铁路货运竞争性定价双层规划模型；胡悦秀等[2]基于期权理论提出铁路货运定价三叉树模型；黄健[3]立足于上海地区货运实际，探讨了价格策略运用的有效性、合理性和公平性等。

目前关于价格策略的研究主要集中在模型设计和运用实践等方面，对通过信息技术辅助决策方面的探索较少。而以数据为基础、以预测为核心的大数据技术可以为铁路货运价格策略提供新思路和途径。因此，基于大数据视角，从铁路货运价格策略业务需求分析出发，结合大数据技术对铁路货运价格策略应用进行研究，通过价格策略效果预测、价格策略辅助制定、价格策略监控预警等功能的设计，为铁路企业依据市场变化灵活运用价格杠杆，促进提升整体效益，防范廉政风险等提供可靠手段。

1 铁路货运价格策略大数据应用需求分析

大数据采用分布式存储以及大规模并行协同处理的方式，可以基于数据直接获得有价值的信息和潜在规律，用以帮助用户提升决策能力[4]。大数据的印记遍布金融、物流、电信、能源等诸多领域，助推各领域企业提高核心竞争力。铁路货运行业经过多年发展，货运价格管理业务需求明确，客户、货物、车辆、收入等数据信息积累庞大，信息技术储备成熟。因此，开展铁路货运价格策略大数据应用研究已经具备可行条件。

价格策略是企业控制成本并取得利润，以及关系企业在市场竞争中成败的关键。铁路企业的价格策略应以客观规律为依据，以实践经验判断为辅助，在均衡社会责任和实现效益的前提下，根据市场变化灵活反应。铁路货运价格策略大数据应用基于铁路货运价格形成和调整机制，结合货源、成本、运力、效益、竞争对手、宏观经济形势及天气等众多因素统筹分析，实现铁路货运价格策略决策、实施、评价和监控整个过程的闭环管理。

（1）货物运输市场信息挖掘。铁路企业既要全面掌握自身在市场中所处的地位，又要充分了解竞争对手的情况。应用大数据技术可以深度挖掘分析全社会货运市场，以及铁路、公路、水运、航空、管道等运输方式的货运数据，对货运市场从货物流向、运输方式构成、货运量、周转量、价格水平及历史变化趋势等方面进行多层次的数据信息分析，主要包括全社会货运市场运行情况、各区域货运市场情况、各运输方式货运情况、各品类货运情况等维度。

（2）价格策略订制。面对瞬息万变的市场坏境，铁路企业应主动适应，积极实施价格策略，实现企业效益最大化。运用大数据技术，可以对未来货运市场供需形势进行预测，结合铁路企业经营目标、运输能力、成本及竞争对手等信息的深度挖掘，建立并分析各种信息的关联关系，根据用户设定的偏好和目标，制定与之相适应的价格策略，从而辅助货运价格管理业务。

（3）价格策略效果预测。铁路企业对价格策略产生效果需要进行定量预判，对相同目标的不同价格策略需要比较择优。应用大数据技术，通过掌握其他运输方式货运信息，结合货运市场客户需求、相关货源流向以及铁路运输能力等数据，建立分析模型，对价格策略实施后的效果进行定量预测，并模拟不同价格策略下货运市场的运行状况，实现价格策略的效果评价和比较。

（4）价格策略监控预警。影响货运市场的因素众多，铁路货运价格策略实施过程中，应根据实时变化的外部环境，及时对价格策略进行内部调整和优化。运用大数据技术，建立铁路货运信息与宏观经济形势、客户需求、货运流向、大宗商品价格、竞争对手运力和运价水平及天气等信息之间的联系，深度挖掘分析，实时监控价格策略的实施效果，对效果不明显的策略及时预警并提出优化建议。

2 铁路货运价格策略大数据应用架构设计

2.1 整体架构思路

铁路货运价格策略大数据应用既要满足批量处理海量历史数据形成精准价格策略，又要实时处理分析新增数据实现价格策略的实时监控，需要具备高容错、低延时、可扩展等特性。鉴于以上特点，参考Lambda架构[5]思想，将批处理与实时处理结合起来，即整合离线计算[6]和流式计算[7]，对铁路货运价格策略大数据应用进行架构设计。

（1）核心结构。根据Lambda架构思想，设计批处理层和快速处理层。批处理层基于全量数据并形成批处理视图；快速处理层基于新增数据并形成实时视图。2种视图在数据服务层结合后，对外提供服务。

（2）处理过程。大数据应用接入数据后，由于新增数据量级小，在快速处理层快速完成计算并生成实时视图，同时新增数据并入全量数据集，经过批处理后生成批处理视图。因此，大数据应用同时具有低延迟实时处理能力和离线大数据处理能力。

（3）架构构成。大数据应用架构主要分为数据采集、数据计算、数据存储、数据服务、数据应用、辅助功能等部分。各部分工作流程如下：大数据应用首先进行数据采集，采集的数据经过离线计算和实时分析后，开展数据挖掘，对于有价值的数据和信息存储在数据仓库中并提供数据服务，从而实现各种数据应用。铁路货运价格策略大数据应用整体架构如图1所示。

图1 铁路货运价格策略大数据应用整体架构Fig.1 The framework of big data application for railway freight pricing-policy making

2.2 逻辑架构设计

根据铁路货运价格策略大数据应用的整体架构思路，设计了可以满足大流量、高并发、易扩展的逻辑架构，包含数据采集层、数据接入层、数据计算层、数据存储层、数据服务层、数据应用层和任务调度管理层等。铁路货运价格策略大数据应用架构设计如图2所示。

图2 铁路货运价格策略大数据应用架构设计Fig.2 Structure of big data application for railway freight pricing-policy making

（1）数据采集层。大数据应用的数据来源有2个部分，一是来自铁路内部信息系统，包括中国铁路95306网、货票系统、收入系统、调度系统、集装箱系统、货运站系统、票据电子化项目、运输集成平台等；二是来自铁路外部，包括公路、水运、航空等货运信息、宏观经济信息、大宗商品价格信息、港口物流信息、天气预报、物流园信息、相关大宗品类消耗企业原材料需求及产量信息等[8]。采集的信息首先进入到Nginx服务器，负载均衡之后传输至基于Finagle框架的数据接收器。

（2）数据接入层。主要负责数据的清洗、转化处理以及与大数据系统的同步。具体过程如下：使用2个Kafka集群承担数据接入功能，一个用于实时计算，另一个用于离线数据计算。数据接入时先利用Kafka策略配置进行数据清洗，之后根据负载情况进入其中一个Kafaka服务器，2个Kafka集群之间通过Kafka的Mirror功能进行同步，以避免离线部分过大的IO请求影响到实时计算部分，实现IO的负载分离。

（3）数据计算层。主要由离线计算层和实时计算层组成。离线部分针对全量数据，包括海量历史数据与新增实时数据，利用基于HadoopMapreduce框架开发的一系列MR任务进行计算，同时使用Hive建立数据仓库，使用Pig和Spark进行数据挖掘。实时部分主要针对新增数据以及用户实时请求的在线数据，使用Storm进行流式计算。

（4）数据存储层。主要负责将计算层处理的结果存储至对应的区域，具体如下：实时部分的计算结果存储至MongoDB，离线部分的计算结果存储至HDFS，离线分析的结果存储至HBase，并引入Elastic Search为HBase相关表提供索引查询功能，以补充HBase缺少的二级索引相关功能。

（5）数据服务层。大数据唯有通过服务投射给用户才能体现价值，根据铁路货运价格策略大数据应用的特点，为满足灵活、快速的响应诉求，此部分选择统一的REST Service对外提供数据服务。

（6）数据应用层。主要基于大数据分析结果，通过访问对外数据服务，实现货运市场分析，货运需求预测，货运价格策略的订制、评价择优、监控预警等一系列具体应用。

（7）任务调度管理层。主要负责大数据应用各个部分的调度管理，实现最优的资源利用，如不同的数据何时同步，Mapreduce，Spark任务何时执行等。

2.3 关键技术分析

铁路货运价格策略大数据应用通过数据可视化、统计模式识别、数据描述等数据挖掘模式帮助价格管理工作者更好地理解运用数据，并通过预测性价格策略建议实现辅助决策，主要有以下关键技术。

（1）数据采集。数据是大数据生命周期的第一个环节，是大数据知识服务模型的根本。铁路货运价格策略大数据利用网络爬虫、高速数据全映像等技术从铁路内部网络、移动互联网络、传感器、RFID射频器等环节获得结构化、半结构化及非结构化的海量数据，并利用高速数据解析、转换与装载技术实现大数据的整合。

（2）数据分析挖掘。数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中起来，进行萃取、提炼，从而找出所研究对象的内在规律[9]。铁路货运价格策略大数据应用从挖掘任务和挖掘方法角度，利用以下4个方面技术。一是可视化分析技术。数据图像化可以让数据自己说话，让用户直观的感受到结果。二是数据挖掘算法优化技术。大数据应用的分割、集群、孤立点分析等算法支持海量数据，同时具备很高的处理速度。三是预测性分析技术。通过预测性分析为铁路价格管理工作者提供前瞻性判断。四是数据质量和数据管理技术。透过标准化流程和机器处理确保分析结果的高质量。

3 铁路货运价格策略大数据应用功能设计

基于铁路货运价格策略大数据应用的需求，设计核心功能包括货运市场运行情况分析、货运价格策略订制、货运价格策略比较、货运价格策略监控预警等 4 个模块。铁路货运价格策略大数据应用核心功能设计如图3所示。

图3 铁路货运价格策略大数据应用核心功能设计Fig.3 Core functions of big data application for railway freight pricing-policy making

3.1 货运市场运行情况分析

通过大数据的挖掘分析，以图表、统计表等方式展示货运市场运行情况，为货运价格管理人员提供决策依据。

（1）货运市场运量构成及运价情况分析。利用饼状图、柱状图、趋势线等图表方式分析货运市场各种运输方式运量、运价水平及发展变化趋势。

（2）分方向分品类运价情况分析。对不同去向、不同品类的货运情况进行分析，包括不同运输方式的运量和运价水平等情况，形成以图表为主的相关信息综合查询功能，为不同品类和去向的价格策略提供基础。

（3）重点企业的运输情况分析。对重点企业的原材料需求量、商品产量、货运运量构成及运价水平情况进行分析，形成以图表为主的相关信息综合查询功能，为每个企业的价格策略提供基础。

（4）自定义运价水平查询。提供自定义查询功能，用户可以根据自定义的时间范围、起讫点、品类等条件，查询铁路、公路、水路等运输方式的全程运价水平和运量占比。

3.2 货运价格策略订制

根据用户偏好和设定的目标，利用大数据建模和算法技术，生成一定条件下的最优价格策略，为货运价格管理人员提供参考。

（1）全局类型价格策略订制。根据用户设定货运总指标的预期目标，结合用户偏好从多种品类、区域、去向等层面出发，综合统筹形成覆盖范围较大的全局价格策略。

（2）局部类型价格策略的订制。根据用户指定的品类、地区、线路、季节、企业等条件，结合货运市场信息挖掘，订制专属的局部价格策略。

（3）价格策略模型管理。根据用户设定的影响价格策略因素，利用大数据建模技术，设计不同偏好的价格策略模型并形成模型库，以供价格策略的订制使用，同时提供模型库的编辑修改操作。

3.3 货运价格策略效果预测

为用户提供评判价格策略预期效果的工具，用户可以根据预测结果选择更适合的价格策略。

（1）价格策略效果评价。根据用户选择的价格策略效果预测模型，对指定价格策略的实施效果进行预测，并比照用户设定的标准，对价格策略做出评价。

（2）价格策略比较评优。通过预测价格策略的实施效果，结合用户偏好对不同的价格策略进行比较，并向用户推荐更优秀的价格策略。

（3）预测模型管理。提供价格策略效果预测模型库，包括预测因子设计、预测参数配置及用户偏好设定，如占领市场优先、收入最大化、运力最优配置等，用户可以选择适用的模型进行价格策略的效果预测和评价比较。

（4）预测方法管理。提供预测算法库，主要是大数据常用分析算法与铁路货运价格策略业务的适应性结合，用户可以选择需要的算法来计算相应的预测模型结果。

3.4 货运价格策略监控预警

（1）预警阈值管理。提供预警阈值配置工具，用户可以根据实际情况，设定货运价格策略预警各项参数的阈值。当货运市场的相关参数达到或超过阈值，如发生铁路货运市场份额大幅下降、铁路收益急剧下滑或价格策略未实现预期目标等情况，表示存在风险，大数据应用实时将预警信息推送给用户。

（2）货运价格策略监控。实时监控价格策略的实施效果，使用图表和统计表等方式为用户展示价格策略实施后带来的货运指标变化。

（3）货运价格策略预警。检测设定指标超过阈值时，自动预警并调用价格策略订制模块，形成可扭转当前局面的建议性价格策略供用户决策。

4 结束语

价格机制是市场机制的核心和载体，运用价格策略可以提升企业市场竞争力。随着铁路货运价格市场化进程的持续深入和大数据产业的快速发展，铁路企业应将大数据技术应用到货运价格策略中。研究基于铁路内外部数据，借鉴主流大数据架构思想建设应用于铁路货运价格策略大数据平台，利用大数据技术更准确地分析货运市场运行情况，更及时地制定货运价格策略，更精准地预测货运价格策略效果，更全面地保障货运价格策略执行质量，从而为货运价格策略的制定和管理提供支撑，为廉政风险的防范提供手段，为实现货运价格数字化管理提供基础。