基于大数据的全国煤炭交易数据分析平台研究与实现

中国电力传媒集团有限公司 阚守辉

早在二十世纪90 年代初，我国就已经开始了煤炭交易市场（中心）的探索。在我国一些煤炭资源丰富的地区、主要的煤炭消费城市以及煤炭运输中转站，相继出现了区域性的煤炭交易中心，如上海、天津、秦皇岛、东北（大连）、北京、太原、内蒙古等地形式不同的交易市场陆续建成开业。此外，还有多家煤炭交易市场在筹建之中。然而，目前的煤炭信息主要属于行业性、区域性的，分散在各交易市场和行业组织之中，相互之间信息不透明，更无法形成完整、准确的全国性信息。从国家层面来看，相关管理部门需要收集各地市场的交易数据，但数据的实时性、准确性、完整性达不到预期，也就无法更好地对全国范围的煤炭市场交易情况作出预判、预警、预知及宏观调控。对于参与到煤炭交易过程中的生产商、采购商、经销商等相关主体，也只能根据在不同市场的参与度，部分了解区域范围内的行情、价格、趋势等，无法对全国范围内的煤炭交易情况作出一个宏观的判断。

为了顺利完成国家能源局提出的“服务能源企业科学发展，服务能源行业健康发展，服务国家能源安全发展、科学发展、可持续发展”的工作任务，中国电力传媒集团积极探索研究煤炭与电力行业的新业务市场，提升服务政府、行业、企业的能力，提升在能源领域的影响力、权威性和竞争力，以构建现代文化企业为核心目标，发挥自身电力行业龙头媒体运营者的优势，整合内外部各方面的力量，筹建全国煤炭交易数据分析平台。

建设目标

依托互联网+行业创新思维、大数据思维，建设集数据采集、数据融合、数据处理为一体的，采用成熟平台+开源组件的大数据平台。全国煤炭交易数据分析平台的主要功能是以互联网络为载体和渠道，通过建立和应用互联网+煤炭（能源）数据信息新模式，对分散在全国各地、不同体制的煤炭交易市场的交易数据进行链接和采集，对收集到的相关数据进行分类、聚类、一致与差异性分析与统计，结合地理信息系统对数据进行可视化转换观测，对采集大数据进行挖掘和分析，从而提炼出数据的价值，为国家能源局及时掌握煤炭交易情况、开展行业调研、进行战略决策提供数据支持，为电力企业科学用煤、降低煤耗、减少排放提供更加全面的市场选择，为煤炭生产、物流企业科学安排生产、调度运力提供准确信息。

技术路线

为满足全国煤炭交易数据分析平台系统项目的建设目标要求，保障系统的先进性，确保系统运行的稳定可靠，系统架构的设计需要满足高性能、高可用、可扩展、低耦合高内聚、前端动静分离要求，选择主流、成熟、稳定的技术或组件。关键开发软件选型见表1。

平台系统设计

平台软件架构设计

平台软件架构设计如图1 所示。

在系统软件架构设计方面，主要包含以下几方面内容。

业务运营支撑系统：由平台广告管理系统、统一平台会员管理系统、统一平台权限管理系统、媒体文件管理系统及数据采集中心接口系统组成。以上各子系统完成平台基础数据的收集管理、对外交易中心数据的采集管理和存储，以及大数据挖掘后产生的统计、分析数据指数、图表、报表、报告等支撑数据体系。

应用服务子系统：由会员管理系统、煤炭交易数据管理、煤炭行业信息发布管理系统、多媒体内容管理系统、数据挖掘信息报告及商业咨询服务管理子系统组成，提供对外的流程管理、数据管理、安全管理等多方面的业务管理过程。

接入管理子系统：提供多种方式的对外的接入数据管理入口，对外提供系统处理后的煤炭交易实时数据发布内容、煤炭行业信息新闻发布内容、煤炭行业数据挖掘统计分析行情内容、煤炭行业指数数据发布内容等，通过多种接口方式提供包括HTTP、JOSN、XML 及网站方式发布内容。

表1 关键开发软件选型

图1 平台软件总体架构

图2 系统硬件体系机构设计

客户端应用子系统：由于移动互联网的发展，本子系统完成提供移动互联网数据信息发布的终端展示应用，包括多操作系统的客户端应用程序，同时根据移动终端自身的特性，更深入使用移动终端硬件功能，结合终端硬件的一些特殊功能，为用户提供良好的用户体验和UI 设计等，加入适合移动互联应用的活跃元素。

平台硬件架构设计

平台硬件架构设计包含虚拟化服务器区、大数据服务器区、存储及备份设备区和网络及安全设备区四部分。其中，虚拟化服务器区部署平台Web 应用、移动应用、关系数据库、核心应用等软件服务；大数据服务器区部署支撑平台系统的数据分析、数据挖掘、数据检索等功能。如图2 所示。

图3 平台网站首页

图4 采购价格指数查询页面

1.虚拟化服务器区。

该区充分考虑私有云虚拟化环境的可用性设计，在网络层面和存储层面分别利用了虚拟化搭建内置的网络冗余和存储多路径控制确保高可用。在服务器高可用性上，利用虚拟化软件内置的功能应对本地站点多种虚拟机应用计划内和计划外意外停机的问题。

2.大数据服务器区。

为满足大数据平台软件的部署，根据管理节点和计算节点的内存使用及大数据平台管理组件安装所需硬盘空间，该区配置了10 台不同参数的X86架构机架式服务器。

3.数据存储及备份设备区。

该区部署共享存储设备和备份设备，其中存储设备利用光纤连接到光纤交换机，满足不少于10TB 的存储容量；备份平台需满足IT 系统复杂性和兼容性需求，支持针对操作系统、数据库应用、虚拟化环境、数据加密、压缩、重复数据删除、自动备份管理等功能。备份介质裸容量应满足可保存数据的多副本。

4.网络及安全设备区。

该区根据网络安全等级保护要求，进行了网络安全等级保护三级系统设计，并通过了测评。

平台系统实现

该平台历时一年多完成第一期建设，系统运行界面如图3、图4 所示。

结束语

本文分析了全国煤炭信息交易的现状，并从项目建设单位的具体需求出发，利用新媒体、大数据、虚拟化、数据挖掘等技术，设计了全国煤炭交易数据分析平台。目前，该平台一期已上线，为国家能源局、煤炭(能源)企业、研究机构，以及相关协会、社会人士、专家等提供高效的煤炭交易服务、物流服务、信息服务、数据分析服务和方便的煤炭物流金融服务。