用大数据平台实现煤炭运销领域企业级数据全景视图研究

刘涛

【摘 要】煤炭煤炭运销企业数据量巨大、数据类型多，目前对这些数据处理不仅工作量大而且精确度不高。为了解决这个问题，本文分析了在煤炭运销企业中应用大数据的服务对象和关键技术，提出了煤炭运销企业中大数据的总体架构，展望了大数据在煤炭运销领域经营管理中的推广应用。

【关键词】煤炭运销企业；大数据；全景视图

【Abstract】Coal Coal Transportation Enterprise huge amount of data， data types， data processing is not only the current workload and the accuracy is not high. To solve this problem， this paper analyzes the application of large data in a coal transportation enterprise clients and key technologies， the overall architecture proposed coal transportation enterprise big data， big data application prospect of coal transportation in the field of business management.

【Key words】Coal transportation business；Large transactions；Panoramic view

1. 引言

（1）“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是大量、高速、多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与优化处理。（Gartner定义）。

（2）大数据的发展经历了三个阶段。第一阶段，主要是技术研发概念推广、商业模式尝试阶段；第二阶段，主要是大数据的完善，行业应用，用户认可，数据资产化进程阶段；第三阶段，大数据解决方案成熟，大数据应用渗透各行业，数据驱动决策，信息社会智能化程度大幅度提升阶段。

（3）当前在内外部形势的变化，要求煤炭运销企业必须要转变思路、加快企业的转型升级，通过大数据应用变革，推动业务转变，驱动企业战略转型。基于大数据平台能力实现煤炭运销领域企业数据全景视图，是一项系统性、战略性、全局性工作；它涉及到市场营销、生产调运、物流发展、运营管理等各环节；是对跨单位、跨专业、跨业务的数据分析、挖掘和实施数据可视化。对满足煤炭运销企业数据量大、处理速度快、数据类型多、价值大、精确性高的基本要求有着十分重要的意义。

2. 数据全景视图的服务对象及能力

通过建立企业数据全景视图，时刻掌握企业的运营状况。通过多层次的数据下钻，直达执行末梢；通过多角度、多维度数据的分析，定义数据异常的原因，采取针对性措施。面向集团内部人员，提供精确化的分析服务，缩短工作流程，提高工作效率。面向外部客户，提供精准化营销服务，提升客户感知。面向产业链合作伙伴提供商情报告和目标客户，推进销售和服务向电子商务转移（见表1）。

3. 实现企业级数据全景视图的关键技术和总体架构

3.1 数据采集与交换。

数据采集与交换是构建大数据平台的基础，实现数据采集和数据交换的功能。大数据平台中的数据采集与交换框架涉及三部分内容：

（1）数据范围，包括自有业务系统、煤化集团相关系统、互联网和外部合作伙伴三个数据来源；

（2）数据采集，支持多种数据源类型、实时/定时的、海量的数据获取；

（3）数据交换，通过数据交换平台保障数据获取的有序、一致。

根据高价值数据优先、客户数据优先和内部数据优先的原则，逐步扩展数据采集范围。同时，在数据采集中，应高度重视数据交换平台的作用。

3.2 数据质量管理。

数据质量管理实现对数据源、处理过程、模型和指标等对象的数据质量进行监控和分析，以及相关问题的处理和跟踪。数据质量监控贯穿整个数据加工生产全流程。在数据生产及维护过程中设置监控采集点，结合数据标准化要求和元数据工具等，实现大数据全过程透明管控。

建立企业级数据标准体系和建立数据质量责任矩阵，确保数据从产生到使用的各个环节均有监控、稽核、处理流程和责任人。编码管理流程是企业数据质量管理的核心流程，是提升企业数据标准化支撑能力的起始阶段。

3.3 数据生命周期管理。

数据生命周期管理是指在数据生产的不同阶段采用相应处理方法，以提升数据存储管理效率和降低成本。通过对数据使用情况分析及数据迁移工具，实现对不同层级生命周期数据的管理。

3.4 数据安全管控方面。

利用管理和技术手段，对数据管理全过程的数据资产、传输、环境、访问控制、人员等方面进行有效安全管控。管控阶段包括数据接入、数据处理、数据提供三个阶段。从系统的管理过程、组织和人的管理过程、数据安全的管理过程三个维度建立立体的数据安全管理体系。

3.5 企业级数据全景视图平台架构。

打造六层架构的大数据平台。基于大数据平台的服务能力，构建贯穿企业管理域（M域）、业务域（B域）的数据全景视图管理和应用。面向决策层、管理层、执行层、市场一线、外部用户和产业链合作伙伴，提供多层级、多渠道、360度的数据和应用服务能力，达到服务对象多元化、服务内容精细化、服务水平高效化（企业大数据平台架构图见图1）。

4. 企业级数据全景仪表盘在经营管理中的应用

（1）利用数据可视化技术展现关键业务指标，“横向看全、纵向看深”，反映企业经营健康情况及绩效状况，更好的服务于企业经营决策，实现透明管控。

（2）全景仪表盘的业务设计，以EVM为依据，按照物流管理、营销管理、运营管理、调运管理、客户感知五大主题进行指标梳理展现。以分析模型为支撑，完成指标关联、指标预测。基于价值体系的全景指标体系，形成指标库。基于指标库实现指标的可视化、可配置，以满足后续扩展的需要。

（3）全景仪表盘的实施服务于“管理上收、服务下沉”的思路，逐步将仪表盘扩展到分子公司、市场一线，形成分角色仪表盘。

（4）后期，可以依托大数据平台形成的能力，实现企业精准营销、在线业务管控等大数据扩展应用（企业数据全景仪表盘应用见图2）。

5. 结语

针对煤炭运销企业中海量数据所带来的诸多问题，本文提出了将大数据应用于煤炭运销企业中，分析了煤炭运销企业中构建大数据平台的服务对象和关键技术，提出了煤炭运销企业数据全景视图得分价格和应用。通过对大数据的推广、应用，实现用数据透视企业、感知客户、提升管理、体现价值。

参考文献

[1] 《大数据时代》 英.维克托·迈尔·舍恩伯格，英.肯尼思·库克耶 著盛杨燕，周涛译 浙江人民出版社.

[2] 中国联通大数据平台规划.

[3] 神华集团信息化建设SH217工程报告.

[4] 陕西煤业化工集团有限责任公司信息化总体规划纲要.

[5] 《数据挖掘概念与技术》 Jiawei Han，Micheline Kamber 著 范明，孟小峰 译 机械工业出版社.

[文章编号]1619-2737（2015）07-29-008