赵洪建
(郑州煤炭工业 (集团)有限责任公司,河南省郑州市,450042)
★ 煤炭科技·机电与信息化 ★
煤炭企业数据中心框架研究与应用探索
赵洪建
(郑州煤炭工业 (集团)有限责任公司,河南省郑州市,450042)
通过整合煤炭企业生产、安全、物资供应等业务系统数据构建煤炭企业数据中心,为集团管理者、业务管理者和业务人员提供一个覆盖生产、安全、财务、人力、物资供应以及运销等领域的集分析决策和报表应用于一体的统一数据平台,对煤炭企业生产经营进行统一调度和统一管理。同时,实现对各种信息进行分析处理、统计、优化,为领导决策提供及时准确的数据,从而促进煤炭企业 “管、控、营”的一体化建设。
煤炭企业 数据中心 信息资源整合 决策分析 数据仓库
AbstractThe data center of coal enterprises was established by integrating system data of production,security and material supply,providing an unified data platform embracing analysis decision and form application covering such fields as production,security,finance,manpower,material supply,transportation and marketing for the group managers,business managers and business personnel.And then the centralized scheduling and unified management were carried out for the production and management of coal enterprises.Meanwhile,analysis and processing,statistics and optimization of all kinds of information were realized so that timely and accurate data were provided for leadership decision,promoting the integration development of management,control and operation for coal enterprises.
Key wordscoal enterprise,data center,information resource integration,decision analysis,data warehouse
当前,随着我国信息化水平的不断提高,煤炭企业信息化和网络化发展迅猛,虽然国家煤炭行业管理部门和煤炭企业自身都建设了相应的安全生产管理系统,但是这些系统都是相对独立地运行,彼此之间缺少沟通,无法形成协调统一的运行系统。同样,在煤炭企业已经建立的管理信息系统中,单项系统建设非常普遍,这种状况造成信息封闭以及大量的功能重复,更为严重的是信息出现大量的冗余,造成各部门之间的信息不一致,进而导致煤炭企业领导决策失误。基于此,构建实现对各种信息进行分析处理、统计、优化以及为领导决策提供及时准确数据的数据中心十分迫切。
1.1 煤炭企业数据中心框架建设思路
煤炭企业数据中心围绕人、财、物、产、供、销六大方面,结合煤炭企业的特点,对煤炭企业各业务部门、煤矿、子企业等业务单元的业务信息进行采集、汇总与整合,实现横向信息共享与纵向业务协同,构建煤炭企业层面的数据中心平台,为煤炭企业领导在决策和企业发展战略等方面提供科学依据。煤炭企业数据中心建设思路示意图如图1所示。
1.2 煤炭企业数据中心框架的技术实现
煤炭企业数据中心的建设涉及到企业经营管理及业务活动的方方面面,同时,数据中心建设与煤炭企业业务信息化建设也存在着相互促进、互相完善的关系,因此,煤炭企业数据中心建设是一个长期的循序渐进的过程。煤炭企业数据中心作为企业经营决策支持的基础和核心进行总体的建设和设计,需要科学的、高效的和可靠的整体架构作为支撑。煤炭企业整体数据中心规划架构包括数据源、数据通道、原始业务数据区、数据仓库区、地理信息数据区、多维分析模型区、ETL过程、应用展现区及平台运维管理平台等,通过这些核心区的有序组合构建成具有稳定性和可扩展性的数据中心,保障数据中心可以随着业务的变化而不断完善。煤炭企业数据中心技术框架图如图2所示。
图1 煤炭企业数据中心建设思路示意图
图2 煤炭企业数据中心技术框架图
2.1 关键技术分析
煤炭企业数据中心的建设涉及到业务整理、数据整理、数据建模、分析展现和数据挖掘等环节。在各环节的实现上,由不同的专业技术辅助实现。
(1)数据仓库技术。煤炭企业数据中心整体架构基于数据仓库技术搭建基础数据层架构,数据仓库技术作为煤炭企业数据中心建设的核心基础支持管理决策过程的、面向主题的、集成的、稳定的和不同时间的数据集合。
(2)数据整合技术。采用数据整合技术实现煤炭企业各业务部门、二级企业、生产单位业务信息的规范化、统一化和标准化,采用数据整合技术实现业务信息资源的统一整合是进行数据中心建设的基础,也是保障数据中心各业务数据质量和提升数据可用性的基础。
(3)基于SOA理念的集成整合应用技术。煤炭企业数据中心的建设是一个长期的、分步的和逐步完善的过程,应用的可复用性和可扩展性成为了保障数据中心项目成功的关键,采用SOA理念进行的面向服务体系结构的组件模型设计能够将应用程序的不同功能单元之间定义良好的接口和契约联系起来。
2.2 煤炭企业数据中心建设阶段
以数据仓库战略框架为指导,现把煤炭企业数据中心建设划分为以下4个主要阶段。
2.2.1 系统地规划和分析
系统地规划和分析主要从两方面展开,一方面是面向数据,对煤炭企业各业务部门、二级企业和生产单位的各个数据来源进行数据应用现状的分析;另一方面是数据质量分析,主要是针对数据的可用性和数据的使用情况方面进行分析。在数据应用现状和数据质量分析的基础之上,结合应用分析构建煤炭企业数据中心全局业务数据模型。
2.2.2 整合和开发实施
整合和开发实施主要从煤炭企业数据中心的体系结构设计出发,分为数据整合、流程整合、管理整合、元数据整合、用户整合及安全整合等步骤,在整合过程中,基础平台将起到关键的作用。在整个实施过程中涉及到以下5个方面:
(1)数据仓库管理必须从技术上和制度上保证数据仓库的安全可靠运行。
(2)各业务单元必须提供数据,并根据规范使用数据。
(3)业务系统承建商必须无条件遵守有关的标准建设,并明确建设的范围与边界。
(4)随着数据中心的建设推进,业务应用系统也需要改造升级,通过数据中心平台封装标准和接口规范,使业务部门和业务系统专注于数据本身而不是标准本身。
(5)组织保证是系统实施中的关键,需要强有力的管理协调机构或机制组织各有关部门以及各业务应用系统开发商共同制定技术标准和管理规范。
2.2.3 利用和运维
数据中心建立后,如何高效地利用数据中心的基础平台和共享数据是决定数据中心生命力的关键因素。数据的利用和可持续发展主要从决策分析、流程再造以及应用增强方面展开,决策分析是数据中心数据利用的一大应用,累积起来的大量数据里面隐藏着常人看不见的特点、规律和趋势,必须用数据仓库和决策分析技术加以利用。流程再造从业务应用流程的合理性方面提出,或者从业务应用整合和增强出发,这些都是将来数据中心应该利用的功能。在数据中心建设过程中形成的标准规范和管理方法,都将充分应用到数据中心的建设过程和维护运行过程。
2.2.4 闭环管理
数据中心建成后,根据业务需要把分析结果回馈给业务系统,进而形成完整的仓库和业务之间的闭环,不断进行业务系统的优化。
2.3 煤炭企业数据中心应用研究
构建煤炭企业数据中心的核心目的就是形成煤炭企业全局统一的数据仓库,对全局的数据进行统一的管理和共享。数据中心将建立统一的数据采集、更新、管理和服务机制,建设统一的数据存储、管理中心、数据共享以及交换中心,加快煤炭企业数据信息的交流与反馈,为煤炭企业的各个业务部门之间建立快捷、方便、多层级和高安全性的数据集成和共享服务。煤炭企业数据中心应用架构图如图3所示。
图3 煤炭企业数据中心应用架构图
2.3.1 指标查询应用研究
指标查询是煤炭企业数据中心面向各管理层以及决策层的关键指标查询功能,是煤炭企业领导了解企业业务指标的直观途径,通过简单勾选相关查询指标以及时间、科室和班组等限制条件即可自动完成指标展现,并提供饼图、柱图和趋势图等辅助直观展现方式。
2.3.2 即席查询应用研究
煤炭企业数据中心面向各个业务科室和业务一线使用人员提供的查询应用具有高度的开放性与集成性,即席查询应用提供使用人员按业务逻辑规则即可快速简洁地定义查询需求,通过各种向导式界面,图形化地实现查询条件的定义和结果的展现,并可进行基于结果的查询。
2.3.3 报表中心应用研究
统计报表能够为各级管理人员提供方便的报表自定义查询功能,这种功能能够满足报表属性、单元格属性和图表灵活快捷定义,并提供基于报表指标的预警。为了保障报表数据的质量与数据平衡,报表中心提供报表数据表内校验和表间校验功能。
2.3.4 综合分析应用研究
综合分析建立在数据整合基础之上,进行数据分析模型的构建,搭建数据集市,实现数据资源的再利用,并通过数据钻取、数据挖掘和多维分析等技术实现数据的全方位和多角度展现,并以图形化、直观化和可灵活配置等功能应用进行数据展现。
2.3.5 3D监测应用研究
综合利用GIS技术、计算机虚拟现实技术、仿真技术和数据库技术,建立统一的、基础性的、可扩展的空间信息服务平台,为智慧矿山搭建空间数据基础,最终建设成为多维智慧化矿山综合安全管理平台,通过整个平台完成生产自动化各个环节的监控及相关安全监测的模拟与分析工作。
(1)服务全局用户。煤炭企业数据中心面向煤炭企业各级用户,并为不同用户所关注的数据粒度和业务维度进行定制化设计,满足不同层次用户的数据查询、统计、分析和钻取等需求,为煤炭企业业务的正常办理提供有效支撑。
(2)数据加工处理自动化。自动的数据加工处理保证了数据的准确性与及时性,通过构建数据更新和加工体系,实现煤炭企业数据中心业务信息数据的自动更新,同时,通过定制化的数据加工和数据处理机制保障数据的准确性,使煤炭企业数据中心为各级用户提供统一口径和统一标准的准确数据。
(3)保证系统的可扩展性。煤炭企业数据中心围绕煤炭企业的产、供、销、人、财、物六大方面,结合煤炭企业行业特性,搭建展现分析决策体系,实现煤炭企业所涉及的各业务领域所有信息资源的整体显现,同时,实现数据的宏观汇总与微观展示,快速地发现煤炭企业在经营和管理中存在的问题,并及时进行问题的定位,为煤炭企业领导战略决策提供有效的信息支撑。
(4)实时的预警提醒功能。煤炭企业数据中心提供安全事件、违规事件和异常事件等的预警功能,并通过多种途径与展现方式醒目和快速地提醒相关责任人,快速定位问题、异常与事故,为及时采取措施和制定处理方案提供有效依据。
(5)形象、生动的展示形式。煤炭企业数据中心通过数据分析、统计和展现等应用的建设,制定了数据分析和统计模型,构建了多种灵活的展现形式,能够更直观地反映煤炭企业经营数据,方便煤炭企业领导层、管理者和数据分析人员更快速的掌握企业经营和管理情况。
[1] 王鹏.云计算的关键技术与应用实例 [M].北京:人民邮电出版社,2010
[2] 杨毅,孙超 .基于数据仓库的煤炭运销决策支持系统研究[J].中国煤炭,2009
[3] 荫蒙著,王志海等译.数据仓库 [M].北京:机械工业出版社,2006
[4] 潘华,项同德著 .数据仓库与数据挖掘原理、工具及应用[M].北京:中国电力出版社,2007
[5] 林小村,马玉林,翁小云 .数据中心建设与运行管理[M].北京:科学出版社,2010
[6] 王振宇,陈红星,刘道园.煤炭企业数据中心ETL智能化调度研究[J].中国煤炭,2012(1)
(责任编辑 路 强)
An exploration and application study on framework of data center for coal enterprises
Zhao Hongjian
(Zhengzhou Coal Industry(Group)Company Ltd.,Zhengzhou,Henan 450042,China)
A
赵洪建 (1971-),男,河南新密人,工程硕士,现任郑煤集团通信分公司经理、郑煤集团信息管理中心主任、中国煤炭工业协会信息化分会常务理事、中国煤炭学会计算机通讯专业委员会委员、河南省青年企业家协会常务理事、河南省煤炭学会计算机通讯专委会副主任委员、河南省信息协会副会长。