数据中心管理系统方案设计

刘冬喜　廖真驰（中车成都机车车辆有限公司信息中心　成都　610051）



数据中心管理系统方案设计

刘冬喜廖真驰
（中车成都机车车辆有限公司信息中心成都610051）

摘要使用先进的数据采集和数据交换技术，通过数据中心系统建设，建立数据总线，规范数据标准，统一数据出口，实现数据共享。

关键词数据规范统一出口数据总线

一、需求分析

1、集团公司发展要求

为落实集团公司“十二五”信息化发展规划，实现集团信息资源共享、总部数据管控和业务管理，按照“统一规划、分段实施、持续提升”的建设目标和集团“小总部，大战略”的集团管控模式，统一数据规范，满足总部、子公司业务管理和决策分析所需数据的采集、传输和存储，支撑总部和子公司的管理决策的总体目标。通过数据中心汇聚、采集、共享、利用、分析、上报各项数据，是实现大数据挖掘处理的基础，是打造“数字公司”的前提。

2、公司数据共享要求

由于现有的应用系统有一部分是以单个应用为建设单元进行构建的，有些系统与系统间相对封闭与独立，无法共享资源与服务（如：数据、流程、业务），从而造成企业缺乏对数据资源的统一管理，统一输出，各业务数据报出时，本应相同的数据经常出现不一致。在强调集团管控的今天，通过构建企业数据中心，提供单一数据来源，实现各系统间公共数据的共享，可以确保数据的一致性，为集团总部及公司内部的统计分析提供可靠的依据。数据中心及其相关管理规范的建设不仅是总部的要求，也是子公司夯实管理基础，实现企业核心数据统一管理、规范运营的要求，对提高企业管理水平有着深远意义。

3、公司数据统一口径要求

二十一世纪是数据云的时代，公司运行的信息化系统众多，怎么样把生产、采购、质量、售后、经营管理、财务产生的大量数据充分利用起来，实现众多分散数据库的整合，提高企业的管控能力，实现产业化、自主化、国际化的战略是现代企业发展的重中之重。公司目前在上报集团数据、内部数据需要、以及各部门数据共享等方面存在数据来源不统一，统计口径不一致，上报报表不规范等问题，尤其对于基础数据进行管理、数据汇总、查询分析时，更是难以做到实时的汇总与任意维度的查询分析，以及各种方式的报表呈现等。对生产、采购、质量、售后、经营管理、财务产生的大量数据利用挖掘不到位，给管理和决策造成了很大的难度。

二、方案设计

1、系统整体架构设计

通过充分调研公司各业务系统现有的系统运行情况和部署模式，结合建设需求，规划设计公司数据中心管理平台架构如下图：

2、总体概述

数据中心建设项目总体架构如上图所示，主要由设施层、支撑层、交互层、数据层、平台层、应用层、访问层7大部分组成。其中设施层主要是数据中心项目的硬件基础。支撑层则是公司日常经营管理所产生的大量数据（其中包括已有信息化系统已有数据和excel手工数据等）。交互层则是数据中心数据总线部分主要是ESB服务总线、Web-Service数据实时交换、数据抽取、数据加工上报等。通过交互层对数据进行抽取处理后数据会进入数据中心数据库中以支撑数据中心平台各模块功能、数据展现、统计分析、领导决策等，统一管理各业务系统数据库，利用数据总线（ESB服务总线技术、WebServices等）技术建立起各基础库到数据中心库的实时、标准的数据交互和抽取。构建公司一级数据中心，实现与集团数据中心的对接，实现数据的统一出口管理、统一口径等，提升数据应用支撑经营管理决策能力。

在公司数据中心之上建立数据汇聚平台，实现数据主题管理、数据动态采集处理、动态表单管理、审核与上报、报表中心、数据交换与集成等组件。建立集团、一级单位及下属单位之间的动态数据集成与交换平台，实现并规范集团内数据集成、交换处理等数据采集交换规范体系。完成公司综合统计和国资委、发改委、统计局等上报数据采集，同时实现新签订单、手持订单、主机产品产量和销量、销售收入、应收帐款等主要经营数据的采集和统计分析。

三、系统实现功能

1、数据交换

数据交换系统是数据交换平台建设的基础，提供了平台建设所需的适配接入、数据采集、数据传输、数据处理功能，在满足跨部门、跨系统、跨网络数据采集、传输、交换处理需求的基础上，为解决异构系统之间由于通讯协议不同而不能互联互通的问题平台，支持JMS、FTP、HTTP、SOAP、POP3/SMTP等多种接入方式，异构数据库连接及访问能力支持双向的数据访问，通过共享交换平台可直接访问如下数据库：Oracle、DB2、Informix、Sybase、SQLServer、MySQL等；支持对上述数据库间数据的直接交换及联合数据检索，提供共享交换平台中心数据库与源数据库之间的数据补偿能力（主数据管理）；提供多种源数据库数据接入方式，如：JDBC、WebService、接口调用、文件中转等；提供多种前置交换数据库的数据接入方式，如：FTP、JMS、P2P、HTTP等；提供全局的数据字典，可对数据捕获策略进行优化；标准接口提供基于标准接口的常用系统集成适配器，并可使用户根据需求对适配器进行二次开发和功能扩充；标准接口应支持：文本文件、JMS、JDBC、Excel、Access、FTP、POP3/SMTP、ZIP打包、Socket、调度器等。

2、数据采集

（1）基于触发器的增量数据抽取

在这种方式下需要在业务数据库中针对增、删、改三种操作建立触发器，并由触发器将变化的数据写入临时表中，最后由DI从临时表中读取数据，实现增量数据抽取。

优点：借助数据库本身的机制，可靠性强。

缺点：对源系统有影响，需要建立触发器以及临时表或临时数据存储文件。

（2）基于日志文件的增量数据抽取

这种方式是使用数据库本身的日志系统，由DI读取并解析数据库的日志文件，然后在目标数据库中进行相应操作。

优点：可靠性强，对源系统没有影响。

缺点：各数据库系统的日志文件绝大部分都是私有的，例如Oracle数据库的日志文件只有Oracle本身的ETL工具才可以读取。

（3）基于时间戳的增量数据抽取

使用这种方式进行增量数据抽取的前提是源数据库与目标数据库都必须有时间戳字段。DI先读取目标数据库中的最大时间，然后以这个时间作为参数从源数据库中读取大于这个时间的所有数据。

优点：处理速度快，数据处理逻辑相对简单。

缺点：源数据库没有时间戳字段的表需要更改表结构，而且需要源数据库来维护时间戳字段；无法实现数据同步，因为使用时间戳字段无法获取删除后的数据。

（4）基于全文比对的增量数据抽取

通过ETL引擎获取某一时刻源数据库与目标数据库的数据快照，然后逐一进行对比，找出新增、删除、修改的数据后进行相应操作。

优点：对源系统没有任何影响。

缺点：面对海量数据（千万级、万万级）进行比对时有一定的性能问题。

3、数据传输

数据传输方式包括文件到文件、文件录入到数据库、指定格式文件到数据库、指定结构的数据库到部门前置交换数据库、部门前置交换数据库到平台数据中心等几种方式；交换平台支持快速建立任意两个节点间的数据传输通道；交换平台能保证传输效率，支持断点续传和并发传输，并且可以手动断点；可以管理数据传输的次序，制定优先级，并且可以限制传输速度；支持事务处理，保证消息“一次传输、可靠到达”，在主机、网络和系统发生故障等情况下能有效保障数据传输的“不丢、不重、不漏”。交换平台可以根据网络带宽自动调整数据传输包的大小；传输过程中需要对数据进行加密；能够实现同步和异步的方式进行数据传输，支持即时传输、定时传输、手工启动等多种交换业务调度方式；能够实现各前置节点以及前置节点与平台之间的点到点数据交换。

4、数据过滤

交换平台提供数据交换正确性审核功能，使平台管理人员可以监控数据传输的及时性和正确性；数据交换传输过程中可以根据用户自定义的规则对数据进行校验，并能对校验有误的一个或一组数据做出提示，减少人工数据校验的工作量。数据交换系统提供数据交换日志、数据访问量、部门接入量等的统计分析和数据报表功能，确保能对数据交换任务进行跟踪和时候审计，并可根据交换日志从不同的角度进行统计分析各部门通过平台进行信息资源共享交换的状况。

5、数据存储

数据存储涵盖了公司各部门使用的应用系统的系统数据库。

数据存储主要完成数据中心的信息资源结构建设、数据的更新、数据的导出以及历史数据的维护为数据操作方式制定更新流程，记录各接入单位的数据操作情况，以便监督检查通过数据交换过程中对数据项的定义，实现选择源数据表的全部数据接入或选择源数据表的部分字段接入；筛选数据记录或定义接入条件，实现只有符合条件的数据记录才被接入数据交换平台；交换系统可通过预先定义的转换规则进行必要的数据转换；支持数据编码的转换以及数据表的转换；某些数据需要在传输过程中加时间标记或单位标记

6、自动数据融合

自动数据融合借助DI产品提供的图形化组件，完成对数据的处理、转换、装载、过滤等自动化融合操作。

数据抽取与装载组件集包含了一组对不同数据源、关系型数据的数据抽取组件，支持XML、Excel等半结构化数据、支持CSV、TXT等非结构化数据、支持Oracle、MS SQL Server、MySQL、DB2、Sybase、Informix等关系型数据库、支持ArcGIS空间数据库、支持Cassandra、Hadoop、HBase等非关系型数据库。

数据转换组件集包含了一组对数据进行转换、过滤、清洗、合并的组件，以实现对复杂、凌乱数据的业务处理。借助DI数据转换组件库，可以实现：

四、系统设计创新

1、对公司生产、采购、质量、售后、经营管理、财务等数据进行统一管理，满足本公司业务管理和决策分析所需数据的采集、传输和存储，用于支撑本公司的管理决策。能够进行基础数据、表单的定义、调整、审核、分发及日志管理工作。

2、统一数据规范，公司数据中心对接集团数据中心，作为统一上报管理的唯一输出口，完成集团公司所需综合统计等数据的采集与上报。

3、建设企业服务总线ESB平台，实现数据中心与各业务系统的数据共享和数据交换，提供注册、封装、管理WebServices接口服务，提高本公司数据传输的有效性，并定义数据交换标准规范。

4、实现数据中心各种数据的深度利用，包括数据分析、数据报表、图形报表等。

5、满足公司内部网络架构信息安全要求，达到信息安全等级保护标准要求。

6、满足公司业务管理和决策分析所需数据的采集、传输和存储，通过信息化技术手段提升本公司的管理决策的支撑能力。

五、取得的成效

该项目投入运行后，取得了如下效果：

1、数据自动抽取，提高工作效率

通过数据中心管理平台实现了数据指标从应用系统中自动抽取并计算汇总的效果，替代了原来由业务部门手工梳理数据的原始操作，极大地提高了工作效率，将业务人员从原来繁重的手工台账工作中解放出来。

2、数据审核机制，把控质量

系统对抽取过来的指标进行审核，严格把控指标的数据质量。初始抽取数据在进入到数据中心管理平台后不许修改，这样可以严格把控初始数据的原始属性，避免人为干预原始数据。而另外提供数据正确性维护的入口，并且需要通过审核，最后进入到上报区，这样就全面保证了数据的原始性及上报数据的权威性，并且每个抽取过来的指标数据都可以查看明细数据，切实做到了指标数据的有据可依。

3、数据自动上报，减少中间环节

一直以来业务部门向集团上报数据都是通过手工台账发邮件的方式来上报，而现在通过在数据中心管理平台中操作，可快速准确的将集团需要的指标进行上报。减少了各个业务部门之间沟通的环节，通过系统直接汇总到上报部门。统一数据规范，本公司数据中心对接集团数据中心，作为统一上报管理的唯一输出口。

4、对外数据利用，更加有效

通过平台对指标数据进行集中管理，对实现对外提供数据服务提供了条件。可以实现数据的统一，达到数据的有效利用。建设企业服务总线ESB平台，实现数据中心与各业务系统的数据共享和数据交换，提供注册、封装、管理WebServices接口服务，提高本公司数据传输的有效性，并定义数据交换标准规范。

5、数据统计分析，指导经营管理

通过数据中心管理平台，对指标数据进行进一步的挖掘分析，进行综合查询统计与报表分析。实现数据中心各种数据的深度利用，包括数据分析、数据报表、图形报表等。

The Schematic Design of Management System for Data Center

Liu DongxiLiao Zhenchi
（Information Center，CRRC Chengdu Locomotive Vehicle Co.，Ltd.Chengdu610051）

AbstractTo use the advanced data acquisition and data exchange technology，through the data center system construction，to establish a data bus，the data standard，unified data export，to realize the data sharing.

KeywordsData standardUnified exportData bus

中图分类号C931.6

文献标识码A

文章编号160304-7220

作者简介

刘冬喜：中车成都机车车辆有限公司信息中心网络主管、高级工程师，主持设计、组织实施多项公司科研项目，曾获中车公司管理成果一等奖，多项公司级科研成果奖，在企业局域网设计、网络安全和计算机应用领域有较高的理论基础和丰富的实践经验。

廖真驰：中车成都机车车辆有限公司信息中心技术主管、高级工程师，主持设计、组织实施多项公司科研项目，获多项公司级科研成果奖，在企业管理和计算机应用领域有较高的理论基础和丰富的实践经验。