大数据背景下企业级数据中心建设探索

刘彦廷 程大勇 陕西黄河集团有限公司

随着大数据时代的到来及移动互联网技术的不断发展，电信运营商必须充分利用自身的优势，积极面对大数据时代的到来给自身发展和业务创业带来的挑战，同时抓住发展机遇，加强建设企业级数据中心，从而实现企业自身的顺利转型，不断的提高自身的竞争力。

1 大数据使现有的数据处理方法面临新问题

1.1 传统数据仓库无法有效存储日益增长的业务数据存储需求

随着移动互联网技术的不断发展和普及，电信运营商业务发展的数据量得到了迅猛的增加，这些增加的数据量给传统的数据仓库带来了巨大的压力，从而造成数据库的管理难度增加，并且成本增加，最终工作效率也持续下降，传统的数据仓库根本无法有效的处理和分析这些海量的数据。要想实现对这些大数据的长期保存，只能不断对存储空间进行扩大。面对如此大的数据压力，只有通过建立大数据平台才能不断的提高线性扩容的存储能力。

1.2 传统数据仓库无法有效应对大数据分析需求

现网数据平台是传统关系型数据库架构，大量的用户上网、用户行为等半结构化和非结构化数据无法保存和处理，缺乏非结构化数据的处理能力。用户上网行为等互联网行为数据以结构化数据方式保存至数据仓库中。由于传统数据仓库的数据处理流程与业务保持紧密关联，整个数据加工流程为最终应用服务。为缓解存储压力，在数据抽取和清洗阶段会过滤掉与业务无关的数据记录和字段。由于数据处理与业务的紧密关联，可能需要对中间每个处理环节进行逐个调整，重新生成数据的周期也非常缓慢，面对海量的数据压力，需大数据平台提供快速的处理能力。

1.3 传统数据仓库组网将是大数据分析的瓶颈

现网精细化营销平台的数据库既存放着所有采集的原始数据，又承担所有的数据加工任务，还承担所有报表和业务应用的数据存储和计算，缺乏对数据分层分级及生命周期的有效管理。系统核心架构为0racle数据库+小型机+磁阵，数据存放在磁阵上，计算时由数据库服务器从磁阵读到本地后进行计算结果。随着数据量增长，磁盘I/0、网络带宽、数据库服务器的处理能力将存在瓶颈，处理时较严重。由于传统架构的可扩展性差，无法满足大数据计算的扩容需求，为应对海量数据处理需求，大数据将从集中数据库向分布式数据库进行转变。计算和存储资源都由x86服务器提供。

1.4 传统数据仓库无法有效支撑数据合作运营

因传统的数据库仅能保存较短周期的原始话单数据，无法实现对历史原始数据进行追寻。对外开放地层数据会大幅度的消耗掉紫铜资源，进而导致主库无法进行正常的工作。大数据平台的架构将数据分层管理，在各层提供数据开放接口，以满足不同数据需求。从而更有效支撑数据合作运营，同时历时数据能促使合作在第一时间就开展起来。

2 企业级数据中心建设

2.1 企业级大数据中心的体系结构

结合目前已有的经分系统，围绕大数据，实现对现有资源的合理及科学的利用，不断朝着企业级大数据中心的方向演进。企业级数据中心体系结构主要包括数据聚合层、数据服务层、开放式应用层等。

数据聚合层主要作用进行对各类资源和信息进行全面的收集，这些数据不仅可来自网管支撑系统、企业支撑系统、管理信息系统等企业内部网络，还能来自物联网或互联网等外部网络，采集后的资源数据在数据聚合层能实现数据的处理。

数据服务层是对数据聚合层输出的数据进行标准化的封装处理，这些数据是供有分析使用需求的对象，以自身实际需求进行数据组装前的原始数据，将其称为数据资产。

开放式应用层是将数据服务层封装好的数据资产按需要组装成服务类、功能类、集成类及管理类等组件，供给使用者定制开发后使用，之后通过统一访问模块将适配后的组件提供给门户供使用人员访问。

2.2 企业级数据中心建设思路。

①打造企业级数据中心基础能力体系。架构层面：以现有的经分数据为根本和依据，不断实现数据的扩充，同时对数据服务的能力进行持续的强化。数据层面：将网络侧、管理信息系统部分源数据引入。应用层面：将传统的报表与互联网数据进行结合。②构建大数据支撑系统构架。构架层面：努力建设全新的大数据支撑系统构架，将架构改造成能对各类数据结构的混搭式架构进行支撑，具有结构化、非结构化等数据的处理能力，从而形成数据资产。数据层面：对网络信令、扩充互联网内容等大数据内容进行汇聚。应用层面：对客户需求识别、客户感知体验等方向典型的大数据应用进行支撑。③对大数据的应用范围进行拓展。架构层面：对架构的稳定性进行确保，以应用需求为依据对数据处理能力进行扩充。数据层面：实现完整的公司内部和外部数据管理功能，具备完善的海量及实时的数据处理能力。应用层面：实现对客户需求识别、客户感知体验、互动式营销及网络优化等方向的大数据应用能力的全面支撑。

3 结束语

移动互联网时代，用户的消费行为产生了海量数据，在此背景下，电信运营商如何及时、准确地挖掘出有价值的信息，以便顺利开展针对客户的各类有效营销，需要强大的支撑系统，传统经营分析系统在大数据处理方面面临瓶颈，因此企业级数椐中心应运而生。

[1]梁杨.大数据背景下企业级数据中心建设探索[J].互联网天地，2016