电信运营商大数据平台规划研究

张静娴 诸旻 曾振婷

【摘要】 本文首先介绍了大数据特点和发展，介绍了大数据思维转变的环境下电信运营商发展大数据的驱动力，通过领先企业对标分析得出电信运营商大数据的启示，结合大数据技术的发展，研究某电信运营商省公司大数据平台的建设方案，最后提出了对大数据管理保障的一些思考。

【关键词】 大数据 Hadoop 统一建模 智能化

一、我司建设大数据平台驱动力

（1）解决数据分散问题

我司分别在OSS域、BSS域建设数据分析平台，平台烟囱式和数据孤岛式的模式导致了数据和模型不共享、数据使用效率低下、应用竞相开发等诸多问题。

（2）提升企业经营效率

各域数据互提频繁（OSS和BSS之间互提数据达100多项，随着市场营销和网络运维等活动的复杂度和精确度要求越来越高，互提需求还会日益加剧），而现网只能以周/月为时间单位进行接口互传，域间开放的数据有限，严重影响企业生产活动，特别是无法支撑应用的突发性、临时性需求。

（3）提升业务能力

通过大数据平台建设，汇聚自有和外部大数据，实现大数据“自用”和“他用”，共同提升企业的业务能力，包括提升业务量、延长用户生命周期、数据对外变现等。

二、我司大数据平台规划建设方案研究

2.1规划原则

1）支撑由降本增效向外部服务延生的大数据应用；2）解耦应用与数据、平台开放，宁可挪动计算而不挪动数据；3）分层分域：横向分为功能域和管理域，功能域纵向又分为采集层、数据共享和存储层、服务目录层、应用层和展现层；4）架构混搭、技术开放：数据共享和存储层采用基于云计算的“关系型数据库MPP+Hadoop”混搭架构，同时技术上能适用未来至少5年大数据技术的主流发展；5）对于应用架构采用模块化和标准化两种设计原则；6）强调实时服务能力，包括服务过程中实时数据采集、实时分析、实时服务传递、自适应深度学习。

2.2规划目标架构：

1）平台分为功能域和平台管理域；2）功能域分为采集层、数据存储和处理层、服务目录层、应用层、展现层；3）共享和存储层分为：ETL、存储层和计算、模型层；4）管理域主要包括：元数据管理、数据质量管理、安全管理、系统管理等。

2.3数据源规划

1）内部生产运营数据，包括客户、业务、产品、话单、服务营销、行业应用、渠道等，采自BOSS、CRM、客服、电渠等系统。2）内部网络承载数据，包括网络资源、信令（Gn/ Gb/S1-U等）、省网/IDC/第三方出口流量数据、应用内容等，采自信令监测、DPI系统、综合资源管理、性能管理等系统。3）内部企业管理数据，包括企业收入、运营成本、运营管理等数据，采自ERP、MIS、供应链、采购管理等系统。4）外部互联网和政企数据，包括公开发布的互联网报告、政府报告、行业数据（金融、交通、旅游等）、爬虫爬取数据等。5）实时数据：客户在线咨询、查询、 办理的数据，关注客户在各类社交媒体上的发言、在线的评论信息等等，还包括客户交易过程中失败的数据等。

2.4安全规划

大数据平台打破了原来各域的安全机制，增加了数据共享的风险和数据二级用途上的风险；工信部发布的《2014年大数据白皮书》也提到“为了释放大数据潜力，监管的重点应该‘从数据收集环节，转移数据使用环节”。大数据环境下主要面临三方面安全风险：架构安全、数据安全、使用安全。

我司大数据平台的安全主要从以下几个方面进行考虑：1）数据存储的安全：包括数据脱敏和数据加密。利用采集清洗及流处理的功能，可以实现对各个字段，针对性的脱敏处理，并且保证在数据进入hadoop之前已经是脱敏之后的数据；大数据平台以HDFS为基础，利用HDFS驱动提供的Format功能，实现hadoop云平台系统级、业务级数据加密。2）平台权限管理：外部客户只能通过MR和HIVE两种方式访问电信运营商的数据，MR的权限控制比较困难，所以通过对HDFS的访问权限来控制达到MR的权限控制的目的。3）数据访问控制要求：平台需要提供严格的数据访问安全控制，用户需获得授权文件Token才可以访问数据， 授权文件Token包含授权的表名、字段等数据访问权限控制参数。授权文件Token提供有效期配置功能。

2.5大数据平台建设思路

采取“初始规模较小、快速发现问题快速调整完善”的迭代机制开展建设。1）存储资源：采用一步规划一步到位的建设方式。大数据应用发展需要全量数据进行支撑，构建用户统一视图和标签库方便应用随时调用，因此数据和存储等刚性需求在建设初期就要形成全面能力；2）计算资源：采用小步快跑按需扩容的建设方式。大数据应用丰富多样，当前暂时无法规划完整的应用体系，因此建设初期满足当前紧迫需求，后期根据业务需求进行滚动式的快速扩容。

三、结束语

基于云计算混搭架构规划建设大数据平台，能够有效降低数据存储成本，实现实现六个统一（一点采集、一点存储、一点加工、一点交换、一点分析、一点提供服务）、实时分析、大并发查询的能力，满足运营商各类大数据应用的业务需求。