运营商大数据技术及应用

刘洋 金良

【摘要】 随着“互联网+”概念的提出，数据成为企业乃至国家的战略资产。如何处理和应用好海量的数据是运营商当前要面临的主要问题。本文从大数据的发展现状入手，通过对主流大数据技术和运营商应用的分析，可对大数据系统建设和应用予以参考和指导。

【关键词】 大数据 互联网+ hadoop

一、引言

随着互联网、物联网、车联网的快速发展以及手机、平板电脑等各种智能终端的普及带来了数据量的爆发式增长，数据逐步成为企业乃至国家的战略资产。在国家层面，大数据技术事关国家安全和未来，成为大国博弈的另一空间。2012年3月29日，美国政府宣布了“大数据研究和发展倡议”，以推进从大量的、复杂的数据集合中获取知识和洞见的能力，投资总共超过2亿美元，来大力推动和改善与大数据相关的收集、组织和分析工具及技术，这也是大数据技术从商业领域上升到国家战略高度的开端。

2015年中国政府提出“互联网+行动计划”，互联网化已经成为各个传统行业升级和创新商业模式的最重要的议题，互联网+时代的到来，不仅在改善和提升用户体验上发挥作用，更会重构已有的商业模式。互联网+对传统产业的改造，将诞生海量的数据资产，所带来的一个共同点就是大数据将成为推动行业创新的驱动引擎。不久的将来，全新的数据商业时代将开启。

无论哪种智能终端，上网都要经过运营商管道；运营商可以获取包括淘宝、腾讯、百度等各种平台的数据。随着4G数据时代的到来，运营商将获得更加完备的资源，这个“大数据”主要是大量的用户行为数据，能否挖掘出这些数据的价值将决定能否把握住大数据带来的机遇。

二、大数据时期运营商的影响与挑战

越来越多的行业被移动互联网进行渗透，带来大数据的黄金时代，诸如：医疗、教育、娱乐、旅游、出行等，这将带动大量的用户行为和信息及各类大数据。我们认为，现在大数据可能已经达到增长的拐点，未来大数据将出现井喷。根据爱立信的报告，2020年的大数据产生量将接近目前的10倍。而大数据的激增以及各类大数据的融合使得大数据的大规模商业化和落地变得可能。

目前非结构化数据已接近总数据的 90%，而非结构化大数据的分析仍处于开始阶段，未来大数据的价值挖掘及变现将是高速发展的领域，将造就千亿级以上市场，而其中将诞生大量机遇以及机会。[1]

通信大数据已迎来黄金时代，15年是运营商大数据的推进年。截止2015年底中国网民规模达6.68亿，手机上网人群占比88.9%。运营商基本于2012年开始进行大数据布局，在经过3年多的大数据积累后，这些大数据的价值需要兑现。从运营商诉求看，传统业务下降明显，运营商亟需拓展新业务。

三大运营商在大数据的进展上略有差异。电信进展最快、联通次之、移动进展相对较慢。中电信大数据布局迅速主要是依靠之前固网宽带和IPTV业务，使得其在移动互联时代之前已有大量数据并已开始进行采集和分析，无论是在数据的广度还是范围上均有优势，其应用进展相对较快。

大数据给运营商相关技术带来极大挑战，主要是数据的管理、采集、分析不足。数据量的增加使得运营商传统的处理数据和存储压力增大，数据类型的多样化使得传统数据处理窗口难以处理。另外，运营商知道用户访问过哪些网站，但是不知道用户究竟看了哪些内容；或者知道用户在哪个地址，但是不知道用户在哪个地点。在数据分析方面，运营商希望复合关联，希望快速实施，但事实上，现有的DPI的分析仅仅用了几张报表。数据散落在各种系统中无法进行有效的采集、分析。海量的半结构化和非结构化的数据大大降低了数据处理的效率，给运营商带来了巨大的数据存储和读写压力。如若不能缩短数据处理的周期，很多数据的价值都会被极大地稀释。

在运营商中，传统数据包括IT支撑系统数据、电子渠道及商务数据、网络资源及运维数据和增值业务衍生及内容数据等。这些数据大部分都是结构化数据，存储在传统数据库中，随着日志数据、各种流媒体数据、物联网数据等半结构化和非结构化数据越来越多，传统厂商将Hadoop、MPP技术逐渐融入到传统数据库中。未来大数据平台将超越传统智能分析层面，从应用、角色角度回去找数据、统计建模并最终提供知识，这必将为运营商传统IT支撑系统的各个域产生重要影响，要求运营商结合自身的业务特性、系统特性、管理诉求，在大数据环境下研究企业业务应用及管理需求，如智能流量支撑、大服务支撑、电子商务/精细化商品营销支撑、精细化资源管控支撑等对数据的要求，对企业级数据进行管理和经营，建立符合电信运营商的大数据框架。

三、 大数据在IT支撑系统应用存在的问题

目前各运营商在大数据应用中都有一定的探索，但还处于初期阶段，也暴露的诸多问题：

1.数据层面：数据没有全量采集与接收，缺乏集中统一的数据处理。2、平台层面：IT支撑系统支撑能力不足，不能有效的支撑大数据应用落地。3、业务层面：大数据应用价值还未被大众全面认知，亟待推广。4、运营层面：没有专门数据运营人员，人员分散没有形成聚力。

运营商需要在公司层面进行大数据规划，从业务、IT、管理配套、技术能力等方面，统筹考虑，进行全面部署。

四、主流大数据处理技术

（1）Hadoop技术。应用分析：Hadoop 在处理非结构数据和半结构数据上具备优势，尤其适合海量数据批处理等应用需求。随着Hadoop技术的成熟，基于Hadoop的即时查询技术也逐渐崭露头角。应用场景：适用于大规模网络数据的采集、处理、存储和交换，应用于非结构化数据处理和半结构化日志处理。如：ETL、详单查询、机器学习和数据挖掘、冷数据存储。

（2）MPP技术。应用分析： MPP数据库适合结构化数据的深度分析、复杂查询以及多变的自助分析类应用。无需像Hadoop一样需要定制开发，同时可以降低拥有成本。应用场景：MPP数据库面向的是海量数据的分析型场景，通过列存储模式、数据压缩、智能化索引、并行处理、并发控制、高效的查询优化器等技术，让大数据的分析场景最大限度地减少了磁盘I/O，提升了查询效率。

（3）流计算技术。应用分析：Storm是一种开源的分布式实时计算系统，可以简单、高效、可靠地处理大量的数据流。应用场景：通过提取和分析来自各种分布式系统的信息，来解决企业监控和管理的各种问题。目前流计算技术可以应用于营业厅营销信息定制化推荐、电子营业厅营销信息推送等实时营销，四网协同、渠道协同等实时服务以及热点区域用户监控、关键业务指标监控等实时监控等应用场景。

（4）NoSQL技术。应用分析： NoSQL抛弃了关系数据库复杂的关系操作、事务处理等功能，仅提供简单的键值对（Key，Value）数据的存储与查询，换取高扩展性和高性能。例如HBase。应用场景：HBase是基于Hadoop的NoSQL数据库。HBase的典型场景可用于详单存储和查询、互联网内容存储、GiS数据存储、半结构化历史数据存储。[2]

五、 运营商的大数据应用

5.1流量经营精细化

深入洞察客户、助力精准营销和指导网络优化。首先，基于客户终端信息、手机上网行为轨迹等丰富的数据，借助DPI（Deep Packet Inspection，深度数据包检测）技术等，建立客户超级细分模型，为各细分群组客户打上互联网行为标签，完善客户的360度画像，深入了解客户行为偏好和需求特征；其次，根据用户行为偏好，推送合适的业务，并根据对客户特征的深入理解，建立客户与业务、资费套餐、终端类型、在用网络的精准匹配，同时也能做到在推送渠道、推送时机、推送方式上满足客户的个性化需求，实现全程精准营销；再次，利用大数据技术实时采集处理网络信令数据，监控网络状况，识别价值小区和业务热点小区，更精准的指导网络优化，实现网络、应用和用户的智能指配。

5.2智能客服

深入分析客服热线呼入客户的IVR行为特征、访问路径、等候时长等等，同时结合客户历史接触信息、基本属性等，建立热线呼入客户的智能识别模型。基于客户智能识别模型可以在某类客户下次呼入前预先推测其呼入的需求大体是什么，IVR接入后应该走什么样的节点和处理流程。这样，就可以基于呼入客户习惯与需求的事先预测而设计的按键菜单、访问路径和处理流程，合理控制人工处理量，缩短梳理时限，为客户服务中心内部流程优化提供数据支撑，有助于提升热线服务管理水平，加速热线营销渠道资源整合，有效识别客户投诉风险，助力智能客服中心的建设。

5.3触发营销

通过用户消费行为、用户上网行为等行为进行分析为用户设定包括时间、位置、行为等触发条件为用户提供相应的应用，实现实时动态营销。

5.4对外数据服务

对外数据服务是大数据应用的高级阶段，这个阶段运营商不再局限于利用大数据来提升内部管理效益，而是更加注重数据资产的平台化运营。利用大数据资产优势，将数据封装成服务，提供给相关行业的企业用户，为合作伙伴提供数据分析开放能力。

六、结束语

大数据的技术及其应用挖掘对运营商来说还是起步和发展阶段，运营商目前自上而下的传统运营模式无法更接近用户需求，为支撑大数据业务开展需要，重新梳理企业的经营模式和组织机制，全面转向以客户和消费者为中心的运营体系，包括信息系统、组织支撑模式、业务模式、人力储备、企业合作模式等诸多方面，进行运营模式的变革创新。进而提高运营商互联网战略的支撑能力，驱动企业精细化、智能化管理，支持对外信息服务、生态化运营，挖掘出大数据的核心价值。

参 考 文 献

[1] 吴友文，周军《通信大数据将迎来黄金时代—运营商大数据专题报告》[R]东方证券.2015.3.

[2] 范承工，周宝曜，刘伟《大数据：战略·技术·实践》[M]北京. 电子工业出版社. 2013.5.