中兴通讯 | 包
大数据,大变化,大未来
——大数据支撑驱动电信运营商转型发展
根据IDC对中国大数据市场的分析,2012年~2016年大数据市场的复合增长率达51.4%,市场规模将增长7倍,中国已经处于大数据时代的起步阶段。
“大数据”目前尚未有统一的定义,但总体上可以归结为一种新的方式或能力,这种方式或能力来源于对海量数据的收集分析并从分析中获得巨大价值,它将极大的改变我们社会生活和思维模式。
对于大数据IT界归纳了4个V(Volume,Variety,Velocity和Value)的特征,已经基本得到大家的一致认同。具体到电信行业大数据的四个V又表现为什么呢,总结下来可以概括如下。
Volume数据规模巨大:电信行业仅日常运营产生的各类话单数据(xDR)和信令数据规模已相当可观,如果再加入网络流量的数据采集,数据规模将呈爆炸式增长。一个大型城市的每分钟产生超过8万条位置更新信息,一天通过网络承载的数据流量可高达100TB。
Variety数据类型丰富:除了传统的来自电信运营系统如BOSS系统(CRM、RSM等)和VAS系统的结构化数据外,互联网业务的发展带来了诸如文本、图片、视频、位置信息等大量非结构化的数据。
Velocity高速实时的数据:即时话费查询、流量监管等新功能的应用随之产生了大量的高速动态数据流,对数据流的实时分析与处理要求不断增加,数据处理的越及时,产生的价值越大。
Value数据价值大密度低:网络中对媒体流和信令检测探针的应用形成了源源不断的数据,但与从信息中能挖掘出的知识量相比,数据的价值利用密度很低,需要创新的技术和思维来提升从数据中挖掘知识的效率。
Gartner预测到2020年大约75%的企业都将大数据分析融入其日常经营决策中,未来大数据分析将成为企业经营的一项基本能力。
根据Sysbase的统计分析,电信行业通过在运营中应用大数据,人均产值提升了17%,而在行业价值贡献方面更是排在了所有行业的首位。在电信行业收入增幅日趋放缓的今天,这样的产值增幅无疑是鼓舞人心的。
通过构建行业大数据分析系统让运营商具备了大数据分析处理的技能,但这只是在大数据时代获得成功的基础;运营商还需要从企业战略和经营思维层面改变,发现新的机遇和模式并付诸实施,才能真正将自己所掌握的大数据资产和大数据技能转变为企业价值。
电信行业一直以来都是非常关注数据的收集和统计分析,运营商BSS、OSS、DSS、CRM和RA等系统都大量部署应用了关系数据库(RDB)或数据仓库(DW),多采用Oracle、DB2、Sybase和MySQL等数据库管理系统。这类数据库处理的多是电信业务运营过程数据、资源信息、话单记录等结构化的数据类型,随着互联网数据业务的发展,运营商需要收集处理更多的业务应用类数据,由此带来了数据量、数据类型和分析能力的巨大变化。原有的业务运营系统所产生的结构化数据量大约只占所拥有数据量的2成,超过80%的新数据来自互联网、物联网等新业务应用,并且以视频流量、文本、网络点击行为等各类非结构化的形式存在。面对数据对象的新变化,传统的电信运营数据库系统在处理能力和处理效率上都无法满足要求,转变势在必行。
从DB(Database)转向BD(Big Data)是一个大的技术演进,而不仅仅是需要处理的数据规模的扩大。电信行业因为互联网应用的普及和管道智能化演进带来了大量非结构化数据的分析处理以及高速流量数据的实时处理问题,对于这些数据处理的效率又要求达到电信级运营的要求。因此对电信运营商而言一个合适的大数据系统至少应该具备以下三种能力:分布式处理能力,非结构化数据分析能力和流式数据实时处理能力。以MapReduce技术为核心的Hadoop开源平台已成为非结构化大数据处理的事实标准,其适合非结构化数据,大规模并行处理的特点可以满足电信行业的需要。而在流式大数据实时处理方面则可以考虑应用较为成熟的CEP(Complex Event Processing)技术,这一技术针对电信网络大量的信令、消息、特征媒体流等流数据具备良好的实时分析处理能力。中兴通讯的大数据平台解决方案充分利用主流的大数据处理技术,并结合电信行业数据处理的特点,提供融合传统数据仓库和大数据的专用平台,可灵活适配各种数据规模、多种业务应用的场景。系统提供自研的CEP技术可满足电信大流量数据的实时处理需要,采用Hadoop开源技术满足对电信业务平台上非结构化和半结构化数据的批量处理需要,基于NoSQL的HBase大数据存储架构可满足从GB到TB各种级别的数据存储和快速I/O需要。
电信行业的数据主要包括客户信息数据(如客户入网资料、套餐情况)、业务过程数据(如通话记录、客户服务记录等)和网络运行数据(网络性能、客户终端使用情况等)几部分,传统上这些数据分布在不同数据库中并且较独立的进行统计分析以服务于不同的运营部门,数据分析在很大程度上仅仅作为部门运营报表输出和绩效考核功能应用而存在,这显然低估了数据的价值。在大数据时代数据的价值来源于数据的全面性、数据的共享和数据的二次利用。运营商应该将不同部门、不同数据库收集存储的数据进行共享,重新挖掘历史数据而不是轻易删除,围绕客户进行整合分析,这才是大数据下的思维方式。当我们将数据进行组合、再利用,形成新的大数据集,大数据的真正价值才能显现。
举一个电信行业通过部门间数据共享组合发现新商业价值的例子:很多移动运营商网络维护部门出于改善网络运行质量和提升客户体验的考虑一直在进行网络和终端的分析优化活动,期间收集了大量的终端应用数据,这些数据以往仅仅为网络优化目的而利用,网优活动结束后就废弃了;其实这些数据通过再分析可以提供更多的用途,比如基于对全网络不同型号手机终端的实际使用数据分析,运营商可以向手机制造商提供更为真实的手机使用情况咨询,在确保不侵犯竞争厂家的隐私的情况下运营商可以向手机制造商提供更为真实的手机实际使用率信息,这些对于手机制造商而言都是无价之宝,比以往依赖仿真测试和销售数据分析获得的情况更加真实,可以有效指导他们的经营决策,而运营商通过对数据的二次分析提供信息咨询可获得额外的商业收益。
再以运营商运维部门常见的告警派单活动为例,大量的设备历史告警数据通常作为部门运维质量考核的统计数据并且定期被清理覆盖。但事实上通过设备海量历史告警数据与客户投诉的关联分析,运维部门可以有效地预测一条新发生的告警的准确性和引发的客户投诉的紧迫性,更好地配合客服部门的服务响应,也能优化部门内现场故障处理派单的活动,通过对海量历史数据的挖掘分析即保证了客户服务的满意度,也同时提高了客服与运维两个关联部门的工作效率。
上述两个案例仅仅是运营商基于大数据思维创造新价值、提升运营效率的小应用,大数据是一个神奇的金矿,它的潜在价值犹如漂浮在海洋中的冰山,很大部分还隐藏在水面之下,等待我们不断去挖掘。
大数据将在4个领域为电信运营商的转型带来新机遇
作为信息管道的经营者,电信运营商天然具备数据的收集能力。相比互联网公司获取的是用户在虚拟网络中的数据,提供用户入网接入服务的电信运营商拥有用户的真实社会型数据信息,而管道的智能化又让运营商拥有获取用户在互联网虚拟社会数据的能力,运营商基于管道平台同时拥有了现实社会和虚拟社会两套数据,通过用户属性的关联实现数据的无缝衔接,这是运营商特有的数据优势,在大数据时代这是一个重要的核心资产。
但是拥有大数据资产并没有给运营商带来直接的收入和利润,原因就在于运营商普遍缺乏从数据中挖掘价值的技术和发现新价值的智慧理念,而大量的互联网公司和中小科技公司却已经行动起来,利用电信开放的数据资源获得收益。
国内领先的互联网公司如百度、腾讯、淘宝等都已经利用大数据来提升自身的产品和服务,并且不断向传统的通信领域渗透,面对竞争电信运营商必须要积极跟进,利用大数据的资产优势,发展大数据技能,开拓大数据思维,实现客户的深入洞察和业务决策的创新,驱动企业向围绕客户信息服务为中心的战略转型。具体来说,大数据将在4个领域为电信运营商的转型带来新机遇。(如图所示)
建设智能管道和业务聚合平台,开展流量经营是电信运营商转型发展的基本措施之一,借助大数据分析运营商可以实现对管道中大流量数据在线实时分析;对用户使用互联网业务行为动作进行批量分析;对管道中各类业务应用过程数据进行实时分析。通过大数据分析运营商可以及时把握网络流量状态,预测流量变化趋势,改善流量分布,实现流量规模和流量层次上的精细化运营,真正让流量创造价值。
大数据融入企业经营管理和决策流程将带来更高效、更精准的运营改变,来自运营商内部各个部门的生产数据与外部的应用数据整合、交互,使得决策的数据基础更为精准,数据指向的目标更加统一于客户和收入,大数据提供的相关性分析能帮助运营商更快、更准确的捕捉市场变化,加快决策的效率;基于相关关系分析基础上的预测则可以更好的指导我们的日常运营操作,优化资源配置,降低运营成本。
通过对客户现实社会数据和互联网使用行为数据的收集聚合分析,电信运营商可以更精准的刻画每个消费个体的偏好、习惯和社交网络,识别价值客户,预测客户行为,以此为基础运营商可以开展针对性的组合营销,或者为合作伙伴提供更准确的业务开发指引,以个性化、精准型的业务内容不断增强客户黏性。
在行业信息服务领域电信运营商通常只提供通信管道和设备托管服务,相比之下IT厂商一直占据主导地位。大数据技术给运营商争夺IT厂商主导的行业信息服务市场提供了巨大的机会。运营商利用庞大的用户属性数据、精确的用户位置信息数据、真实的社会网络数据,可以为行业客户提供高效、准确的信息服务。面对智慧城市、远程医疗、网络教育等新兴的信息服务需求,运营商通过大数据价值挖掘可以拓展新型的信息服务模式获得持续的收入增长。
大数据中蕴含的价值和动力将推动产业升级和商业创新,电信运营商应该把握这一时机,借大数据发展之势推进自身的战略转型。通过整合管理自己的大数据资产,增强大数据分析技能,拓展大数据价值利用思维和创新商业模式,在发展中的大数据时代将有一个值得期待的未来。