张长青 中国移动通信集团湖南有限公司岳阳分公司高级工程师
移动运营商大数据和云计算应用探讨
张长青中国移动通信集团湖南有限公司岳阳分公司高级工程师
摘要:传统低附加值语音收益正在下滑,新兴高附加值大数据和云计算影响如日中天。在探讨移动运营商大数据和云计算应用的趋势后,认为只有将传统的用户结构化数据和新的用户半结构化或结构化数据相结合,并广泛与政府、交通、医院、学校和企业的数据相关联,形成一个大数据系统,采用云计算技术,才能为移动运营商创新出更多的利润空间。
关键词:移动运营商;大数据;云计算
从数据本身的大小来看,大数据处理的数据量是极大的,一般可以达到PB级,甚至是EB级。从数据更新、增长、存储和传输等响应程度来看,大数据的处理速度是非常快的,甚至前所未有。从数据采集、来源、结构、用途等处理过程来看,大数据呈现出非同一般的多样性特点,有传统的表格式结构化数据,也有像文本、视频、图像等半结构化和非结构的信息,且不同或相同类型数据间的交互非常频繁、广泛。所以,大数据是一种规模程度只能用全新的云计算方式,在合理时间内达到撷取、管理、处理和整理的数据系统,是可帮助企业经营决策提供参考,可通过新的处理模式使其具有更强的决策指导能力、洞察发现能力、流程优化和业务增值能力的,蕴藏着巨大潜在商业价值的新型海量数据处理技术。
从技术上看,云计算是并行计算、分布式计算和网格计算的融合与发展。从使用上看,云计算是一种基于Web的服务、一种现代网络计算的商业模式。从整体上看,用户运用云计算的所有程序,不是运行在用户的个人终端上,而是运行在企业网或互联网上的“云”服务器群中;用户运用的所有数据,不是存储在本地终端上,而是保存在“云”端的数据中心。也就是说,云计算技术支持用户可以在任何时间、地点、用任何可以连接至企业网或互联网的终端设备,利用“云”中的计算资源和数据资源为自己申请想要的任何服务。所以,云计算是一种利用网上大规模计算机集群,通过整合、管理、调配分布在企业网或互联网各处的计算资源,具有以统一的界面同时向大量用户提供数据存储和网络计算服务的现代网络计算模式。
从目前的三大移动运营商来看,不管是移动、电信,还是联通,数据存储、分析、应用等处理手段,采用的都是以省公司为单位的集中式管理模式,同时承载着本地用户或外地漫游用户的电话、互联网、以及各类行业应用中的话音和数据等通信业务,企业的业务收益正在经历从传统的语音经营向现代的数据经营的转化。数据量之大、数据处理速度之快、数据组成内容之复杂,使得这些移动运营商所管理、处理的企业数据变成了具有大量、高速、多样和价值特点的典型大数据,有能力处理这些大数据的非云计算莫属。本文较为全面地分析了移动运营商应用的大数据系统和支撑大数据运营的云计算系统,阐述了这些系统在为移动运营商顺利完成经营模式转型所产生的重要作用,指出以大数据和云计算作为新的增值盈利方式是移动运营商必须重视的发展方向。
据GSMA预测,全球移动数据流量的年增长率将会超过50%,到2018年移动数据流量将会达到2012年的12倍以上,每年以2倍的速度增长。随着数据业务的兴旺发展和语音业务的不断萎缩,移动运营商一方面有越来越多的企业数据被要求长期保存,另一方面每天从各种管道、业务平台和支撑系统中产生的新数据又会大量涌现,这些有价值的存储在移动运营商数据中心的大数据,若能为商业智能利用,一定会为运营商带来巨大的商业机遇,开辟新的盈利空间。移动运营商的大数据正在以锐不可当的势头成为企业发展的战略资产。
目前,从现有的技术角度来看,对移动运营商有价值考虑、能力驾驭的大数据应用,主要表现在语音数据、视频数据、流量和位置数据分析等4个方面。从目前的现实出发,移动运营商必须以综合平台为参考,以智能管道为依托,以大数据资源为基础,利用现阶段的优势,聚焦重点大数据应用,特别是聚合更有价值的四大大数据商业应用模式,依托自身的传统核心业务,才能有效地实现企业利润的最大、最优化。下面从数据、视频、流量和位置等数据分析方面来探讨移动运营商当前的大数据应用。
移动运营商传统的数据都集中在省公司的数据中心,主要分为用户管理、业务管理、网络管理、办公管理等几大信息资源,是一个极大的企业信息管理系统。其中,办公系统是一个相对独立的内部体系,数据量小。省公司数据中心采用的是分布式存储、运算等管理方式,物理上以2~3个地市分公司为单位分别存储在不同的小型机数据库中,这种海量数据管理系统相对于现有的技术,不仅可以保证各分公司数据互不影响,也可以提高数据的处理速度,强化各分公司数据的安全管理。移动运营商所管理的数据系统主要分为业务和网管两块。
支撑省公司的几千万客户的大数据系统叫BOSS系统,涵盖了计费、结算、营业、帐务和客户服务系统等功能,对各种业务功能进行集中、统一的规划和整合,是一体化的、信息资源充分共享的支撑系统,每天动态存储的数据在几十PB级以上。而在管理着省公司几十万个基站、上百个交换机、上万公里光纤传输系统和无数网络设备的网管系统中,各类应用功能网元都会留存日志,即使经过压缩处理,每日生成的日志数据也在几百GB以上,甚至达到PB。移动运营商管理的数据是一个名副其实的大数据系统。
其实,存储在BOSS和网管系统中的绝大部分数据只是移动运营商的传统数据,是一种传统数据库管理的表格化结构性数据。在当今移动互联网和智能手机广泛普及的时代,移动运营商所管理的传统结构化数据正在减少。与之不同的是,通过微信、微博、社交网站、传感器等多种来源如移动互联网和物联网的信息,如图片、音频、视频、网络日志、链接信息,绝大多数是不能用传统数据库管理的非结构化和半结构化数据,产生这类数据的通信方式因深得移动用户喜爱,每日产生的数据量已开始超越结构化数据。
另外,传统的结构化数据因其几十年的数据库技术的发展,应用价值早已为移动运营商全面利用,即使着力挖掘,潜力也不会太大。随着结构化数据量越来越少,潜在的价值也会逐渐流失。所以,移动运营商的大数据应用应着力于结构化与半结构化数据或非结构数据之间的相互引伸、借鉴、渗透等方式的应用,或者专门只对半结构化或非结构化数据的挖掘应用等,使之逐渐成为一种全新的用户需求,衍生出一系列成为企业利润增长的新的产业链。当然,开辟这些的新应用方式,还需要新的眼光和思路。
建立新的用于分析海量语音数据的大数据处理平台。这首先要求运营商必须建立容量巨大的用户语音存储数据库,还要求运营商必须建立与之匹配的关于用户语音通信的私密安全保护系统,然后才能建立专用语音数据分析系统。如为保险、房地产公司等提供基于自动语音识别的大数据分析系统,通过自动语音识别从海量非结构化数据中搜索出有保险需求或购房打算的客户,甚至从语音数据中分析出用户的相关意向,为保险、房地产公司等和客户之间提供量身定做的具有交互能力的有偿广告服务。
建立智能图像分析的视频索引、搜索、摘要等大数据服务体系,专门从事海量视频信息的挖掘业务,需要移动运营商一方面建立自己的物联网标准接入系统,另一方面建立用户微信、微博和视频等非结构化海量数据库和专用物联网。然后,将交通、天网,以及政府、医院、学校、企业和个人的专用摄像数据,通过无线或有线与移动运营商物联网相结合,形成一个完整、全面的视频数据处理系统。使之在为智慧城市、平安社区、交通监管等公益领域服务的同时,还能为广大移动用户提供有偿的视频信息服务。
建立移动用户行为分析系统,专门用于分析用户实时的微博、微信、浏览信息等,从中发现用户的行为习惯和好恶取向,捕捉能为企业增值的新业务和新项目,是移动运营商另一个具有潜在收益的大数据服务系统。如游客在旅游中上传的照片、上网浏览的日志等信息,就与游客的位置、行程、喜好等行为信息有很强的关联性,对使用用户的位置和运动轨迹进行分析,实现热点地区人群频率的概率性有效统计分析,就能为景区提前对游客的人流合理分布进行优化预测和科学设计提供有价值的重要参考。
云计算可概括为云平台和云服务两个层面。云平台是指能够提供足够计算资源和数据资源的企业网或互联网,且资源具有动态可扩展性等特点;云服务是指包含在云平台所有底层基础设施中,可为用户完成所有需求的各种服务,这些服务可能来自不同底层设备的自动处理、组合和优化。虽然云平台中的云资源和对云资源的计算过程对用户来讲是一个黑匣子,但用户可以在云中自由、方便、快捷、简单地获取所需的任何服务。移动运营商具有丰富的结构化、半结构化和非结构化大数据资源,对这些资源的处理非云计算莫属。
云计算按服务性质可分为公有云、私有云和混合云。
公有云是企业自己的云资源可以提供给外部团体和组织使用的云服务。私有云是企业为自己构建的单独使用的云平台。混合云集成了公有云和私有云服务,是公有云和私有云相结合的云架构。移动运营商的公有云主要集中在移动互联网,私有云则集中在用户、业务、网络等管理方面。从企业大数据结构的特点和企业应用大数据的需求来看,移动运营商的云计算更应选择混合云,因为随着大数据系统的全面应用和移动企业数据资费的全面降价,只有广泛与政府、医院、学校、企业等单位全面合作,充分利用公有云,才能找到新的收益增长点。
混合云的特点是自己可以有偿访问其他公有云,自己的公有云也能有偿出让给外部随意访问,真正做到大数据的最大共享化和最大价值化,使之能够依托大数据和云计算平台,极大地拓展用户需求、挖掘产业空间、创建收益渠道。所以,移动运营商在混合云建立方面,首先要设计好互操作性和标准化,其次要为广泛集中各种大数据资源形成资源共享做好资源池或资源索引池,其三要有长远眼光,预想未来应用,未雨绸缪,预留相关接口与空间。当然,最重要的是要做好应用协调,使之形成对最终用户的方便服务。
云计算技术主要有两种,一是大规模并行计算,该技术广泛应用于互联网公司,以大量低端计算机进行大规模并行云计算,以低成本高性能方式解决互联网每日流动的海量数据。如Google公司全球服务器数超过百万,每天处理的数据超过20PB,而物理上的存储与计算单元竟是廉价的PC服务器;二是虚拟IT资源池,把IT资源虚拟化,形成资源池,出租给最终用户。资源池的集中化和规模化业务提供方式,极大地提高了系统的综合利用率,具有极大的成本优势。如移动运营商广泛开展的虚拟运营商业务VFO,就是一种虚拟IT资源池业务,可以为从事手游等业务的租赁者提供方便、简单、低廉的移动通信接入服务。
作为移动运营商创收的主业,语音收益和流量资费正不断减少。而虚拟移动运营商VFO的出现,有可能使数据流量完全免费。可以预见,仅靠语音话费和流量资费来长期地保证运营商的营业利润是不现实的,也是不可能的。为了降低投资运营成本、开拓新型业务类型、寻找新的收入支点,运营商注定要在大数据和云计算领域有所作为。运营商要学会使用自己已有的网络基础和客户优势,对外,为客户定制云计算解决方案、创建更多符合本地化特征的云计算应用;对内,努力提升企业精细化运营成效,全面提升用户体验和品牌感知。使大数据和云计算这项新技术始终伴随着企业在新业务、新模式的创新轨道上健康发展。
移动运营商利用大数据开发的各种新业务的最终落实,都需要云计算的全面支持。如精确地为每个业务找到合适的营销人群,以最小的营销成本实现最大的用户转换,就需要系统在业务的发展、获取、设置、使用、购买、帮助、改变等环节去理解用户的行为与偏好,采用连续跟踪和分析,形成准确的用户肖像和动态分类标签;又如对使用环节如流量日志数据的分析可帮助区分不同兴趣的人群,对设置环节如HLR/HSS数据的分析可帮助区分不同活动范围的人群,对购买环节如CRM的分析可帮助区分不同购买力和信用度的人群,这些云计算中既涉及运营商本身的私有云,也涉及其他企业、政府等提供的公有云。
在移动运营商的网络运行维护系统中也可以用云计算提供帮助。由于4G的全面商用和智能手机的广泛普及,极大地推进了移动互联网的高速发展,也使得基于网络的信令数据迅猛增长,这就要求运营商加大力度来提高网络服务质量,保证广大客户的数据流量体验畅通无阻。网络运维重在预防,防范于未然,将故障的苗头极早消灭在萌芽状态。要做好这些,就要努力地提高网络维护中的实时监测,做好预测网络流量峰值,预警异常流量的工作,防止网络堵塞和宕机。面对全省几十万个基站、几十万公里的传输线、上百个交换中心,只有支持智能分析功能和大数据系统的云计算才能及时指出运行中网络系统存在的瑕疵。
省公司数据中心的数据库,多采用小型机和阵列等硬件设备。目前,国内小型机和阵列等硬软件都是几家跨国垄断公司的专有产品,价格昂贵,没有兼容性,采购周期长。如SUN公司小型机,不管是CPU、内存、硬盘等硬件,还是操作系统、数据库系统等软件,都是SUN公司的专有产品。特别是CPU和内存,因其不同批次的超大集成技术可能不同,更换同类产品时必须是同一批次,否则很难正常工作。因此,数据中心每次升级扩容,都必须提前几个月做好规划,因为专用部件量产少,同批次量产更少。数据中心硬件升级扩容的长时性,很难适应灵活多变市场的瞬时性,维护优化成本居高不下,升级扩容还会影响数据中心的正常工作。
云计算是解决当前省数据中心硬件升级扩容问题的重要技术。集团公司直接管理着30多家省数据中心,若将这30多家省数据中心的计算与存储资源,形成一个以集团公司为单位的私有云,使30多家省数据中心的资源共享,各省数据中心硬件升级扩容时,既不会影响数据中心的正常工作,还会加快升级扩容的速度,降低硬件成本,安全性也能得到保障。若采用互联网上的公有云,省数据中心只需要向互联网上的专用云公司申请,除了提交所需的容量大小、响应速度和安全级别等基本信息,其他的概可不管,这种公有云的业务租赁,没有软硬件维护成本,没有采购周期,可随时更改业务内容,也能得到云提供商的安全质量保证。
移动运营商的大数据与云计算应用,在语音通信和数据流量的资费还是企业的主要收入来源的当今,应该立足移动通信语音与数据这个主业,在大数据与云计算还未形成真正的产业链,成为企业利润的重要支柱前,大胆地在企业内部有条件的方面开展大数据与云计算应用的尝试,这些尝试首先采用与现有技术相结合的方式。如对用户传统的漫游信息新建一个专用半结构化数据库,再与铁路、公路、航空和气象等公司的数据库联网,利用运营商企业私有云进行计算分析,为每个旅行在外的用户及时免费地送去需要出行的相关信息。
移动运营商还可以建立一些仅为自己所用的尝试性大数据与云计算应用,前提是,这些尝试的方向直指当今的热门大数据与云计算应用,或者是当前研究很有潜力的大数据与云计算应用,至少这些尝试的方向应能为企业今后在大数据与云计算发展方面提供经验或打下基础。如建立容量适当、隐私安全较高的周期性循环删除与存储的用户通话语音数据库,建立专门分析、研究用户通话语音的从中挖掘为运营商有用内容的云计算平台,为需求用户提供新颖实用的免费信息,如根据用户通话内容发送用户就医信息等。
目前,城市私家车和其他车辆的发展势头十分迅猛,行车安全与道路畅通,已成为政府和广大市民迫切关注的日常问题,这实际上就已为移动运营商提供了新的商机。移动运营商可以与当前比较完善的智能交通管理系统联网合作,借用交通视频实时数据,建立一个专用交通视频分析平台的私有云,通过智能视频分析技术,再借助行车北斗系统或终端GPS系统,实时地为行车用户提供交通顺畅的预测信息。这既可以为本市区智慧城市建立做出贡献,也可有助于总结出为机动车移动用户提供特定服务的新型产业链建设经验。
移动运营商可以结合大数据和云计算开发一些与民生相关的产品投放给用户,可以将其作为企业感谢大客户或重点客户的赠送产品无偿分发出去,如“滴滴快”需要数据中心操作,存在一定的人工与系统维护成本费,且是被动运作,移动运营商可以开发出类似功能的自动系统。将的士的行车北斗数据和空车记录仪数据通过司机手机的蓝牙接口进入移动运营商的大数据系统,运营商利用私有云就可开发出支持用户客户与的士司机交互功能的载客通讯软件,点击这个软件,与客户最近的空车的士就能知道客户的需求和位置。
移动运营商可与各产品商形成广告合作机制,将各产品商的信息库连接到移动运营商的数据中心,运营商通过大数据和云计算系统,动态地对所有用户的通信信息行为属性进行详细研究,分析客户行为惯性,追踪客户行为特点,甚至与客户建立良性互动,在客户愿意接受的前提下,及时准确地向客户发送所需的广告。如当客户在智能终端发出寻找钢琴信息的时候,钢琴广告征求的短信或彩信就会及时地出现在客户的终端中,为了更人性化,甚至还会附上与客户位置最近的拥有该类产品的销售商的具体地址。
运营商拥有富含用户行为特征的用户大数据的优势,要想把这些信息的作用发挥至极,把这些信息的价值充分体现,还应与广大企业、政府、医院、学校等单位的专用数据联系起来,然后再用云计算来挖掘这些组合起来的大数据的价值。挖掘中不要局限于项目的大小、赢利的多少,特别要考虑合作双赢和利益均沾这个当今商业竞争的规律。另外,越是贴近民生的项目,赢利空间越大,虽然利润率不高,但客户面大,薄利多销,其利润仍不可小觑。
任何一个企业要想获得长期可持续的发展,就必须有足够的对客户数据的掌控能力,全面了解客户数据,有效利用客户资源服务于市场,甚至创建出新的产业领域、增收项目。使用大数据分析、挖掘等工具,移动运营商完全能够整合来自市场、销售、服务等部门的数据,从各种不同的角度全面了解自己的客户,对客户形象进行精准刻画,寻找目标客户,制定有针对性的营销计划、产品组合或商业决策,提升客户价值。判断客户对企业产品和服务的感知,有针对性地进行改进和完善。通过情感分析、语义分析等技术,可以针对客户的喜好、情绪,进行个性化的业务推荐。
大数据与云计算是一对互相依存的新兴IT技术。数据的采集、存储和简单分析是大数据系统。对大数据的挖掘与应用,特别是科学地处理大数据,非云计算莫属。事实上,智能终端上的大量应用,微信、微博、手机支付等让越来越多的用户在不知不觉中贡献了越来越多的视频、音频、数据等大数据信息。如果采用云计算来处理这些平常、复杂、混乱、毫无头绪的大数据,移动运营商就会像淘宝一样变废为宝,从这些看似普通的信息碎片中淘出沉沉甸甸的真金白银,就是云计算显示出来的巨大魅力。
大数据服从统计规律,能准确、深刻地标识出人或事物的行为本质,是跨行业、综合性、动态、有意义的数据系统。将碎片化的信息整合起来,就能洞察消费者的行为轨迹和模式,也能为企业决策提供帮助。大数据系统在手机、电脑、信用卡、视频监控等信息中,都能找到用户留下的“数据脚印”。若用企业的私有云来深入整合、具体归类和全面挖掘这些分散的海量数据,就能从这些富含商业价值的众多信息中,发现消费者的兴趣取向和行为习惯,这就是普通用户大数据中蕴涵的极具价值的客户行为属性。
移动运营商必须清醒地认识到用户大数据和云计算的价值,清醒地认识到传统业务的利润资源终将涸绝,只有大胆地进取、勇敢地涉猎大数据和云计算这个新的技术领域,才是保证企业持久发展、经久不衰的唯一经营方略。任何一个新技术的出现,都需要一批勇敢者的努力尝试,衷心地希望移动运营商在大数据和云计算这个广阔的天地大有作为。
参考文献
[1]张长青.浅析4G运营商的大数据应用[J].电信网技术,2014.07: 35-39.
[2]谢华.大数据在移动通信中的应用探讨[J].科技创业家,2014.01(下): 125-126.
[3]张长青.云计算在移动地市分公司的应用分析[J].邮电设计技术,2015.01: 61-66.
[4]周颖,吕巍等.基于数据挖掘技术的移动通信行业客户细分[J].上海交通大学学报,2007(41): 1142-1145.
[5]钱宏蕊,刘玲.云计算技术在移动通信运营商的落地应用[J].电信工程技术与标准化. 2009.11:17-22.
[6]马冬梅.关于移动通信网络与大数据的探讨[J].电讯世界,2014.09:10-13.
Discuss of mobile operator's big data and cloud computing app
Zhang Changqing
Abstract:The traditional low additional value phone income is falling, the affecting of newly arisen high additional big data and cloud computing is going up. Where is mobile operator's exit? After discussing mobile operator's big data and cloud computing app, it is combine user's structure data with half structure data or non structure data, it is to the government and traffic and hospital and school and enterprise's data correlation, becoming to a full society's big data system, use cloud computing, more profit is created for mobile operator.
Key words:mobile operator; big data; cloud computing(
收稿日期:2015-12-18)