运营商拥抱Big Data Power助力平台构建

本刊记者 | 李璐

近年，在移动互联网日益蓬勃的背景下，国内电信运营商传统的语音、短信业务日渐萎缩，ARPU值下降，量收剪刀差突出等已成既定事实。逐渐“被管道化”的运营商，如何在新时代突围？

在新环境下，部分运营商开始着手利用Big Data技术，补充现有IT系统，提升客户体验，同时实现精细化流量经营，利用数据创收。目前，电信行业重点的大数据应用主要包括清单查询、客户行为分析、日志分析、流量分析等。

清单查询系统：开源Hadoop难胜任

当前运营商现有清单查询系统大多采用传统架构，支持5+1个月或者11+1个月的详单查询，可以查询到N天后的最新话单。然而传统架构却存在一系列问题。在容量方面，数据增长过快（n×100亿条，n×TB数据），应用紧耦合，不能平滑的横向扩展，导致查询响应时间长，查询成功率保障不足，系统部署过于集中，主机资源竞争严重。同时传统模式建设与扩展成本高，除此之外，在安全、可靠、管理方面，传统架构系统高可用保障能力不足。

为了解决上述问题，运营商迫切希望应用Big Data技术。开源Hadoop技术的高扩展性，接近100%的性能线性扩展比正越来越受到业界青睐。然而对于运营商，其除了数据密集型的M-R型，还需支持更多的计算场景；需要多负载支持，一个集群上支持多种不同类型应用；需要智能的作业调度能力，支持抢占、独占、共享等各种调度策略，保证服务等级SLA；需要数据生命周期管理，包括备份、快照；需支持短任务，低延迟（任务延迟<1毫秒 ）等，而这些能力是开源Hadoop方案难以支撑的。

据了解，福建电信基于3台IBM PowerLinux服务器7R1，采用IBM的Symphony + GPFS-FPO+HBase的企业级大数据解决方案，以满足清单查询的业务需求。在其清单加载场景中，加载了一个月的清单数据，约29.9亿条，共700GB，而该系统以每秒72.7Mbit/s，30万条数据记录的结果展现了优势。

用户行为分析：挖掘数据资产

海量且稳定的客户群体，可持续的数据源，用户每一条上网话单中包含的重要信息，正是电信运营商在大数据时代的重要资产。而借用大数据技术，运营商可以通过判定用户的使用习惯实现精准的定向营销、制定符合用户习惯的资费政策，通过预判用户的兴趣爱好提供有针对性的网络便利性服务，比如精准广告、应用推送。

据悉，在北京信合运通科技有限公司与北京电信联合打造的大数据和分析项目——互联网行为标签系统中，已建立独立的DPI流量即席查询功能，并可以开展针对性的内容与应用推荐营销。

该系统采用四层应用架构。在接口层，互联网行为标签系统抽取白名单用户号码，并从DPI采集用户移动互联网上网日志信息；数据库层，保存同步的用户移动互联网上网日志、保存并更新URL库、APP库、分类库，以及互联网行为标签结果数据；应用层，实现对用户移动互联网行为标签分析过程、智能机搜索匹配分析过程、专题分析的网址匹配分析过程，并将分析结果标识，同时应用层实现对地址库的定期更新；输出层，互联网行为标签系统将互联网行为标签、智能机搜索标签、专题分析的地址匹配标签统计并输出到ODS等应用系统。

在I T环境搭建方面，该系统基于I B M PowerLinux 7R1平台，同时利用商业化的GPFSFPO文件系统取代开源的HDFS文件系统，联合商业化的Map/Reduce软件Symphony共同作用，来支持混搭的基础架构，也为将来的平台的扩容及演进提供了很大的灵活性。目前该系统对数据的解析率可达89.46%。

Power构建企业级大数据和分析平台

随着大数据和分析在电信行业的深入，运营商对大数据和分析平台的企业级可靠性、稳定性、安全性要求会越来越高。同时面对着极为复杂的行业应用场景，不同类型和来源的数据需要统一地被利用，特别是新的大数据方案如何与传统的数据仓库无缝集成成为难点。IBM方面表示，现在企业客户需要企业级的、全面的大数据和分析解决方案，并且还要有深厚的行业经验支持，而在这些方面，IBM Power都为企业级大数据和分析应用基础架构平台提供了更好的选择。

针对要求迥异的应用场景，IBM Power家族已发展两条子产品线：天合大数据服务器（PowerLinux）凭借优秀的横向扩展性主要运行静态和实时大数据应用；而PowerAIX则倚重强大的企业级优势承载数据仓库整合和数据集市构建等工作负载。

Power静态大数据解决方案：Power支持Open Hadoop/ BigInsights/ Symphony等大数据解决方案，并能够与传统数据仓库系统无缝集成；天合大数据服务器（PowerLinux）/GPFS-FPO/Symphony相对x86方案拥有巨大的性能优势；

Power实时大数据处理解决方案：Power支持IBM Infosphere Streams和开源的Storm构建流计算解决方案；天合大数据服务器（PowerLinux）/GPFS-FPO/Streams实现了业界最为强大的实时数据处理功能和性能；

Power数据仓库整合解决方案：长久以来，Power集中式架构是企业级用户构建数据库、数据仓库的首选，在各行业被广泛应用；DB2 PureScale实现对Power集中式架构的进一步增强；Power基于DB2 BCU构建起强大的Scale-Out架构数据仓库，以及基于Power低端服务器的创新解决方案；

Power数据集市构建解决方案：DB2 BLU内存列式数据库带来数据管理的革命性转折点，实现了数据查询的革命性进步；专门针对Power Systems进行优化，以充分发挥Power独有的特性，报告和分析快8-25倍，以及10倍的存储空间节省。

IBM系统与科技部大中华区Power Systems总经理侯淼表示：“IBM Power大数据和分析应用平台凭借业界领先的性能、企业级的可靠性/安全性、强大的扩展能力（Scale Up & Scale Out)，以及全面的行业应用场景覆盖和深厚的行业洞察积累，无疑是当前最佳大数据和分析平台的不二之选。目前，基于IBM Power平台的大数据实践已经深入到包括中国在内的全球市场的各个行业，包括电信、金融、医疗、零售、制造等众多客户已经在IBM Power大数据平台及大数据分析等技术的支持下获益。”