基于大数据平台的网络优化支撑架构研究

汪保友，吴 琮，钱 晶/Wang Baoyou,Wu Cong,Qian Jing

（中国联合网络通信集团有限公司上海市分公司 上海 200050）

1 引言

LTE网络的运营，推动着移动互联网的高速发展。LTE网络高数据速率、低时延、广覆盖、分组传输等技术优势，大大促进了多媒体数据业务的开展和丰富的APP应用的推出。随之，数据业务成为影响用户感知的重点，因此需要一种更有效的无线网络性能测试方法，来评估网络质量和定位网络问题。同时，随着LTE用户群体的不断增长，运营商的网络容量正在不断增加，网络复杂度和网络设备的多样化，使得网络优化工作的难度也在不断加深。如何进行端对端的问题定位，如何经济有效地开展无线网络优化、提升用户使用感知，是摆在运营商面前急需解决的问题。网络优化需要创新，大数据技术的发展，为充分挖掘LTE海量信令数据，对多接口信令数据关联分析，提供了更经济、更有效的评估手段。

2 需求驱动

2.1 提升网络优化效率需求

网络优化是一项技术难度大、涉及范围广、人员素质要求较高的工作，话务统计分析法、信令分析法、数据库核查与参数分析法等，多依赖于技术人员的经验，自动化程度较低，定位解决问题的时效性差。传统的DT&CQT测试法，只是抽象地模拟用户行为数据，无法真实、全面地反映网络问题。例如，路测（Drive Test）主要测试用户吞吐量、误帧率FER、SCH速率分布、手机发射功率等；呼叫质量拨打测试（Call Quality Test），又称点测，是在固定的地点测试无线数据的网络性能，包括呼叫建立测试、休眠重激活测试、传输时延测试等。

LTE网络主要承载的是数据业务，完整的数据业务性能评估优化，与网络的各个环节都有着紧密的联系，涉及网络的各个节点，包括无线侧、核心网、业务侧、终端以及业务层，需要从面向设备的网络优化向面向业务的优化转变，通过用户终端、网络和业务提供端全程的跟踪和优化，实现真正的端到端优化。因此，需要一种更有效的网络性能测试方法，来评估网络质量和定位网络问题。

2.2 构建新型网络质量评估模型需求

LTE网络中，数据业务成为影响用户感知的重点。传统网络质量测评中，侧重对无线网络环境进行测评。但是，影响用户感知度的因素不仅在于无线侧和传输侧，不同的终端类型及移动数据业务的内容可用性也成为影响业务质量及用户感知度的重要因素。日常优化工作中常常出现这种情况：来自客户端的用户感知和网络端的KPI测评指标，两者反馈的结果有时差距较大，可能出现网络KPI性能指标较好，但用户感知度较差的情况。因此需要建立更全面、客观的网络质量评估指标体系，以实现网络侧的测评和客户端的用户感知结果相一致。

2.3 业务创新增值需求

“数据资产”是运营商即将开垦的掘金地。运营商为消费者提供网络服务，处在大数据产业链的传输与交换中心地位，具有相对全面、完整、真实的高价值密度信息。OSS域的网元接口信令数据、网管告警日志信息、地理位置信息等，不仅对网络优化起到重要作用，还可以沉淀保存下来，在不侵犯用户隐私的前提下，对数据进行深度加工，形成大数据能力输出和数据平台开放，服务于社会，是运营商实现“数据资产”运营和商业模式转型的业务创新需求。

3 解决方案与平台架构设计

基于以上的需求与挑战，需要构建“能力开放、灵活支撑、安全服务”的统一大数据支撑平台，有效支撑智能网优、智能交通等创新型应用，提升数据资源的价值转换能力。

3.1 构建统一的大数据支撑平台

运营商为消费者提供网络服务，拥有大量的网络信息，例如，网元接口信令数据、网管告警日志信息、DT&CQT测试数据、用户投诉信息等，还包含了大量用户消费行为数据，包括用户的话音通话行为、上网痕迹信息、短/彩信使用信息、SP/CP使用信息、用户实名信息、渠道偏好、终端喜好信息等以及挖掘衍生的用户价值、用户消费习惯、交际圈信息、生活行为、指纹、个人兴趣爱好等信息。这些数据打通了后台网络建设优化与前台业务发展之间的藩篱，可以依据业务使用情况进行网络规划、部署、优化和维护，同时依据不同网络特点进行业务的分流，以得到提升网络效率的目的。因此有必要整合OSS域、BSS域、MSS域等分散的企业数据资源，构建统一的大数据平台，实现统一的数据采集、存储、挖掘与分析处理能力，支持海量异构数据源的采集，解决数据量暴增所带来的存储与计算性能问题。

Hadoop对海量数据、非结构化数据的处理能力强，且易扩展，适于处理庞大的原始信令数据；传统RDB数据库 （Oracle、DB2等），用于存储用户标签库、用户361°全息数据、粗粒度汇总数据、报表数据、多维数据、指标库等结果数据，确保核心数据服务能力的稳定。因此宜扬长避短，采用基于Hadoop的分布式并行预处理、传统关系型数据库为主数据仓库的混搭模式，构建统一的大数据支撑平台，逻辑架构如图1所示。

由图1可知，大数据支撑平台逻辑架构主要包括4层结构，即数据获取层、数据存储层、数据应用层和数据服务层。采集的数据源包括网元信令、地理位置移动信息、网优测试类、网管告警类、资源类、事件工单类等网管信令数据以及业务支撑系统数据，包括 CRM、计费、账务管理、OCS、客服、VAC平台、cBSS等一系统的基础数据以及集团总部下发文件明细数据。通过数据校验、数据清洗、数据关联、数据汇总、数据聚合等一系列的加工流程、深度分析和信息挖掘，在数据存储层形成企业数据仓库和数据集市。数据应用层表现形式包括智能网优、智能运维、流量控制、智能网规、定位LBS、信令分析、智能交通、异动监控、KPI指标、精准营销、客户维系等生产支撑体系以及外部输出服务功能。在数据服务层，可通过个性化定制、信息推送、用户搜索、能

力开放等方式，实现对内对外服务。在整个数据加工处理、流转服务过程中，数据质量、数据标准、元数据、生命周期等数据管理措施贯穿始终；通过安全制度、安全技术、安全运营、安全教育等运营机制确保数据安全。

3.2 基于Hadoop的数据预处理支撑架构

Hadoop是一种分布式处理的软件框架，适用于大集群海量离线数据分析，可扩展至1 000多个节点，处理PB级海量数据。

Hadoop 2.0生态圈如图2所示。其中，YARN（Yet Another Resource Negotiator）负责集群资源的统一管理和调度；HBase是运行于HDFS顶层的NoSQL，具备随即读写功能，是一种列存储数据库；而Hive支持HSQL，是一种类SQL编程接口，可以将SQL语句转换为MapReduce任务运行，它本身不存储数据；Mahout提供基于MR的算法库，实现一些机器学习领域经典算法，包括聚类、分类、推荐过滤、频繁子项挖掘等；Zookeeper是分布式协同调度工具；Oozie是工作流调度引擎。

网元接口信令数据量非常庞大，包括话音呼叫/接听事件、位置更新/切换事件、开机事件、各类数据业务接入事件等。省级运营商网络信令数据量级一般在N亿/天，其中，流量的增长导致信令数据激增，严重影响网络质量。有人统计过，微信业务消耗了某运营商44%的信令，但流量贡献只占6.6%。图3所示为LTE网络各网元接口信令示意，采集的原始信令主要包含软采 Uu、X2， 硬采 S1、S11、S6a、SGs等。

EPC（Evolved Packet Core）是 LTE 的核心网，其中，MME（Mobility Management Entity，移动性管理实体）和 S-GW（Serving Gateway，服务网关），处理用户面数据交互；P-GW（PDNGateway，PDN 网关）是 LTE与外部网络的接口网关；PCRF（Policy and Charging Rules Function，策略及计费规则功能单元）完成对用户数据报文的策略和计费控制；HSS（Home Subscriber Server， 用 户 归 属 服 务 ） 是 IMS（IP Multimedia Subsystem，IP多媒体子系统）中控制层的重要组成部分。

利用Hadoop对海量非结构化数据的数据处理能力和易扩展性，可对网管日志、网元信令、上网痕迹等进行预处理整合。图4是基于Hadoop的信令采集预处理网络示意。由于Hadoop的分布式并行计算和易扩展特性，且对硬件平台的要求相对较低（如x86平台集群，一般配置有IBM 3650 PC，双路六核，Intel X5650处理器，2.66 GHz主频，48 GB 内存，6×1 TB SATA硬盘），可灵活配置、按需、快速分配资源，有效控制成本。

3.3 立足于端到端的网络质量综合评估

LTE网络中，数据业务成为影响用户感知的重点，其中，网页浏览、流媒体、FTP下载和即时通信4类业务，是移动互联网最常使用的业务类型。从用户角度出发，良好的客户感知是上网和各类APP应用的流畅性以及上网过程中发生话音通话行为时网络切换的平滑性。

根据一般工程经验，数据业务中，影响客户感知的因素比重分布如图5所示，其中，无线侧占比36%，核心网侧占比21%，业务网侧占比8%，SP/CP侧占比35%。完整的数据业务性能评估优化，与网络的各个环节都有着紧密的联系，需涉及覆盖全部网络的各个节点（包括无线侧、核心网、业务侧、终端以及业务层），这就使得数据业务的业务流程比话音业务复杂许多。

因此，单个网元的KPI指标、单接口的信令数据分析能力，并不能完整地体现真实的用户体验。需进行多接口海量信令数据的关联，充分挖掘各接口数据的特性和关联性，立足于更全面、客观的端到端网络质量综合评估，以实现网络侧的测评和客户端的用户感知结果相一致。

首先介绍 KPI、KQI、QoS和QoE这几个概念，它们之间是层层递进的关系。

①KPI（Key Performance Indication）即关键业绩指标，通常是网络层面可监视、可测量的重要参数。

②KQI（Key Quality Indicators）即关键质量指标，是主要针对不同业务提出的贴近用户感受的业务质量参数，是业务层面的关键指标，也是不同业务或应用的质量参数。

③QoS（Quality of Service）即服务质量，是决定用户满意程度服务性能的综合效果。

④QoE（Quality of Experience）即用户体验，是终端用户对移动网络提供的业务性能的主观感受，QoE=网络QoS+内容+人的体验。

一般来说，评价LTE网络性能的关键质量指标可分为感知类指标、CSFB特性指标、呼叫接入性指标、呼叫保持性指标、移动性指标、完整性指标、容量指标等。图6所示为网络性能关键质量指标体系。其中，感知类指标、CSFB特性指标是LTE网络特有或用户更关注的指标，可相应地设定较高的权重。

QoE和KQI之间的关系可表示为

简记为

其中，权重系统可自行设定，默认为经验值；Δ为调节值，模拟用户的期望、心情以及运营商客服关爱、广告宣传等因素的影响。一般地，设定感知类指标占整体权重分配的35%，CSFB特性指标占整体权重分配的15%，呼叫接入性指标占整体权重分配的15%，呼叫保持性指标占整体权重分配的10%，移动性指标占整体权重分配的10%，完整性指标占整体权重分配的5%，容量指标占整体权重分配的10%。

通过对KQI指标的加权计算，可对LTE网络质量进行综合评估，得出符合客户感知的用户体验，也能准确突显焦点问题。经过站点分析调整，可明显提高相关业务指标，降低用户投诉，提升客户满意度。

4 大数据支撑平台的应用场景

网络优化关心的角度，包括覆盖、质量、容量和成本4个方面，大数据支撑平台，可对网络优化起到很好的系统支撑功能，主要体现在以下5点。

①通过统一的大数据支撑平台，端到端的信令采集，分析话单和信令中用户的流量在时间周期和位置特征方面的分布，监控网络状况，按密集城区、一般城区、郊区场景，对待优化扩容小区分级排序；进行全量信令的数据挖掘，建立全流程问题分析模型，可提供用户级、小区级、栅格级、网元级维度的网络质量数据指标，可全面评估网络质量和快速定位网络问题，实现流量控制和智能运维，指导网络优化，提高无线网络运行效率。

②将每个小区按照流量价值、业务质量、用户价值、下行流速、VIP用户感知等维度权值进行综合打分，形成小区QoE指标，对核心价值区域，需要加强深度覆盖，做好基站覆盖重点保障，避免高端客户流失。

③根据HTTP响应码分布，统计一段时间内同类用户体验问题，按照时间维度，分析定位SP服务器因素等的影响分布情况，排除非网络因素（SP服务器、用户终端等问题）的影响，避免不必要的优化投资。

④及时识别一些异常行为和现象，例如，长时间在线用户、异常大流量使用、频繁建立PDP行为、端口扫描事件以及告警风暴、手机病毒等，以便尽早屏蔽和消除影响，保障运营商的基础网络安全。

⑤通过端到端的网络质量综合评估，可全面客观地评价优化扩容效果，体现优化扩容工作对用户感知的贡献。

5 结束语

移动互联网时代，数据业务成为影响用户感知的重点，网络质量评测与网络优化需要创新。构建统一的大数据平台，可有效整合OSS域、BSS域、MSS域等分散的企业数据资源，打通后台网络建设优化与前台业务发展之间的藩篱，可全面评估网络质量、快速定位网络问题，实现流量控制和智能运维，更经济、更有效地指导网络优化，实现质量和效益双提升。目前建设的统一大数据支撑平台，已取得了初步的成效和商业价值。平台架构的设计方案与支撑架构、端到端的网络质量综合评估，对业界有一定的参考价值。从未来的发展看，大数据支撑平台所聚集的大数据资产，对网络规划、网络优化、网络运维管理等企业运营活动的作用将持续增强。此外，大数据支撑平台所提供的数据租赁、数据分析、数据分享服务等，将是运营商提供通信网络服务外的一大亮点。

[1]周俊,刘克清.基于LTE信令大数据的网络质量评估体系研究[J].互联网天地,2015,(3):33-40.

[2]陈森,陈超,张小勇等.基于大数据分析的移动互联网用户感知评价系统[J].电信科学,2015,31(4):2015057(1-8).

[3] “基于大数据的互联网化存量经营”项目组.运营商存量经营大数据平台及其关键技术研究[J].电信科学,2014,30(6):118-125.

[4] 甘雯,文锋,宫大鹏等.应对告警风暴告警的系统优化策略[J].电信科学,2015,31(5):2015132(1-8).

[5] 雷蕾,李景文,宫大鹏等.基于Hadoop的OSS域数据建模与采集方法研究[J].电信科学,2015,31(1):2015021(1-11).