大数据在移动网络智能化建设中的应用研究

中国联通研究院 北京 100032

引言

随着第三代(3G)和第四代(4G)移动通信技术的快速发展和网络更广范围的覆盖，以及智能终端设备能力的提升和价格的快速下降，移动互联网在中国和全球迅速发展。表现之一为大量的用户通过移动设备接入互联网。根据中国互联网信息中心(CNNIC)《第36次中国互联网络发展状况统计报告》提供的数据，截至2015年6月，中国手机网民达到5.94亿户，网民中使用手机上网的人群占比由2014年12月的85.8%提升至88.9%(如图1所示)。与此相比，通过台式电脑和笔记本电脑接入互联网的比例较2014年底分别下降了2.4和0.7个百分点，电脑端向手机端迁移的趋势明显[1]。

移动互联网迅速发展的表现之二为大量的互联网应用正快速向移动终端侧转移，互联网应用从面向PC到同时面向PC和移动终端用户转变，甚至出现了大量主要面向移动终端用户的应用。对CNNIC《中国互联网络发展状况统计报告》提供的数据进行研究不难发现，用户通过手机终端使用各类互联网应用的增长率远高于所有互联网用户使用应用的增长率[1]。

作为移动互联网业务的承载网络，对移动网络，上述表现直接体现在承载数据流量的迅速攀升。图2为2014年10月至2015年9月中国联通移动网络流量的统计情况(注：2014年10月，流经中国联通移动网络的总流量约为37.98PB，2015年9月约为60.01PB，月均增长5.15%。同期，2014年10月中国联通移动用户数为2.97747亿户，2015年8月下降989万户至2.87858亿户)。随着国家积极推进“互联网+”行动计划，移动通信网络作为国家新一代信息基础设施，在国家经济发展和产业转型中的地位变得日益重要，如何建设一个能够有效支撑“互联网+”产业发展的优质移动通信网络成为运营商面临的重要课题。

图1 中国手机网民规模及其占网民比例(资料来源：CNNIC)

图2 中国联通移动网络流量

1 移动网络建设面临的突出问题

当前运营商移动网络建设面临着以下主要问题：

1)移动网络资源整体过剩但局部不足，网络质量与移动互联网业务需要存在差距。网络规划设计与实际移动互联网用户和业务分布特征并不能准确契合，网络建设精准性和投资有效性亟需提高。

移动网络规划的核心是无线网络规划。无线网络规划需要设定覆盖区域、业务量(容量)和业务质量目标。如何确定指定覆盖区域的业务量？这涉及到覆盖区域内的用户数和每个用户所需要的业务量[2]。用户数是一个变化量，跟给定区域内的居住人口、工作人口和流动人口密切相关。而每用户所需要的业务量则决定于业务种类和使用的频繁程度。不同于以往相对静态的话务模型，移动互联网是业务创新最为活跃的领域，业务类型更加多样，变化更加频繁，业务受众更加个性化，影响用户使用习惯的因素众多，使用频度更加难以预测。对于业务质量，不同业务的要求也各不相同。面对这样一个复杂多变的业务环境，就需要我们对网络的业务情况有更加细分和精确化的了解，并以此为基础做最优化的资源配置，而不是仅依靠传统模型做相对静态的预测。

2)以往移动网络规划及优化建设更多是以网络自身的指标为核心，而非以用户体验为核心。例如，在覆盖指标上，主要考虑覆盖区域内的参考信号接收功率(RSRP)、接收信号强度指示(RSSI)、参考信号接收质量(RSRQ)、参考信号信噪比(RS-SINR)等指标，并设定相应的目标值；在业务质量指标上，在用户占用一定网络资源的条件下，设定无线接通率、掉线率、系统内切换成功率、可接入率、块差错率等目标值；在容量指标上考虑小区吞吐量、边缘速率等指标[3]。

问题是，这些指标只反映了用户接入无线网络的质量情况，并不能完全反映用户使用业务的真实感知。如图3所示，当一个用户在位置A使用业务时，他的业务访问路径是1，当用户在位置B时，他访问相同业务的路径是2。用户在位置A和位置B使用业务的感知是否有差异？是否满足用户的业务体验要求？如果我们将业务的CDN节点扩展到数据中心N，使用户在位置B访问业务通过路径3，是否会显著提升用户的体验？显然，单靠网络接入指标是不能反映用户使用业务的真实情况，因为端到端IP通路的质量并不包含在上述指标中。

图3 一个用户使用移动业务的典型场景

如果我们考察用户使用业务过程中位置发生移动的场景，例如用户从位置A移动到位置B，那么在其中又伴随着大量的小区和基站间切换。我们虽然掌握某个设备(基站、小区、MME/S-GW)下的无线网络质量情况，但并没有系统完整告诉我们某个用户使用业务的整个时间和空间内发生了什么，用户的业务感知如何。

3)难以精确掌握网络运行的整体情况，难以呈现网络运行情况的整体视图。目前运营商移动网络管理系统依然存在条块分割、管理手段分散的情况。条块分割表现为：针对无线接入网、核心网、传输网等，都有各自的专业网管系统；管理手段分散表现为：在对网元设备的管理上，不同厂商针对自身设备有各自的网管系统，虽然在省分公司和集团公司总部层面建设了综合网管系统，以期实现“集中管理、集中监控、集中维护”，但这样的“综合”系统也有几百套之多，而厂商网管系统则多达千套。在此情况下，不仅缺乏端到端的集中监控和集中故障管理能力，并且无法及时和准确掌握网络运行的整体情况。

要解决上述问题，就需要我们摆脱网络规划建设及网络管理的既有模式，实现变革。

2 移动网络中的数据

2.1 移动网络中的“过程”数据

显然，移动网络智能化建设离不开数据的支持。首先，我们需要分析移动网络中有哪些数据。

图4描述了运营商现有移动网络的架构示意[4]。以往，我们从移动网络中获取的数据通常有两个特点：1)来源于网元设备，如基站、无线网络控制器、电路域和分组域核心网设备等；2)网元生成的数据一般是结果数据，如用户计费话单数据(Calling Detailed Record，CDR)、网元性能统计数据、测量数据等，而这些数据对网络智能化建设远远不够。

图4 移动网络架构

以数据业务为例，网元生成的用户流量话单如：话单类型、用户的MSISDN、用户的IMSI、用户设备的IMEI、接入点名称(APN)、P-GW/GGSN IP地址、S-GW/SGSN IP地址、流量大小、记录开始时间、持续时长、计费标识、用户位置信息、无线接入类型(RAT Type)，等等。

这些信息在相关网元设备上按照一定的规则被记录。对数据业务而言，通常是用户的流量积累到一定门限(如5M)，或者累计到一定时长(例如30分钟)，生成一条话单。但是用户在发生这些流量时的业务体验如何，上述信息并不能告诉我们任何答案。例如，用户在发起业务请求时，初始上下文建立过程中的延时如何？无线接入承载(RAB)建立和变更过程中的时延如何？如果业务是网络发起的，网络寻呼用户终端花费了多少时长？用户使用业务期间的上网速率如何？IP层的丢包率如何？TCP的建立时延如何？等等。而这些恰恰是反映用户业务体验的重要指标。

更重要的，对于网络建设而言，我们更关心那些并没有成功发起的呼叫和业务请求。而这些在现有网元上仅有统计信息，而没有针对具体用户的记录信息。例如，一个用户访问数据业务失败，是因为用户所在地的网络质量问题，以至于无线资源链路无法建立？还是是因为MO(Mobile Originated，移动台发起)过程中RAB指派失败？亦或是MT(Mobile Terminated，移动台终止)过程中被叫终端未被寻呼到？等等。准确发现和掌握这些问题，并解决这些问题，是网络智能化建设的优先课题。

上述这些数据都是用户在接入网络和使用业务中的“过程”数据。在大数据时代，我们不仅需要知道事情的结果，而且更在意事情发生的过程，我们需要了解用户和网络发生的一切，并记录下来。

对应上面数据业务的例子，为了了解用户的网络及业务体验，我们可能需要如下过程数据：附着/去附着过程数据、业务请求过程数据、寻呼过程数据、承载资源建立/修改和释放过程数据、用户访问移动互联网业务应用的过程数据(访问的网址、速率、时延等)。

对于“过程”数据，我们需要回答如下几个问题。哪些数据需要被记录？如何获取并记录这些数据？如何存储和处理这些数据？

2.2 需要哪些过程数据

移动通信网络在服务用户的过程中产生两种过程数据，一种是用户面数据，一种是信令面数据。用户面数据包括用户的语音通话数据和上网流量数据。信令面数据是为了保证用户面数据通信而在用户终端设备与基站之间，以及网络网元设备之间发送的控制信号。

显然，用户面数据是用户通信的隐私数据，通信数据本身并不是我们需要的。对于用户面数据，我们只需要一个概要，即为了分析网络流量行为，我们仅需要知道用户何时、何地、使用什么终端、访问了哪些应用[5]，并且在访问应用的过程中，网络速率、延迟和抖动等指标如何。而信令面数据则完整描述了用户从接入网络，与网络保持连接到使用业务过程中发生的与网络交互的一切，这是我们更加需要的过程数据。在获取上述过程数据后，我们就可以更好地发现网络中存在的问题，实现网络建设和优化设计的智能化。

一个衍生的问题是，信令面数据涉及的接口众多，如图4所示。例如，在2G网络中就包含空中接口(空口)、Abis、A、Gb、D、Mc等接口；3G网络中包含空口、Iubis、Iu-CS、Iu-PS、Gn、Gr等接口；4G网络中包含空口、X2、S1-MME、S1-U、S11、S6a、SGs等接口。虽然我们希望采集“所有”的过程数据，但在现实环境中，因为实施难度等问题，我们需要根据应用的需求进行折中，例如采集部分接口。

这些过程数据存在于哪里呢？它们流经了将用户终端设备与移动通信网络连接起来的无线接入网，流经了移动通信网络各网元之间的接口。这些数据被相关网元处理，但除了少量的加工后的结果数据和统计数据，绝大部分过程数据都并没有被记录。那些结果数据和统计数据被计费系统和网管网优系统所采集。

2.3 如何获取和记录过程数据

要记录上述“过程”数据并不是一件简单的事情，表现为以下4点：1)流程众多。例如在4G网络中，无线网基本信令流程包括随机接入、寻呼、RRC连接建立、重配置、重建立、释放、测量等；端到端业务建立和释放流程包括附着、去附着、业务请求、专用承载建立、修改和释放流程等；移动性管理包括跟踪区更新、小区切换、小区重选等。而每一个流程中又根据用户和业务的不同状态包含众多子流程。2)每一个流程都涉及诸多网元和接口。例如一次附着，就涉及eNodeB、MME、HSS、S-GW、P-GW等网元以及Uu、S1-MME、S6a、S11、S1-U等多种接口。3)这些过程频繁发生，包括用户使用业务期间和未使用业务期间。例如用户终端在空闲状态下，就会发生包括小区重选、跟踪区更新等流程。4)用户一次业务使用是众多流程的组合。例如，用户发起一次分组域业务访问，就可能包含随机接入、RRC连接建立、RRC重配置、初始上下文建立、创建会话、专用承载建立等流程。

要获取上述过程数据，需要考虑以下问题。

1)依托现有网元设备获取过程数据难以做到。首先网元设备的核心功能是处理来自接口的服务请求，实现业务逻辑处理，并保存必要的与一个流程相关的会话信息，以便处理后续的应答和服务请求。记录日志虽然很重要，但这本是它的“附属”功能。如果需要将网元处理的所有输入和输出的过程数据都记录下来，显然会极大增加现有网元的工作负担，显著降低它的处理性能。其次，每个网元设备看到的只是一个局部过程。例如，对MME而言，它并不知道RRC建立过程中发生了什么，同样eNodeB也无从知晓S-GW和P-GW之间发生了什么。因此，要重现一个过程，就需要对多个网元之间的数据进行关联。显然，这也不是现有网元能够做到的。再次，这些过程数据规模巨大。以当前中国联通移动网络为例，这些过程数据每日将有380TB之多。

一个好的方法是，我们可以直接在网元间链路上进行采集，获取全部网元间流经的数据，并通过深度报文检测(Deep Packet Inspection，DPI)技术摘取信令面和用户面数据中包含的信息。通过一个集中的设备获取上述信息，并进行数据之间的关联转换，生成最终的记录话单。对于信令面数据记录，我们称之为SDR(Signal Detail Record)；对于用户面数据记录，我们称之为FDR(Flow Detail Record)。

但DPI不能解决所有问题。有些接口链路过于分散，例如Iubis等，通过DPI方式采集实际难以实施。因此，现实的方案也从网元采集必要的数据，例如在eNodeB上采集Uu口的跟踪信令数据。当然这种采集，根据范围的不同会增加网元的处理负担。

2)应该尽量选择链路收敛的地方进行数据采集。收敛点可以是网元和物理链路。对于用户面数据，合理的采集点是Gn接口和S1-U接口，因为这里链路最为收敛。对于核心网信令面数据，语音电路域信令数据可以选择Mc接口，相比Iu-CS和A接口，更为收敛，分组域数据可以选择Iu-PS、Gb、S1-MME、S11等。对于无线侧信令面数据采集，较为合理的采集点如上文所说，是BSC、RNC和eNodeB等网元设备。

3)信令数据关联是核心问题。关联表现为需要将同一个接口或者不同接口上传递的信令以“会话”的形式集结起来，并找出它们的时序关系。通常关联是围绕用户的会话进行。由于移动网络不同接口上协议类型的丰富性和多层级，这种关联很多时候会变得复杂。另外，不同接口对用户的标识有所不同，例如，在用户终端设备和无线接入网(Radio Access Network，RAN)之间，通常用RNTI(Radio Network Temporary Identity，无线网络临时标识)来标识用户，而在用户终端设备和核心网设备之间，通常用TMSI、P-TMSI、GUTI等标识用户，而在核心网网元之间则用IMSI、MSISDN等标识用户。因此，准确维护上述标识之间的关系，是数据关联所必须的。

2.4如何存储和处理过程数据

过程数据量非常巨大，根据采集范围、采集方式的不同，每日有数千亿至数万亿条记录之多，与此相对应，每日的数据量有数十TB至数百TB。处理和存储这些数据，显然是大数据系统的范畴。

图5描述了数据采集及预处理的过程。在需要采集的接口链路上进行分光和部署DPI探针，获取信令和流量信息，从OMC(Operation and Maintenance Center，操作维护中心)设备上获取性能管理、配置管理、信令跟踪数据。获取下来的数据通过抽取、转换和数据关联(ETL)，最终生成信令面数据记录SDR、用户面数据记录FDR和统计数据记录。上述过程在贴近网络的地点进行。生成后的这些数据被送往集中的数据中心。

图5 数据采集和预处理

图6 数据存储和数据处理

在数据中心，如图6所示，上述数据通过流式计算技术(如Storm、Spark Streaming等)被即时处理，以便生成实时类结果数据，应用于监控类、实时处理类应用。同时，上述数据也通常被持久化存储，如以文件方式存储于HDFS(Hadoop Distributed File System)之上，或者存储于HBase等分布式数据库中。对于持久化存储的数据，可以通过运行MapReduce或者其他计算任务的方式，进行数据的批量处理，生成结果数据。这些结果数据通常最终被存储于数据库之中，我们称之为“服务数据库”。服务数据库一般选择关系型数据库，如Oracle，MySQL等，以便应用通过SQL语句进行交互式查询或者进一步处理。对于某些特定应用场景，也可以对原始记录数据进行查询检索。

3 大数据在网络智能化建设中的应用

第2章描述了移动网络中的大数据，以及采集、存储和处理这些大数据的过程。图7是一个实际系统的例子。在该系统中，从网络中采集获取了电路域呼叫控制信令数据、分组域会话管理类信令数据、无线接入网切换和承载管理类信令数据及测量报告数据、移动网络移动性管理信令数据、基于基站小区的话务统计数据、用户面基于流量类型的业务质量及用户行为数据等。以此为基础，依托大数据技术，构建集中化的数据处理分析系统。

图7 移动网络智能化建设系统

基于该系统，可以实现如下三大目标。

1)网络可视化。网络可视化表现为构建统一的网络视图，以便对网络的服务质量有更加清晰化、数据化的洞察。用户可以从多个维度，多个视角(全局和局部)观察网络。主要内容包括以下3点。

①网络质量分析。实现对网络整体质量的评估与分析，包括资源优化分析、地理化信息分析、移动性分析与优化、无线与核心网联合分析与优化、无线网络覆盖评估、无线网络干扰评估、上下不均衡小区评估、核心网EPC接入质量分析、保持质量分析、核心网3G/4G互操作分析、核心网CSFB(Circuit Switched Fallback，电路域回落)分析等。

②业务质量分析。对影响用户业务体验感知的关键指标进行评估与分析，包括TCP连接建立分析、用户面DNS解析分析、页面浏览指标分析、流媒体业务指标分析、Email业务指标分析、下载类业务指标分析、即时通信类业务指标分析、业务占比分析等。

③网络质量监控。实现对网络质量的实时和非实时监控，包括无线网络质量监控、核心网质量监控等。指标包括接入性能，保持性能、运行性能等，维度包括成功率、时延、速率指标等。

2)网络规划优化。网络可视化的一个重要目的就是发现网络覆盖和服务中的问题，从而提升网络规划优化的科学性。网络规划优化的核心是无线接入网络，包括以下4点。

①网络简单扩容。结合无线资源利用率、用户数、用户体验速率等，根据简单扩容模型预测并计算各个小区扩容的系数，通过对扩容系数进行多个维度的排名，综合推荐各个区域需要扩容的小区。

②网络精准扩容。根据信令面和用户面数据记录，以及用户测量数据，计算精确的覆盖地图、用户地图和业务地图，从多维度对区域进行栅格级评估，计算需要进行扩容的基站小区，并对新建站的站址选择提出建议。

③网络优化。根据网络质量和业务质量分析以及监控结果，对包括无线接入网、核心网、IP承载网、公众宽带网以及内容分发网络(CDN)等进行端到端优化，使网络性能达到最佳平衡。

④建设后评估。可以根据新建或者扩容小区基站的运行状况、业务量统计、网络服务质量、区域用户体验指标提升等多维度精确实现网络规划建设的后评估。

3)智能业务经营。随着用户业务从语音业务为中心转向以流量业务为中心，如何实现智能化的流量业务经营就成为运营商关注的重点课题。信令面和用户面数据记录的采集和分析处理，可以让我们更加精准地对用户轨迹、业务偏好、时间偏好、位置偏好进行分析预测，并精准刻画用户画像。此外，还可以从终端、价值区域等维度进行分析挖掘。分析的结果除了进行智能业务经营，还可以作为网络规划优化的输入，以及用于更加广泛的公益类及行业类大数据应用。

4 结束语

我们正在进入一个移动互联的时代。移动通信网络作为移动互联网的基础接入和承载网络，作为国家新一代信息基础设施的重要组成部分，在国家经济发展和产业转型升级中变得日益重要。

移动网络建设必须摆脱以往粗放的建设模式，更多地转向“以用户体验为中心”，实现网络建设的智能化。“智能”来自“模型”，更来自“数据”。移动网络蕴含着丰富的数据资源，这些数据资源不仅包括以往以网管和计费为中心的结果数据，更包括用户接入网络和使用业务过程中的“过程”数据。过程数据的获取和分析挖掘在网络智能化建设中的作用更加重要。

过程数据是大数据，并且是超大规模数据。通过对这些超大规模数据进行处理和分析，我们可以实现网络从全局到局部的可视化，可以实现更加精准的面向用户和面向业务的网络规划和优化建设。更多地，上述数据是一个蕴含黄金的宝库。利用它，不仅可以服务于运营商的生产经营，还可以构建开放生态环境的方式，服务从政府到行业的各种应用[6]，以实现科学评估、科学预测和更加个性化的服务。

参考文献

[1]中国互联网络信息中心(C N N I C).第3 6次中国互联网络发展状况统计报告[R/OL].[2016-01-10].http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201507/20150722_52624.htm

[2]张传福,吴伟陵.第三代移动通信系统的网络规划[J].电子技术应用,2000,(6):4-6

[3]杨春兰. LTE FDD无线网络规划研究[D].南京邮电大学,2014

[4]The 3rd Generation Partnership Project (3GPP). 3GPP TS 23.002 V13.2.0: Technical Specification Group Services and System Aspects; Network architecture(Release 13) [S/OL].[2016-01-10].http://www.3gpp.org/DynaReport/23002.htm

[5]王志军,黄文良.大数据在移动用户上网记录查询中的应用研究[J].信息通信技术,2013,7(6):29-34

[6]王志军,黄文良.面向移动互联网的业务创新生态环境研究[J].电信科学,2012(3):1-8