网优大数据共享架构设计及应用实践

许汝鹏，崔晶也，关则洛，宁静，茹刚，聂磊，陈致樑

（中国移动通信集团广东有限公司广州分公司，广东 广州 510100）

网优大数据共享架构设计及应用实践

许汝鹏，崔晶也，关则洛，宁静，茹刚，聂磊，陈致樑

（中国移动通信集团广东有限公司广州分公司，广东 广州 510100）

无线网络优化工作中需要使用多种网络数据，但是现有数据存在存储分散、利用率低和使用不方便等问题，已经无法满足未来大数据网络优化的需要。 借鉴了互联网领域普遍采用的大数据技术，提出了网络优化大数据的共享平台架构设计，整合分散的网络数据，制定统一的数据共享接口，提高数据利用的效率，并通过电脑、手机等前端软件进行互操作，为大数据网络优化提供便利，从而提高了网络优化的工作效率和质量。

无线优化；大数据；架构设计

1 引言

随 着 TD-LTE 网 络 的 商 用 ，各 运 营 商 需 要 同 时 运 营2G／3G／4G 3 张 移 动 通 信 网 络 ，同 时 各 制 式 网 络 之 间 互 操 作频繁，其协调优化越来越复杂。如何有效地利用现有网络数据提升优化工作效率，节省优化费用成为运营商需要面对的问题。

现有网络存在多种网络优化数据，无论是数据量、数据类型，还是数据分析方法，都可以借鉴互联网领域的大数据方式，通过对大数据进行分析、预测，使得网络优化更为精准、高效，释放出更多数据的隐藏价值。本文提出的网络优化大数据的共享平台架构设计可分为3层，包括数据接入层、数据共享层、数据应用层。通过单点登录，集中呈现各个孤立的系统数据，同时对网络数据进行梳理、智能分析，直接向优化人员推送分析结果，帮助优化人员快速定位解决问题。

同时，本文结合实际实践应用，通过网络优化大数据的共享平台结合移动办公，进一步提高网络优化的效率，拓展了网络优化的时间和空间，摸索了一条在移动互联技术背景下，如何对网络优化生产进行“转型”和“升级”的道路，也填补了移动互联优化这一领域的空白。

目前在网络优化大数据方面的研究主要有：参考文献［1］提出了基于数据仓库技术的集中化网络优化平台改造方案，并探讨了网络优化工作平台在网络优化数据集中化面临的技术性挑战，给出了基于数据仓库技术的平台建设方案；参考文献［2］提出了基于大数据分析的数据层、信息层、分析层和应用层 4 层构成的网络 优 化 体系；指 出 了 该体系的网络质量评估体系构建、数据质量管理、数据整合与分析 、IT 支撑系统建设 4 项关键技术。

2 网络优化大数据的共享平台架构设计

网络优化工作需要使用大量数据，以某地市为例，现有投诉、性能、故障、测试、设备、资产、物业、小区等各类系统近 20 个，需要管理 基础 小区数 据 10 万条 ，性能 告警数 据每小 时 20 万 条 ，投 诉 数 据 每 小 时 5 000 条 ，网 络 每 小 时 产 生的数据量超过 1 TB，网络优化涉及的数据量非常庞大。

针对现有网络优化生产支撑系统基础数据进行全面梳理，优化各系统的数据结构，并制定各系统间总线接口标准化规范，实现系统间数据的开放和共享，消除信息“孤岛”，同时提供终端软件功能的服务端支撑平台，要求服务端支撑平台具备松耦合、可扩展的特性，支撑上层应用，挖掘大数据的最大应用价值。

2.1 整体架构

本 系 统 分 为 3 层 ，包括 数 据 接 入 层 、数 据 共 享 层和 数据应用层，如图 1所示。

数据接入层：数据接入层是网络优化大数据共享平台的基础，包括数据采集接口、接入系统、接入数据类型、接口标准。

数据共享层：数据共享层主要包括数据仓库和数据总线两个部分，其中，数据仓库负责各种数据的适配、清洗以及永久化存储；数据总线规定了统一的数据规范和对外数据共享接口规范，提供数据和流程的共享和实时更新。

数据应用层：数据应用层主要提供网络优化大数据共享平台的上层应用，实现大数据的最大价值。包括应用仓库的基础支撑模块和具体应用的集合，具体有系统公告、电子地图、站点资源、性能指标、参数相关、故障告警、故障看板、OMC 查询、投诉处理和网络问题点等。

2.2 数据接入层

数据接入层通过外部接口采集数据，接入不同类型的数据信息，从而为上层数据共享层提供原始数据。

2.2.1 数据采集方式

系统外部接口涉及多种网管系统或者业务平台的接口，支持的接口类型见表 1。

图1 系统架构层次

表1 系统支持接口

2.2.2 接入数据类型

对接数据应包括所有无线网络优化相关的基础资源数据、无线参数、性能数据、故障告警数据、投诉数据、资产管理相关数据等，必须从不同的平台中接入这些数据。小区基础数据作为其他数据分析的基础，包含有基站的经 纬 度 信 息 ， 可 以 利 用 此 将 站 点 投 诉 映 射 到 GIS 地 图中。也可将其他性能数据、告警数据、投诉数据和小区资源数据关联，从而得到经纬度信息，然后也可以实现地图数据的呈现，所以说接入的数据是分析网络运行状况的基础。

2.3 数据共享层

数据共享层包括数据仓库和数据总线两个部分，其中，数据仓库提供及时、准确、唯一的数据；数据总线通过数据接口的标准化，实现数据及流程的信息共享，并根据总线协议进行实时数据更新。

2.3.1 数据仓库

数据仓库通过提供所有类型的数据支持和集合，对原有接入各种不同类型数据的分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理，消除了其他系统源数 据 中 的 不 一 致 性［3］，以 保 证 数 据 仓 库 内 的 信 息 是 关 于 整个网络优化信息的一致的全局信息。

（1）数据仓库建立方法

数据仓库中的数据是按照关键流程、关键数据信息的主题域进行组织，这是用户使用数据仓库进行网络优化决策 时 所 关 心 的 重 点 方 面［4］，其 中 关 联 了 多 个 操 作 型 信 息 系统，所以本文的数据仓库从流程和数据两个维度着手进行建立，如图 2所示。

数据仓库的建立方法重点通过汇总流程和数据维度发现的问题，形成当前网络优化综合数据体系及相关流程的改进建议，最终确保流程的顺畅和数据的唯一性、准确性。

图2 数据仓库建立方法

（2）流程纬度

清点网络优化在用的关键性流程，将流程的每个节点进行整理归纳，梳理流程节点中所有输入、输出的关键信息和信息标准模板，根据数据维度的数据分类结果进行流程穿越和流程优化，以避免流程接口缺失、流程交叉等问题。

以图 3所示的投诉流程设计为例，通过接入网络投诉系 统 、V600、EOMS 3 个 工 单 系 统 的 数 据 源 信 息 ，将 整 个 投诉流程从发起到闭环完整呈现。

网络优化现有的流程维度中包含投诉、性能、故障、基站建设、物业等 18 大 流程，其中涵盖了重要数据如小区基本信息、性能数据、告警信息、工单数据等大量信息数据。

图3 投诉流程设计

（3）数据纬度

数据方面，清点所有在用的网管系统数据，从中提取系统中所有的输入、输出数据信息并利用这些数据进行流程 穿 越 ，以 梳 理 出 信 息 “孤 岛 ”［5］、重 复 采 集 信 息 、数 据 来 源不一致等问题。如图 4 所示，投诉流程中的数据梳理，以投诉流程为例说明数据梳理过程。

图4 投诉流程中的数据梳理

图4主要呈现的是通过规划新站解决投诉问题的典型流程，流程中的每个重要节点都接入相关的数据，并且通过数据的关联可以穿越到对应的流程中。流程穿越中使用了大量数据信息，通过对这些数据的梳理和整合，可以确保流程中使用数据的唯一性、准确性。

2.3.2 数据总线

数据总线主要分为数据接口以及流程接口，通过数据总线实现数据和流程的开放及共享，并根据总线协议进行实时数据的更新。

（1）数据接口

数据的共享方式和数据接入方式类似，共同遵循统一的接口标准。建立统一的数据总线，支持实时、准实时及文件接口 传 送 ，接 口 协 议 进 行 标 准 化［6］，主 要 包 括 Web services接 口 、FTP 接口、消息队列接口以及实时 Socket接口。

系统平台接口搭建如图 5所示。该平台数据共享层通过 HTTP／SOAP／FTP／JDBC／DBview 等 多 种 途 径 接 入 了 不 同系统的资源和工单数据等，按照数据接口调用流程模式，可分为：实时数据分发、定时数据分发、同步数据查询、文件更新通知、准实时增量更新、数据更新通知、异步数据查询 以 及 大 数 据 量 查 询 。 数 据 库 经 过 JDBC 接 口 与 Java Servlet编 译 后 最 终 通 过 HTTP 与 UE 用 户 进 行 交 互 ，通 过代理服务器 TCP／IP 与 PC 端用户进行交互。

系 统 间 接 口 通 过 数 据 总 线 Web services 接 口 进 行 数 据传输，流程类接口交互示意如图 6所示。

图5 系统平台接口搭建

图6 流程类接口交互

图6 中 ，系 统内 定 义 通 过 流 程 类 的接 口 交 互 ，最 终 完成整个流程。在工单的派发流转过程中涉及触发派单、分析定位、效果评估、驳回确认、确认结果等多个信息交互的节点。这些流程节点需要通过不同的接口传递完成。

3 应用实践

网络优化大数据的共享平台搭建不仅仅解决信息“孤岛”，实现数据的共享问题，也支持丰富的上层应用，本文提出了基于大数据的共享平台结合移动办公实现网络优化的应用实践。

3.1 应用架构

网络优化大数据的共享应用，以网络可视化系统软件平台为例进行说明，其中，网络可视化系统软件平台分为终端侧和服务侧两部分，如图 7所示。

终端侧的应用容器提供网管应用运行的承载环境，支撑网管应用跨版本终端部署和安全接入，终端侧的网管应用是指现有的网管应用或者本项目新增的网管终端应用。

在服务端侧，应用管理中心提供应用的权限管理、应用发布和技术支持等服务功能， 实现对应用快速接入；应用处理模块对应用网关的数据进行预处理及统计，为应用提供数据源的预处理和准备；应用网关是网管终端和网管系统通信的桥梁，完成移动应用请求代理、企业应用接入适配、路由服务、缓存管理等功能，同时也为应用提供数据推送、数据同步和增值服务接口功能。平台基础管理提供用户管理、安全管理和日志管理等公共服务功能。

3.2 数据呈现

关于终端侧呈现的技术选型手机访问采用了原生App 和 HTML5，其中 ，原生 App 应 用 访问网络 可 视 化系统后 台［7］，适 用 于 GIS 地 图 类 应 用 、现 场 拍 照 上 传 、工 单 数 据处理、离线数据自动提交、部分复杂交互操作等应用场景；而 HTML5 访 问 网 络 采 用 终 端 嵌 入 Webviewer 的 方 式 呈现，适用于基本信息查询、网络优化知识库、结构化公告信息、软件使用帮助等应用场景等。

另外，网 络可视 化系 统也提 供了 PC 访 问 方 式 ，主 要呈现复杂的分析结果、系统监控展示以及报表导出等应用场景。

3.3 案例运用

以 终端 App 为例，现 场 优 化 人 员 可 通 过 手 机 App 上 的GIS 呈现全网小 区位置信 息，点击可查 看 相关详情 （如 图8所示），包括实时性能告警等信息，对比以前的处理故障投诉方式，不需要与后台人员多次反复沟通，等待后台人员登录多个不同系统反馈不同信息，一次性就能得到需要的数据，快速准确定位。网络问题定位的准确度提升 10 倍以上，每天可节省 403 人次的测试费用。

图7 系统应用架构

4 结束语

近几年来大数据的技术及应用发展迅速，如何合理地将大数据转换为有价值信息成为未来企业的必备技能。作为拥有丰富大数据资源的电信运营商，大数据浪潮既提供了巨大的机遇，也带来了巨大的挑战。

图8 手机终端侧呈现

本文介绍了当前无线网络优化存在的问题，主要是缺少一套以大数据为特征的网络优化共享体系，数据来源于多个分散系统，无法通过单点登录进行集中智能分析呈现，系统间缺乏关联、一致性差、数据离散缺乏共享、大数据处理慢，导致前后台优化人员排障效率低下，耗时长。本文针对以上问题提出了网络优化大数据的共享平台架构设计，并结合手机App 等无线工具进行数据利用，使得无线网络优化工作效率和质量大幅度提升，满足了未来大数据网络优化的需要。

本文的大数据共享平台架构设计技术借鉴了互联网大数据技术思想，但无需对原有系统进行替换或重新开发，只需要在现有关系型数据库基础上进行分层改造，用最小的成本和时间同样满足了对大数据的利用和开发的需求，也为其他行业的大数据的开发利用提供了新的思路。

［1］ 蔡厚恩.基于数据仓库技术的集中化网络优化平台改造方案［J］.电信技术，2014（4）：41-45. CAI H E.Centralized network optimization platform scheme based on data warehouse ［J］.Telecommunications Technology，2014（4）：41-45.

［2］ 商 冶，程 晓 军，李 德 屹，等. 移 动 互 联 网 时 代 基 于 大 数 据 分 析的 网 络 优 化 体 系 研 究［J］. 邮 电 设 计 技 术，2014（3）：58-62. SHANG Y，CHENG X J，LI D Y，et al.Research on network optimization framework based on big data analysis in mobile internet times ［J］.Designing Techniques of Posts and Telecommunications，2014（3）：58-62.

［3］ 陈 寿 峰. 基 于 云 的 网 络 优 化 系 统 架 构 ［J］. 电 信 技 术.2013（11）：40-42. CHEN S F.Network optimization system architecture based on cloud［J］.Telecommunications Technology，2013（11）：40-42.

［4］ ABAI N H Z，JAMAIAH H Y，DERAMAN A.User requirement analysis in data warehouse design ： a review ［J］.Procedia Technology，2013（11）：801-806.

［5］ 论 国 柱，江 鸿 章 ，李 刚. 数 据 采 集 中 数 据 完 整 性 的 保 障 方 法与 实 现［J］. 科 技 展 望，2015（11）. LUN G Z，JIANG H Z，LI G.Research and implementation of automatic data acquisition system based on network optimization platform［J］.Technology Outlook，2015（11）.

［6］ 杨 秀 敏 ， 刘 燕 ， 卿 晓 春 ， 等. 网 络 优 化 平 台 自 动 采 集 数 据 的保障方法研究与实现［J］. 移动通信，2012（10）：88-92. YANG X M ， LIU Y ， QING X C ， etal.Research and implementation of guaranteeing automatic data collection of network optimization platform ［J］.Mobile Communications，2012（10）：88-92.

［7］ 郭 宝 ，王 英. 网 络 优 化 平 台 支 持 分 角 色 自 动 呈 现 数 据 ［J］. 通 信世界，2011（7）：23-23. GUO B，WANG Y.Network optimization platform to support the role of automatic data presentation［J］.Communicaitons World Weekly，2011（7）：23-23.

Design and application of wireless network optimal data sharing architecture

XU Rupeng，CUI Jingye，GUAN Zeluo，NING Jing，RU Gang，NIE Lei，CHEN Zhiliang
Guangzhou Branch of China Mobile Group Guangdong Co.，Ltd.，Guangzhou 510100，China

During wireless network optimization，a variety of network data would be used.However，the presence of dispersed storage，low utilization rate and inconvenience in using and other issues of existing data are incapable of meeting the future needs of large data network optimization.Referring from the big data technology widely used in internet field，network optimization center，an architecture design of network optimization big data sharing platform was proposed，dispersed data was intergrated，and a unified data sharing port was formulated，which could utilize efficiency of data usage.Moreover，the sharing platform is able to support interoperability between software of computer and applications of telephone，which provides convenience for network optimization，consequently increase efficiency and quality of network optimization.

wireless optimization，big data，architecture design

TN915

：A

10.11959／j.issn.1000-0801.2016134

许汝鹏（1982-），男，中国移动通信集团广东公司有限公司广州分公司网络优化中心高级网络优化技术主管，主要研究方向为无线网络优化技术、系统开发和大数据处理。

崔晶也（1985-），女，中国移动通信集团广东公司有限公司广州分公司网络优化中心网络优化专员，主要研究方向为无线网络优化及监控。

关则洛（1988-），男，中国移动通信集团广东公司有限公司广州分公司网络优化中心初级网络优化支撑管理，主要研究方向为系统开发及架构设计。

宁静（1986-），女，中国移动通信集团广东公司有限公司广州分公司网络优化中心高级网络优化支撑管理，主要研究方向为大数据处理及数据存储。

茹刚（1972-），男，中国移动通信集团广东公司有限公司广州分公司网络优化中心网络分析室经理，主要研究方向为无线网络优化技术。

聂磊（1977-），男，中国移动通信集团广东公司有限公司广州分公司网络优化中心总经理，主要研究方向为无线网络优化技术。

陈致樑（1974-），男，中国移动通信集团广东公司有限公司广州分公司网络优化中心副总经理，主要研究方向为无线网络优化技术。

2016-01-11；

2016-04-12