基于大数据平台的运营管理信息系统设计

赵恒 中国移动江苏有限公司网络部工程师

中创信测技术专栏

基于大数据平台的运营管理信息系统设计

赵恒 中国移动江苏有限公司网络部工程师

编者按：随着用户新业务需求的不断涌现，数据暴增，传统数据库技术已无法满足运营商对大数据的充分利用，运营商常年积累的大数据有待深入挖掘、分析。中国移动江苏有限公司网络部赵恒所撰《基于大数据平台的运营商管理信息系统设计》一文设计了基于大数据平台的运营管理信息系统，该系统具备数据处理、数据资产管理、数据质量和安全管控、数据应用服务提供等5大能力，较以前更趋完善。

针对某省运营管理系统存在的基础数据采集不足，数据分析不足，信息孤岛化严重，数据应用不足等问题。本文设计了基于大数据平台的某省运营商运管管理信息系统，对系统的设计总体及规划进行了解构，同时，对系统的实现特别是解决某省运营商管理信息系统存在的问题进行了分析，提供了设计解决方案。通过增加网络数据采集，加强基础数据分析，统一存储和管理的方法，可使某省运营商大数据运营管理系统趋于完善。

大数据；运营商；运营管理；管理信息系统

1 大数据运营管理信息系统设计总体

1.1 大数据运营管理信息系统设计目标

设计运营商大数据运营管理信息系统，推动大数据的价值转化。大数据运营管理信息系统要具有5大能力，数据处理能力、数据资产管理能力、数据质量和安全管控能力、数据应用服务提供能力。大数据处理能力中心针对多种格式、不同速度及数据量的源数据进行采集、分析处理，通过关联等复杂规则形成企业数据资产或具体的数据应用和服务；数据资产信息中心，规整集成各业务线的内外部数据加工处理成为有价值的数据资产，提供真实、完整的企业数据资产统一视图；大数据管控中心，明确各层级数据的管理配套组织、制度流程和管控措施，并提供数据管控的具体技术支撑，保障数据的质量和数据受控、合理、安全使用；数据应用服务中心，实现对数据的增值和价值发挥，提供面向精益化管理决策、精准营销以及合作伙伴的各种智能应用。

1.2 大数据运营管理信息系统设计思路

有别于传统BI和DW的架构设计思路，运营管理信息系统需要对公司核心数据资产进行整合、管理并提供对外服务，需要保证引入源数据的有效性、收益性以及对需求的前瞻性、可扩展性，这就需要从企业架构的角度考虑系统的设计（见图1）。

1.3 大数据运营管理信息系统原则

某省运营商运营管理信息系统具体设计原则如下：

（1）一体化原则

从架构和功能设计上支撑省市两级的横向集中化、纵向一体化，实现省市两级的数据有效共享和应用良性互动。

（2）先进性原则

企业数据中心在系统架构方面，应确保先进性和可扩展性，确保企业数据中心架构合理部署、适度超前，能够适应公司未来较长周期内发展需求，为源数据引入、应用建设提供一个稳定、可平滑演进的系统框架。

（3）智慧性原则

逐步转变传统经分以报表提供为主的数据应用和服务方式，以洞察力为导向，提高数据分析处理和应用的实效性、关联性，充分发挥数据使能的驱动作用，充分体现系统在感知、调度、触发等方面的智慧性原则。

（4）开放性原则

数据中心的服务对象覆盖面更广，包括公司内部的管理人员、一线人员和运营人员，公司外部的合作伙伴、集团客户和大众客户，还涵盖公司内外的各域、各行业信息系统和IT平台。中心可依据数据安全标准、服务内容和SLA水平设定不同的数据开放级别。

某省运营商运营管理信息系统实施原则为：总体规划、分步实施、迭代式演进。

企业数据中心的具体演进过程，应结合不同阶段的业务诉求、IT环境、数据中心成熟度等因素，制定数据中心服务能力体系建设、大数据企业数据中心服务能力体系建设、企业数据中心运营服务能力体系3个阶段的迭代式演进。

1.4 运营管理信息系统架构

大数据支撑方案总体目标框架，包括业务架构、数据架构、技术架构和应用架构（见图2）。

大数据支撑方案总体功能架构，包括数据源采集功能、外部系统接口功能、数据聚合功能、数据资产管理功能、数据应用功能、对内门户、管理门户、对外门户和系统管理功能、服务管理人员、业务人员、支撑人员和外部合作伙伴（见图3）。

大数据运营管理信息系统功能架构总体上可分为数据聚合层、数据资产层、数据应用层、访问门户及系统管理5大功能域。

总体功能架构描述：

图1 大数据运营管理信息系统设计思路

图2 大数据运营管理信息系统方案总体框架图

图3 大数据运营管理信息系统方案总体功能框架图

（1）聚合公司内外部各类源数据形成数据资产。

（2）分析数据资产，挖掘数据价值，封装成数据服务，支撑数据应用。

（3）面向公司内各业务系统及业务平台提供数据服务能力。

（4）面向业务人员提供数据分析与业务决策支持。

（5）面向合作伙伴、集团客户等外部用户提供智慧型数据价值产品，助力外部企业用户的智慧型运营。

（6）对全省集中、省市两级的一体化运营提供基础的功能架构支撑。

2 大数据运营管理信息系统要求

2.1 大数据运营管理信息系统应用分类

（1）识别传统业务

传统业务包括原来解决方案可处理、无性能瓶颈的业务，在原有解决方案中存在性能瓶颈的业务从传统方案中抽离出来。

（2）识别出传统业务和大数据业务相关系业务

从原有方案中抽离出的业务，用大数据方案处理，要考虑到是否和传统方案业务之间的关联关系，如果有关联关系，可以考虑，用大数据分析后的结果冗余存储，同步更新的方式实现数据共享。

（3）识别出新增的大数据业务和传统业务相关联的部分

通过这部分的识别，可以将这部分大数据进行分析处理后，结果存入传统解决方案，如分析结果仍然数据量很大，则大数据方案要提供可兼容的访问接口。

（4）新增的大数据业务与传统业务无关的部分

对于与传统业务无关的部分，直接用大数据方案处理，为应用提供良好的访问接口（见图4）。

图4 大数据运营管理信息系统应用项目分解图

2.2 大数据运营管理信息系统支撑能力体系要求

（1）大数据应用支撑

建设基于大数据的应用体系，并开发基于大数据的典型数据应用，实现数据价值有效输出。

（2）数据服务封装共享

将价值数据进行封装，形成数据服务，对上层应用及外部系统提供数据支撑。

（3）建立统一数据资产层数据库

建设企业级数据资产作为数据管理的枢纽，将有价值的源数据加工处理形成数据资产。

（4）Hadoop数据处理平台构建

建立基于Hadoop的大数据处理架构，重点处理非结构化/半结构化价值数据。

（5）实时流数据处理平台构建

实现流数据的实时处理，提供实时流数据处理及实时数据分析能力。

2.3 内外部数据源扩充引入

通过对包含Gn/Gi口信令（用户、上网时间、上网地点、上网速度、上网流量、上网终端、上网应用类型）、位置开关机信令、互联网内容、电子渠道等内部数据源以及集团/区域经济/竞争对手等外部数据源的大数据引入，增加价值数据来源。

3 大数据运营管理信息系统规划

3.1 大数据能力建设演进路线

（1）先导期

数据中心基础能力体系，其架构基于经分数据仓库，扩充数据视图，增加数据服务能力；从数据上看，公司支撑网络、管理信息系统部分源数据；在应用方面以传统报表，小部分数据服务为主。

（2）成熟期

大数据架构能力体系，其架构基于建设全新的大数据支撑系统架构，扩充流数据、非结构化数据的大数据处理能力，形成数据资产；数据以汇聚网络信令、互联网内容等大数据内容；支撑部分典型大数据应用。

（3）扩展期

大数据运营拓展与价值体现，保持架构稳定，根据应用需求扩充数据处理能力；拥有完整的公司内外部数据管理，完善的实时/海量/非结构化数据处理；在应用方面，全面支撑客户需求识别、客户感知体验、互动式营销、网络优化方向的大数据应用能力。

3.2 大数据底层能力建设

汇聚公司内外部跨系统数据，进行数据资产融合加工，并对客户进行标签化数据管理，通过建立数据开放共享平台，将企业数据中心的数据信息向公司各部门及专业系统全面开放，支撑各领域的数据分析应用开展（见图5）。

图5 大数据运营管理信息系统的底层功能建设

大数据底层需要建设8大能力：

（1）汇聚跨系统数据

基于企业数据中心数据处理平台，持续汇聚公司业务支撑系统、网络支撑系统、客服系统、业务平台、管理信息系统等跨系统数据，实现公司级的数据汇聚处理（见表1）。

（2）大数据技术应用

第一引入Hadoop、MPP、流数据处理等新型大数据处理技术，满足非结构化、海量数据处理能力。第二实施X86化设备改造，降低大数据处理成本。对海量非结构化、半结构化数据统一处理，实现结构化转换与低成本存储。高价值密度数据库采用MPP分布式数据库技术，提高数据处理效率。对低价值密度的实时流数据实行不落地处理，过滤无效数据，用于实时数据触发响应，并提取出高价值密度汇总信息入库存储。提高数据交互访问效率，将访问频繁数据字段采用列式存储。

某省运营商在大数据应用方面，完成大数据融合处理技术架构实施方案设计，并完成跨部门评审；利用开源Hadoop软件，完成2项互联网爬虫内容处理等新型大数据处理技术应用开发上线，积累开发维护经验；完成MPP数据处理应用，用于海量WAP日志分布式处理。完成数据库一体机应用，提高数据处理效率。

（3）数据资产融合加工

将公司各系统数据跨域整合，提取潜在的价值信息，并按用途归类提供对外使用，构建以“分级保存，充分共享，灵活使用”为特征的数据资产管理，发挥数据的价值（见表2）。

表1 大数据运营管理信息系统数据源数据内容和流量汇总表

（4）客户综合行为解析

围绕用户行为，还原用户真实业务场景，刻画用户个性化全景视图，建立基于各类业务平台客户综合行为解析。在用户通信行为解析上，通过交往圈、V网通话、彩铃订购、时段偏好、位置轨迹等特征解析。在用户互联网行为解析方面，完成用户访问互联网内容分类偏好、手机应用偏好标签（25类互联网行为标签）。对商城用户行为解析，以完成电商基地用户商城/商盟消费行为特征分析。对业务平台用户偏好分析，通过省内渠道、商城积分兑换物品排名及偏好分析。对客服平台接触行为解析方面，通过客户投诉热点分析（见图6）。

表2 大数据运营管理信息系统数据资产分类汇总表

（5）客户标签管理平台

进一步细化用户行为特征维度，分析客户偏好，支撑公司各类精确营销应用制定客户标签分层管理办法，达成客户标签管理规范性。上线客户标签管理平台，作为全省统一的客户标签展现共享平台，包括标签整体能力展现、部门及地市标签运营展现、标签使用排行等功能。完成一阶段179类客户标签上线，涵盖三级目录十一类方向。完成客户标签自助分析应用，通过简单拖拽实现标签与客户属性的组合过滤分析，经测试，营销客户获取效率由以往平均3天提升至1小时。打通与各渠道接口，由市场经营部、信息技术中心牵头将客户标签库向全省培训推广，实现标签的分层管理应用和开放共享。持续丰富客户标签体量，年底完成800类客户标签建设。

（6）系统自动化营销管理

建设精确营销系统，支撑省、市进行营销目标客户筛选、营销活动策划、营销执行、效果评估等流程和数据。全省精确营销系统月均承载营销活动1055个，营销和关怀客户8776万人次。拓展事件触发的实时营销能力，实现实时数据流的采集、预处理、分析，及时捕捉营销用户、时机和渠道。通过建设精确营销快点吧平台，实现全省各渠道精确营销的统一评估和闭环管理。支撑精确营销成本量化，实现省市各渠道、各活动的营销成本和收益分析，促进营销模型的不断优化（见图7）。

（7）数据开放共享服务

图6 用户行为分析数据处理原理示意图

建设数据共享平台，发布数据资产信息目录，提供标准的数据共享服务能力；向公司各部门及专业系统平台开放数据共享服务，提供所需的数据资产信息，满足各业务领域的专业化分析挖掘应用需求；建立企业数据中心数据共享平台，完成数据封装、服务监控等功能开发上线；已向CRM、BOSS生产系统、集团公司一级经营分析、地市数据集市等平台提供数据接口895个，向客服系统、网络部四网协同分析平台、VGOP、ESOP、终端管理系统、精确营销、互联网运营中心、冲浪平台等11个部门或平台提供10大类75个数据服务；已建立企业数据中心数据服务需求单等OA流程，实现数据共享需求闭环管理；根据公司信息安全管理规范，实现敏感数据分级控制；扩充数据服务封装服务器集群，增加平台服务能力；增加实时数据服务提供能力。

图7 统一营销管理业务流程图

（8）智能多渠道协同营销应用

通过多渠道营销资源数据的专业化分析挖掘应用需求；支撑省、市进行营销目标客户筛选、营销渠道筛选、多渠道协同方案制订、营销执行、效果评估等流程和数据。

3.3 大数据应用能力建设

图8 大数据运营管理信息系统应用层能力分类图

充分运用底层数据规划、收集、整理、提炼、关联等形成有效数据资产，融合到管理、营销、服务过程中。支撑公司运营管理、支撑重点专项、细分市场、集中运营、专业运营，支撑公司整体服务水平的提高（见图8）。