基于Hadoop和OGG技术的运营商装维数据传输方案

谢翠琴　吴　春

（1．安徽职业技术学院，安徽　合肥　230011；2．科大国创软件股份有限公司，安徽　合肥　230088）

基于Hadoop和OGG技术的运营商装维数据传输方案

谢翠琴1吴春2

（1．安徽职业技术学院，安徽合肥230011；2．科大国创软件股份有限公司，安徽合肥230088）

运营商OSS域装维数据传输为实现运营商全网装维服务分析奠定数据基础。文章提出了集团-省两级全量装维实例数据通道和集团-省两级元数据及配置数据通道的建立方案，并结合数据的传输提出了配套两级数据通道监测与管理的方案。以某运营商为实例，论证了该数据传输方案的可行性。应用表明通过建立OSS域装维数据传输通道，能实现装维数据的及时、可靠传输，为装维业务分析奠定数据基础。

OSS；装维服务；数据传输；运营商；Hadoop；OGG

1　引言

随着电信行业竞争格局的形成，市场竞争环境日趋激烈，各运营商都面临提升服务水平、提升业务运营效率、提高客户感知等多方面的压力和挑战[1]。服务成了运营商间博弈的重要筹码，服务工作也从过去“治病救人”的战术层面上升到“预防优先”创造客户价值的战略层面[2]。面对激烈的市场竞争，如何发挥装维服务的作用，提高客户忠诚度，持续发掘客户潜在价值，成为各运营商新的争夺焦点[3]。

装维服务数据作为运营商的重要业务数据之一，反映了运营商服务质量和服务效率。获取全国实例级数据，并从客户角度对装维服务端到端进行准实时管控和监测分析，可推进运营商装维服务能力和服务质量的提升。

装维服务数据分布在各地业务系统中，数据量庞大。如何实现海量数据的传输，成为装维服务分析需要解决的首要问题。本文拟从建立集团-省两级全量装维实例数据通道、元数据及配置数据通道和配套两级数据通道监测与管理三个方面，对运营商OSS域装维数据传输方案进行探讨。基于应用系统环境和数据传输业务需求，实例和配置数据通道分别采用了Hadoop技术和Oracle GoldenGate（OGG）技术。

2　集团-省两级全量装维实例数据通道建立方案

随着新技术和新业务的加快出现，运营商OSS系统要逐步摆脱孤立系统的束缚并消除专有应用。OSS不仅要提供综合性的报表，还应该具备基于业务级、用户级的端到端实时多位分析视图和分析能力[4]。

根据OSS业务分析需要，全量装维实例数据须在规定时间内完成从省内生产业务系统传输到集团，并共享给集团应用系统。全量装维实例数据包括开通、保障、预处理、激活、调度等业务单实例数据，还包括业务单携带的实体数据以及Authentication,Authorization,Accounting AAA平台上网记录数据及宽带测速数据。由于数据量庞大，为了保证数据传输，需要建立集团-省两级全量装维实例数据通道。

图1　集团-省两级全量装维实例数据互联通道

如图1所示，全量装维实例数据通道的数据由省生产系统将数据转化成统一的Key-Value模型，再经过两级数据总线互联通道将数据同步至集团数据总线。由集团数据总线完成数据的存储、校验、整合和索引，最终提供给集团应用系统。

为保证在指定时间内海量的装维实例数据可以同步至集团数据总线并及时存储及共享，数据传输方案的设计采用了用基于Hadoop框架的主从复制数据同步架构技术。

Hadoop平台基础架构主要包括两个最重要的部分：并行计算框架Map/Reduce和Hadoop分布式文件系统（HDFS: Hadoop Distributed File System）[5]。Hadoop分布式系统基于java开发，为应用程序提供一组稳定可靠的API接口，实现具有高可靠性和良好扩展性的分布式系统[6]。在Hadoop架构中，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储[7]。在装维实例数据传输方案中该技术的主要优点如下：

高效：可支撑大批量数据亚秒级的复制同步；

安全：可保证在网络波动、堵塞、中断或者省侧或集团侧数据总线出现短暂宕机的情况下，保证数据完整性；

稳定：可保证长时间运行状态下不出现性能裂化；

图2　主从复制数据同步架构

主从复制数据同步架构如图2所示。

(1)省内将开通、保障、激活、调度、预处理等业务系统的生产数据按照统一模型转换成Key-Value结构写入省数据总线；

(2)通过集团-省两级全量装维实例数据通道互联，将装维数据同步至集团装维前置库；

(3)集团侧通过对全国省级装维数据进行数据切分、校验、索引处理，直接存储至集团装维统一库。

3　集团-省两级元数据及配置数据通道建立方案

除了全量装维实例数据，还需要将装维相关的省私有元数据、流程配置数据、配置模型数据及人员组织数据同步至集团。对于企业信息管理系统来说，元数据是对系统领域相关概念、关系、规则的描述[8]。装维数据中的数据模型、数据编码就是重要的一类元数据。

为保证海量的元数据和配置数据可以及时地传递至集团，还需建立集团-省两级元数据及配置数据通道。

数据通道如图3所示。省侧先从集团的基库获取装维标准元数据，再将省内的私有元数据、流程配置数据、配置模型数据及人员组织数据通过集团-省两级元数据及配置数据互联通道上传至集团元数据库。经集团元数据库进行数据的校验、整合及存储，最后共享给集团应用系统。

图3　集团-省两级元数据及配置数据互联通道

为保证元数据及配置数据上传的高效、稳定，集团-省两级元数据及配置数据互联通道采用了OGG（Oracle Golden-Gate）技术。Oracle GoldenGate是一种非插入行的基于日志的结构化数据复制技术[9]。OGG满足数据处理量大、传输时间短、错误率低及系统资源占用少的要求[10]。元数据及配置数据传输方案中OGG技术的优点如下：

高效：可保证在分钟时间内实现数据的同步；

灵活：可对数据通道进行灵活配置，进行合理的权限控制、数据校验、数据在线操作等；

稳定：可保证长时间运行下架构性能不会裂化。

图4　OGG数据同步架构

OGG数据同步架构如图4所示。

(1)省侧通过访问集团侧装维基库获取最新的标准元数据；

(2)省侧通过标准元数据，上传省侧私有元数据、流程配置数据、配置模型数据及人员组织数据至集团侧装维元数据库；

(3)集团侧对数据进行数据校验、整合，最后共享给集团应用系统。

4　配套两级数据通道监测与管理方案

为了保证数据通道的可用性、及时性，需建立配套的通道监测及管理功能。配套两级数据通道的监测与管理方案，包括两级数据通道的监测和两级数据通道的配置管理两部分。

4.1两级数据通道监测

基于装维业务的特点，数据传输在凌晨时间段会存在周期时间内无数据同步的情况，为保障对装维数据传输通道的监控，本方案采用了心跳模式对装维数据传输通道进行全方位的监测。

图5　心跳模式架构图

心跳模式架构图如图5所示。

(1)省数据总线心跳写入

省数据总线新建一张数据表，用于周期写入心跳数据。时间周期可以根据实际业务需要进行配置。

(2)集团数据总线心跳监控

集团数据总线新建一张数据表，用于周期接收省内同步的心跳数据，并且针对上传的数据信息进行监控比对。

(3)监测指标计算

通道可用性指标：集团在监控周期内接收到的省内上传的心跳数据量。

通道及时性指标：集团接收到省内心跳数据所需的时间—省内上传心跳数据时间一般不超过1分钟。

(4)监测异常告警

当监测发现通道可用性异常或通道堵塞（同步存在高延时）可通过短信、邮件方式及时发出告警。告警信息发送给集团-省两侧相关业务干系人。

4.2两级数据通道配置管理

为保证装维两级数据同步通道的运营，设计了配置管理模块对省级数据总线进行统一的配置、管理、可视化展示和数据总线源端配置。以实现省数据总线的新增、修改、删除和网络拨测。

5　方案应用

本文提出的运营商OSS装维数据传输方案，在某电信运营商的生产环境中进行了实施和部署。经运行检测，效果良好。实现了该运营商集团-省的装维数据高效、可靠传输。

6　结语

装维服务作为运营商直接面向用户的服务，关系着运营商的服务能力。提高装维服务质量是提升公众客户感知的关键。加强全网装维数据分析，是提升运营商装维服务的关键。如何实现装维数据的及时、可靠传输，是实现全网装维数据分析的关键。文章提出的装维数据传输方案在国内某运营商的实施也为运营商提高装维服务质量奠定了数据基础。

[1]徐代道．运营商装维效率的问题剖析及能力提升[J]．通讯世界，2015(10)：4-5．

[2]林登山．浅谈如何提升宽带装维服务客户感知度[J]．信息通信，2015(11)：165-165．

[3]张洪波．装维服务：电信业客户服务与价值挖潜之关键[J]．通信世界，2015(14)：23-24．

[4]黄雨竹．发掘运维大数据，开拓运营新天地——“智变”中的OSS [J]．通信世界，2015(19)：20-20．

[5]陈丹，郭先会．Hadoop在电信大数据平台的研究与设计[J]．现代电信科技，2014(8)：12-16．

[6]潘毅，成静静．Hadoop在电信运营商经营分析系统中应用的研究[J]．数据通信，2014(6)：25-28．

[7]辛晃，易兴辉，陈震宇．基于Hadoop+MPP架构的电信运营商网络数据共享平台研究[J]．电信科学，2014，30(4)：135-145．

[8]王爽，马又良，褚卫艳．电信企业数据标准管理方案研究[J]．邮电设计技术，2015(3)：72-75．

[9]贾海军．一种基于OGG方式进行数据迁移的研究[J]．软件，2015(5)：140-145．

[10]杨维，王振宇，李志民，等．Oracle GoldenGate在大型客服中心系统中的应用[J]．电气应用，2015(7)：108-111．

Data Transmission Scheme for Operators Based on Hadoop and OGG

Xie Cuiqin1Wu Chun2
(1.Anhui Vocational and Technical College，Hefei 230011,Anhui; 2.USTC Sinovate Software Co,Ltd,Hefei 230088,Anhui)

It is the data transmission of the OSS(Operation Support System)domain of the operator,which lays the foundation for the full network operator service analysis.This paper puts forward the establishment scheme of the group-provincial total real installation and maintenance data channel and group-provincial level metadata and configuration data channel,and puts forward a project for matching two level data channel monitoring and management based on data transmission.For a certain operator,this paper proves the feasibility of the data transmission solution.The application shows that establishing the installation and maintenance data transmission channel can realize the timely and reliable transmission of the data,which lays the foundation for the data analysis of the installation and maintenance services.

OSS;installation and maintenance service;data transmission;operator;Hadoop;OGG

TP391

A

1008-6609(2016)06-0071-03

谢翠琴，女，安徽枞阳人，硕士，讲师，研究方向：通信技术职业教育。