基于统一数据抽取网关的网格系统数据仓库建设

刘冉冉 江苏省广电有线信息网络股份有限公司



基于统一数据抽取网关的网格系统数据仓库建设

刘冉冉 江苏省广电有线信息网络股份有限公司

【摘 要】网格系统数据仓库的原始数据来自于BOSS系统、经分系统、互动系统、终端管理系统等多个系统。各系统的数据结构和特性存在较大差异，因此建立统一的数据抽取机制尤为重要。本文介绍了基于统一数据抽取网关的网格系统数据仓库建设，包括其系统架构，外部接口设计以及非结构化的机顶盒日志处理、可视化的多任务运行监控等关键技术。

【关键词】统一数据抽取 非结构化 可视化 多任务

一、引言

2014年，江苏有线提出加快建设新型网格化服务营维体系的战略举措。新型网格化服务营维体系是将目标市场按照物理和类型等维度进行划分，以网格为单位开展以客户为导向的服务销售，从关注产品和关注客户两个维度进行考核指标设置，从而实现团队协同作战的管理模式，是企业在发展中进一步细分市场、实现精细化营销的一种有效方式。

通过建立底层服务平台，省经分系统对接所有BSS域数据，数据仓库对接GIS系统、终端管理系统、运维支撑系统、网络资源管理系统、呼叫中心系统、业务开通系统等其他外部系统数据，打通地址、客户、业务资源与网络资源等的关联，为上层各类功能应用的建设奠定基础。

二、系统架构

2.1系统组成

整合业务支撑（B域）、运营支撑（O域）、决策支撑（D域）的BOSS系统、GIS系统、综合网管系统、OSS系统、终端管理系统、互动平台、经分系统中各类数据，实现客户、业务和网络资源的关联，从而达到精确支撑服务和营销的目标，统一抽取框架如图1所示。

图1　统一抽取框架

2.2外部接口类型及层次设计

网格系统与外部系统的接口主要分为三类：

1） 实时接口：实时接口需要传输网格系统需要立即处理、实时展现的数据。

2） 文件接口：文件接口需要传输大批量、对于时效不太敏感的数据。例如机顶盒使用日志。

3） 主动抓取：由周边系统赋权给网格化营销系统，由网格化营销系统主动从周边系统的库表里抓取。

由于新型网格化服务营维支撑系统兼有OLAP联机分析处理（数据统计分析）和OLTP联机事务处理（网格划分的增删改查）的特征，因此该系统数据层设计与传统的数据仓库或者经营分析系统并不一样。该项目以网格化业务流程为导向，设计了接口层、明细数据层、网格联机事务层（详见表1网格联机事务层设计、表2网格明细数据层）、网格明细数据层以及网格主题应用层。通过明确定义各接口的“语义层”，自主研发ETL调度工具和ETL过程进行数据的清理和转换，汇聚至各数据层。

表1　网格联机事务层设计

由于客户有可能进行移机、更改地址等业务操作，这些操作会造成客户对应的网格发生变化，如果仅根据每个月底客户对应的网格进行各类数据统计，会使得对应网格的业绩统计不够准确。因此，该项目特别设计了网格明细数据层，对日增量类型的数据进行每日网格明细数据更新，确保了网格维度各类经营指标的准确性。

表2　网格明细数据层

三、关键技术

3.1非结构化的机顶盒日志处理

由于终端管理系统采用TR069协议与机顶盒通信，采用Inform命令完成数据的上报等工作，开机上报内容如表3所示。

表3　开机上报内容

典型的报文如下所示：

Response

这是典型的非结构化数据，以文件形式保存在数据库里。该文件抽取过来以后，必须首先进行解析和处理，然后转换成结构化数据，机顶盒开机数据如表4所示。

3.2可视化的多任务运行监控技术

由于每天系统会由众多调度任务通过接口从外部系统抽取大量数据，在数据抽取完成后又会经过一系列的计算，最后生成前台数据，这一过程中任一个环节出现故障，都可能会导致下一环节任务无法正确执行。因此，对系统多任务执行状态的有效监控是系统保障的一个重要方面。系统开发了一种新的基于用户体验的任务执行监控管理平台，通过可视化的系统性能指标和任务执行情况关键指标，对影响系统任务执行的问题进行主动预警。可视化监控流程见图2。

表4　机顶盒开机数据

四、结论

网格系统采用统一数据抽取网关之后不同系统不同数据结构的源数据从不同接口抽取进网格系统进行清洗、转换、统计，这大大提升了运营分析数据生成的效率。同时这种统一数据网关的可扩展性也很强，有新的系统的源数据接入时，只需新增对应的抽取接口且不会对原有系统产生影响。

可视化多任务运行监控在实际应用过程中能快速识别故障环节，变被动运维为主动运维，为应用性能提供可靠、科学的系统化支撑，提升IT系统核心价值。

图2　可视化监控流程