一种数据总线模型在电信企业运营支撑中的应用

2011-02-27 05:42何家颖
电脑与电信 2011年5期
关键词:数据总线数据服务视图

何家颖

(中国电信股份有限公司佛山分公司,广东 佛山 528000)

1.引言

近年来,随着企业信息化进程的不断深化发展,企业级服务集成、数据集成技术成为业界关注的重点,并逐渐在较多的大型企业中得到了具体应用及实践验证。本文以电信运营商为例提出了一种数据总线体系架构,该体系在电信企业数据集成及业务支撑方面得到了较好的实际应用。

2.电信企业数据集成应用现状及存在问题

在电信企业IT系统集约化运营的大趋势下,其数据应用规划、引用一般存在以下共性问题:

(1)各电信运营商目前已基本建立起集约化的BOSS系统,业务数据模型也逐步趋于统一,但数据集成的需求仍然处于运营支撑核心位置,体现在:

1)BOSS的数据模型一般是以业务支撑系统执行效率为依归进行设计,虽然已采用OO技术及模块化技术进行架构,但就数据粒度来说,离直接应用于快速的市场营销分析、客户关系分析、渠道支撑等的数据展现要求仍有一定距离,需要进一步进行集成、提炼。

2)电信BOSS系统一般就运营方式会细分为BSS(业务支撑系统)、OSS(运营支撑系统)等子系统,由于全业务运营的数据分析支撑有较多重要工作需要对各子系统数据进行综合分析,并要求得到企业运营情况的一些更高层次的统一视图,例如楼盘小区各产品占有率报表 (需BSS系统提供)、小区各类网络资源覆盖情况及业务能力情况报表 (需OSS系统提供)等,因此需要通过EAI(企业应用集成)及EDB(企业数据总线)等技术对跨系统的数据进行融合、提炼及加载。

(2)由于各电信运营商之间竞争激烈,市场前端人员对电信产品的关键营销数据,如市场份额占有情况、产品营销情况、终端销售等指标数的提供有更高的时限要求,目前取数频率从一个月、一个星期逐步变成了每天、甚至每小时。在企业数据支撑人力成本有限的情况下,传统的技术人员手工数据支撑方式已经无法满足前端营销人员逐步提高的数据提取精度及时效要求。

3.一种电信企业数据总线模型的架构及实现

3.1 电信企业数据总线体系的提出

企业数据总线体系(Enterprise Data Bus)为一逻辑数据服务线路提供体系,其设计的总体目标是:对内统一规范数据元素及数据传输、存储方式,对外提供统一接口的数据服务及访问规范,并对数据应用方式及安全性实施控制。

图1为一应用于电信业的企业级数据总线规划架构图。为有效对数据进行定义,以及对数据传输方式、存储方式以及数据服务提供接口进行规划,该数据总线体系主要划分为“源数据层”、“数据集成层”、“应用层”等三个逻辑层。

图1 一种电信企业级数据总线的架构图

3.1.1 源数据层

在本文的架构体系中,源数据层为数据总线体系与众多的数据提供系统的接口层。由图1可见,源数据层采用一种星型的、松耦合的结构方式连接电信企业各核心系统及一些自定义数据源。其中,业务支撑系统(BSS)主要提供与业务受理、客户信息相关的企业运营分析源数据,以及用户帐单、清单等的基础清单信息;运营支撑系统(OSS)主要提供网元、网络资源信息、资源覆盖能力、线路及施工信息等的网络运营支撑数据。值得一提的是,虽然目前各电信运营商已逐步构建起以省一级甚至以集团一级进行规划的BOSS系统及数据模型,但由于各地运营商子机构存在本地差异化业务发展需求,本地个性化支撑系统仍大量存在,因此,数据总线仍需考虑对本地自建系统等自定义数据源的集成提供接口,以保证全业务运营数据视图的完整性。

3.1.2 数据集成层

本文架构体系中的数据集成层可按需解决的问题细分为数据定义及转换子层、数据存储子层及数据总线三个主要部分。企业数据总线被部署于数据集成层中。

(1)数据定义及转换子层通过EAI平台工具实现了对企业数据元件(Metadata)的全局统一规划及定义。企业数据元件的全局定义有利于为数据应用层提供统一的数据描述及数据格式,这也是企业数据总线的数据提供单元。由于源数据层提供的基础数据材料大多以清单格式为主,是未经提炼的企业级原始数据信息,需要进行数据粒度的提炼与扩充,以最终成为符合数据总线使用的元数据。这里可使用EAI平台提供的丰富的ETL函数及过程来实现数据格式标准化,以及一些基层的数据转换和加工,以使输出的数据符合EAI定义的企业级元数据规范。EAI平台的处理结果为一些已基本符合企业元数据定义的“元数据表”,这些表的设计规则一般为:使之能完整描述一个企业级元数据,或完整描述一个或多个元数据之间的关系。元数据表一般以宽表的形式进行描述,表与表之间保存了一定的数据冗余及索引,以有效提高数据存取速度。

(2)数据存储子层体现为一个本地数据仓库的实现,该数据仓库为EAI平台

输出的元数据表提供存储介质及基础的数据管理功能。

(3)数据总线为该体系结构的核心部件。

数据总线又称为企业数据服务总线(EDSB),它提供不同系统间数据传输的高速通道,同时实现数据基于一定标准的转换和存储,并保持对外提供直接批量数据服务的能力。通过EDSB可实现不同的数据提供系统及数据消费系统之间数据关系的松耦合,以更加直接的方式实现企业的信息资源共享。

如图1所示,本文的数据总线部件被部署于数据集成层与数据应用层的接口点处,其主要作用是实现能满足各种企业数据视图需求的数据加载逻辑的提供、快速数据访问通道的提供,以及数据安全控制及鉴权功能的实现。

3.1.3应用层

应用层为数据总线体系架构中的数据消费层,是企业数据应用系统的集合。

在电信企业中,应用层部署的业务系统一般可分为两大类,第一类是企业运营分析系统,该类系统为电信企业营销支撑、分析决策、目标市场及目标客户数据挖掘提供快速的数据分析平台及报表支撑,并由此构成企业的“决策中心”;第二类是运营数据监控子系统,该类系统主要功能是实现电信网络数据监控、预警、数据稽核、跨系统数据核对等功能。

在本文的系统架构中,应用层中各数据消费系统通过通用数据接口及专用数据接口等两种方式从数据总线获得数据的。

(1)通用数据接口指由数据总线提供的企业全局业务数据视图。这些视图是在数据总线规划设计时根据企业业务运营需求、渠道支撑需求进行总体规划设计得到的数据模版。例如电信经营分析月报、各电信产品发展日报,等等;

(2)专用数据接口指由数据总线为个别需重点支撑的外部系统提供的专用的、更高速的数据通路,该类通路一般采取点对点直连的方式,以此尊重应用系统客观上的差异;另外,对于一些时效性要求较高的专题分析需求,可由数据总线按需要设计部署专用接口直接提供实时的分析数据。专用数据接口体现了数据总线的可扩展性。

4.数据总线应用重点分析

4.1 数据精度的划分原则

数据总线规划及设计中的一个难点是在数据集成层中企业元数据及企业视图数据的精度问题,这是因为数据精度的高低将直接影响数据集成速度及数据使用方便性这两个相互制约的因素:数据精度越高,访问越方便快截,但EAI及ETL阶段所花的表关联时间越多。本文的体系架构在实际应用中一般遵循一下两个原则:

(1)EAI阶段采用“表达完整性原则”

该原则体现在进行企业EAI阶段,必须在对企业元数据进行全局设计及定义。在该逻辑层数据粒度的定义应以清晰描述企业数据元素为首要目标。本阶段为数据浅加工阶段。

(2)在数据总线接口设计阶段采用“SLA理念”

SLA服务水平协议(service level agreement)是在一定开销下为保障服务的性能和可靠性,服务提供商与用户间定义的一种双方认可的协定。在数据总线部件的规划设计阶段,企业视图的设计必须考虑数据提供的便捷性及时效性,该层所提供的数据精度设计一般需足高,并能直接满足企业各数据消费系统快速访问得到展现报表所需数据的需求。因此,数据总线的接口设计阶段一般需对数据消费系统的需求进行专题分析,并明确两系统间数据服务的标准协议。本阶段为数据深加工阶段。

4.2 可扩展性与数据访问效率之间的平衡

在软件设计中,可扩展性与效率一般存在一定的制约关系,一般体现为:系统设计得越通用,可扩展性越好,但平均效率一般就越低;相反,系统设计若为针对完成某项工作进行,则执行效率可以很高,但就失去了较好的通用性。因此,在本文提出的数据总线体系中,数据总线部件为针对不同的数据消费系统设计了通用及专用两类接口,以平衡数据可扩展性与访问效率之间的矛盾。通用类接口提供以支撑企业日常运营所需的基本报表维度数据而设的通用通道,这些数据可供不同的数据消费系统进行直接消费或二次利用;专用类接口则是为某些重点支撑系统而设计及部署的,目的是为之提供点对点的最有效的数据访问支撑。

5.结束语

本文针对电信企业数据集成现状及存在问题,提出了一个基于EAI平台的企业数据总线模型。该模型通过引用EAI平台功能实现企业元数据定义及数据浅加工;通过ETL、数据集成技术实现数据深度加工,并通过数据总线组件的部署实现了提供给企业数据消费系统应用的松耦合数据接口;另外,本文的数据总线模型通过定制两个层次的数据粒度划分原则,在保证企业元数据定义完整的前提下,实现了企业视图数据的高效加载及传输,并通过专用及通用两类数据接口的设计部署,较好地解决了数据总线体系可扩展性与数据访问效率之间的平衡问题。由于企业数据服务总线的规划和部署实施既是技术问题也是管理问题,在今后的工作中,我们将着力于企业数据支撑规划的规范化管理及流程定制工作,以及数据分析专业团队的建设,使企业数据总线的支撑能紧贴企业变化,使之更具备可伸缩性及持续的生命力。

[1]兴业银行信息科技部.企业级数据服务总线规划探究[EB/OL].中国知网(http://www.cnki.com.cn),2010-03.

[2]郑洪源,周良.商业智能解决方案的研究与应用[J].计算机应用研究,2005,(09).

[3]初佃辉,丁建睿,战德臣.面向中小企业的智能数据处理工具的研究与设计[J].计算机应用研究,2005,(07).

[4]王兆红.企业商业智能系统的架构及实施研究[J].中国管理信息化(综合版),2007,(06).

猜你喜欢
数据总线数据服务视图
地理空间大数据服务自然资源调查监测的方向分析
智能电网调度控制系统中的数据总线技术研究
5.3 视图与投影
视图
Y—20重型运输机多视图
SA2型76毫米车载高炮多视图
如何运用税收大数据服务供给侧结构性改革
基于ASP.NETSignalR的实时Web功能的实现
基于频繁子图挖掘的数据服务Mashup推荐
现场总线技术在电厂自动化控制中的应用