ESB技术在商业智能应用模型系统中的应用研究

2014-11-27 07:07朱春霖雷蕾
移动通信 2014年20期
关键词:商业智能

朱春霖+雷蕾

【摘 要】应用模型是电信运营商制定商业智能解决方案的关键技术,为使各子公司之间复用已有成果,总部搭建了应用模型共享系统。针对目前该系统存在模型资源更新不及时、应用功能开发效率低的问题,通过探索ESB技术,屏蔽各子公司异构的系统和应用软件,使模型以服务方式发布和调用,实现模型实时共享,从而避免应用功能二次开发。

【关键词】企业服务总线 商业智能 应用模型

中图分类号:TP302.1 文献标识码:A 文章编号:1006-1010(2014)-20-0073-04

Research on ESB Technology in Business Intelligence Application Model System

ZHU Chun-lin, LEI Lei

(China Mobile (Shenzhen) Co., Ltd., Shenzhen 518048, China)

[Abstract]

Application model is the key technology in business intelligence solution of telecom operators. In order to reuse good models among subsidiaries, application model sharing system is built. In this model, however, the model resources cannot be updated timely and the efficiency of application development is low. ESB (Enterprise Service Bus) technology is used to shield the heterogeneous systems and applications software among subsidiaries. Thus the model is published and called as a service to achieve real-time sharing, which avoids secondary development of applications.

[Key words]enterprise service bus business intelligence application model

1 引言

在低成本高效运营的时代,国内电信运营商在探索各类系统集中化建设方案,以此取代各分公司独立建设的模式,从而降低运营成本的投入,实现应用软件复用最大化。在这个逐步实现的过程中,如何整合各分公司已有资源,屏蔽已建立的平台异构问题,建立并管理网络通讯服务渠道,实现应用共享,是迈向集中化建设的第一步。

2 商业智能应用模型系统简介

目前,各分公司都已建立了基于企业级数据仓库的商业智能系统[1],通过开发应用模型挖掘数据的商业价值[2]。例如,客户离网预警模型[3]将客户近期的行为作为模型的输入,经模型运算后输出客户是否有离网倾向,为客户维护提供依据。为使A分公司模型能被B分公司复用,总部建立了应用模型共享系统整合各分公司模型,各分公司可以通过公司内部网络用浏览器访问系统,获取其他分公司模型资源。目前系统的主要功能和存在的问题如下:

系统主要功能一:模型资料搜索查询

可通过关键字检索,查询并下载相关模型设计说明书、脚本等资料。

问题:模型资料都由总部手工整理后入库,面对全网31个分公司递交的材料,存在工作量大、更新不及时、内容不准确的问题。

系统主要功能二:模型效果在线验证

后台固化了模型算法脚本,用户按照要求上传验证数据,系统可在一定时间内反馈模型运算结果的效果评估数据。

问题:模型算法相关材料递交到总部后,总部需要进行二次开发,将算法固化到本地系统中,存在耗时长、成本高的问题,并且在研发过程中,需要与提交模型的子公司进行多次沟通,准确性与及时性得不到保证。

3 企业服务总线技术介绍

ESB(Enterprise Service Bus,企业服务总线)是SOA(Service-Oriented Architecture,面向服务体系架构)技术的关键解决方案[4],它将传统中间件技术、XML、Web Service等技术进行整合[5-6],形成基于开放标准的消息中间件,使企业内部不同异构平台的应用程序之间实现安全的互操作[7]。

根据上述分析,企业服务总线的功能包括[8-9]:

(1)对总线上注册服务的元数据信息进行管理并提供服务寻址功能;

(2)提供透明性的智能服务路由和定位、查找服务功能;

(3)多种消息交互模式(同步、异步、发布订阅等);

(4)支持常用传输协议(FTP、HTTP、JMS等);

(5)支持多种服务集成方式,如Web服务、Messaging、Adaptor;

(6)支持对服务管理功能,如服务调用记录、性能监控数据等。

企业内部各现有异构系统可接入ESB总线,由总线协调,以达到复用与集成的效果[10]。

4 企业服务总线技术在应用模型系统中

的应用

全网31个分公司将自有模型按照统一标准封装成模型服务,并在ESB总线系统上发布该服务接口,实际模型还存在于各分公司系统中,其他分公司通过ESB总线按照统一方式对该模型服务进行调用,获得模型计算结果。总部无需在本地固化分公司大量模型,分公司更新自有模型后ESB总线会自动同步,从而在全网范围内达到应用模型的及时更新和共享。endprint

下面将对ESB总线系统的功能架构和2个技术关键点进行阐述,并对比引入ESB总线系统前后模型开发时长和服务性能影响。

4.1 企业服务总线系统功能架构

该系统分为4个模块:服务管理、基础服务、服务运维监控和服务开发。其功能架构如图1所示。

(1)服务管理提供对模型服务和消息进行统一的控制及管理;

(2)基础服务从模型业务需求的角度出发,完成具体的数据处理逻辑和数据操作功能;

(3)服务运维监控提供服务信息的集中化管理和服务运行的全面监控;

(4)服务开发提供可配置的图形化工具,支持对服务的快速开发和部署。

4.2 2种服务提供方式和3种消息交换模型

在服务实现上,针对不同模型服务选择REST(Representational State Transfer,表述性状态转移)或SOAP(Simple Object Access Protocol,简单对象访问协议)方式。REST方式适合应对效率要求高但对安全要求不高的场景,如基于logistic回归的核心客户离网预警模型等;而SOAP方式适合应对需提供多开发语言且对安全性要求较高的场景,如客户交往圈模型等。

由于不同模型服务计算量和数据量差异较大,制定以下3种消息交换模式应用于不同场景:

(1)同步响应方式:适用于数据量小且运算快的模型,如客户统一视图查询;

(2)异步响应方式:适用于数据量大且运算复杂耗时的模型,如客户交往圈计算模型;

(3)发布订阅方式:适用于触发性传输各种数据量的模型,如客户价值细分模型。

4.3 引入ESB系统前后模型平均上线时长和性能对比

引入ESB总线后,通过近一年约300多个模型开发和接入,本文统计了每个模型平均上线时间,并同引入ESB总线前将模型固化到本地系统的方式进行对比,具体如表1所示:

表1 2种方式模型上线时长

开发方式 模型平均上线时间

引入ESB总线后 1~2天

引入ESB总线前 7天(约1周)

通过表1可以看出,引入ESB总线后,可以大大缩短模型平均上线时间,及时性得到保证。由于模型以服务方式提供,分公司对模型的修改能够实时同步,因此准确性也得以保证。

为评估引入ESB总线后对系统整体性能的影响,本文选择2种典型模型场景,对比引入ESB总线系统前后服务平均响应时间,具体如表2所示:

表2 2种方式服务提供性能对比

并发请求数/个 客户交往圈模型

平均响应时间/ms

引入前 引入后

5 221 247.6

30 560.47 607.37

50 858.44 982.42

100 1 570.32 1 771.53

通过表2可以看出,引入ESB总线后,性能消耗均在15%以下,这是因为在ESB总线中服务调用需要经过消息解析、服务查找和路由等一系列工作,会对性能产生一定的消耗。

5 总结及展望

目前总部构建的企业服务总线系统上接入了近500个分公司的模型服务,分公司亮点模型能够通过快速封装、接入总线,达到共享复用的效果。但是随着接入服务数量越来越多,对于服务的管理成本也相应增加。下一步计划提取各模型服务的元数据信息,构建元数据平台,以便更好地进行服务管理,同时保证分公司在获取服务时能够快速、准确定位所需服务。

参考文献:

[1] Sonic Software Corporation. Sonic ESB: An Architecture and Lifecycle Definition, Sonic White Paper[R]. 2005.

[2] Keen M, Acharya A, Bishop S. Patterns: Implementing an SOA Using an Enterprise Service Bus[M]. New York: IBM Press, 2004.

[3] Hudson S. The Enterprise Service Bus: Disruptive Technology for Software Infrastructure Solutions[J]. IDC Insight, 2003(1): 29-32.

[4] W H Inmon. Building the Data Warehouse[M]. 王志海,译. 北京: 机械工业出版社, 2003.

[5] 陈金波. 面向电信CRM的数据挖掘应用研究[D]. 南京: 东南大学, 2006.

[6] 贤继红,王家海. 数据挖掘中决策树算法的研究[J]. 世界科技研究与发展, 2009(4): 600-602.

[7] 牛刚,张忠能. 轻量级ESB研究与设计[J]. 微型电脑应用, 2009(2): 14-16.

[8] 张云勇,张智江,刘锦德,等. 中间件技术原理与应用[M]. 北京: 清华大学出版社, 2004.

[9] 马凌,陈洪亮. Web Services技术在企业信息集成中的应用[J]. 微型电脑应用, 2004(10): 19-22.

[10] 孙晋文,肖建国. 企业应用集成与基于Web Services的构架应用[J]. 计算机工程与应用, 2003(21): 205-208.

作者简介

朱春霖:硕士,现任中国移动(深圳)有限公司移动业务运营支撑网测评中心数据分析工程师,主要研究方向为商业智能、软件设计和开发等。

雷蕾:硕士毕业于西安交通大学软件工程专业,主要研究方向为BI系统架构及数据挖掘技术应用,现任职于中国移动(深圳)有限公司,从事业务支撑系统测评工作。endprint

下面将对ESB总线系统的功能架构和2个技术关键点进行阐述,并对比引入ESB总线系统前后模型开发时长和服务性能影响。

4.1 企业服务总线系统功能架构

该系统分为4个模块:服务管理、基础服务、服务运维监控和服务开发。其功能架构如图1所示。

(1)服务管理提供对模型服务和消息进行统一的控制及管理;

(2)基础服务从模型业务需求的角度出发,完成具体的数据处理逻辑和数据操作功能;

(3)服务运维监控提供服务信息的集中化管理和服务运行的全面监控;

(4)服务开发提供可配置的图形化工具,支持对服务的快速开发和部署。

4.2 2种服务提供方式和3种消息交换模型

在服务实现上,针对不同模型服务选择REST(Representational State Transfer,表述性状态转移)或SOAP(Simple Object Access Protocol,简单对象访问协议)方式。REST方式适合应对效率要求高但对安全要求不高的场景,如基于logistic回归的核心客户离网预警模型等;而SOAP方式适合应对需提供多开发语言且对安全性要求较高的场景,如客户交往圈模型等。

由于不同模型服务计算量和数据量差异较大,制定以下3种消息交换模式应用于不同场景:

(1)同步响应方式:适用于数据量小且运算快的模型,如客户统一视图查询;

(2)异步响应方式:适用于数据量大且运算复杂耗时的模型,如客户交往圈计算模型;

(3)发布订阅方式:适用于触发性传输各种数据量的模型,如客户价值细分模型。

4.3 引入ESB系统前后模型平均上线时长和性能对比

引入ESB总线后,通过近一年约300多个模型开发和接入,本文统计了每个模型平均上线时间,并同引入ESB总线前将模型固化到本地系统的方式进行对比,具体如表1所示:

表1 2种方式模型上线时长

开发方式 模型平均上线时间

引入ESB总线后 1~2天

引入ESB总线前 7天(约1周)

通过表1可以看出,引入ESB总线后,可以大大缩短模型平均上线时间,及时性得到保证。由于模型以服务方式提供,分公司对模型的修改能够实时同步,因此准确性也得以保证。

为评估引入ESB总线后对系统整体性能的影响,本文选择2种典型模型场景,对比引入ESB总线系统前后服务平均响应时间,具体如表2所示:

表2 2种方式服务提供性能对比

并发请求数/个 客户交往圈模型

平均响应时间/ms

引入前 引入后

5 221 247.6

30 560.47 607.37

50 858.44 982.42

100 1 570.32 1 771.53

通过表2可以看出,引入ESB总线后,性能消耗均在15%以下,这是因为在ESB总线中服务调用需要经过消息解析、服务查找和路由等一系列工作,会对性能产生一定的消耗。

5 总结及展望

目前总部构建的企业服务总线系统上接入了近500个分公司的模型服务,分公司亮点模型能够通过快速封装、接入总线,达到共享复用的效果。但是随着接入服务数量越来越多,对于服务的管理成本也相应增加。下一步计划提取各模型服务的元数据信息,构建元数据平台,以便更好地进行服务管理,同时保证分公司在获取服务时能够快速、准确定位所需服务。

参考文献:

[1] Sonic Software Corporation. Sonic ESB: An Architecture and Lifecycle Definition, Sonic White Paper[R]. 2005.

[2] Keen M, Acharya A, Bishop S. Patterns: Implementing an SOA Using an Enterprise Service Bus[M]. New York: IBM Press, 2004.

[3] Hudson S. The Enterprise Service Bus: Disruptive Technology for Software Infrastructure Solutions[J]. IDC Insight, 2003(1): 29-32.

[4] W H Inmon. Building the Data Warehouse[M]. 王志海,译. 北京: 机械工业出版社, 2003.

[5] 陈金波. 面向电信CRM的数据挖掘应用研究[D]. 南京: 东南大学, 2006.

[6] 贤继红,王家海. 数据挖掘中决策树算法的研究[J]. 世界科技研究与发展, 2009(4): 600-602.

[7] 牛刚,张忠能. 轻量级ESB研究与设计[J]. 微型电脑应用, 2009(2): 14-16.

[8] 张云勇,张智江,刘锦德,等. 中间件技术原理与应用[M]. 北京: 清华大学出版社, 2004.

[9] 马凌,陈洪亮. Web Services技术在企业信息集成中的应用[J]. 微型电脑应用, 2004(10): 19-22.

[10] 孙晋文,肖建国. 企业应用集成与基于Web Services的构架应用[J]. 计算机工程与应用, 2003(21): 205-208.

作者简介

朱春霖:硕士,现任中国移动(深圳)有限公司移动业务运营支撑网测评中心数据分析工程师,主要研究方向为商业智能、软件设计和开发等。

雷蕾:硕士毕业于西安交通大学软件工程专业,主要研究方向为BI系统架构及数据挖掘技术应用,现任职于中国移动(深圳)有限公司,从事业务支撑系统测评工作。endprint

下面将对ESB总线系统的功能架构和2个技术关键点进行阐述,并对比引入ESB总线系统前后模型开发时长和服务性能影响。

4.1 企业服务总线系统功能架构

该系统分为4个模块:服务管理、基础服务、服务运维监控和服务开发。其功能架构如图1所示。

(1)服务管理提供对模型服务和消息进行统一的控制及管理;

(2)基础服务从模型业务需求的角度出发,完成具体的数据处理逻辑和数据操作功能;

(3)服务运维监控提供服务信息的集中化管理和服务运行的全面监控;

(4)服务开发提供可配置的图形化工具,支持对服务的快速开发和部署。

4.2 2种服务提供方式和3种消息交换模型

在服务实现上,针对不同模型服务选择REST(Representational State Transfer,表述性状态转移)或SOAP(Simple Object Access Protocol,简单对象访问协议)方式。REST方式适合应对效率要求高但对安全要求不高的场景,如基于logistic回归的核心客户离网预警模型等;而SOAP方式适合应对需提供多开发语言且对安全性要求较高的场景,如客户交往圈模型等。

由于不同模型服务计算量和数据量差异较大,制定以下3种消息交换模式应用于不同场景:

(1)同步响应方式:适用于数据量小且运算快的模型,如客户统一视图查询;

(2)异步响应方式:适用于数据量大且运算复杂耗时的模型,如客户交往圈计算模型;

(3)发布订阅方式:适用于触发性传输各种数据量的模型,如客户价值细分模型。

4.3 引入ESB系统前后模型平均上线时长和性能对比

引入ESB总线后,通过近一年约300多个模型开发和接入,本文统计了每个模型平均上线时间,并同引入ESB总线前将模型固化到本地系统的方式进行对比,具体如表1所示:

表1 2种方式模型上线时长

开发方式 模型平均上线时间

引入ESB总线后 1~2天

引入ESB总线前 7天(约1周)

通过表1可以看出,引入ESB总线后,可以大大缩短模型平均上线时间,及时性得到保证。由于模型以服务方式提供,分公司对模型的修改能够实时同步,因此准确性也得以保证。

为评估引入ESB总线后对系统整体性能的影响,本文选择2种典型模型场景,对比引入ESB总线系统前后服务平均响应时间,具体如表2所示:

表2 2种方式服务提供性能对比

并发请求数/个 客户交往圈模型

平均响应时间/ms

引入前 引入后

5 221 247.6

30 560.47 607.37

50 858.44 982.42

100 1 570.32 1 771.53

通过表2可以看出,引入ESB总线后,性能消耗均在15%以下,这是因为在ESB总线中服务调用需要经过消息解析、服务查找和路由等一系列工作,会对性能产生一定的消耗。

5 总结及展望

目前总部构建的企业服务总线系统上接入了近500个分公司的模型服务,分公司亮点模型能够通过快速封装、接入总线,达到共享复用的效果。但是随着接入服务数量越来越多,对于服务的管理成本也相应增加。下一步计划提取各模型服务的元数据信息,构建元数据平台,以便更好地进行服务管理,同时保证分公司在获取服务时能够快速、准确定位所需服务。

参考文献:

[1] Sonic Software Corporation. Sonic ESB: An Architecture and Lifecycle Definition, Sonic White Paper[R]. 2005.

[2] Keen M, Acharya A, Bishop S. Patterns: Implementing an SOA Using an Enterprise Service Bus[M]. New York: IBM Press, 2004.

[3] Hudson S. The Enterprise Service Bus: Disruptive Technology for Software Infrastructure Solutions[J]. IDC Insight, 2003(1): 29-32.

[4] W H Inmon. Building the Data Warehouse[M]. 王志海,译. 北京: 机械工业出版社, 2003.

[5] 陈金波. 面向电信CRM的数据挖掘应用研究[D]. 南京: 东南大学, 2006.

[6] 贤继红,王家海. 数据挖掘中决策树算法的研究[J]. 世界科技研究与发展, 2009(4): 600-602.

[7] 牛刚,张忠能. 轻量级ESB研究与设计[J]. 微型电脑应用, 2009(2): 14-16.

[8] 张云勇,张智江,刘锦德,等. 中间件技术原理与应用[M]. 北京: 清华大学出版社, 2004.

[9] 马凌,陈洪亮. Web Services技术在企业信息集成中的应用[J]. 微型电脑应用, 2004(10): 19-22.

[10] 孙晋文,肖建国. 企业应用集成与基于Web Services的构架应用[J]. 计算机工程与应用, 2003(21): 205-208.

作者简介

朱春霖:硕士,现任中国移动(深圳)有限公司移动业务运营支撑网测评中心数据分析工程师,主要研究方向为商业智能、软件设计和开发等。

雷蕾:硕士毕业于西安交通大学软件工程专业,主要研究方向为BI系统架构及数据挖掘技术应用,现任职于中国移动(深圳)有限公司,从事业务支撑系统测评工作。endprint

猜你喜欢
商业智能
什么是商业智能?它的定义和解决方案
程序理解中的商业智能恢复方法
关于实时商业智能的文献综述
商业智能分析模式在医保病人住院化管理当中的应用研究
商业智能在当下出版社中的运用
广东省高速公路联网综合信息商业智能系统
数据抽取及交换工具的设计与实现
制造企业中商业智能系统的实现与应用
浅谈中小企业的商业智能之路