基于IDC 的云计算应用研究

2014-01-14 00:43:36原,姜恒,王
吉林大学学报(信息科学版) 2014年4期
关键词:分布式计算数据量集市

李 原,姜 恒,王 刚

(中国移动通信集团吉林有限公司业务支撑中心,长春130012)

0 引言

互联网数据中心(IDC:Internet Data Center),是基于Internet网络的,电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。IDC不仅是数据存储中心,而且是数据流通中心,应用于Internet网络中数据交换最集中的地方[1]。它是伴随着人们对主机托管和虚拟主机服务提出了更高要求的状况而产生的,从某种意义上说,它是由ISP的服务器托管机房演变而来的,企业将主机、平台和系统托管等服务相关的一切事物交给专门提供网络服务的IDC去完成,而将精力集中在增强核心竞争力的实际业务中。可见,IDC是Internet企业分工更加细化的产物。

IDC可提供的具体服务分为基础服务、增值服务和应用服务。基础服务是指直接提供机房空间、网络资源、供电和空调等基础资源的服务,包括机房空间出租、主机托管和虚拟主机等服务;增值服务是指客户根据自己的需求,在IDC的基础服务之外选购的附加服务,包括网络监控、统计分析、数据存储备份和网络安全等服务;应用服务是指网络系统和用户信息系统的应用开发服务,其中包括企业电子邮箱服务、电子商务加速服务和专业咨询等服务。

目前建设IDC面临的主要问题。

1)外部环境条件。在IDC构建以及运营过程中,机房将不断产生很多热量,做好相应的冷却恒温工作至关重要;同时在系统运行过程中,平稳的数据流通交互不容忽视,具备稳定的电源系统同样重要。处理好上述问题,是未来建设IDC的先决条件。

2)服务器配置。预估IDC每台服务器,最优可承载的业务量和数据量,合理配置服务器的中央处理器性能、内存容量和硬盘大小等因素尤为重要。这不仅有利于提高服务器的使用寿命,还可有效降低资源耗费,提高服务器的使用效率。

3)数据中心建设的虚拟化。大数据时代虚拟化主机和中间件的能力,可满足信息化建设不断发展的要求,虚拟化技术能有效整合IT资源,减少数据中心空间不足的问题,极大改善资源的利用率和灵活度。

目前我国移动通信业务支撑系统在扩容升级过程中面临的问题。

1)枢纽楼基础服务设施存在瓶颈。目前,我国移动通信枢纽现有电力机房,接近满负荷,无法满足业务分析支撑系统(BASS:Business Analysis Support System)、业务运营支撑系统(BOSS:Business&Operation Support System)和客户关系管理系统(CRM:Customer Relationship Management)扩容升级。存在生产资源用电缺口。

2)枢纽楼机房设备陈旧老化,无法满足日益增长的业务量。目前,我国移动通信生产机房服务器等设备,大部分为2004年以前采购使用,相对于如今移动通信飞速增长的业务量和数据量,较为落后,业务支撑系统的承载能力与服务器等设备陈旧老化的矛盾日显突出,严重制约着移动通信业务发展。

1 云计算与IDC建设相结合的意义

1)云计算与IDC关系。云计算是IDC的一个应用方向,云计算模式能以按需方式,通过网络,方便访问IDC的可配置计算资源共享池(如:网络,存储,服务器和应用程序)[2]。在运营过程中,它以合理的管理开销和最短的时间与供应商进行交互,同时迅速配置提供或释放资源[3]。

采用云计算的IDC网络架构建设实现云计算,必须实现以下3种关键技术:虚拟化技术、数据存储与数据管理技术、开放式编程模型。借助以上3种技术和其他相关的弹性计算、数据传输等技术,云计算能完成PC和一般服务器无法完成的大批量任务,同时其实现的工作量成本低于巨型计算机[4]。虽然,云计算目前仍然无法实现大规模紧耦合的任务处理,但对于大批量、松耦合、可分解的中型任务,云计算具有其他方式无法比拟的效能[5]。

2)降低投资成本,提高运营效率。云计算应用于IDC中,可减少企业前期投资,降低投资风险,企业不必再进行硬件和操作系统软件的采购,只需根据业务需求动态调整计算的空间和存储资源,通过云计算技术,实现IDC业务的服务多元化,可以提高服务器等硬件资源的利用率[6]。以低成本高效率的方式,完成企业各种IT类业务需求,并改变了传统的IT业务的交付方式[7]。通过IDC建设与云计算技术相结合,解决移动通信电力系统所遇瓶颈,进行改善转型,提高了移动通信的核心竞争力[8]。

3)基于IDC的云计算应用,实现迁移BASS系统的建设。由于目前我国移动通信枢纽电力机房接近满负荷,无法继续实现BASS系统升级改造等建设,BASS、BOSS、CRM等系统需要足够电源供应,枢纽电力机房服务器等设备陈旧老化,无法满足日益飞速增长的业务量和数据量。根据某市业务支撑网各系统占用基础资源情况,综合分析,枢纽机房内使用空间有限,BASS和BOSS系统是耗电大户,若各系统同时迁移,风险多、周期长、投资成本高,通过云计算的分布式计算和虚拟机技术,可完成数据集市云架构应用改造,建设新节能高效的BASS系统[9]。

2 云计算在移动通信IDC建设中应用

2.1 BASS系统改造前数据集市架构现状

某市业务支撑网BASS系统数据集市系统目前采用小机+存储架构,涉及2对集群数据库,有4个主机分区。分别承载着数据集市,同时还包含数据挖掘以及原深运平台部分应用(前端应用已纳入VGOP(Value-add Service General Operation Platform)系统);改造前BASS系统数据集市主要通过数据库链接方式获取数据仓库数据源[10]。其工作原理如图1所示。

图1 改造前BASS系统数据集市功能架构Fig.1 Functional structure of the data mart in BASS system before the migration

2.2 IDC云计算系统架构中分布式与虚拟化技术

IDC云计算系统是向用户提供各种业务的分布式计算系统,系统对用户是透明的,其过程先把整体业务数据量分布式计算,再对每个分布式计算的数据量进行虚拟化计算。服务器和存储等资源进行动态部署、动态分配,以最合理的资源开销和最短的时间进行各种业务数据交互,同时迅速配置提供或释放资源。从而向用户提供满足QoS要求的业务服务、数据存储服务以及各种平台服务。云计算平台是运行在一个多层虚拟化协议栈上的高度抽象系统,虚拟化技术是云计算平台的核心基础技术。IDC云平台系统架构见图2。

如图2所示,IDC云计算平台系统,在底层业务支撑网IDC基础上,先对业务支撑系统进行分布式计算,把整体业务数据量分成若干部分业务数据量,再对每部分业务数据量进行虚拟化计算。即将虚拟化网络、虚拟化服务器、虚拟化存储等资源,通过云计算的分布式计算和虚拟化技术抽象形成的一个复合化的平台架构,使业务支撑网各系统在运营过程中,具有降低电力能源消耗,提高资源使用效率的作用。

图2 IDC云平台系统架构图Fig.2 The system architecture on IDC Cloud platform

2.3 基于IDC与云计算相结合BASS系统改造后数据集市架构

图3 改造后BASS系统数据集市功能架构Fig.3 Functional structure of the data mart in BASS system after the migration

综合考虑改造风险、改造周期、投资成本等因素,BASS系统迁移改造后新数据集市架构,是在底层IDC基础上,对原数据集市系统进行分布式计算。原数据集市获取数据源采用DB-LINK方式,改造后数据集市采用ETL(Extraction-Transformation-Loading)方式获取数据仓库数据源,不同的数据源需要经过数据提取、转换和加载,到达存放的指定位置。改造数据集市的同时,也对外围的增值业务综合运营平台(VGOP:Value-added Service General Operation Platform)系统和经分Portal系统进行了修改,使平台系统数据源交互,通过ETL方式对不同的数据源进行处理[11]。新数据集市系统,在生产中心底层IDC基础上,通过云计算的分布式计算、虚拟化技术和ETL工具形成一个复合化的平台架构(见图3)。

在实际系统运行中,基于IDC云化后数据集市系统架构比原数据集市架构,在数据提取、转换和加载方面,更加精细化;在业务数据量交互计算方面,更具有均衡性、高效性和稳定性。在IDC基础上,通过云计算的分布式计算、虚拟化技术和ETL工具等方法改造,解决了枢纽电力机房接近满负荷运行状态;服务器等设备陈旧老化,满足不了日益飞速增长的业务量和数据量等问题,还减少了BASS系统改造后运营成本,节约了电力能源,提高了基础资源利用率。

3 结语

笔者通过云计算的分布式计算、虚拟化技术和ETL工具等方法,对BASS系统中数据集市云架构进行升级改造,不仅缓解了移动通信枢纽电力资源紧张,设备资源陈旧老化,满足不了日益增长业务量和数据量问题,而且还通过BASS系统数据集市云架构的改造升级,在实际数据处理方面,更加精细化;数据量交互计算方面,更加均衡、稳定、高效;同时,也降低了BASS系统迁移改造后整体运营成本,提高了基础资源利用率。

[1]钟景华.《电子信息系统机房设计规范》中的节能问题[J].智能建筑与城市信息,2008,140(7):10-12.ZHONG Jinghua.Energy Saving in《Electronic Information System Design Specification》[J].Intelligent Building and City Information,2008,140(7):10-12.

[2]陈全,邓倩妮.云计算及其关键技术[J].计算机应用,2009,29(9):2562-2567.CHEN Quan,DENG Qianni.Cloud Computing and Its Key Techniques[J].Computer Application,2009,29(9):2562-2567.

[3]刘晓乐.计算机云计算及其实现技术分析[J].电子科技,2009,22(12):100-103.LIU Xiaole.Analysis of Implementation Technique in Computer Cloud Computing [J].Electronic Science and Technology,2009,22(12):100-103.

[4]吴劲松,陈孚.云计算发展及应用研究[J].广西通信技术,2011(2):9-13.WU Jinsong,CHEN Fu.Research on Cloud Development and Application [J].Guangxi Communication Technology,2011(2):9-13.

[5]张耀祥.云计算和虚拟化技术[J].计算机安全,2011,123(5):80-82.ZHANG Yaoxiang.Cloud Computing and the Virtualization[J].Computer Safety,2011,123(5):80-82.

[6]黄哲学,曹付元,李俊杰,等.面向大数据的海云数据系统关键技术研究[J].网络新媒体技术,2012,1(6):20-26.HUANG Zhexue,CAO Fuyuan,LI Junjie,et al.Developing Sea Cloud Data System Key Technologies for Large Data Analysis and Mining[J].Internet New Media Technology,2012,1(6):20-26.

[7]张晨.云计算在IDC中的应用与实现[D].北京:北京邮电大学电子工程学院,2012.ZHANG Chen.Applications and Implementation of IDC Cloud Computing[D].Beijing:School of Electronic Engineering,Beijing University of Posts and Telecommunications,2012.

[8]启言.IDC能否逢云化雨[J].互联网周刊,2011(6):30-33.QI Yan.Can IDC Turn Better[J].Internet Week,2011(6):30-33.

[9]李青春.基于开源架构的小规模私有云中虚拟化关键技术研究[D].昆明:云南大学信息学院,2013.LI Qingchun.Key Technology Research of Virtualization Based on Open Source Architecture in Small-Scale Private Cloud[D].Kunming:School of Information Science and Engineering,Yunnan University,2013.

[10]李艳,杨永健,李树秋.基于数据集市的电信经营分析系统模型[J].山东大学学报:理学版,2007,42(11):62-65.LI Yan,YANG Yongjian,LI Shuqiu.Model of Telecommunications Management Analysis System Based on Data Mart[J].Journal of Shandong University:Science Edition,2007,42(11):62-65.

[11]张旭峰.ETL若干关键技术研究[D].上海:复旦大学计算机科学技术学院,2006.ZHANG Xufeng.Research of Several ETL Key Technologies[D].Shanghai:School of Computer Science,Fudan University,2006.

猜你喜欢
分布式计算数据量集市
基于大数据量的初至层析成像算法优化
计算Lyapunov指数的模糊C均值聚类小数据量法
高刷新率不容易显示器需求与接口标准带宽
热闹的集市
宽带信号采集与大数据量传输系统设计与研究
电子制作(2019年13期)2020-01-14 03:15:18
探访于山“相亲集市”
海峡姐妹(2018年12期)2018-12-23 02:39:20
基于云计算的移动学习平台设计与实现
软件导刊(2016年11期)2016-12-22 21:47:07
云计算中MapReduce分布式并行处理框架的研究与搭建
面向异构分布式计算环境的并行任务调度优化方法
热闹的集市