刘 锋 , 李淑芝
(1.江西理工大学信息工程学院,江西 赣州341000;2.广东昆仑信息科技有限公司,广东 韶关512123)
随着云计算技术[1]的日益发展与成熟,建设云环境下的IT运维管理与服务平台,是主动适应信息技术的发展,并做出积极应对从而转变管理和服务模式,提高管理工作效率、降低运维服务成本、建设服务型运维系统的必然要求.因此,该研究将有助于促进云环境下的IT运维管理与服务模式的创新,实现IT运维服务的“业务自助化、操作可视化、资源可控化、监控自动化、管理智能化、耗能低碳化”.
在云环境中所有的设备、服务器、网络、存储都会变得更为集中,设备的大集中会使云环境变得非常复杂.并且云环境中大量使用虚拟化的技术,虚拟化的使用首先是带来需要管理目标的增加,另外就是系统架构会随着业务的变化而不断的发生动态的变更.这些给运维管理带来一些新的需求,而运维管理为了适应这一需求会发生动态变化、虚拟化的环境,必须做出相应的调整.
在云计算市场的上下游产业链中,运维市场是其中必不可少的部分,据IDC咨询公司预测云计算与运维服务的支出在IT支出中的比例将由目前的5%提高到10%.随着云计算数据中心的快速增加,云环境下的IT运维管理与服务的需求势必也快速增长,为了满足现有的IT运维市场及发展趋势需要出发,该研究提出了基于云计算的IT运维管理与服务模式创新的研究.
该研究采用SOA架构[2],结合ITIL V3.0的框架和方法论,并运用基于用户偏好的Web服务选择的研究方法及Web服务技术实现云环境下的IT运维管理与服务平台的开发.解决了云环境下的服务目录系统的建立与维护、云服务的自动分配、云服务资源的管理(如发现、调度、迁移等操作)、云环境的日常运维管理等问题.对服务中心、资源中心和运维中心进行无缝衔接,实现服务的可视智能化,最终形成云环境下的IT运维体系.三大基础组件关系图如图1所示.
图1 三大基础技术组件关系
云服务管理系统向用户开放服务,并使运营管理人员拥有运营管理的性能,它由门户应用、业务运维、资源管理以及数据和接口等模块组成.云服务运营平台主要负责对虚拟化数据中心(Virtual Data Center,VDC)的各种资源进行管理,并把资源封装成模板,定义IaaS服务,满足VDC各类业务的运营.云服务运营系统作为一个对外服务的平台,通过接口层与现有的各种应用与管理系统组合在一起,如资源池系统管理接口、认证与授权系统、审批系统、财务/CRM、网管系统等相连接;云服务运营平台在内部业务逻辑和流程不变的前提下,与外部业务系统组合起来,进而完成资源的整合、管理与交付等功能.
借用与资源管理模块间的管理接口传达执行命令,资源池模块接收并执行来自运营平台的指行命令后,按照命令实现资源的部署、操作等工作,并向运营管理平台上报资源使用情况.通过与短信模块的接口,运营管理平台能够向用户及运营管理人员发送短信通知,也能够通过网络管理接口把运营管理平台的设置、性能和告警监控发送给网络管理模块,监控保障VDC的各种资源、管理平台正常运行.云服务运营管理平台技术架构如图2所示.
图2 技术架构设计图
云服务资源的自动发现、部署与监控,是云服务运维管理最基本的要求,它是实现云服务中心的一项核心技术[3].在云环境下,云服务资源的发现、配置、部署、迁移、卸载等一系列工作必须由部署在IT运维与服务平台上的资源管理工具根据业务应用的需求自动完成.研究中要解决的问题是,将发现引擎找到的资源进行预处理,然后将它们置于一个分类的服务目录体系结构中,这些预处理包括了对服务资源的分类、过滤、合并等工作.
该研究采用“自组织的动态的云资源网络结构技术”和“自组织的云计算资源分类和标识技术”来处理云环境下的计算资源自动配置与部署方面的问题[1].对网络架构进行部署,应用开发和测试,并最终安装运行,减少了大量的开销时间和人工费用,有利于用户快捷的部署服务应用以及对业务的开拓,完成了用户使用的自助化与自动化.
在此研究中,各模块数据采用ESB(Enterprise Service Bus)方式,对数据进行统一的动态要求管理.组件组装模型的过程如图3所示.
图3 组件组装模型过程
研究中,各模块采用组件技术进行封装,利于后续系统的维护和完善.系统消息通信采用基于XML的ESB总线设计,通过XML完成对数据总线、系统控制总线和组装总线的设计,完成模块间快速的形成数据流和业务规则等基础应用的资源集成和元信息描述,创建以组装服务为核心的SOA架构[4].
基于XML技术的ESB组装总线主要是用来表达各类系统数据模型和业务规则,将技术实现与业务需求相分隔,快速的完成各类业务需求[5].通过控制总线的基本设计思路,就能够将企业已实施的规则与商务逻辑分离出来,形成一个相对独立的个体再以组件的形式进行整合[6].
对资源的分类和标识是云服务资源的核心技术.如果该系统只是概念性地分类,云资源是没有办法运维的,该研究只有把服务资源的颗粒度细化到一个服务组件的时候,才能够完成对服务的组合.
云计算运营服务管理平台主要包括三大中心,它们分别是服务中心、运营中心和资源中心,通过面向服务架构整体解决方案,搭建了一套符合SOA标准的系统交互的松耦合支撑环境.该研究在基于SOA的标准和方法论的基础上,对云服务资源的分类和标识设计了一套服务体系,并以此为基础构建云环境下的多个资源池,当多个云环境下的资源池构建成为可能的话,那么对云资源进行分类和标识,也就找到了合适的方法.
该系统在服务目录的开发中采用了Web服务技术,使得目录管理具有了更好的动态交互性,能够主动管理用户的习惯和行为.通过简易信息聚合方式(Really Simple Syndication,RSS)向用户传递,这种方式带给用户的是全新的服务体验,与传统建立在Web1.0的门户中的实现方式有实质性的不同.云服务目录管理应用无缝对接的Web服务技术进行研发.在整个IT资源中划分多种异构的虚拟资源和物理资源,通过兼容异构虚拟平台的虚拟化技术,把计算任务运行在虚拟的基础上而不是真实的物理硬件上.本系统支持完全虚拟化和准虚拟化技术,可以采用 XenServer、VMware、KVM(kernel-based Virtual Machine)、Hyper-V 和 OVM(Oracle Virtual Machine)等多种虚拟化软件技术.
系统基于MVC(Model View Controller)的多层结构设计思想,通过先进的面向对象的软件工程来分析、设计、开发.对于本系统这样一个业务复杂、功能众多、海量数据的平台,采用结构化的设计方法很难满足需要.因此系统应用了Brower-Server架构,此架构包括客户端 (Client)、应用服务层(Application)、数据服务层 (Database)、表现层(Presentation)4层结构,分别由 Client、Application Server、Database Server、Presentation Server组成.在这种架构中,只需要一个很小的客户端(瘦客户机),这种客户端对中间驱动程序和设置的需求较少,并通过应用程序服务器来解决与底层数据库服务器的工作.客户端只要使用操作系统提供的通信功能与应用程序服务器进行互访,并且在这个过程中应用程序服务器只要维护它和后端数据库服务器数据通信处理.这样不仅可以减少系统对网络的负载,还加大了应用程序与系统的运行速度.三层结构模式如图4所示.
图4 三层结构模式图
访问云计算服务的终端设备包括台式电脑、移动电话、笔记本电脑、平板机等,这些电脑通常包括内存(RAM)、中央处理单元(CPU)、图形处理单元(GPU)、硬盘驱动(HDD)、显卡、显示器和主板等,电脑作为绿色节能计算系统中最基本的硬件资源,也是能效研究的最重要的一个领域,研究中检测了家用笔记本电脑的能耗损失,一台普通笔记本电脑的能耗大概是92W,具体能源损耗如图5所示.
图5 笔记本电脑各部件能耗
CPU的最佳节能方案一直都是大家所关注的热点,文献[7]利用数字建模转换方法,根据不同问题建立CPU如何处理多任务 (假设为10个任务)的设计模型,该方法是先利用交通流的函数模型求解CPU处理不同任务的时间及速度,再利用线性规划计算方式和约束条件使得CPU的总消耗最少.
其中Z表示电脑除去CPU及电脑的散热损耗(TDP)外的能源消耗值,忽略外界环境的影响,假设其为一常量;Y表示CPU的除去TDP的能耗;Z、c为一常量;CPU能耗和PC绿色节能问题逐渐成为IT界关注的核心问题.
近年来,数据中心的功耗问题已逐步成为大家关注和研究的热点,绿色网络组织(Green Grid)制定数据中心的功耗比指标,分别叫能量使用效率(Power Usage Effectiveness,PUE)和数据中心基础架构效率 (Data Center Infrastructure Effectiveness,DCIE)[8],数据中心除了之前两种效率之外还包括单位功率性能(Unit Power Performance,UPP)、睡眠模式效率(Sleep Mode Effectiveness,SME)、存储能耗效率(Storage Power efficiency,SPE)、绿色能源效率(Green Energy Effectiveness,GEE)、温度环境比(Temperature Environment Ratio,TER)、空间使用效率(Space Use Effectiveness,SUE):
数据中心主要由IT设备和基础设施两部分组成,它们的能效乘积构成了整个数据中心的能效,数据中心总能耗则是制冷用电荷、供配电能耗和IT设备能耗三部分的总和.IT设备的能效评价指标现在还没有一个标准的定义,而基础设备的能耗定义则由PUE和DCIE来描述[9].
PUE是一个大于1的能耗比,通常介于1.6~2.0之间,它的值越趋近于1就表示能效水平越好,因此常用PUE来衡量数据中心效应.DCIE是一个小于1的百分比,数值越大越好,它与PUE是一对倒数,目前 PUE在 2.4~2.8的较多,较理想状态是 PUE≤1.6.
网络是将服务器与用户连接的纽带,在云计算中的网络主要有两种:公有网络和私有网络.私有网络一般由几个以太网组成,数据中心通过以太网传送1Bit数据给用户的能耗表示为[10]:
其中,Ples、Pg和Pes分别是小型以太网交换机、数据中心网关路由器和以太网交换机的消耗功率;Cles、Cg和Ces是这些设备每Bit损耗的功率,有研究表明,现在链接到局域网的典型以太网利用率平均值小于5%,假设能再提升25%,那将提高资源利用率,大大降低设备的功耗.
公有网络获取信息的主要方式是通过Internet网从数据中心传送给用户,数据中心通过Internet网传送1Bit数据给用户的能源损耗表示为:
其中,Pw、Pc、Ppe、Pg、Pbg、Pes是 WDM 传输设备、 核心路由器、运营商边缘路由器、数据中心网关路由器、宽带网关路由器和以太网交换机的能源损耗,Cw、Cc、Cpe、Cg、Cbg和 Ces分别是对应设备每 Bit损耗的功率,研究资料表明,现在公有网只有50%的利用率,但最大的能耗几乎可达到100%,因此,如何在它们之间寻找平衡,加大对网络的利用率以及减少最大功耗还具有很大的发展前景.
所有的应用都是用户通过网络连接服务器来获取服务,而该过程必然离不开应用软件的支持,研究中把与云计算服务相关的软件分为两类:一种是作为服务的软件;一种是作为支持整个绿色节能云系统正常运行的软件.应用能耗是指对一个软硬件复杂的平台而言,完成一定计算工作量的能耗总和[11],软件在一定时间内的能耗近似为:
其中,P(t)是对应硬件的能耗,软件的功耗与对应硬件的平均能耗和软件的工作时间对应成正比,所以可以通过减少硬件资源能耗、缩短软件执行时间来减少软件的能耗,进而达到绿色节能环保的目的.
云计算作为软件即服务(SaaS),用户从终端设备通过网络向服务器提交请求,服务器接收响应并在远程海量计算服务器上处理数据,再把处理后的数据通过网络传递给用户服务,在这过程中,云计算在服务器和用户之间传递1Bit数据的能耗损失功率为:
其中,ET是每Bit的能耗;A是每个用户的数据传输速率(bit/s);Bd是单位时间内数据的下载量(M/h);Bsd是硬盘阵列的大小;Psd是硬盘阵列的功耗;Nsf,sr是每个服务上的用户数;Psf,sr是每个服务器的能耗;Psf,pc用户终端的能耗.
目前对于绿色节能计算系统而言的能耗因子很多,还不能从单一因素去分析能耗,假设用环境系数(E)表示绿色节能计算的一些基本特征,E可表示为下面8元组[12]:
其中,w表示水耗因子;l表示排放因子;r表示回收因子;e表示经济因子,p表示功耗因子,v表示体积因子,a表示面积因子,q表示质量因子,绿色节能计算系统可以认为是这些因子的总集.
从生态系统层面和时间层面上考虑绿色节能计算系统的能耗度量分析指标主要包括以下6个指标:执行时间、响应时间、延迟时间、吞吐量、可伸缩性、服务整合性.通过对这6个指标的判断与优化,从而使系统达到绿色节能环保的效果.
不管云计算的绿色节能环保系统有多复杂,在请求与响应模型中,用户的需求都是通过请求响应来体现,而在这个过程中则是由用户、网络、服务三个部分组成,而在这过程中网络与服务发挥了至关重要的作用,所以服务都通过Web服务构建等软件来实现服务请求.为了分析验证云计算的绿色节能环保系统各层面是能耗情况,设计两个情景模式,分别测试一个高校里整个网络中心机房的资源利用率与耗电情况和服务请求的响应时间对能耗的影响,它们的具体情景模式如下.
情景模式一,用于测试机房的耗电情况.由于支持系统的各种资源(服务器、网络和存储设备)必须24 h不间断运行,能源消耗非常厉害.假设在某大学数字校园建设中,根据业务扩展的需要,所有应用系统的运行,按照传统方式部署将有约100台服务器,每台服务器的功率为500W,分别测试应用传统的技术与采用了此云计算平台技术后的资源利用率与耗电情况.
情景模式二,用于测试服务请求的响应时间.在一个服务器中集成网络服务、数据服务与应用服务,分别完成网络服务中文件的上传下载(上传一个1M的文件)、数据服务中数据的浏览与显示、应用服务中视频的点击与播放,同时设计一个将这些服务都集成在一个服务器上,分别测试集成与非集成的请求与响应时间.
图6 数据中心平均能源消耗值
图7 资源利用率
情景模式一的实验结果分别如图6、图7所示.图6表明在没有运用云计算平台技术的情况下,机房每天的耗电量为1200 kW·h,那么一年的耗电量就为43.8000×104kW·h,考虑到冷却、照明等用电,每年的耗电超过100×104kW·h.采用了云计算平台的虚拟化技术后,并通过先进的运维手段,可以实现资源的动态分配和调整,在非正常上班时间只需20台服务器可以支撑整个系统,仅就服务器运行能耗(不含冷却、照明等配套能耗)这一项每年可节省用电28.6400×104kW·h.图7表明系统在可靠性原则之下,采用内存处理数据响应,内存利用率大于40%、磁盘利用率为50%、网络利用率为20%,它的资源利用率远大于传统技术的利用率.这说明应用了云计算技术明显降低了机房的能源消耗、增加了资源的利用率,有助于节约能源,实现低碳经济和绿色环保.
情景模式二的实验结果如图8所示.该实验结果表明第一次服务请求时,非集成服务的响应时间包括文件下载、浏览显示、视频点播的总时间为89.94 s,而服务集成的响应时间为54.22 s;第二次服务请求时,非集成服务的响应时间为47.46 s,而服务集成的响应时间为28.31 s.这说明服务集成环境下的响应时间只是非服务集成环境下的60%.这说明集成环境下比非集成环境下的响应时间快很多.
图8 服务请求响应时间
随着云计算技术应用的不断发展、服务器的海量增加,能源成本和环境保护已经成为大家当下非常关注的问题,该研究把IT运维管理与服务平台建设云环境下,提高了管理工作效率、降低了运维服务成本、减少了能源消耗.最终实现IT运维服务的智能化、可视化、耗能低碳化.最后通过实验对比,验证了该研究方法的有效节能性和可行性.不过由于物理软硬件等因素的制约,该研究只从绿色节能这一方面去验证基于云计算的IT运维服务的有效性与可行性.
[1]陈 康,郑伟民.云计算:系统实例与研究现状[J].软件学报,2009,20(5):1337-1348.
[2]毛新生.SOA 原理、方法、实践[M].北京:电子工业出版社,2009.
[3]王西民,宗 平.云计算中资源调度策略的研究[D].南京:南京邮电大学,2010.
[4]Michael P,Papazoglou.Web 服务原理和技术[M].北京:机械工业出版社,2010.
[5]薛谷雨.分布式的异构数据交换中间件消息通信模块设计[D].北京:北京工业大学,2005.
[6]W3CXML Activity.Extensible Markup Language(XML)1.1[EB/OL].http://www.w3.org/TR/xml11,2004-02-04.
[7]张小玲.CPU节能策略 [EB/OL].(2010-05-06).http://wenku.baidu.com/view/dc6892db6f1aff00bed51e7e.htm l.
[8]Zhu Liwei.Explore into the design and building of green data center [EB/OL]. (2010-03-21).http://wenku.baidu.com/view/ef10b10b79563c1ec5da71a9.htm l.
[9]刘友生.基于层次结构的绿色计算生态系统能耗分析[J].计算机工程,2013,39(2):27-33.
[10]Baliga J,Robert W,Ayre A,et al.Green cloud computing:balancing energy in processing,storage,and transport[J].Proceedings of the IEEE,2011,99(1):149-167.
[11]郭 耀,赵 霞.绿色软件技术研究进展[J].计算机学会通讯,2010,6(3):34-37.
[12]Li Chin-Hung,Wang Shuen-Tai,Chang Hsi-Ya,et al.An efficient approach for reducing power consumption in a production-run cluster[C]//Proc.of the 3rd International Joint Conference on Computational Science and Optimization.[S.l.]:IEEE Press,2010:293-299.