云计算监控研究综述

李 君

信阳职业技术学院 信阳 464000

引言

云计算代表了IT领域向集约化、规模化与专业化道路发展的趋势,以其便利、经济、高可扩展性等优势吸引了越来越多的企业的目光,将其从IT基础设施管理与维护的沉重压力中解放出来,更专注于自身的核心业务发展。在这种情况下,需要采用准确的、精细的监控措施有效地经营并管理日益复杂的云系统。

1 云计算监控需求

1.1 云计算概念

云计算是一种按使用量付费的模式,提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。云计算可分为以下几个层次的服务:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。IaaS、PaaS、SaaS分别在基础设施层、软件开放运行平台层、应用软件层实现。云计算通过互联网对用户提供IT基础资源,包括计算、存储、网络、软件等的按需租用,能够降低用户的IT运维成本使得用户可以专注于自身业务。

1.2 云计算监控需求

监控对于提供商和用户都很重要。一方面,云监控是提供商管理控制硬件与软件基础设施的重要工具;另一方面,它提供了云系统、应用程序的状态信息和关键性能指标。SLA(服务等级协议)监控向提供商和用户提供了用户负载、云平台性能和服务质量QoS等信息,提供商根据已有措施预防或处理SLA违反。系统化的云计算监控需求分析应包括资源规划与管理、能量管理、SLA管理和安全管理等4个方面。

1.2.1 资源规划与管理

为了保证应用和服务的性能,开发者必须依据应用程序、服务的设计和实现机制估算工作负载,确定所需资源和容量的数量,避免资源供应不足或供应过量。虽然负载估计值通过静态分析、测试和监控得到,但实际上系统负载变化迅速、难以预测。云提供商通常负责资源管理和容量规划,提供QoS保证。因此,监控对于云提供商是至关重要的。提供商根据监控信息追踪各种QoS参数的变化,观察系统资源利用情况,从而准确规划基础设施和资源,遵守SLA。

1.2.2 能量管理

云计算是对既有的计算资源在一种全新模式下的重组。在云端,数以万计的服务器提供近乎无穷的计算能力,而云用户根据自己的需求获取相应的计算能力。集中的存储和计算,形成了云能耗黑洞。云计算系统作为未来信息通信系统中内容与服务的源头与处理核心,业已成为信息通信系统的能耗大户。能量支出已经成为云计算系统运营不断增加的成本,有可能超过购买硬件资源的成本。为充分利用能量,提供系统能效,降低能量成本,需要从监控能耗入手,利用采集来的系统运营状态参数对服务器中的主要耗能部件进行建模分析,为节能策略的构建提供依据。

1.2.3 SLA管理

SLA是云用户和提供商之间签署的合同,描述了双方协商一致的服务项目、服务等级参数、如何保证SLA以及SLA违反时如何处理。为保证提供商提供的服务满足SLA,其基本的前提是监控。再次,当进行审计检查业务活动是否遵守监管规则时,需要采取强制监控措施进行SLA验证。最后,监控可使云提供商利用用户实际服务绩效的知识制定更有利的定价模型、更符合实际、更灵活的SLA。

1.2.4 安全管理

由于服务模式的差异和新技术的应用,云计算还面临着新的安全风险挑战,如密钥和数据的防泄漏、动态数据隔离、虚拟化计算安全等等。云计算的安全风险是由其服务模式和自身的特性决定的。云端使用浏览器来接入云计算中心,以访问云中的IaaS、PaaS或SaaS服务,接入端的安全性直接影响到云计算的服务安全。为此,需要对云系统进行有效的监控,获取云系统内部的全局状态信息,向用户报告其服务的运行状态,通过对全局的监控信息进行关联分析,从而及时发现云平台内部可能的攻击,提高云用户的服务质量。

2 云监控技术研究

2.1 云监控技术分类

依据云计算系统对监控的需求,云监控可分为资源监控、SLA监控、能耗监控和安全监控等。云监控分类图如图1所示。

图1 云监控分类图

2.2 资源监控

资源监控,已经广泛用于软件优化、配置和性能评估等领域,是许多重要操作的前提,比如故障检测、网络分析、任务调度和负载均衡。在云计算环境下,需要采取监控措施应对资源和网络条件的快速变化以及虚拟化技术带来的管理挑战。

文献[1]从云计算环境资源的透明虚拟化和弹性化、用户使用资源进行计费入手,提出了一种适应云计算环境的资源监测模型,该模型采用基于设定阈值的轮询策略去采集节点自身的动态信息,从而得到资源的状态信息。

文献[2]定义了从异种资源集合汇聚监控信息的一系列需求,充分支持自适应的系统。采用数据流处理架构,提供近似实时、跨边界、分布式、可伸缩的容错监控。监控数据从资源推送到监控系统,经过一系列数据流处理器处理后转变为统一格式。

云计算系统资源数量庞大,监控数据的发送量惊人。为有效减少监控数据的发送,文献[3]提出了自动聚类的方法,根据资源的利用率对虚拟机聚类,从而减少监控数据的发送量。该方法的步骤是:抽取描述虚拟机行为的量化模型,根据虚拟机行为模型聚类,确定相同的虚拟机类。对于给定的一组n个虚拟机,方法的第一步旨在表示每个虚拟机的行为。文章考虑不同资源用量间的依赖关系,如CPU利用率、网络吞吐量或I/O速率,描述一段时间内虚拟机的行为。每个虚拟机可由m个指标来描述,每个指标表示虚拟机的一种资源。设

为一组时间序列, 为描述虚拟机i的第j个指标的时间序列取样向量,虚拟机指标间的相互依赖关系可用相互关系值测量,即通过相互关系矩阵Si来表示, 为时间序列 和 间的相关系数。描述虚拟机i行为的相关矩阵Si作为第二步的输入,其目的是将相似的虚拟机归并到同一类。为减轻了主结点与工作结点的通信压力。

以上文献从减少监测数据传输量、获取全面准确的监控信息等角度对云计算资源监控进行了研究,虽然提出的方法有效地解决了资源监控的部分问题,但仍存在不足。这些方法大多从传统的分布式计算、网格计算中演化而来,带有原来的缺陷,往往不能适应云环境复杂多变的负载和网络条件的变化。原有的监控指标侧重于服务器的性能,监测和表明应用程序性能的指标需修改。另外,还需要应用实时智能技术自动决策管理云基础设施。

2.3 SLA监控

云计算环境中,用户的需求动态变化,云供应商不能掌控用户需求变化,但必须提供用户满意的服务质量。SLA是客户和服务提供商之间签署的合同,规定了服务的项目,包括具体QoS(服务质量)的非功能要求、义务、定价和协议违反的惩罚。

文献[4]展示了探测SLA违反的架构,通过复杂的资源监控感知SLA违反。根据用户的请求,该架构向被请求的服务分配资源,在虚拟化环境中安排部署,进行资源监控,将低级资源资本映射为用户定义的SLAs。预防SLA违反是服务提供商重要关注内容,旨在满足用户要求。然而目前大多数的研究考虑SLA违反发生后的扩展。文献[5]提出语义SLA,可使提供商、请求和监控服务各方理解。语义SLA合同以发现所需监控服务的目标来定义。SLA依赖建模采用Web服务模型本体构建知识库,可用来消除SLA违反探测相连的SLA故障的影响。

以上文献,主要是针对SLA违反监测的研究。但不同的云服务提供商依据自己的技术和资源的特性,提出了多种多样的SLA,相互差异很大,因此,通用的、标准的SLA对于SLA的监控十分重要。另外,SLA往往跨越云计算的多个层次,有助于监控模型的构建和标准化,实现更清晰更高效的云服务监控。

2.4 能耗监控

云计算时代更多的计算资源和存储资源集中在云端,高能耗逐渐成为一个突出的问题。如何提高整个云平台的能耗效率,减少二氧化碳排放,对于降低运营成本,促进环境保护,变得越来越重要。

文献[6]从监控能耗入手,提出了一个对云计算平台进行能耗监控和能源管理的系统框架。通过ACPI、IPMI实时收集系统信息和能源信息,利用采集来的集群运营状态参数对服务器中的3大主要耗能部件进行建模分析,为节能策略的构建提供依据。文献[7]探讨采用黑箱方式监控虚拟机功率方法的可行性,包括那些复杂的内存层次结构,该方法可以准确地估计虚拟机级别的功率使用,或结合正负误差边界估计。文献[8]研究细粒度虚拟机功率测量问题。通过引入相对PMC概念,提出了基于相对信用的调度方法。该调度算法使用相对PMC信息抵消迭代的功耗。

以上这些研究都仅考虑了系统单一层面的特性,不能刻画硬件、系统、应用三者之间的综合能效模型,也没有考虑云计算系统环境的能效模型;同时,尚缺少高精度、细粒度的运行时功耗测量方法以及系统能效预测机制。

2.5 安全监控

云计算已成为全球未来信息产业发展的战略方向和推动经济增长的重要引擎,但云计算的安全问题是影响其发展的主要障碍,特别是考虑到某些关键领域的应用和对安全极度关注的用户。为保证云基础设施和服务的安全,正常的监控系统是必须的。

传统的入侵检测机制不够灵活,难以适应云计算基础设施频繁变化的特点,这使它们不能解决新兴云计算特殊的安全问题。文献[9]探讨了云计算系统入侵探测预防的解决方案。考虑IDPS(入侵检测预防系统),确定了一系列密切相关的要求,从自动计算自身管理、本体、风险管理和模糊理论四个概念出发讨论如何满足这些要求。

系统异常行为的发生,可预示系统收到攻击或资源失效。文献[10]讨论了混合云或公共云的异常检测框架,填补了以云系统为源头的工作流在不同层的事件间的空白,从云系统的使用出发,应对多租户引发的挑战。

文献[11]采用被动措施补充预防性安全措施解决高复杂度和许多软件层和基础设施的交互依赖在实践中总是有出错的可能性问题。特别为云计算环境设计,引入一个全新的完善架构用于动态安全监控。三层架构、表示监控规则的新语言以及基于有限状态机产生的策略,提高了监控引擎的性能。文献[12]使用探测器对主机操作系统进行完整性检查。探测器对所有的有恶意的活动进行分析,记录到日志文件。可执行文件和库文件定期校验和验证,云计算资源的完整性由虚拟机监视器进行核查。采用该方法,所有的监控活动由虚拟机监视器完成。

云计算安全涉及多个服务层次,需要构建跨层的、全面的监控体系,才能保证云的安全。现有上述方法的往往只从单一层次的角度考虑云计算安全问题。另外,各个国家不同的法律和隐私保护制度,监控标准的缺乏使得云计算的安全监控变得更为复杂。

3 未来研究方向分析与展望

虽然近几年在云计算监控领域上学者们已经开展了许多研究工作,取得了不少研究成果,提出并实现许多监控工具,但仍然存在不少问题,需要进一步深入研究,给出解决方法。在云计算监控方面,未来主要研究方向有:多角度监控、通用标准化监控、多层次监控。

3.1 多角度监控

现有监控工具往往只关注云操作的一个监控方面,提供部分解决方案处理云监控问题。 实际上,所有的云服务都要被测量和监控,满足云计算中多个角色的需要。拥有一个全面的监控系统对于开发者和他们各自的供应商都很重要。前者的优势是有望采用单一的监控API监控其购买的资源状态和部署的服务信息。对后者来说,只需要部署和维护一套监控设施就可以监控自身拥有的物理和虚拟资源。一个完整的云监控系统应覆盖所有的关注点。在此背景下,需要清楚地分析云监控的多个方面,构建具有通用目的、完整的云监控架构。覆盖云监控的所有方面需要集中监控工具的联合,避免冗余和系统开销。多角度的监控是设计开发先进云监控工具的基础,解决现代云计算环境对监控的需要,是今后云监控重要研究的方向之一。

3.2 通用标准化监控

云计算是个相对新兴的模式,没有通用的标准被云计算系统所广泛应用。在现有文献中,很难发现云监控过程、格式和指标的标准。现有种类繁多的SLA供应、记账供应和合同模板使得发现用户很难发现适合的的监控服务。因此,采用标准的模型描述云中各层SLA是该领域的重要挑战。当监控跨越多个云的服务时,涉及到地理、质量和法律问题,情况变得更加严重且复杂。此外,兼容性和调整难题继续变化,随着越来越多的业务服务通过云分发,迫切需要各国政府对隐私、安全问题进行标准化。建立何种合适的模型、使云计算监控模型标准化、统一化,为测试、成本计算、性能提供标准依据,是一个重要的问题。

3.3 多层次监控

云的结构复杂,由多层组成,各层之间有着依赖关系。如果底层服务不正常工作,就会影响上层服务的性能。强烈的分层限制了监控系统的分析种类、执行的后续动作。用户不能访问下层指标,提供商不能访问上层指标。其结果是,用户和提供商基于一个有限的水平进行决策。考虑多个服务层次,进行整体监控系统的构建是今后云监控领域非常具有挑战性的问题。

4 结束语

随着现代软件应用和商务处理的全球化、信息化和自动化的发展,云计算的研究发展市场和应用背景越来越广泛,云计算监控技术作为当前云计算的一个主要研究方向越来越受到关注。本文对目前的云监控技术进行了辨析,指出其存在的不足之处,提出将多角度监控、通用标准化监控、多层次监控作为今后云监控技术的研究方向和工作重点。

参考文献

[[1]葛君伟,张博,方义秋.云计算环境下的资源监测模型研究[J].计算机工程,2011(11):31-33

[2]Smit M,Simmons B,Litoiu M.Distributed,applicationlevel monitoring for heterogeneous clouds using stream processing[J].Future Generation Computer Systems,2013,1(9):500-505

[3]Canali C,Lancellotti R.Automated clustering of VMs for scalable cloud monitoring and management[C]//Software,Telecommunications and Computer Networks(SoftCOM),2012 20th international Conference on 2012 IEEE,2012

[4]Emeakaroha V C,Marco A S Netto,Rodrigo N.Calheiros.Towards autonomic detection of SLA violations in Cloud infrastructures[J].Future Generation Computer Systems,2012,28(7):1017-1029

[5]Dastjerdi A V,Tabatabaei S G H,Buyya R.A dependency aware ontology based approach for deploying service level agreement monitoring services in Cloud[J].Software: Practice and Experience,2012,42(4): 501-518

[6]雷成军,罗亮,吴文峻.基于云计算的集群能耗监控与节能方法研究[J].计算机应用与软件,2011(11):242-244

[7]Krishnan B,Hrishikesh Amur,Ada Gavrilovska,et al.VM power metering:feasibility and challenges[J].S I G M E T R I C S P e r f o r m a n c e E v a l u a t i o n Review,2010,38(3):56-60

[8]Peng Xiao,Zhigang Hu,Dongbo Liu,et al.Virtual machine power measuring technique with bounded error in cloud environments[J].Journal of Network and Computer Applications,2012,36(2):818-828

[9]Patel A,Mona T,Bakhtiyari K,et al.An intrusion detection and prevention system in cloud computing:A systematic review[J].Journal of Network and Computer Applications,2013,36(1):25-41

[10]Gander M,Felderer M,Katt B,et al. Anomaly Detection in the Cloud:Detecting Security Incidents via Machine Learning[J].JIMSE 2012,2012:31

[11]Munoz A,Gonzalez J,Mana A.A Performance-Oriented Monitoring System for Security Properties in Cloud Computing Applications[J].The Computer Journal,2012,55(8):979-994

[12]Lombardi F,Di Pietro R.Secure virtualization for cloud computing[J].Journal of Network and Computer Applicat ions,2011,34(4):1113-1122