邵泽云+++刘正岐
【 摘 要 】 文章介绍了云计算的产生和云计算的全新概念,分析了云计算的体系结构,然后总结了云计算的一些关键技术,像虚拟化技术、海量数据存储技术、海量数据管理技术、编程模式和云平台管理技术等,并指出了云计算带给人们的好处。
【 关键词 】 云计算;虚拟化;海量数据;存储;管理;服务
【 中图分类号 】 TP393 【 文献标识码 】 A
1 引言
随着互联网的发展,人们对网络的需求越来越多,网络提供给人们的服务也越丰富,而这些网络服务需要海量数据的存储和强大计算能力来满足日益增长的业务需求,云计算的理念就这样应运而生,它是直接产生于企业计算、互联网领域,它更关心如何扩展系统、如何方便IT管理。
2 云计算的概念
云计算是一种动态的易扩展的且通常是通过互联网提供虚拟化资源的计算方式,用户使用相关资源时不需要了解云内部的细节,也不必具有云内部的专业知识。云计算的概念可以从狭义和广义两个方面来看。狭义云计算是一种IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(包括硬件、平台和软件),提供资源的网络就是“云”,“云”中的资源在使用者看来是可以无限扩展,并且可以随时获取,按需使用,随时扩展,按使用付费,这种特性被人们形象地称为像使用水电一样使用IT基础设施。广义云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务,这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务。
3 云计算的体系结构
云计算的基本原理是利用非本地或远程服务器(集群)的分布式计算机为互联网用户提供服务(计算、存储、软硬件等服务),这使得用户可以将资源切换到需要的应用上,根据需求访问计算机和存储系统的资源。云计算的体系结构如图1所示。
云端用户是提供云用户请求服务的交互界面,也是用户使用云的入口;服务目录是云用户在取得相应权限后可以选择或定制的服务列表;管理系统是提供对用户、资源管理和服务;部署工具是对资源进行智能调度、使用、配置和回收等;资源监控是监控和计量云系统资源的使用情况;服务器集群是虚拟的或物理的服务器,由管理系统管理负责高并发量的用户请求处理、大运算量计算处理、用户Web应用服务,云数据存储时采用相应数据切割算法、采用并行方式上传和下载大容量数据。
4 云计算中的关键技术
按需部署是云计算的核心,要解决按需部署,必须解决资源的动态可重构、监控和自动化部署等,而这些又需要以虚拟化、高性能存储、高效数据处理、高速互联网等技术为基础。所以云计算除了需要仔细研究其体系结构外,还要特别注意研究资源的动态可重构、自动化部署、资源监控、虚拟化、海量数据存储、海量数据管理、编程模式及云平台管理等关键技术。
4.1 虚拟化技术
虚拟化技术是指计算元件在虚拟的基础上而不是真实的基础上运行,它可以扩展硬件的容量,简化软件的重新配置过程,减少软件虚拟机相关开销和支持更广泛的操作系统等多个方面;通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式;虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等;在云计算实现中,计算系统虚拟化是一切建立在“云”上的服务与应用的基础;虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面,是提高服务效率的最佳解决方案。
4.2 分布式海量数据存储技术
云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储方式存储数据,用冗余存储的方式(集群计算、数据冗余和分布式存储)保证数据的可靠性。冗余的方式通过任务分解和集群,用低配机器替代超级计算机的性能来保证低成本,这种方式保证分布式数据的高可用、高可靠和经济性,云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。
4.3 海量数据管理技术
云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据;计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase;由于云数据存储管理形式不同于传统的RDBMS数据管理方式,如何在规模巨大的分布式数据中找到特定的数据,也是云计算数据管理技术所必须解决的问题,同时由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来,目前一些研究在关注为云数据管理提供RDBMS和SQL的接口,如基于Hadoop 子项目HBase和Hive等。另外,在云数据管理方面,如何保证数据安全性和数据访问高效性也是研究关注的重点问题之一。
4.4 编程方式
云计算提供了分布式的计算模式,客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map—Reduce,Map—Reduce是一种编程模型和任务调度模型,主要用于数据集的并行运算和并行任务的调度处理,在该模式下,用户只需要自行编写Map函数和Reduce函数即可进行并行计算,其中Map 函数中定义各节点上的分块数据的处理方法,而Reduce函数中定义中间结果的保存方法以及最终结果的归纳方法。
4.5 云计算平台管理技术
云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不间断的服务是巨大的挑战,云计算系统的平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。
5 结束语
云计算真正实现了按需计算,从而有效地提高了对软硬件资源的利用效率,云计算的出现使高性并行计算不再是科学家和专业人士的专利,普通的用户也能通过云计算享受高性能并行计算所带来的便利,使人人都有机会使用并行机,从而大大提高了工作效率和计算资源的利用率,云计算模式中用户不需要了解服务器在哪里,不用关心内部如何运作,通过高速互联网就可以透明地使用各种资源。
参考文献
[1] 王佳隽,吕智慧,吴杰等.云计算技术发展分析及其应用探讨[J].计算机工程与设计,2010(20):4404-4408.
[2] 孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146-169.
[3] 王元卓,靳小龙,程学旗.网络大数据:现状与展望[J].计算机学报,2013,36(6):1125-1138.
[4] 张新玲,张东,曹玲玲等.云计算虚拟化平台性能研究[J].软件导刊,2013(11):1-3.
[5] 吴华芹.基于云计算背景下的数据存储技术[J].计算机光盘软件与应用,2013(7):28-29.
[6] 宗平,周明.云计算中的数据安全存储和加密模型的设计[J].计算机技术与发展,2013(10):137-140.
基金项目:
甘肃省教育科学“十二五”规划课题(GS[2013]GHB1097)。
作者简介:
邵泽云(1980-),男,甘肃西和人,讲师,主要从事计算机网络与计算机应用方面的教学与研究。endprint