肖 云 钱惠平 夏梅娟 吴文渊
(浙江气象信息网络中心,浙江杭州310017)
云计算(Cloud Computing)是一种近几年提出的计算模式,是分布式计算(Distributed Computing)、并行计算(ParallelComputing)和网格计算(GridComputing)的发展。目前,亚马逊、微软、谷歌、IBM、英特尔等公司纷纷提出了“云计划”。例如亚马逊(Amazon)、IBM和谷歌联合进行的“蓝云”计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究,不可回避的是,云计算将给依托信息处理交换的各行各业带来巨大变革,同样将对气象领域产生重大而深远的影响。
云计算是21世纪初兴起的热门概念,对它的定义还没有统一的标准。到目前为止,对它的定义有20多个版本,之所以称它为“云”,是因为亚马逊Amazon公司云计算的鼻祖之一把网格计算(Grid Computing),叫了一个新名称“弹性计算云”(Elastic Compute Cloud,EC2),并把它成功应用于商业领域。所以可以认为云计算是网格计算的商业进化升级版。
云计算的基本原理是,用户所需的应用程序并不需要运行在用户的个人电脑、手机等终端设备上,而是运行在互联网的大规模服务器集群中。用户所处理的数据也并不存储在本地,而是保存在互联网的数据中心里面。这些数据中心正常运转的管理和维护则由提供云计算服务的企业负责,并由他们来保证足够强的计算能力和足够大的存储空间来供用户使用。在任何时间和任何地点,用户都可以任意连接至互联网的终端设备。因此无论是企业还是个人,都能在云上实现随需随用。同时用户终端的功能将会被大大简化,而诸多复杂的功能都将转移到终端背后的网络上去完成。
云计算是个热度很高的新名词。由于它是多种技术混合演进的结果,其成熟度较高,又有大公司推动,发展极为迅速。Amazon,Google,IBM,微软和Yahoo等大公司是云计算的先行者。云计算领域的众多成功公司还包括Everydo,Salesforce,Facebook,Youtube,Myspace 等。
Amazon使用弹性计算云(EC2)和简单存储服务(S3)为企业提供计算和存储服务。收费的服务项目包括存储服务器、带宽、CPU资源以及月租费。它可以让小软件公司按照自己的需要购买Amazon数据中心的处理能力。使得独立的开发人员也能够使用Amazon公司内部的计算资源来建立自己的网络应用,用户可以根据自己的需求购买数据中心的计算能力。云计算目前是Amazon增长最快的业务之一。
我们熟悉的Google是最大的云计算的使用者。Google搜索引擎就建立在分布在200多个地点、超过上百万台服务器的支撑之上,这些设施的数量还在快速增长。Google地球、地图、Gmail,Docs等也同样使用了这些基础设施。采用Google Docs之类的应用,用户数据会保存在互联网上的某个位置,可以通过任何一个与互联网相连的系统十分便利地访问这些数据。目前,Google已经允许第三方在Google的云计算中通过Google App Engine运行大型并行应用程序。值得称颂的是Google不保守。它以发表学术论文的形式公开其云计算3大法宝:GFS,MapReduce和BigTable,并在中国高校开设如何进行云计算编程的课程。
IBM在近几年推出了“改变游戏规则”的“蓝云”计算平台,为客户带来即买即用的云计算平台。它包括一系列的自动化、自我管理和自我修复的虚拟化云计算软件,使来自全球的应用可以访问分布式的大型服务器池,使得数据中心在类似于互联网的环境下运行计算。
微软紧跟云计算步伐,于2008年10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后,微软的又一次颠覆性转型——通过在互联网架构上打造新云计算平台,让Windows真正由PC延伸到“蓝天”上。微软拥有全世界数以亿计的Windows用户桌面和浏览器,现在它将它们连接到“蓝天”上。Azure的底层是微软全球基础服务系统,由遍布全球的第4代数据中心构成。
在我国,云计算发展也非常迅猛。2008年6月24日,IBM在北京IBM中国创新中心成立了第2家中国的云计算中心——IBM大中华区云计算中心;2008年11月28日,广东电子工业研究院与东莞松山湖科技产业园管委会签约,广东电子工业研究院将在东莞松山湖投资2亿元建立云计算平台;2008年12月30日,阿里巴巴集团旗下子公司阿里软件与江苏省南京市政府正式签订了2009年战略合作框架协议,于2009年初在南京建立国内首个“电子商务云计算中心”,首期投资额将达上亿元人民币;世纪互联推出了CloudEx产品线,包括完整的互联网主机服务“CloudEx Computing Service”,基于在线存储虚拟化的“CloudEx Storage Service”,供个人及企业进行互联网云端备份的数据保全服务等等系列互联网云计算服务。
上面介绍Google云计算已经拥有100多万台服务器,而 Amazon,IBM、微软、Yahoo等的“云”均拥有几十万台服务器。所以“云”能赋予用户前所未有的计算能力。
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠性高的多。
然而,林运娘家属却坚持其对林场划为公益林的情况事先并不知情。苏碧辉解释道,由于政府鼓励造林,承包山地还能领到一定的补助,所以当时大家积极性都很高。除伯公科这一片林地外,他们还开垦了另外几块林地。前些年虽然的确领到过公益林的补偿金,但一直以为是另外一片松树林的,因为在经营伯公科经济林的20多年间,其从未听说过这片山林变更为了生态林,也没有收到政府下发的任何相关通知。
云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。
在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行让数据和服务围绕着用户,你只要明白自己的意图,便可以把剩下的工作交给云来处理。
满足应用和用户规模增长的需要,“云”的规模可以动态伸缩。
“云”是一个巨大的资源池,人们按需购买;而且云可以象自来水、电、煤气那样计费。
由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几十美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。
“云”除了提供计算服务外,还必然提供了存储服务。目前云计算服务基本上垄断在大商业公司手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(如银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用大商业公司提供的云计算服务,无论其技术优势有多强,存在大商业公司以“数据(信息)”的重要性挟制整个社会危险。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,需要认真考虑的一个重要问题。
根据云计算的现状和特点,结合气象领域信息处理系统实际情况和需求,可以预见云计算对气象领域的影响。
气象领域每天打交道的天气预报产品,需要大量的科学计算才能给出,对于复杂的天气系统预报,如台风路径的预测更需要超大型计算机的计算,目前中国超大型计算机天河一号和曙光公司研制的“星云”高性能计算机都应用在气象领域。超级计算机的应用确实提高了我国整体的预报计算能力,但使用成本是非常高的,省一级气象科技人员还没有能力提交计算应用,一些模式运算只能在本系统内的小型机上进行,效率低下。而云计算能够为气象预报工作带来强大、灵活和低成本的协作与创新平台,云计算一个最明显的优势是可以降低应用计算的成本,提高效率。粗略地计算,目前的个人计算机每个CPU芯片的处理能力是200MIPS,就是每秒钟执行200M也就是两亿次指令,而去年Yahoo!公司报道他们已经实现了有一万个节点(node)就是一万台PC计算机连接的分布式系统,总的处理能力是2 000 000MIPS,如果节点上是小型机,那处理能力难以想象,世界上最快的芯片也无法达到这个速度,因为在一定面积上设计的芯片的速度是存在一个极限的,不可逾越。所以我们的预报科技人员只要通过一台PC机甚至一台3G手机连接到云计算平台,就可以实现超大型计算机完成的任务或完成不了的作业。
随着公共服务需求的提速,气象数据成几何倍数增长,每天的自动站、雷达、雨量标校站、卫星,常规气象资料及历史资料入库构成了各级气象领域网络中心每年数据库建设的常态,2009年统计气象数据存储每年以50% ~70%增长,网络中心需不断投资购买昂贵的硬件设备,负担频繁的维护与升级,而服务器和存储的利用率全国为15% ~25%,电力和空调占数据中心总运行费用的25% ~35%,预计2012年全国将有35%的数据中心面临因高密度设备的需求而陷入电力及空调不足的困境,且一个新的应用往往需要60~180 d才能布置完毕,花费了大量的人力和物力。云计算存储的新颖之处在于它几乎可以提供无限的廉价存储和计算能力,利用云计算存储模式,数据储存在云端,由专业的服务商提供维护,把分布在大量的分布式计算机上的内存、存储和计算能力集中起来成为一个虚拟的资源池,并通过网络为用户提供实用存储服务。云计算存储对用户端的设备要求很低,气象科技人员只要用廉价的终端设备链接到云存储,就可以拿到需要的数据资料,这一特点决定了云计算将会在各单位的网络中心大受欢迎,可以减轻数据中心人员工作强度,为单位节约大量的计算机、网络交换等硬件设备的购买和维护成本。
气象领域是一个资源极其丰富、数据极其庞大的行业,近几年国家对气象信息资源建设的投入不断加大,各个单位都积累了大量的气象信息资源,目前的现状是各个单位信息资源只在本单位共享,缺乏一个行业之间部门之间的气象信息共享平台,这极大地浪费了资源,重复建设问题十分突出。这个问题在云计算时代将得到解决,全球或全国的气象行业拥有一个气象公共云,这一气象公共云将基于Web的服务器、存储、数据库和其他云计算架构的服务放在一个可供世界各地气象人员或气象爱好者使用访问的平台。对于预报和行业之间的合作,如和航空、农业、林业、水利部门之间可以创建部门云,各部门把资料放在同一云中,资料共享,共同合作,协同工作,各取所需。
气象部门是公共服务部门,为全社会提供防灾减灾服务,从省到市县各单位拥有一套气象服务平台,大同小异,建设雷同。而在云计算时代,将是这样的云气象服务平台,它将各种IT资源包括OS、服务器、路由器、存储器等,以虚拟化技术等服务提供给云消费者,我们作为云消费者只要按时提供云气象服务平台需要的交互数据就可以了。气象科技服务部门关心的是业务种类和服务类型和如何定制化服务可以更商业化,同时为气象事业带来丰厚的经济收入;通过云计算模式,不再为基础设施的建设投入资金,只需根据自己的需求,从云服务提供商获得虚拟的基础设施服务,在很大程度上减少了对这些基础设施建设、运行和维护的成本,同时节约了用电。
5.1 目前的云计算模式还存在很多有待解决的问题,将数据存放、管理信息系统的建设以及基础设施的建立放在云端,随之而来的最大问题就是安全与信任问题,这种担心就像是把钱存银行还是放在自己的保险箱里哪一个更安全一样,在信任银行之前,会倾向于把钱放在自己的保险箱里,经过信任评估后,再决定取舍。
5.2 由于气象部门属于政府公共服务部门,同时又赋予管理气象工作的政府职能。所以在云计算时代来临时,对气象数据的分类就是一个必须解决的问题,哪些资料可以上公共云?哪些资料可以上部门的私有云?哪些资料免费?哪些资料收费?
5.3 网络中心部分职能的可能由维护中心机房各类设备转到按需购买云计算和云存储服务,由单一的纯IT技术型部门向多个技术型领域转变,其中包括商务谈判、法律法规等。
5.4 由于云计算和存储的应用,使得全球预报资源的共享最大化,地域差异趋于最小化,很多行业甚至个人可以利用它的优势进行生产预报产品,这无疑是给专业气象工作带来巨大的压力,我们的业务水平将面临更大的竞争和挑战。
云计算正在大踏步的走向各个领域,作为服务于经济大省的浙江气象应该积极面对,妥善布局。首先要普及云计算的基本知识,特别是要使决策者能够认识到,云计算业务最吸引人的地方是它的敏捷性、高可靠性、易布局性、容灾性及快速恢复性。因为决策层的认同,是各单位IT启动和布置气象混合云的基础。
浙江气象在推广云计算的过程中,可以预见会遇到许多关键问题,其中包括如何结合各单位的局域网构建本单位的私有云,如何将各单位的私有云与和气象公共云结合起来,并最终综合成浙江气象混合云。因为我们知道气象公共云缺乏行之有效的商业规模和安全控制技术,而结合各单位的局域网构建的私有云升级潜力有限,在应用方面难以满足不断提出的气象服务要求。但是对于将来的浙江气象混合云,有很多优势,它包括私有和公共云之间,具有保障的资源配置,且更容易控制和管理内部和外部环境和企业级安全级别的资源。为了实现这些网络架构的转变,解决这些关键问题,浙江气象IT团队的教育和培训方面投资也显得非常重要。
浙江气象信息网络系统是由多类业务子系统构成的,其中多数子系统是实时业务系统,为保证全省气象信息网络的正常运行,特别是满足不断发生变化的气象服务需求,要购买更多更先进的硬件设备和进行相应的软件升级,为此网络中心投入了大量的人力物力和时间,但仍然不能满足日新月异的需求变化,还有许多关键子系统是孤军奋战。如MICAPS(Meteorological Information Comprehensive Analysis and Process System)系统,每天不间断作为全省气象预报员中短期,短时预报的工作平台,目前就是单机运行,一旦遇到故障势必影响预报服务工作。如何解决这个问题,传统的双机热备,磁盘阵列等技术已经不能满足宕机率接近零的需求,可以采用云计算的服务器集群方案,我们不需要了解这些服务器的物理位置和他们的型号,它们可以在世界的任何地点存在,其中很可能部分服务器也会发生故障,但集群中的其他服务器会继续工作,我们网络中心作为云计算的客户在与云服务提供商签约之前,应了解自己到底有哪些资源,要购买哪些资源服务,以及我们的应用程序在公共、共享的服务器基础架构上运行的业务流程,同时还要注意基于云而构建的所有Web服务和功能,然后通过云服务提供商系统调度得到我们要的MICAPS系统就可以了。
我们正在步入云计算的时代。云计算通过将中间件组件化、虚拟化,为气象领域网络数据中心的开发提供了一种动态组成系统的有效机制,使复杂的问题可以简单快速的解决。云计算的出现,将要影响气象领域的许多业务平台,带来前所未有的改变,我们要积极面对,取其之长,补我之短。
当然,云计算并不完美,还有很多有待解决的问题,例如这种云服务的提供对网络的依赖极大还有安全信任问题。但是,不可否认,云计算提供了一条新的思路:动态的组成系统,简单的处理方式,更大程度的资源共享。可以说,云计算时代的到来,将使气象领域网络应用,数据存储模式,预报服务方式带入一个新的里程碑。
[1] Jim Baty.Take Your Business to a Higher Level:Sun Cloud Computing[J].2008(13):45-48.
[2] Mike Hogan.How Databases Can Meet The Demands of Cloud Computing[J].2008(2):41-43.
[3] ZHANG T T,LU YL,HU IH T.Compensation for the mutual coupling effect in uniform circular arrays for 2D DOA estimations employing the maximum likelihood technique[J].IEEE Transactions on Aerospace and Electronic Systems,2008,44(3) :1215-1221.
[4] 李 响.云计算风云乍起.计算机世界报,2008(14):12-13.
[5] Assessing the Security Risks of Cloud Computing,2008,http://www.gartner.com/Disp layDocument?id=685308.
[6] 维基百科.Cloud computing[EB/OL].[2009-03-10].http://en.wikipedia.org/wiki/Cloud_computing.
[7] 中国云计算网.什么是云计算?[EB/OL].(2008-05-14)[2009-02-27].http://www.cloudcomputing2china.cn/Article/ShowArticle.asp?Article ID=1.
[8] VAQUERO L M,CACERES J,et al.A break in the clouds:Towards a cloud definition[J].ACM SIGCOMM Computer Communication Review,2009,39(1) :50-55.
[9] WEISS A.Computing in the clouds[J].ACM Networker,2007,11(4):16-25.
[10] CHANG F,DEAN J,GHEMAWAT S,et al.BigTable:A distributed storage system for structured data[J].ACM Transactions on Computer Systems,2008,26(2) :1-26.