网格与云计算集成方案的简析

姚 鹏， 侯韶华

（南京邮电大学 光电工程学院，江苏 南京 210003）

0 引言

网格计算将网络中分散的计算机组成一个“虚拟的超级计算机”，利用其中各台计算机闲置的计算能力来解决复杂的科学计算问题，并支持跨管理域计算[1]。网格资源大多数时间不会被最佳利用，只有在某个高峰段,网格资源才被执行任务充分利用。如果这个状态持续很长时间，那么新提交的网格任务需要在队列中等待，直到需要的网格资源被释放。

云计算是一种商业计算模型[2]。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够按需获取计算能力、存储空间和软件服务。云中的资源是可扩展的，按需使用的和租凭付费的。现在公有云的普及仍然有一些障碍，特别是安全问题。为了克服这些障碍，私有云出现了，它相对安全一些，而且依然保持云的典型特点，如弹性机制，但私有云的弹性拓展会受到私有云硬盘容量的限制。有研究人员试图通过从公有云中获取额外资源来处理私有云在需求高峰和极端需求[3]时的特殊情况。然而，集成私有云和公有云会面临安全的威胁，所以不能被广泛采纳。

为了弥补网格和私有云的缺陷，人们试图将两者集成起来，将两者的优势弥补彼此的缺陷：当私有云在需求高峰和极端需求的情况下需要额外资源时，挪用网格资源；反之当网格任务执行阻塞时，挪用私有云资源。由于网格高度安全，所以这种集成不会对私有云带来任何安全威胁。网格和云计算的集成在高性能计算（HPC）领域是非常重要的需求，而且这种集成能够非常有效的利用资源，同时提高网格和云计算两者的服务性能。

1 网格与云计算的通用框架

网格和云计算的集成架构一般包括3个主要部分：网格，云和集成调度器，如图1所示。

图1 网格云集成通用框架

网格环境：网格环境如图2所示，由传统网格和网格元调度组成，网格元调度有 GridWay和GMarte[4]两种。当一个网格任务被提交给网格时，元调度将查询有效的网格资源。如果有资源，网格元调度将任务请求传递给相应集群的本地调度器。本地调度器将该请求交由计算节点来处理。如果查询返回结果显示没有可用资源，那么该请求将会被传递给集成调度器，由集成调度器尝试利用云计算来执行。

图2 网格环境

云计算环境：典型的云计算系统包括 Amazon EC2弹性计算云、Google App Engine。图3所示的云计算环境中，管理器负责监视统计云中每个集群的资源使用情况，为用户提交的任务寻找最匹配的资源，同时根据用户任务对软硬件的需求，在云中部署虚拟器镜像，最后分配任务到虚拟机上执行。服务目录能够记录云中已经部署的虚拟机镜像资源，这样对于需要已有虚拟机镜像的任务可以直接被执行，而无需重新配置。

图3 云计算环境

如果镜像由于缺少资源不能够被部署，那么该请求将会被传递给集成调度器，尝试利用网格资源处理该任务。

集成调度器：集成调度器是网格云集成的核心。所有提交的任务均不考虑是否为网格任务或者云任务，全部存储在任务管理器中。网格元调度和云管理器定时向集成调度器更新环境中的有效资源信息，以便调度器为提交的任务查询合适的资源，分配给网格或者云计算处理。

2 网格云集成调度的负载均衡策略

集成调度器的核心任务是对网格和云进行动态负载均衡，提高整体计算的吞吐量，加强系统处理能力。现有的动态负载策略分为负载状态策略和资源需求策略。

负载状态策略根据节点的负载状态分配任务。如LVS中的最少连接数策略、服务器集群的LARD策略等。该类策略只有在保证任务资源需求特征不变和任务需求相似的前提下，才有好的效果。当任务资源需求差异较大时，使用该类策略容易引起节点负载状态抖动，降低系统整体性能。而实践中，网格和云中的资源匹配度不高，且云中任务资源需求不尽相同，这就使得负载状态策略不理想。

资源需求策略根据任务资源需求信息和计算节点负载信息，将任务分配到符合任务资源需求且负载最低的节点上。如服务器集群的 CAP 策略和Branco的策略。该类策略在任务资源需求差异较大时能达到好的效果，但需要掌握任务的资源需求信息，这限制了其适用范围。

已有的致力于集成网格和云计算的文献提供了各式各样的集成方案，文献[5]中作者使用CometCloud软件来动态联合网格和云计算，执行应用程序。

CometCloud实现了一种基于自主的cloudbridging和cloudbursting的动态负载策略，自主 cloudbridging能够实现多样计算环境的集成 ，而自主 cloudbursting实现了一种能够解决动态负载、需求高峰和极端需求下的动态应用规模扩展。CometCloud 系统平台的自适应负载均衡策略可以很好地获得工作节点的运行信息，并精确计算其负载状态，从而解决了网格云集成环境中，任务资源需求差异明显，任务资源需求特征动态多变且难以准确掌握任务资源需求信息的难题。

在文献[6]中，作者设计的网格云集成调度的策略参考了SLA（服务水平协议），采用任务执行时间，任务执行成本，应用程序资源需求和网络带宽等因素，用贪心算法来折中选择最佳的匹配资源。

网格云集成环境对于资源匹配有着精确的要求，这造成了集成环境中资源的无法被充分利用。文献[7]中，作者提出在集成网格云计算环境中使用语义资源匹配，而不是精确匹配，通过语义资源匹配寻找可替代资源，让更多的任务可以被分配到可用资源。例如用户请求“鸭舌帽”的操作系统，“草帽”内核的操作系统将是一个可替代的选择。

3 结语

在当下云计算迅速发展的大环境下，网格和云计算的融合也被寄予了期望。国外已有的网格云集成案例种类多样，但侧重点多在借助云计算资源动态拓展的优势来优化网格的高性能计算。

网格和云还具有多个方面的互补性[8-11]：

1）网格计算支持跨平台、跨系统和跨地域；云计算的资源集中，云与云之间是独立的信息孤岛。网格云集成能够帮助云计算平台间实现互操作。

2）云计算主要针对松耦合数据处理应用，对于不易分解成独立子任务的紧耦合计算任务处理效率低；网格计算适合处理紧耦合型应用。网格云集成可以扩大应用范围。

3）云计算托管用户数据，存在安全隐患；而网格具有物理分散、逻辑集中的特点。数据可以保存在客户端，由用户管控，对外界提供数据访问服务，有利于避免敏感数据的泄露。

网格和云集成有着很大的发展空间，也存在着一些难点，例如如何把网格跨平台、跨系统和跨地域的特点赋予云计算，以及如何借鉴网格的安全优势来解决公有云的安全问题，是网格云集成在未来的研究重点。

[1]Parascale.Eleven Benefits of Using the Cloud Storage[EB/OL].(2009-11-05)[2012-09-18].http://www.cloudcomputing-china.cn/Article/luilan/200909/306.html.

[2]GONG Qiang.Grid Computing Commercial Evolution of Cloud Computing and Application Prospects[J].Information Technology,2011(10):21-25.

[3]NAIR S K,PORWAL S,DIMITRAKOS T,et al.Towards Secure Cloud Bursting, Brokerage and Aggregation[C]// 8thEuropean Conference on Web Services.Cyprus: European Commission’s Seventh Framework Programme,2010:189-196.

[4]ALONSO J M,HERN´ANDEZ V,MOLT´O G.GMarte: Grid Middleware to Abstract Remote Task Execution[J].Concurrency and Computation: Practice and Experience,2006,18(15):2021-2036.

[5]KIM H,EL-KHAMRA Y, JHA S,et al.An Autonomic Approach to Integrated hpc Grid and Cloud Usage[C]// 15thIEEE International Conference on e-Science.Oxford: National Science Foundation,2009:366-373.

[6]CALATRAVA A,MOLT´O G,HERN ´ANDEZ V.Combining Grid and Cloud Resources for Hybrid Scientific Computing Executions[C]// Third IEEE International Conference on Cloud Computing Technology and Science.Athens:IEEE,2011:494-501.

[7]SELVARAJ K,MUKHERJEE S.Integration of Grid and Cloud with Semantics Based Integrator[C]// Third International Conference on Computational Intelligence, Communication Systems and Networks.Bali:IEEE,2011:308-313.

[8]The Grid Technology Complementary Cloud Computing[EB/OL].(2011-09-19)[2012-11-22].http://info.secu.hc360.com/2011/09/190857579562.shtml.

[9]曾曦,陈军.下一代网络软件技术的发展趋势[J].通信技术,2007,40(11):223-224,232.

[10]唐新来.网格环境下信息服务系统的研究[J].通信技术,2009,42(02):314-316,319.

[11]张秋江,王澎.云计算的安全问题探讨[J].信息安全与通信保密,2011(05):94-95.