莫基敏
摘 要:目前计算机工作站的低成本和可用性使其成为高性能计算的有吸引力的解决方案。网络技术的显著进步使得能够来实现高性能的全球计算。据此,介绍了在动画生成中使用网格计算组成的系统中的性能结果。利用多节点的计算机结构及使用Globus网格管理软件对网格计算的性能和损耗进行定量评估和分析。实验结果表明,多节点的网格计算系统使得生成的时间显著减少,同时在动画生成过程中的CPU负载大大减少。
关键词:网格计算;动画生成;监控
中图分类号:TB
文献标识码:A
doi:10.19311/j.cnki.1672-3198.2016.32.099
1 介绍
随着信息技术的发展,大量的数据需要被处理。单台计算机不再能满足处理这么大量数据处理的需要。因此,许多解决方案被提出,其中一个就是网格并行计算。网格计算是一种管理计算机集合以实现共同任务的技术。与超级计算机相比,网格技术是松散耦合的,并且使用网格管理工具包,很容易构建具有强计算能力的可扩展和安全的网格。网格技术的另一个优点是经济实惠。例如,公司可以在自己的机器中实现其网格基础架构,并在机器空闲时向其分配任务。
本文设计了一个用于动画生成的网格架构。第2节将介绍设计目标,第3节将讨论网格计算结构设计细节,然后第4节将描述硬件配置及讨论实验结果,最后在第5节进行总结。
2 设计目标
基于具有一定数量的计算机节点的系统设计,把pov格式文件存储在系统中的每台计算机里。每台计算机能够从pov文件生成高清晰度图像,而生成的图像将对网格中的所有计算机可见。在生成图像之后,任何计算机应该能够将图像逐帧转换为高清晰度动画。但在这种情况下,在图像或者动画生成期间,CPU和内存资源将会不足。为了解决这个问题,可通过在该系统中使用网格计算,并且可以通过添加多个服务器节点以减少CPU和存储器的占用率,以实现加速处理数据的目标。其中,网格上的每个节点都应该安装Globus Toolkit工具包。
3 网格计算结构设计
3.1 可扩展性
Globus工具包为网格管理提供了一些组件。Globus资源分配和管理GRAM是使得用户能够定位、提交、监视和取消远程作业的组件之一。此外,监控和发现服务MDS可提供有关节点的状态和可用性的信息,Grid管理器可以使用这些信息来选择使用资源。
当前网格资源管理有其弱点。公共采用的架构是2层层次资源管理。然而,在大规模网格网络中使用该架构,一些资源将变得不可访问。此外,使用2层架构使得网络QoS较差。
在新的框架中,我们提供分层资源管理器。资源管理器有三种类型:(1)管理一个特定资源的个人资源管理器(IRM);(2)管理集群中的资源的集群资源管理器(CRM);(3)网格资源管理器(GRM),用于管理整个网格网络中的资源。在4层网格网络中,IRM用在最低层级1中,中间层采用CRM,在顶层框架使用GRM进行资源管理。
3.2 安全性
网格的安全性通过以下手段维护:(1)防火墙:部署防火墙以保护网格免受恶意攻击。防火墙通过检查数据包的源IP地址和目的IP地址来管理网络。恶意和可疑数据包将被防火墙从网关外部过滤。防火墙可以限制从Internet到网格的访问,它还可以限制从网格计算系统到外部Internet的访问尝试。(2)Globus工具包:Globus工具包适用于我们的企业动画生成网格系统的设计。它提供了一个称为“Globus安全基础设施”(GSI)的安全标准和模块。Globus安全基础设施在网格计算环境中的计算机之间提供了秘密的、防篡改的、可委托的通信支持。我们使用非对称加密RSA用于GSI以实现安全和可认证的通信。(3)证书:网格上的每个用户和服务都有一个已识别的证书。证书包含主题名称、公钥、证明公钥属于主题的证书颁发机构(CA)和CA的数字签名的信息。(4)相互认证:GSI使用安全套接字层(SSL)进行相互认证。SSL使用1024和2048位密钥长度的RSA算法。当两个单元的网格相互通信时,他们将首先验证对方的第三方CA。在双重验证成功之后,然后建立连接。(5)密码通信:缺省情况下,GSI不保证双方之间的加密通信。如果请求机密通信,GSI可以提供用于加密和解密的共享密钥。对于我们网格的设计,GSI的这两个特性都用于保护节点和服务器之间的通信。
3.3 外部集成
在我们的实验网格系统中,需要允许集成外部资源。为了解决这个问题,我们部署了开放网格服务架构OGSA。OGSA通过分布式异构和动态网格环境提供服务和资源的集成,无论是在外部资源共享或服务提供方面。我们的设计有一些要求:(1)全局名称空间:为了容易地访问外部数据和资源,网格系统应当能够在不考虑位置或复制的安全约束下透明地与其他节点交互。(2)元数据服务:我们必须认识到调用和跟踪外部资源是很重要的。我们需要访问和管理跨管理域的实体元数据的权限。(3)场地自治性:获取资源的機制需要符合地方控制和政策。(4)资源使用数据:这是在网格网络上集成和交换外部资源使用数据的机制和模式。
3.4 监控
数据收集和分布机制的尺度是非常重要的。一个监测机制应建立以监测网格系统的当前性能。当pov文件的大小,或者动画的质量增加时,网格系统监控机制应该能够检测相应每个节点的性能。因此,服务器将能够注意到潜在的资源缺乏并确定节点的数量。通常,以下特性性能监视信息是系统或程序产生的数据的最重要的部分。
4 硬件配置及实验结果
在我们的实验网格环境中,我们部署五台计算机,包括一个服务器和四个客户端节点组成网格网络。在服务器端,我们部署了英特尔至强服务器。这样的处理器可以满足动画和POV射线软件实现的计算。4GB DDR3内存RAM可为网格计算设备提供高吞吐量。西部数据2 TB硬盘为30分钟的动画存储提供足够的空间。AMD HD5630还提供足够的图处理。对于客户端,主要工作是网格计算,因此我们上面部署的设备满足要求。
通過对动画的生成演算得到的实验结果,我们发现4节点下比2节点或1点所消耗的计算时间有所减少,同时CPU占用率也有所减少,可见多节点对动画演算是有作用的。
5 结论
并行计算正在成为当代计算机科学中流行和重要的概念。在网格计算的环境中,如何有效地监视节点信息和应用性能是网格计算中的一个难点问题。本文介绍了一种基于Globus toolkit的网格计算系统组成及共同的动画演算,并介绍了网格技术研究和设计。设计了基于多节点和多级分布式结构的运算模型。
未来我们的想法是实现自动计算节点选择算法,并将其集成到我们的集群和网格计算平台中。每个站点中的计算节点被选择为实时提供的运算信息,软件包还可以针对计算节点的不同速度处理器,意味着哪个所选计算节点应当执行什么计算在异构集群和网格协定环境中。
参考文献
[1]I.A.Klimonov,V.D.Korneev,V.M.Sveshnikov.Parallelization technologies for solving three-dimensional boundary value problems on quasi-structured grids using the cpu+gpu hybrid computing environment[J].Numerical Methods and Programming,Advanced Computing, 2016,(17):65-71.
[2]S.Iturriaga,S.Nesmachnow,F.Luna,E.Alba.A parallel local search in cpu/gpu for scheduling independent tasks on large heterogeneous computing systems[J].Journal of Supercomputing,2015,71(2):648-672.
[3]Z.Junbo,W.Jian-Syuan,P.Yi,L.Tianrui.A parallel matrix-based method for computing approximations in incomplete information systems[J].IEEE Transactions on Knowledge and Data Engineering,2015,27(2):326-339.