网格化存储的几项关键技术分析

2011-08-15 00:52龚媛媛
科技传播 2011年8期
关键词:存储资源副本空间数据

龚媛媛

1.中国矿业大学计算机科学与技术学院,江苏 徐州 221116

2.江苏建筑职业技术学院,江苏 徐州 221116

所谓网格化存储是指采取网格技术将空间数据存储于整个网格中,网格化存储是一个分布式的存储环境,目标在于解决分布式广域环境下异构存储资源的统一管理,为用户提供具有高可靠性和良好扩展能力的存储管理服务。空间数据网格化存储是实现网格GIS(地理信息系统)的基础,也是数据网格的主要表现形式。

1 空间数据网格化存储的特点

1.1 简化存储管理

空间数据的梅量和动态变化特点要求存储系统在容量、数据共享和管理策略上能够方便地升级。现有的网络存储解决了其中的一些问题,但也使管理变得更加复杂。而网格具有平台透明、协议透明和容易扩展的优点,网格存储具有很强的可升级性,这有助于采用低廉的成本扩充存储容量,提升管理能力。

1.2 异构系统及空间数据无缝连接

现有的空间数据存储系统往往是由不同的部门和机构建立的,相互之间难以共享空间数据,形成了许多空间信息孤岛。在网格环境下,所有的计算资源和各种网络资源构成了一台虚拟的超级计算机,可使异构系统之间很容易实现空间数据的无缝连接,为用户提供统一的访问接口。

1.3 高效的访问机制

GIS的强大空间分析功能的实现要求系统能有效支持多种异构空间数据的并发访问。网格环境下的空间数据存储具有位置透明性和数据透明性,它屏蔽了底层物理平台的差异和存储格式的不一致,对数据进行虚拟化统一管理,实现单一地址访问,简化了管理,使得空间数据的访问效率更高,吞吐量也更大。

1.4 极强的环境适应能力

空间数据更新频繁,数据的是否范围广泛,用途不一,对存储技术知存储模式的要求会不断地变化。网格化存储面对发展和变化均非常迅速的空间数据及用户的需求,可以灵活快速应变,满足不断变化的存储需求。

2 网格化存储的几种关键技术

2.1 元数据技术

正如网格GIS中的元数据服务一样,在空间数据网格存储中,也必须解决这一问题。网格存储的目的是为应用提供高效的信息服务,元数据服务有助于在统一的命名方式下形成一个统一的空间数据逻辑视图。事实上,这里的元数据问题也正是网格GIS所要解决的。

2.2 存储虚拟化技术

存储虚拟化主要通过整合物理存储设备实现对各种空间数据的统一存取。它与元数据技术一道,在更高的层次上对存储进行抽象,将所有的存储资源置于一个统一的、可用的存储池中,为用户提供一个统一的空间数据逻辑视图。虚拟化一般有3种不同的形式:一是基于存储设备的虚拟化;二是基于存储网络的虚拟化;三是基于广域存储资源的虚拟化。

无论哪种形式的虚拟化,都可以减少管理存储系统的开销,是实现空间数据等共享资源高可用性的重要保障。存储虚拟化一般是通过在原存储系统结构之上增加一个虚拟化层,该层把实际存在的各个存储单元抽象成一个虚拟的存储池,并向用户提供通用的存取接口实现对存储池的访问,而对具体存储单乃的访问是通过虚拟化层和存储单元的映射实现的。可以看出,虚拟化层的设置屏蔽了底层物理单元的差异。由于空间数据的特性,采用虚拟化存储不仅要屏蔽存储的物理单元的差异,还要屏蔽空间数据资源本身在结构、类型等力面的差异,这也是空间数据虚拟化存储要重点解决的问题。

2.3 存储代理技术

网格中的异构空间数据分布于不同地理范围内的各种存储设备中,通过存储虚拟化可以使应用程序透明地访问这些异构空间数据。在空间数据快速定位、高效存取和保持空间数据一致性等方面还需要与虚拟化相关的其他技术的支持。如前所述,元数据技术对实现快速定位和发现所需要的空间数据是不可或缺的技术。另外,存储资源代理技术在解决空间数据的高效存取和一致性方面具有显著优势,它是网格中的一个中间件,是网格中的空间数据管理核心,通过元数据目录提供访问空间数据的统一视图和接口,通过副本技术提供就近访问空间数据的方法。

当应用程序需要存取网格中的空间数据时,一般向最近的存储代理发出存取请求。存储代理在对用户进行身份认证后,将根据虚拟存储池内的空间数据资源使用情况把请求转换为对具体存储设备进行存取的请求,由存储设备将应用所需的空间数据传送给用户。这种传送是存储代理建立了应用程序和存储资源的安全传输通道后才进行的。为了确保空间数据的一致性,在对虚拟存储池进行数据更新时,存储代理会及时将数据更新状况告知其他的存储代理,如果此时有其他代理也试图更新该数据,则它们相互之间可以通过协商决定由哪个代理实施更新操作。

2.4 数据副本技术

为了提高空间数据网格化存储中的数据存取效率,往往在网格中根据应用需要和网络状况生成一定数量的空间数据副本。这样当所请求的空间数据存在多个副本时,就可以将其中“最近”的副本传送给应用程序。这里的“最近”通常指传输时间最短。副本技术是网格中的一项重要技术,它与存储代理技术相辅相成,更好地承担了空间数据资源的管理和维护。副本技术一般包括副本的创建、副本定位、副本发现、副本获取、副本删除、更新与副本优化等,这些针对副本的各项管理功能是经由不同的存储代理实现的。

由于副本技术可以减少数据传输的环节,使得时延缩短,能极大地提高空间数据的存取性能,更好地平衡网络的负载。同时,通过存储代理的更新机制,还能保证源数据更新的情况下,所有副本也得到及时更新。

[1]龚超,盛晓艳,华江峰.网格技术与信息资源存储和共享[J].电脑知识与技术(学术交流),2007(2) .

[2]谢储晖,郭达志.网格GIS及其实现技术[J].计算机应用研究,2005(4).

猜你喜欢
存储资源副本空间数据
一种基于区块链的存储资源可信分配方法
面向流媒体基于蚁群的副本选择算法①
副本放置中的更新策略及算法*
元数据驱动的多中心空间数据同步方法研究
用SSD提升私有云存储性能
基于文件系统的分布式海量空间数据高效存储与组织研究
客户端空间数据缓存策略
多源空间数据同名实体几何匹配方法研究
分布式任务调度与副本复制集成策略研究