云背景下存储资源整合研究

陶锐　凃云杰

摘要：研究了存储资源的整合与管理。首先对虚拟存储、分布式文件系统和负载均衡等相关技术进行了研究，并在此基础上提出了一种存储资源整合的模型以及相关技术方案。

关键词：云存储；分布式文件系统；负载均衡

中图分类号：F49文献标识码：A文章编号：16723198（2014）07017201

1引言

科技改变生活，目前人们对数据存储的需求已经渐渐脱离移动磁盘，而更多的需求是面向云存储的，比如文章、相册、视频等均已晒到网上。随着这种习惯的改变和用户对云储存需求的增加，用户访问频率和数据上传、下载的吞吐量也随之飞速提升，这些变化对云环境中的数据传输能力、存储能力和计算能力等方面都是严峻的考验，至少目前来看单一的服务器设备是难以为继的。如果不计成本的进行硬件升级的话短时的效果通常是很好的，但当面临下一次升级时呢？这种硬件成本的投入是无止境的，从另外一方面讲没有哪种设备能够无止境的满足业务量不断飞升的需求。本文结合作者工作单位的相关资源环境讨论一种将新旧资源进行整合，并采用云技术进行管理的研究思路。

2相关技术研究

2.1虚拟存储

在以往的工作中碰到过这样的事情，冗余磁盘阵列扩容，RAID卡不支持怎么办？备份数据重建RAID，再回拷。那是个很漫长的过程。数据迁移造成了很长的服务器停机时间。现如今的网络存储环境中依然存在这样的情况，这是一个很典型的新老设备并存的案例，正如引言中说的那样，一味的更换新设备不是长久之计。或许可以换一种思路，看一下高校的校园网或者企业网，在这些环境中真的缺乏存储介质么？是否一定要购买新的设备呢？答案是否定的，因为现成的存储介质就摆在那等着我们使用，这就是存储介质利用率的问题。为此是否可以将常用的面向应用转向面向存储呢？将服务器和存储器的强耦合关系打破，把目光从一台服务器拓展到全网会怎样。没错，这就是虚拟存储。通过这一技术在服务器和物理存储介质之间增加一个虚拟层，将物理存储介质包裹起来，并对服务器提供数据贮存服务。从而使服务器摆脱磁盘多少的限制，充分利用现有存储体，使得前述中提到的闲置存储空间得到充分的利用，低碳环保。然而虚拟存储的目的并不仅仅是低碳环保而已，其更重要的作用是为了增加易扩展性和易管理性。目前较为常见的基于云的存储结构如图1所示。

图1云存储环境2.2分布式文件系统

分布式意味着其存储介质在空间上是离散的，而文件则是应用与数据之间的接口。分布式文件系统主要任务是管理与屏蔽存储介质，从而形成抽象的存储空间，其有着多机、多用户的特性。例如谷歌文件系统（google file system）和快速分布式文件系统（fast distributed file system），均是针对海量存储提出的分布式解决方案。

2.3负载均衡（load balance）

负载均衡是解决新旧存储设备整合的要素之一。在整合的虚拟存储空间中，涉及到不同种类的物理实体，它们之间有着不同的运算、处理、分发、吞吐能力等。将面向虚拟存储体的读写操作按照相应的工作量级分配到不同的物理实体中，是均衡负载要考虑的宏观问题。其具体实现途径要看具体的情况而定。在规模较小的环境中通过在各台服务器上安装软件来实现均衡负载，其应用简单成本也很低；针对所辖的服务器群将流量均衡分配给各个服务器从而实现均衡的效果；在广域网中服务器在地理位置上高度离散，则可通过IP定位将访问转向临近负载，而实现均衡；在不更改链路层而又带宽固定的环境中，则可将多个物理层看作一个逻辑层，从而使流量在聚合链路中得以均衡等等。具体实现无外乎软件和硬件两种，在用户看来负载均衡设备只是一台服务器，事实上可以通过2块网卡分别连内外网将“均衡器”集成在PC中，负载均衡的主要职责还包括不间断的提供服务，比如把向当机的服务器提交的请求分配给影子服务器等。

3存储资源整合

3.1存储资源整合模型

前述提出了整合存储资源的思路和相关技术。那么离散、分立甚至不确定的存储介质要如何统一管理呢。为此首先分析一下在云存储环境下读写操作的主体客体，主体是用户提交了访问请求，而客体则是提供数据及相关服务的存储介质或服务器。也就是说这是发生在有访问需求的用户和存储体之间的事情，需要做的恐怕只是将访问目标快速准确的找到并提交给用户即可，而这项工作则需要访问的主客体之外的第三方来承担。这三者交换过程是，首先由客户端提出访问请求给第三方，再由第三方给出具体的存储地址，并将该地址发送给客户端，客户端收到地址后依据该地址进行实际访问。可见这里的第三方起到了资源定位与管理的作用。如果将这三者分别命名为客户端、定位器和存储器集群那么他们的访问流程如图2所示。

图2存储资源整合模型3.2定位器的构成

从图2的模型中可以看出，定位器在系统中处于中央节点位置。其职责除了地址索引之外还要完成第2节中提到的负载均衡任务，为此要设置独立的服务器来完成这些任务。在实际应用中客户端也一定是集群化的，因此采用单一的定位服务器也是不现实的，那么实际上图2中的三个主体都是集群化的。在存储资源管理方面，资源定位列表需要驻留内存，从而保障服务器的实时性。不过对驻留内存的数据内容需要进行筛选，通常只记录存储器集群的状态信息而不记录文件索引信息，从而保证较少的内存开销和足够短的响应时间，避免成为系统瓶颈。

3.3存储器集群的构成

整合的存储资源存在动态可变的因素，为此需要考虑其存储文件的可靠性和稳定性问题。既然通过资源整合存储空间得到了本质的提高，那么在此基础上为了有效解决存储介质离线等动态问题，可将文件进行备份。为此对整合后的存储介质进行分组管理，具体做法是在每一个独立分组的存储介质上存放相同的文件和备份。比如每个分组有10台，当对该分组写入文件A时，会在这10台中同时写入文件A，换句话说组内的存储介质是互相备份的。这样做能够为冗余备份和负载均衡提供基础条件。然而每组内的存储体不见得都是同时在线的，那么当离线的存储体再次接入时就要保证与组内的最新文件保持同步，可依据时间戳来完成最新的数据同步，但是正在同步过程中的服务器暂不允许提供线上服务，需待同步完成后再切换到线上。当出现存储空间不足时可动态添加若干台服务器进行扩容。另外存储的配置应该对上层应用透明，从而保证其顺利的配置和运行。

4总结

云背景下的存储资源整合是有很强的复杂性的。本文首先对相关技术进行了研究，并在此基础上通过对云存储环境中要素的抽象，提出了存储资源整合模型。这是个理想状态的模型，能够将所有可用的计算和存储资源进行整合，形成一个逻辑上聚合的结果，也就是基于云的存储结构。在模型构建和管理方面提出了负载均衡与调度、分组管理、互备等技术方案。整合新旧存储资源不仅是出于低碳环保的考虑，更重要的是提高资源使用和管理的灵活性。

参考文献

[1]曾文军.虚拟存储技术及其在图书馆中的应用研究[J].图书馆学研究，2012，（02）.

[2]A.Haeberlen.A Case for the Accountable Cloud[J].ACM SIGOPS Operating Systems Review，2010.

摘要：研究了存储资源的整合与管理。首先对虚拟存储、分布式文件系统和负载均衡等相关技术进行了研究，并在此基础上提出了一种存储资源整合的模型以及相关技术方案。

关键词：云存储；分布式文件系统；负载均衡

中图分类号：F49文献标识码：A文章编号：16723198（2014）07017201

1引言

科技改变生活，目前人们对数据存储的需求已经渐渐脱离移动磁盘，而更多的需求是面向云存储的，比如文章、相册、视频等均已晒到网上。随着这种习惯的改变和用户对云储存需求的增加，用户访问频率和数据上传、下载的吞吐量也随之飞速提升，这些变化对云环境中的数据传输能力、存储能力和计算能力等方面都是严峻的考验，至少目前来看单一的服务器设备是难以为继的。如果不计成本的进行硬件升级的话短时的效果通常是很好的，但当面临下一次升级时呢？这种硬件成本的投入是无止境的，从另外一方面讲没有哪种设备能够无止境的满足业务量不断飞升的需求。本文结合作者工作单位的相关资源环境讨论一种将新旧资源进行整合，并采用云技术进行管理的研究思路。

2相关技术研究

2.1虚拟存储

在以往的工作中碰到过这样的事情，冗余磁盘阵列扩容，RAID卡不支持怎么办？备份数据重建RAID，再回拷。那是个很漫长的过程。数据迁移造成了很长的服务器停机时间。现如今的网络存储环境中依然存在这样的情况，这是一个很典型的新老设备并存的案例，正如引言中说的那样，一味的更换新设备不是长久之计。或许可以换一种思路，看一下高校的校园网或者企业网，在这些环境中真的缺乏存储介质么？是否一定要购买新的设备呢？答案是否定的，因为现成的存储介质就摆在那等着我们使用，这就是存储介质利用率的问题。为此是否可以将常用的面向应用转向面向存储呢？将服务器和存储器的强耦合关系打破，把目光从一台服务器拓展到全网会怎样。没错，这就是虚拟存储。通过这一技术在服务器和物理存储介质之间增加一个虚拟层，将物理存储介质包裹起来，并对服务器提供数据贮存服务。从而使服务器摆脱磁盘多少的限制，充分利用现有存储体，使得前述中提到的闲置存储空间得到充分的利用，低碳环保。然而虚拟存储的目的并不仅仅是低碳环保而已，其更重要的作用是为了增加易扩展性和易管理性。目前较为常见的基于云的存储结构如图1所示。

图1云存储环境2.2分布式文件系统

分布式意味着其存储介质在空间上是离散的，而文件则是应用与数据之间的接口。分布式文件系统主要任务是管理与屏蔽存储介质，从而形成抽象的存储空间，其有着多机、多用户的特性。例如谷歌文件系统（google file system）和快速分布式文件系统（fast distributed file system），均是针对海量存储提出的分布式解决方案。

2.3负载均衡（load balance）

负载均衡是解决新旧存储设备整合的要素之一。在整合的虚拟存储空间中，涉及到不同种类的物理实体，它们之间有着不同的运算、处理、分发、吞吐能力等。将面向虚拟存储体的读写操作按照相应的工作量级分配到不同的物理实体中，是均衡负载要考虑的宏观问题。其具体实现途径要看具体的情况而定。在规模较小的环境中通过在各台服务器上安装软件来实现均衡负载，其应用简单成本也很低；针对所辖的服务器群将流量均衡分配给各个服务器从而实现均衡的效果；在广域网中服务器在地理位置上高度离散，则可通过IP定位将访问转向临近负载，而实现均衡；在不更改链路层而又带宽固定的环境中，则可将多个物理层看作一个逻辑层，从而使流量在聚合链路中得以均衡等等。具体实现无外乎软件和硬件两种，在用户看来负载均衡设备只是一台服务器，事实上可以通过2块网卡分别连内外网将“均衡器”集成在PC中，负载均衡的主要职责还包括不间断的提供服务，比如把向当机的服务器提交的请求分配给影子服务器等。

3存储资源整合

3.1存储资源整合模型

前述提出了整合存储资源的思路和相关技术。那么离散、分立甚至不确定的存储介质要如何统一管理呢。为此首先分析一下在云存储环境下读写操作的主体客体，主体是用户提交了访问请求，而客体则是提供数据及相关服务的存储介质或服务器。也就是说这是发生在有访问需求的用户和存储体之间的事情，需要做的恐怕只是将访问目标快速准确的找到并提交给用户即可，而这项工作则需要访问的主客体之外的第三方来承担。这三者交换过程是，首先由客户端提出访问请求给第三方，再由第三方给出具体的存储地址，并将该地址发送给客户端，客户端收到地址后依据该地址进行实际访问。可见这里的第三方起到了资源定位与管理的作用。如果将这三者分别命名为客户端、定位器和存储器集群那么他们的访问流程如图2所示。

图2存储资源整合模型3.2定位器的构成

从图2的模型中可以看出，定位器在系统中处于中央节点位置。其职责除了地址索引之外还要完成第2节中提到的负载均衡任务，为此要设置独立的服务器来完成这些任务。在实际应用中客户端也一定是集群化的，因此采用单一的定位服务器也是不现实的，那么实际上图2中的三个主体都是集群化的。在存储资源管理方面，资源定位列表需要驻留内存，从而保障服务器的实时性。不过对驻留内存的数据内容需要进行筛选，通常只记录存储器集群的状态信息而不记录文件索引信息，从而保证较少的内存开销和足够短的响应时间，避免成为系统瓶颈。

3.3存储器集群的构成

整合的存储资源存在动态可变的因素，为此需要考虑其存储文件的可靠性和稳定性问题。既然通过资源整合存储空间得到了本质的提高，那么在此基础上为了有效解决存储介质离线等动态问题，可将文件进行备份。为此对整合后的存储介质进行分组管理，具体做法是在每一个独立分组的存储介质上存放相同的文件和备份。比如每个分组有10台，当对该分组写入文件A时，会在这10台中同时写入文件A，换句话说组内的存储介质是互相备份的。这样做能够为冗余备份和负载均衡提供基础条件。然而每组内的存储体不见得都是同时在线的，那么当离线的存储体再次接入时就要保证与组内的最新文件保持同步，可依据时间戳来完成最新的数据同步，但是正在同步过程中的服务器暂不允许提供线上服务，需待同步完成后再切换到线上。当出现存储空间不足时可动态添加若干台服务器进行扩容。另外存储的配置应该对上层应用透明，从而保证其顺利的配置和运行。

4总结

云背景下的存储资源整合是有很强的复杂性的。本文首先对相关技术进行了研究，并在此基础上通过对云存储环境中要素的抽象，提出了存储资源整合模型。这是个理想状态的模型，能够将所有可用的计算和存储资源进行整合，形成一个逻辑上聚合的结果，也就是基于云的存储结构。在模型构建和管理方面提出了负载均衡与调度、分组管理、互备等技术方案。整合新旧存储资源不仅是出于低碳环保的考虑，更重要的是提高资源使用和管理的灵活性。

参考文献

[1]曾文军.虚拟存储技术及其在图书馆中的应用研究[J].图书馆学研究，2012，（02）.

[2]A.Haeberlen.A Case for the Accountable Cloud[J].ACM SIGOPS Operating Systems Review，2010.

摘要：研究了存储资源的整合与管理。首先对虚拟存储、分布式文件系统和负载均衡等相关技术进行了研究，并在此基础上提出了一种存储资源整合的模型以及相关技术方案。

关键词：云存储；分布式文件系统；负载均衡

中图分类号：F49文献标识码：A文章编号：16723198（2014）07017201

1引言

科技改变生活，目前人们对数据存储的需求已经渐渐脱离移动磁盘，而更多的需求是面向云存储的，比如文章、相册、视频等均已晒到网上。随着这种习惯的改变和用户对云储存需求的增加，用户访问频率和数据上传、下载的吞吐量也随之飞速提升，这些变化对云环境中的数据传输能力、存储能力和计算能力等方面都是严峻的考验，至少目前来看单一的服务器设备是难以为继的。如果不计成本的进行硬件升级的话短时的效果通常是很好的，但当面临下一次升级时呢？这种硬件成本的投入是无止境的，从另外一方面讲没有哪种设备能够无止境的满足业务量不断飞升的需求。本文结合作者工作单位的相关资源环境讨论一种将新旧资源进行整合，并采用云技术进行管理的研究思路。

2相关技术研究

2.1虚拟存储

在以往的工作中碰到过这样的事情，冗余磁盘阵列扩容，RAID卡不支持怎么办？备份数据重建RAID，再回拷。那是个很漫长的过程。数据迁移造成了很长的服务器停机时间。现如今的网络存储环境中依然存在这样的情况，这是一个很典型的新老设备并存的案例，正如引言中说的那样，一味的更换新设备不是长久之计。或许可以换一种思路，看一下高校的校园网或者企业网，在这些环境中真的缺乏存储介质么？是否一定要购买新的设备呢？答案是否定的，因为现成的存储介质就摆在那等着我们使用，这就是存储介质利用率的问题。为此是否可以将常用的面向应用转向面向存储呢？将服务器和存储器的强耦合关系打破，把目光从一台服务器拓展到全网会怎样。没错，这就是虚拟存储。通过这一技术在服务器和物理存储介质之间增加一个虚拟层，将物理存储介质包裹起来，并对服务器提供数据贮存服务。从而使服务器摆脱磁盘多少的限制，充分利用现有存储体，使得前述中提到的闲置存储空间得到充分的利用，低碳环保。然而虚拟存储的目的并不仅仅是低碳环保而已，其更重要的作用是为了增加易扩展性和易管理性。目前较为常见的基于云的存储结构如图1所示。

图1云存储环境2.2分布式文件系统

分布式意味着其存储介质在空间上是离散的，而文件则是应用与数据之间的接口。分布式文件系统主要任务是管理与屏蔽存储介质，从而形成抽象的存储空间，其有着多机、多用户的特性。例如谷歌文件系统（google file system）和快速分布式文件系统（fast distributed file system），均是针对海量存储提出的分布式解决方案。

2.3负载均衡（load balance）

负载均衡是解决新旧存储设备整合的要素之一。在整合的虚拟存储空间中，涉及到不同种类的物理实体，它们之间有着不同的运算、处理、分发、吞吐能力等。将面向虚拟存储体的读写操作按照相应的工作量级分配到不同的物理实体中，是均衡负载要考虑的宏观问题。其具体实现途径要看具体的情况而定。在规模较小的环境中通过在各台服务器上安装软件来实现均衡负载，其应用简单成本也很低；针对所辖的服务器群将流量均衡分配给各个服务器从而实现均衡的效果；在广域网中服务器在地理位置上高度离散，则可通过IP定位将访问转向临近负载，而实现均衡；在不更改链路层而又带宽固定的环境中，则可将多个物理层看作一个逻辑层，从而使流量在聚合链路中得以均衡等等。具体实现无外乎软件和硬件两种，在用户看来负载均衡设备只是一台服务器，事实上可以通过2块网卡分别连内外网将“均衡器”集成在PC中，负载均衡的主要职责还包括不间断的提供服务，比如把向当机的服务器提交的请求分配给影子服务器等。

3存储资源整合

3.1存储资源整合模型

前述提出了整合存储资源的思路和相关技术。那么离散、分立甚至不确定的存储介质要如何统一管理呢。为此首先分析一下在云存储环境下读写操作的主体客体，主体是用户提交了访问请求，而客体则是提供数据及相关服务的存储介质或服务器。也就是说这是发生在有访问需求的用户和存储体之间的事情，需要做的恐怕只是将访问目标快速准确的找到并提交给用户即可，而这项工作则需要访问的主客体之外的第三方来承担。这三者交换过程是，首先由客户端提出访问请求给第三方，再由第三方给出具体的存储地址，并将该地址发送给客户端，客户端收到地址后依据该地址进行实际访问。可见这里的第三方起到了资源定位与管理的作用。如果将这三者分别命名为客户端、定位器和存储器集群那么他们的访问流程如图2所示。

图2存储资源整合模型3.2定位器的构成

从图2的模型中可以看出，定位器在系统中处于中央节点位置。其职责除了地址索引之外还要完成第2节中提到的负载均衡任务，为此要设置独立的服务器来完成这些任务。在实际应用中客户端也一定是集群化的，因此采用单一的定位服务器也是不现实的，那么实际上图2中的三个主体都是集群化的。在存储资源管理方面，资源定位列表需要驻留内存，从而保障服务器的实时性。不过对驻留内存的数据内容需要进行筛选，通常只记录存储器集群的状态信息而不记录文件索引信息，从而保证较少的内存开销和足够短的响应时间，避免成为系统瓶颈。

3.3存储器集群的构成

整合的存储资源存在动态可变的因素，为此需要考虑其存储文件的可靠性和稳定性问题。既然通过资源整合存储空间得到了本质的提高，那么在此基础上为了有效解决存储介质离线等动态问题，可将文件进行备份。为此对整合后的存储介质进行分组管理，具体做法是在每一个独立分组的存储介质上存放相同的文件和备份。比如每个分组有10台，当对该分组写入文件A时，会在这10台中同时写入文件A，换句话说组内的存储介质是互相备份的。这样做能够为冗余备份和负载均衡提供基础条件。然而每组内的存储体不见得都是同时在线的，那么当离线的存储体再次接入时就要保证与组内的最新文件保持同步，可依据时间戳来完成最新的数据同步，但是正在同步过程中的服务器暂不允许提供线上服务，需待同步完成后再切换到线上。当出现存储空间不足时可动态添加若干台服务器进行扩容。另外存储的配置应该对上层应用透明，从而保证其顺利的配置和运行。

4总结

云背景下的存储资源整合是有很强的复杂性的。本文首先对相关技术进行了研究，并在此基础上通过对云存储环境中要素的抽象，提出了存储资源整合模型。这是个理想状态的模型，能够将所有可用的计算和存储资源进行整合，形成一个逻辑上聚合的结果，也就是基于云的存储结构。在模型构建和管理方面提出了负载均衡与调度、分组管理、互备等技术方案。整合新旧存储资源不仅是出于低碳环保的考虑，更重要的是提高资源使用和管理的灵活性。

参考文献

[1]曾文军.虚拟存储技术及其在图书馆中的应用研究[J].图书馆学研究，2012，（02）.

[2]A.Haeberlen.A Case for the Accountable Cloud[J].ACM SIGOPS Operating Systems Review，2010.