存储的自动精简配置技术应用研究

邱红飞

（中国电信股份有限公司广东研究院 广州510630）

1 引言

在电信企业中，传统的存储采购方式是预先购买冗余的存储空间以应对3～5年数据的增长。举例来说明，计费系统第一年可能仅需要10 TB容量，但若一开始仅购买10 TB，3年后要扩充至30 TB时就要更改设定，尤其当前端服务器不支持动态扩展功能时，后端存储系统要扩充容量就会很麻烦，甚至需要停机维护，为了避免这些困扰，所以会选择一开始购买30 TB的容量。但若一开始就购买30 TB的容量，初期使用率会很低。根据《存储杂志》的统计，存储平均的利用率为18.6%[1]，如何提高现有存储利用率，是电信企业IT成本控制的当务之急。

那么，如何在不购买任何存储容量的情况下，大幅提高存储的利用率呢。采用自动精简配置（thin provisioning）技术就可解决这样的问题，通过自动精简配置技术，让前端的服务器一开始就以为可使用的是30 TB容量，后续企业可根据需求再购买存储空间，且日后扩充也不受任何影响。图1表示了传统配置技术和自动精简配置技术的区别。

图1 传统配置和自动精简配置技术的区别

2 自动精简配置原理

2.1 自动精简配置的概念

自动精简配置是一种存储管理的特性，核心原理是“欺骗”操作系统，让操作系统认为存储设备中有很大的存储空间，而实际的物理存储空间则没有那么大[2]。传统配置技术为了避免重新配置可能造成的业务中断，常常会过度配置容量。在这种情况下，一旦存储分配给某个应用，就不可能重新分配给另一个应用，由此就造成了已分配的容量没有得到充分利用，导致了资源的极大浪费。而精简配置技术带给用户的益处是大大提高了存储资源的利用率，提高了配置管理效率，实现高自动化的数据存储。

自动精简配置这项技术最初由3Par公司开发的，目的是确保物理磁盘容量只有在用户需要的时候才被使用。这项技术能让前端的服务器以为存储设备安装了比实际还多的存储容量，让存储空间的使用率再提升。此外其他存储厂商，如HDS的USPV、EMC的NAS系列产品Celerra、NetApp的FAS与V系列产品等也提供自动精简配置功能。以下主要介绍两种自动精简配置方式的原理及应用案例，从硬件底层架构上自动精简配置和附加在存储中的精简配置方式。

2.2 硬件底层架构上的自动精简配置

以3PAR的InServ Storage Server为代表的磁盘阵列系统，是当前自动精简配置中最普遍的技术，这种技术从硬件底层架构上支持自动精简配置技术。如图2所示，其原理是磁盘驱动器空间被切割成256 MB的小块存储单元，之后由这些小块组成跨系统的逻辑磁盘，逻辑磁盘被表示为logical unit numbers（逻辑单元号，LUN）。操作系统在这些逻辑磁盘上，建立虚拟卷。当一次写任务发生时，磁盘的容量会被虚拟资源池占用，16 KB容量被分配给该写任务[3]。这种自动精简配置需要元数据（metadata）来描述虚拟卷。在传统的未使用自动精简配置的存储环境中，我们通常会给一些应用程序配置大量冗余容量，通常是实际需要的3倍或更多，就是为了避免手动重复配置行为所带来的复杂性和中断。

图2 3PAR自动精简配置技术

3PAR自动精简配置的特点介绍如下。

（1）单位存储单元小

单位存储单元只有16 KB，是一种非常精细的颗粒度很高的自动精简配置，容量节约达到最大化，有更明显的性能效果。

（2）高度自动化的自动精简配置

只需要配置虚拟卷的名称和大小，系统将全自动管理，自动把容量切割成小块，自动创建逻辑磁盘，自动建立逻辑单元号。只要一个初始设置，剩下所有的过程都是自动的。此外卷容量自动增加，也不需要手动的步骤就可以满足应用写任务的需求。

（3）不需要中间存储池

不同于其他自动精简配置技术的是，这种技术从硬件底层架构上支持自动精简配置技术。

2.3 附加在存储系统中的自动精简配置

以HDS为代表的在高端存储系统USPV产品中提供的自动精简配置功能是一种附加在存储系统中的自动精简配置技术。HDS利用一种叫做动态配置（dynamic provisioning）池的概念加以实施的。众多驱动器都可成为池的一部分，而存储控制器会自动对池内所有可用磁盘驱动器中的数据条带化，对众多磁盘驱动器实施池也被称为宽条带化[3]。这样相当于提供一个虚拟容量池，数据均匀分布在池内的所有磁盘上，杜绝热点盘，容量为虚拟容量，方便部署大型应用和将来存储扩容。

图3对动态或精简配置存储池及精简配置后的卷做了详细说明。主机服务器能够看到由虚线磁盘表示的虚拟容量，而实际容量则位于动态配置池内，由位于LUN（逻辑单元号）奇偶组正上方的条纹表示[3]。

HDS自动精简配置的特点介绍如下。

（1）HDS自动精简配置是附加在高端存储阵列之上的自动精简配置的方法大都是从RAID组中创建存储资源池，用户跟以前一样分配LUN和卷。当实际磁盘使用增长，存储管理员必须调整他们卷的分配，这种自动精简配置可能会导致手动操作多一些。

（2）HDS的动态预配置卷以42 MB为存储单元

相比3PAR提供16 KB的单位存储池，这个大小非常粗糙[3]。但是，HDS的高端存储系统USPV提供了247 GB的存储容量，其中42 MB的存储单元甚至少于整个系统最大容量的百万分之一，以虚拟卷为中心的眼光来看，每GB存储容量能分割成24个存储单元，以任何衡量方式来看应该说已经足够精细。

（3）HDS能够以动态方式配置内部和外部存储

因此允许在较陈旧或较低层阵列上使用先进的虚拟化功能。

3 应用分析及解决方案

3.1 电信企业数据特点

目前，电信企业数据环境的现状比较复杂，主要有以下几种特点。

·数据类型的多样性，应用中包括了数据库数据文件、普通文本文件、各种格式的图形文件、表格、多媒体文件等。

·应用类型的多样性，应用类型包括E-mail、计费结算、财务、运维等业务，还涉及诸如IPTV等其他方面的应用。

·存储结构的多样性，因为电信行业自身的发展历程和时间的延续，在不同时期的不同应用导致了多种存储方式并存的现象。

针对电信企业不断增加的信息量以及复杂的应用系统、大量的异构存储系统问题，采用自动精简配置技术，从而提高存储系统使用效率，简化存储基础结构，降低总体实现成本就变得非常关键。目前，自动精简配置技术在邮箱、存储空间非快速线性增长的系统中均有应用。

3.2 电信企业应用案例分析

HDS提高存储利用率可以通过两种方式：一种是卷虚拟化，通过卷虚拟化将所有异构存储整合为一个存储池，以往的孤岛不复存在，从而有效地提高了空间利用率，这是挖掘了未分配给主机使用的空间；一种是容量虚拟化将以往已经分配但没有实际使用的空间挖掘出来，满足新增空间需求。这两种技术都是自动精简配置的底层技术。

图4介绍了HDS公司USPV高端存储中自动精简配置技术在电信行业费用管理平台的应用案例，该案例说明了采用该技术前后存储的使用和管理的差别。在该应用案例中，该原有费用管理平台中核心业务系统包括计费和结算系统，使用EMC的DMX磁盘阵列，非核心系统采集和预处理系统使用Sun的磁盘阵列，应用该技术前费用管理平台的核心业务系统存储已经用完，急需扩容，而非核心业务系统的存储空间尚有60%的剩余。在这里，传统方式存储剩余容量已经分配给非核心业务系统，且DMX和Sun磁盘阵列为不同类型的存储，就不可再被重新分配给核心业务系统。

那么，核心系统如何不进行存储硬件扩容，而且能使用非核心系统的存储剩余空间呢？在系统架构中，我们采用USPV虚拟化引擎和原有EMC的DMX、Sun的6540共同组成一个存储虚拟化异构整合平台。核心业务系统的全部数据放置在被虚拟化的EMC的DMX设备上运行。平台采用了HDS公司的USPV存储设备虚拟化技术，首先通过卷虚拟化技术将两种不同系统的异构存储整合成为一个虚拟化卷池，再通过容量虚拟化技术将存储整合成为动态配置池，这样核心系统就可以使用非核心系统的存储剩余容量，并且可以随着业务管理系统的数据增长，在线额外增加物理容量，对应用不会造成影响。

该应用案例主要有以下几个特点。

（1）简化了存储的基础架构

EMC DMX和Sun 6540两种不同类型的异构存储可以共同对核心系统和非核心系统提供存储空间服务，实现了存储底层架构和上层业务应用系统的相互分离。

图4 自动精简配置技术应用案例

（2）允许在较陈旧或较低层阵列上使用自动精简配置功能

HDSUSPV实现了以动态方式配置EMC的DMX系列和Sun存储，允许在较陈旧或较低层阵列上使用先进的HDSUSPV自动精简配置这个虚拟化功能，可能Sun存储没有自动精简配置功能，但不影响自动精简配置的使用。

（3）提高了存储空间利用率

既挖掘了未分配给核心系统使用的逻辑卷空间，也挖掘了已经分配报表但没有实际使用的逻辑卷空间，满足系统需要新增空间需求。

（4）实现了存储按需分配的需求

在需要进一步增加时，可以通过新增HDSUSPV的存储磁盘，或者EMC DMX和Sun存储磁盘来满足空间需要，而对应用层没有任何影响。

所以HDS精简动态配置体现了存储的云架构，实现主机与存储基础架构的分离，提高了存储资源的利用率，存储资源以“云”的方式为主机按需要提供服务，并且这种存储云也是很容易扩展的。

自动精简配置技术在实施过程中会遇到新的挑战和问题，我们必须慎重考虑。因为并非所有应用都适合采用自动精简配置技术，用户在实际应用中可能遇到以下问题。

（1）数据在不同磁盘阵列上存储的复杂性

传统配置条件下的LUN中，LUN的边界沿RAID组的磁盘柱面而建,故障恢复容易实现[4]。自动精简配置都是在内存或虚拟空间构建和维护LUN。LUN分散在多组RAID，特别是多个磁盘阵列中，如果其中一个磁盘整列发生整体故障或其中一个磁盘阵列需要报废，由于数据存储的复杂性，其故障恢复较难实现。在图4中如果Sun 6540磁盘阵列由于配件不能继续提供需要退出，而核心系统的关键数据又分布在两个磁盘阵列中，数据恢复的工作量极大，实际生产环境中数据很难回退。

（2）使用自动精简配置技术存储的性能和安全问题

核心系统的存储EMC DMX属于高端存储，非核心系统的Sun 6540属于中低端存储。在实际应用中，如果缺少存储性能和安全的策略，混合使用虽然解决了容量的问题，同时也会带来性能和安全的瓶颈。

表1 计费系统数据库存储的规划设计

（3）数据存储将会急速地增长

部署了自动精简配置之后最可能遇到的问题就是达到了最大存储容量。应用永远都以为还有很多容量，但实际上物理容量可能已经填满了。所以我们建议存储管理员必须随时跟进实际存储容量状况，一旦容量将要被填满，管理员就应该及时添加新的磁盘以确保系统的连续性，所以产品设置磁盘容量限制以及提醒何时将达到这些限值非常重要。这个问题就不再继续讨论，主要通过存储自身的管理和监控工具来解决。

3.3 问题的解决方案和建议

（1）数据存储复杂性的解决方案

数据在不同磁盘阵列上存储的复杂性是应用自动精简配置技术中最棘手的问题，这关系到存储的数据安全性。如何实现平滑过渡是我们在数据迁移和故障恢复中经常需要解决的问题。这里主要从存储规划设计这个层面来解决数据在不同磁盘阵列上存储的复杂性问题，由于计费系统的数据不断增长，需要在3个磁盘阵列上分布。这里主要介绍计费系统的数据库存储规划设计，简要的设计方案见表1。

在数据库的存储规划设计中，原有计费实例的控制文件、生产库归档日志仍然配置在EMC的DMX存储中，数据库归档由于对性能要求不高可以配置在Sun存储中，不断增加的数据文件可以设置在HDS存储中，便于新增磁盘空间。在规划中我们考虑了几方面的问题：一是考虑了Sun 6540存储报废的问题，数据库可以重新归档；二是替换问题，HDSUSPV是高端存储，可以满足数据文件的高性能需要。另外，在与DMX共存一段时间后，可以采用镜像方式替换EMC的DMX存储，以满足未来规划的需要。

（2）使用自动精简配置后存储的性能和安全问题

·存储分区的概念

存储分区类似主机分区、逻辑分区、虚拟化主机的概念。众所周知，存储的性能主要和存储控制器、存储的缓存和磁盘的数目相关；存储的数据访问安全性主要与管理员的角色相关。这样就可以定义存储分区的内容，存储分区可以对虚拟化存储平台的物理端口、缓存和磁盘进行逻辑分区。通过“限制访问”来提高安全性。这样，可以防止某个分区的管理员访问，或干扰另一分区的优先排序或数据。通过虚拟分区，通过优化某个分区的应用程序性能，将固定量的缓存指定给某个分区，以确保应用获取所需资源，不受其他应用程序、主机或用户的影响。

·存储分区策略的应用

在设计中，计费系统使用分区1，空间分布在HDS存储的磁盘阵列和EMC的DMX磁盘阵列。结算系统使用分区2，空间分布在EMCDMC磁盘阵列。采集系统使用分区3，空间分布在Sun磁盘整列。预处理系统使用分区4，磁盘空间分布在Sun磁盘整列。由于给核心系统分配了较多的端口资源和缓存资源，可以发挥原有EMCDMX高端存储的性能。同时，通过建立各自的访问角色，保证整个平台存储的性能和安全性，各分区的资源规划见表2，使用存储分区技术的网络连接如图5所示。

表2 分区资源的规划

4 结束语

总之，自动精简配置是一种领先的虚拟化存储分配计划技术，其带来了许多传统方式不能提供的好处。但是自动精简配置的实际效果怎样还存在争议。一些用户表示，采用自动精简配置效果良好，存储成本和存储管理工作负载大大降低；有的用户则表示有问题。每种自动精简配置都有自己的利弊。

所以，如果我们将来打算部署自动精简配置，对待自动精简配置最好谨慎一些，应该多留意各个厂商在自动精简配置上的具体策略，是否需要额外的费用、是否有限制、卷是否可以自由地转换等细节问题。在部署自动精简配置之前，还应该进行全面测试，了解系统中所有可能存在的缺陷。在实际应用前做好存储的规划设计，减少存储数据的复杂性问题。

1王楠，蒋金虎.存储虚拟化技术的研究与比较.洛阳师范学院学报,2007（2）

2 Adrian D L.Storage virtualization.Wiley Publishing Australia Pty Ltd，2009

3张冬著.大话存储网络存储系统原理精解与最佳实践.北京：清华大学出版社，2009

4郭涛.精简配置：按需提供存储空间.中国计算机报,2008-08-25

5郭涛.理性对待自动精简配置.中国计算机报,2007-07-09

6冯苗，邱艳娟，鲁春丛.多视角分析模型在网络运营分析中的应用.电信科学，2008，24（1）

7赵崇明.中国移动本地管道网规划.电信科学，2008，24（1）

8苏更殊，陈世昊.新一代电信网络资源管理系统建设方案的技术分析、评价和决策方法研究.电信科学，2008，24（3）

9李洪，朱挺，杜民.电信企业转型中电子运维建设模式的探讨.电信科学，2008，24（11）

10段勇，朱源.业务服务管理在中国电信IT运营支撑中的应用研究.电信科学，2009，25（9）

11卢捍华，王亚石，闵丽娟等.基于NGOSS的OSS/BSS框架.电信科学，2009，25（10）

12李蓉蓉，李丽，周荣生.面向全业务运营的综合业务管理平台优化探讨.电信科学，2009，25（11）

13李洪，杨雁武.中国电信集团电子运维系统整合研究.电信科学，2009，25（11）

14周荣生，许杰翰，赵淑荣.全业务运营下综合业务管理平台对IT支撑系统的需求探讨.电信科学，2009，25（12）