建立面向应用的存储系统

文/于耳

建立面向应用的存储系统

文/于耳

上海公安高等专科学校信息化建设进入了快速发展期，大量与公安业务相关的校内信息化应用和培训平台推出，使得服务器和存储需求急剧增长。

我校信息中心多数的服务器系统是基于X86标准化平台搭建，对于关键应用、数据库交易密集型应用以及系统资源消耗大的应用系统，放在物理机环境中运行；对于业务量存在较大波峰波谷的应用、相对不重要的系统则在虚拟机环境下运行。中心已经部署了50多台基于2、4路 CPU的物理机和80多台虚拟机，虚拟机主要运行在12台4路Intel 75系列CPU服务器上，并配置了64G-192G的大内存。根据我们日常对应用系统性能的统计和分析，服务器处理能力已经不是应用发展的瓶颈，而存储系统伴随信息化建设的不断推进，不断遭遇到存储性能、功能上的挑战。

过去以容量为先的方法已经无法满足高校应用系统对存储性能和存储功能的需求，因此探索出一条适合公安培训业务特点的校园级数据中心存储规划之道，科学地进行存储选型和规划，建设能满足应用需求，真正为应用系统量体打造的存储系统显得尤为重要。

目前我校的信息系统硬件逻辑架构示意如图1所示。目前我校有两套存储系统，其中一套是一台EMS NS960磁盘阵列组成的4 Gb/s FC-SAN存储环境，配置了15000转高速FC磁盘；另外一套基于DELL EqualLogic 对等存储的PS5000E磁盘阵列和PS6000E磁盘阵列合并成一台存储构成千兆IP-SAN存储环境，这两台DELL EqualLogic存储均配置了7200转大容量SATA磁盘。这两套存储为学校130多台物理和虚拟服务器提供存储服务。在我校信息化建设中，我们发现存储系统要解决好如下问题:

（1）存储的前后端连接技术是否满足应用对性能不断增长的需求；

（2）磁盘RAID规划,如何为不同的应用分配合适的存储空间；

（3）针对应用不断变化的需求和运行情况，如何规划好数据生命周期管理；

（4）如何更有效地为应用分配空间，降低总体采购成本；

（5）如何更好地保护数据；

（6）如何在未来升级或设备、技术更新时保护投资。

存储前端连接技术

当前如DELL、EMC等存储厂商的最新产品均提供FCoE接口。从协议报文角度看，这些技术本质上都是运行SCSI数据包，从性能角度和协议效率从低到高依次是1Gb iSCSI、4Gb FC、8Gb FC、10Gb iSCSI、10Gb FCoE。因此从存储前端连接技术看，大部分业务应该考虑10Gb iSCSI或FcoE接口技术。另外对于少量文件型NAS应用，可以采用廉价的单独NAS设备，总成本会更低。

存储后端连接技术

当前主流存储厂商如EMC、DELL、HDS等均已经放弃了FC技术作为后端存储连接方法，纷纷采用点对点的SAS技术。我们也注意到，从性能角度1个SAS2.0端口可提供4通路6Gb性能，高达24Gb，也远远超越当前主流的4Gb FC磁盘接入速度。从磁盘厂商的公布数据看，FC磁盘和SAS磁盘性能和可靠性是完全相同的，因为我们认为采用SAS2.0技术的新一代后端接入技术是最佳选择。

存储磁盘选择

对磁盘的性能角度看，最重要的就是IO吞吐量。一个IO所用的时间＝寻道时间＋数据传输时间。IOPS＝IO并发系数/（寻道时间＋数据传输时间），由于寻道时间相对传输时间，大几个数量级，所以影响IOPS的关键因素，就是降底寻道时间。而在连续IO的情况下，寻道时间很短，仅在换磁道时候需要寻道。在这个前提下，传输时间越少，IOPS就越高。显然，每秒IO吞吐量＝IOPS乘以平均IO SIZE。IO速率越大，IOPS越高，每秒IO吞吐量就越高。设磁头每秒读写数据速度为V，V为定值，则IOPS＝IO并发系数/（寻道时间＋IO SIZE/V），代入可得每秒I O吞吐量＝I O并发系数乘IO SIZE乘V/（V乘寻道时间＋IO SIZE）。我们可以看出影响每秒I O吞吐量的最大因素，就是IO 速率和寻道时间，IO 速率越大，寻道时间越小，吞吐量越高。从硬盘厂商资料找到不同硬盘的寻道时间，并参考相关存储厂商的最佳实践文档，计算后可以得到IOPS性能，可以得到表1。

因此我们在规划整套存储系统时，还应该根据应用对性能需求，规划合理的高速和低速磁盘配备。

RAID性能分析

磁盘阵列对于磁盘是经过RAID处理，划分LUN后提供给应用使用的，所以RAID的规划也是非常重要的。我们以常用的RAID10和RAID5来分析，为了简化分析过程，我们按照4块盘为例，不考虑其他因素。

表1 硬盘吞吐性能

根据以上分析，我们认为如果应用对写性能要求较高，应该尽量分配RAID10空间；如果应用对写性能要求不高，可以尽量采用RAID5技术，以实现空间最大化。

当然如果仅仅是读数据，是和RAID级别没有关系的。如果不考虑RAID保护性的可靠性，我们认为对于某些“只读”的数据应该尽量存放在RAID5空间中。

图2 RAID5可以提供更多的有效数据空间

1．读操作

因为raid5(3数据盘，1个校验盘)与raid10的磁盘都可以提供服务，所以在读方面它们基本是没有差别的。如果是读为主的应用，我们在选择这两张RAID上应该优先考虑RAID5以提供更多的有效数据空间

2．连续写

连续写的过程，因为这个时候的校验是在Cache中完成，如4块盘的raid5，可以先在内存中计算好校验，同时写入3个数据+1个校验。而raid10只能同时写入2个数据+2个镜相。显然这种应用我们也应该选择RAID5.

3．离散写

数据库大部分操作就是离散写，如每次写一个数据块的数据以及数据库的REDO LOG等。这种情况对于raid10，我们可以看到，同样的单个操作，最终raid10只需要2个IO，而raid5需要4个IO。考虑到性能和安全性因素，这种应用我们更应该选择RAID10。

数据生命周期管理问题

我们发现日常只有不到2 0%的数据被频繁访问，超过80%的数据，在最初的几次访问后就很少被访问了，我们的邮件数据尤其如此。因此建立起一套行之有效的数据生命周期管理策略，能够在业务变化时以简单的方式自动调整而又不对现有系统造成影响，是存储建设中必须考虑的问题。

存储应该能够提供容量超配功能

作为校园级存储规划，不同业务系统统计出来的容量需要和实际差异可能很大，容量超配各厂商已经提出多年,技术上已经成熟，我们认为存储系统应该配置超配功能，真正实现按需写入，节约存储的购买成本，简化存储的规划和部署时间。

如何解决逻辑错误和物理错误

目前学校已经建立起面向应用的一百多套业务系统，各部门IT技术水平肯定存在差异，这么多系统集中存储，如何在故障发生后能够快速恢复数据越发成为存储系统规划中的重头戏。

磁盘阵列厂商提供传统的快照技术虽然可以有限解决部分人为误操作以及病毒等逻辑错误问题，但大多需要进行复杂的定义或存在碎片问题影响到整体性能，而且快照数量是有限的，无法达成RPO和RTO的数据恢复要求。因此我们希望能够通过CDP（持续数据保护）的机制实现数据保护，彻底解决逻辑错误导致的数据损坏问题。

对于物理错误，我们希望建立起有效的容灾机制，能够针对应用的不同级别提供不同的QoS保障，并结合本地的CDP机制避免逻辑错误的传递问题。

投资保护问题

系统选择时如何避免系统更新换代时候的断层式升级和数据迁移的风险，以及如何在新技术出现时可以采用直接或平滑升级，都是校园级存储中心规划中要考虑到的问题。

从上面的分析结论可以看出，存储规划和选型上，之前以容量为先的方法是无法满足应用对性能、对功能的需求。因此从存储前后端连接技术、存储磁盘选择、RAID规划与设计、数据保存和生命周期管理、存储高级功能、数据高可用、投资保护等角度去考虑问题，以业务需求为出发点，集合存储系统的架构、配置和软件功能，才能规划出更适合学校业务特点满足业务需要的存储系统。

另外，无论是校园级数据中心还是针对某些应用建立的单独存储系统，都应该具备良好的性能监控能力，及时发现应用造成的带宽、I/0、延时等问题，并提供统一的图形化管理功能和常规的汇总报表能力，以利于日常的使用和维护。

(作者单位为上海公安高等专科学校)