面向云计算数据中心的网络存储技术研究

王志恒，李小勇

面向云计算数据中心的网络存储技术研究

王志恒，李小勇

分析了云计算数据中心的存储需求，探讨了NAS和SAN的工作机制，对其在虚拟机环境下的性能进行比较测试。实验表明，在虚拟机环境下NAS和SAN之间的性能差异小于10%，远小于传统应用环境中的性能差异。综合考虑存储系统的可扩展性、易管理性等多种因素，在虚拟机环境下使用NAS存储是更为合理的方案。

网络存储、NAS、SAN、虚拟机、云计算

0 引言

云计算浪潮席卷全球，推动着社会信息基础设施的重大变革。以虚拟化为代表的新技术已经成为数据中心的基本组织方式，商业产品如VMware和开源产品如KVM 、Xen已得到普及使用[1]。统计数据显示，至1012年底已有超过一半的x86服务器使用了虚拟化，至2014年这一比例将扩大到70%[4]。

虽然虚拟化技术获得快速发展，但在面向云计算数据中心的存储系统设计仍然面临诸多挑战和困惑。人们目前对虚拟机环境下的文件系统I/O特征还缺乏深入认识和理解[3][4]，在虚拟机环境下存储技术路线的选择方面缺乏理论与实验数据支撑的有效指导。在云计算数据中心中，一类重要的存储需求是为每个虚拟机提供一个虚拟磁盘映像。该应用需要存储系统具有良好的可扩展性，支持为任意数量的虚拟机提供磁盘映像，并支持高性能访问；可以支持磁盘映像的快照与克隆、迁移、动态扩展等高级特性。

NAS和SAN是目前数据中心所使用的主要存储设备形式，NAS存储可以支持数据共享，具有更好的可扩展性、可管理性和可用性；SAN在大多数传统应用场景中具有更好的性能[5]，但配置和管理较为复杂。在功能上，NAS和SAN都可以作为虚拟机的磁盘映像存储设备，虚拟磁盘映像既可以对应到SAN设备的一个逻辑卷，也可以映射到NAS的一个或多个文件[6]。

本文将简要分析NAS和SAN的工作原理，探讨虚拟化环境下的存储系统架构和I/O访问路径，然后模拟数据中心的虚拟化环境对NAS和SAN的性能进行测试，对测试的结果进行分析探讨，在此基础上提出面向数据中心的存储方案实施建议。

1 网络存储系统的类型

NAS和SAN是目前云计算数据中心所使用的两类主要存储设备，本节简要分析其工作原理并比较其差异。

1.1 NAS

NAS（Network Attachment Storage）存储系统上运行有文件系统，对外部提供文件和目录、元数据的数据视图。其中目录和文件的内容称为文件系统的数据，而把用于描述和实现文件系统所用到的数据称为元数据（Metadata），如文件大小、修改日期、以及访问控制等。目前使用比较广泛的NAS访问协议有NFSv3、NFSv4和CIFS。其中UNIX/Linux环境使用NFS协议，而windows系统使用CIFS协议。

NAS可以支持多个程序对文件的共享和并发访问，并采取较为严格的一致性语义。如NFSv3规定对元数据的访问使用同步操作；客户端在打开文件时根据文件的最后修改时间对已缓冲文件数据的有效性进行检查；对写入的文件数据的缓存也有时间限制。

1.2 SAN

SAN（Storage Area Network）提供的数据视图和磁盘完全相同。根据通信网络的不同，SAN分为光纤通道（FC-SAN）和基于TCP/IP网络的IP-SAN（通信协议为iSCSI）。总体来看，FC-SAN性能表现更加稳定，但iSCSI 具有显著性价比优势，iSCSI 在应用普及程度方面已经远远超过FC-SAN；随着万兆以太网的普及，有理由相信iSCSI 将会在性能方面追赶上FC-SAN。

需要指出的是，在功能上SAN设备只提供了最基本的块存储功能，只能被动的接受读写命令；由于SAN设备上无文件系统，因此，不具有存储空间和数据管理能力；其配置和管理也更加复杂。

NAS的系统架构图，如图1所示：

图1 NAS与SAN的比较

NAS与SAN的详细比较如表1所示：

表1 NAS 与SAN比较

2 虚拟机环境下的存储架构

在虚拟机环境下，存储系统的架构如图2所示：

图2 虚拟机环境下的存储架构

虚拟机上运行有文件系统，当应用程序访问文件时，文件系统将其转换为对磁盘设备的请求，这些请求以模拟磁盘方式或准虚拟化方式发送到虚拟机监视器（Hypervisor）。虚拟机监视器判断后端存储设备的类型，如果为NAS，则将对磁盘的请求转换为文件操作，发送请求给NAS服务器；如果后端存储设备为SAN，则将磁盘块访问请求发送给SAN设备。

可以从图2中看到，如果后端存储设备为NAS，VM所访问的虚拟磁盘实际为NAS存储系统中的文件。这种模式下Hypervisor访问存储设备的I/O模式与传统应用直接访问NAS设备有很大不同。在传统应用中，元数据操作高达I/O操作总数的70%[8]，而在虚拟化环境下，所有元数据操作都转换为对文件数据的操作，因此，元数据操作数量将显著减少，与此同时，文件数据访问呈现出更多的随机访问特征。

3 虚拟机环境下NAS与SAN的性能测试

本节将测试虚拟机环境下NAS和SAN的性能。使用一个计算机作为存储服务器，其CPU为Pentium(R）Dual-Core E5300 2.60GHz，配置有8GB内存和2块2TB SATA硬盘，配置有1块千兆以太网卡，操作系统为CentOS6.4；在其上运行有NFS服务器和ISCSI软件，可同时作为NAS和SAN存储设备；另有一台计算机作为虚拟机服务器，CPU为Pentium(R）Dual-Core E5300 2.60GHz，内存为8GB，配置有1个千兆以太网卡，操作系统均为Ubuntu 12.04；创建2个虚拟机，每个虚拟机内存大小限制为2GB，虚拟机磁盘大小为30GB。

用Iozone测试的读写性能分别如图3至图8所示：

图3 读性能比较

图4 re-read性能比较

图5 Random-read性能比较

图6 Write性能对比

图7 Rewrite性能对比

图8 Random-write性能比较

测试文件设定为4GB，为虚拟机内存大小的2倍，以尽量消除虚拟机内存cache对读写性能的影响。

从测试结果可以看出，NAS的read、reread性能稍高于SAN，其原因在于NAS端的文件系统执行了预读策略；而在random-read测试中，NAS的性能要低于SAN，则是由于在随机读情况下，NAS的预读策略失效；在虚拟机环境下NAS和SAN的write、rewrite性能基本持平，而在randrom-write测试中，NAS的性能要稍高于SAN，这是由于NAS端的文件系统具有缓冲功能，可以将随机写入的数据进行缓冲，并在此基础上进行I/O的优化。

使用postmark测试的结果，可以揭示元数据密集型操作的性能。可以看到NAS和SAN的性能十分接近如图9所示：

图9 Postmark运行时间比较

从上述测试结果中也可以看出，虚拟机数量对测试性能有显著影响。虚拟机数量增加时，性能有明显下降。这是由于当只有一个虚拟机访问存储设备时，读写操作均为顺序访问；而当多个虚拟机并发访问存储系统时，不同虚拟机的请求交替到达，总体上在存储设备端表现为随机访问，造成额外的磁头移动，从而导致性能下降。

上述测试显示了与传统非虚拟化环境完全不同的结果。在传统非虚拟化环境中，SAN的性能要显著高于NAS，尤其在元数据密集型操作中SAN的性能高达NAS的3倍，究其原因，在于SAN的客户端可以采取有效的缓冲策略，减少与存储设备端的交互；而NAS由于数据一致性的要求客户端需要及时将新的数据提交到存储服务器，从而导致大量通信开销。在虚拟机应用环境中，虚拟机上运行有文件系统，可以对数据采取有效的缓存策略，有效减少了和后端存储设备的通信开销；与此同时，所有在虚拟机上的文件系统中产生的元数据操作，都被转换为针对NAS存储系统中文件数据的操作，因此可以采用异步方式写入NAS存储设备，也进一步有效减少了通信开销。

4 总结

现代云计算数据中心需要为虚拟机提供可扩展、易于管理、支持快照和克隆等高级特性、并具有高性能的虚拟机映像存储方案。本文的研究结果揭示出，虽然在传统应用场景中SAN和NAS的性能有显著差异，但这一性能差异已在虚拟机应用环境中得以消除。由于NAS存储具有更好的可扩展性和易管理性，我们有理由相信NAS存储是数据中心虚拟机映象存储的更好选择。

[1]. Barham P, Dragovic B, Fraser K, et al. Xen and the art of virtualization[J]. ACM SIGOPS Operating Systems Review, 2003, 37(5): 164-177.

[2]. Vasily Tarasov, , Dean Hildebrand, Geoff Kuenning, Erez Zadok. Virtual Machine Workloads: The Case for New Benchmarks for NAS [C]. 11th USENIX Conference on File and Storage Technologies (FAST ’13) .

[3]. Hildebrand D, Povzner A, Tewari R, et al. Revisiting the storage stack in virtualized NAS environments[C]. Proceedings of the Workshop on I/O Virtualization (WIOV’11). 2011.

[4]. Le D, Huang H, Wang H. Understanding performance implications of nested file systems in a virtualized environment[C]. Proceedings of the 10th USENIX conference on File and Storage Technologies. USENIX Association, 2012

[5]. Radkov P, Yin L, Goyal P, et al. A performance comparison of NFS and iSCSI for IP-networked storage[C]. Proceedings of the 3rd USENIX Conference on File and Storage Technologies. USENIX Association, 2004.

[6]. Tan T, Simmonds R, Arlt B, et al. Image management in a virtualized data center[J]. ACM SIGMETRICS Performance Evaluation Review, 2008, 36(2): 4-9.

[7]. Weil S A, Brandt S A, Miller E L, et al. Ceph: A scalable, high-performance distributed file system[C]//Proceedings of the 7th symposium on Operating systems design and implementation. USENIX Association, 2006: 307-320.

Network Storage Technology Research Faced on Cloud Computing Data Center

Wang Zhiheng1, Li Xiaoyong2
(1.China Executive Leadership Academy Pudong, Shanghai201204, China; 2. College of Information Security, Shanghai Jiaotong University, Shanghai200240, China)

This paper analyzes the storage requirements of cloud computing data center, discusses the working mechanism of NAS and SAN, and compares the performance of storage in the virtual machine environment. Experiments show that the performance differences between the NAS and SAN in the virtual machine environment are less than 10%, far less than the performance differences in the traditional application environment. Considering the extensibility and manageability of storage system, the use of NAS storage in a virtual machine environment is a more reasonable scheme.

Network Storage; Network Attached Storage; Storage Area Networking; Virtual Machine; Cloud Computing

TP393

A

2014.04.10)

上海市科委重大项目（10DZ1500200）

王志恒（1974-），男，江苏苏州，中国浦东干部学院，博士，高级工程师，研究方向：分布式系统、信息安全，上海，201204

李小勇（1972-），男，甘肃甘谷，上海交通大学，信息安全工程学院，副教授，博士，研究方向：分布式系统，上海，200240

1007-757X(2014)08-0011-03