面向云计算的企业级硬盘基准测试

郭亮 中国信息通信研究院技术与标准研究所，云计算标准与测试验证北京市重点实验室高级工程师

网络技术——云计算专题

面向云计算的企业级硬盘基准测试

郭亮 中国信息通信研究院技术与标准研究所，云计算标准与测试验证北京市重点实验室高级工程师

近几年，各类云服务发展非常迅猛，对底层重要部件企业级硬盘的需求量越来越大。为了上层云服务的稳定运行，非常有必要对企业级硬盘进行全面的基准测试。本文就企业级硬盘的市场规模、技术发展、云服务流量模型做了研究，并对企业级硬盘基准测试提出了具体建议。

机械硬盘；固态硬盘；基准测试

1 引言

近几年，云计算、大数据蓬勃发展，其产生的数据量越来越多。研究显示，2020年一年将会产生数十ZB的数据，仅存储这些数据就需要数百亿个1T硬盘。更多的数据需要存储和处理，使存储系统的重要性得到显著提升。人们对存储系统的关注度日益升温，而对存储系统的稳定性、安全性和可靠性起到决定作用的企业级硬盘却一直隐藏在人们的视线之外。

作为服务器中的重要部件，硬盘的各项功能和性能对于服务器的稳定运行以及业务的正常使用至关重要。固态硬盘在启动速度、读写速度、质量、抗震上相比HDD传统硬盘有着绝对的优势，而HDD发展至今，在价格、寿命和数据恢复方面的成绩也是SSD无法取代的。这两种硬盘技术在很长时间内会同时存在，各自也在不断演进当中，如HDD领域出现了氦气密封式硬盘、SSD的3Dnano技术等。使用合适的方法对硬盘进行基准测试以获得性能、功能相关的准确结果，给系统部署提供参考数据，是一个迫切需要深入研究的课题。

2 市场规模和技术趋势

2.1 市场规模

近来各类云服务层出不穷，而且云服务也成为了各大互联网公司的主战场。承载云服务的各类IT基础设施，包括服务器、存储、交换机等，采购量一直稳中有增。

在收购HGST之后，企业级硬盘市场由西数、希捷和东芝三分天下。但是近几年随着SSD技术的日渐成熟，三星、英特尔等SSD厂商逐渐崭露头角而且占据主动。传统的HDD厂商也在寻求不断的并购和研发，三大传统HDD厂商也都有了自己的SSD产品，以求在这个新兴的领域分得一杯羹。

根据Gartner的分析报告，关键任务的企业级HDD的复合年均增长率（CAGR，Compound Annual Growth Rate）为7.6%；关键商务的企业级HDD的CAGR为12.1%。总体来说，HDD保持了一个稳定增长的态势。而服务器级的企业级SSD的CAGR为15.7%，存储级的企业级SSD复合年均增长率更是达到了惊人的31.5%，具体参见图1。

从区域来看，根据Gartner的研究报告，由于美国拥有众多的大型互联网公司，其企业级SSD的采购量占到了全球近一半的规模；亚太地区占全球的22%，中国占其中的44%；欧盟占全球的23%。企业级SSD的采购量也在一定程度上反映了该地区的互联网发展水平。在全球的SSD市场（包括企业级和PC级）中，Top3的企业三星、Intel和Sandisk（已被西数收购）总共占到市场份额的60%以上，可见大公司的产品受到了市场的重点青睐。

图1 企业级硬盘发展趋势

总体而言，由于特点不同，企业级HDD和SSD将长时间内同时存在，而企业级SSD的总量将逐渐超过HDD，成为服务器和存储的主要硬盘部件。

2.2 技术趋势

技术是市场发展的基础，企业级SSD的发展势头如此之猛，是跟其技术发展息息相关的。当硬盘接口从SATA到SAS，再升级到PCIe之后，速率也从SATA3.0的6Gbit/s飙升到PCIe3.0x4的32Gbit/s。对SSD的应用开发在不断地创新中，全闪阵列和PCIe阵列是目前比较新颖的产品。

SSD与HDD相比，最大的优势在于它的IOPS，也就是随机读写的能力，相对于SATA接口HDD的数百量级，PCIe接口的SSD的IOPS可以提高数千倍；即使同为SATA接口的SSD，也比相同接口的HDD的IOPS要高上百倍。不过从单盘上升到阵列，并不只是用SSD替换HDD那么简单。磁盘阵列的基础是磁盘，由于磁盘存在寻道时间开销，所以不太擅长处理随机I/O，所以磁盘阵列设计核心是尽可能处理连续I/O。与之不同的是，SSD的优势是延迟低，但不耐擦写。为了物尽其用，全闪阵列的设计要尽量避免对SSD多次擦写，而不是让其处理连续数据的I/O请求。此外，还需要考虑快照、克隆、精简配置和重复数据删除等功能的实现，虽然这些在磁盘阵列中已经非常成熟，但同样的设计并不一定完全适用于全闪架构。

与通过RAID组成阵列不同，PCIe阵列直接使用SSD的PCIe接口连接PCIe交换机，形成一个类似网络存储的结构。这样的话，每个主机都能高速访问几十上百个SSD，相比以太网或者Infiniband获得了低延时和低成本的优势。目前，PCIe交换技术有非透明桥NTB（Non Transparent Bridge）、动态分区（Dynamic Partitioning）、SR-IOV（Single Root I/O Virtualization）、多主机系统等多种方式，这些方式各自也在不断地演进当中，尚未有定论。PCIe存储网络不需要昂贵的交换机和HBA，成本相对Infiniband要低，性能优异且功耗低，不过需要解决PCIe交换机的标准化问题。

随着超融合架构概念的落地，存储作为其中重要一部分，不管是以磁盘阵列、全闪阵列亦或是PCIe阵列，必将与计算、网络和服务器虚拟化等资源一起，依靠缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等技术，形成统一的资源池，实现模块化的无缝横向扩展，为各类云服务提供稳定、可靠且可扩展的基础设施。

3 常见云服务流量模型

各类服务，如搜索、游戏、电子商务，对于存储系统来说其流量模型是不尽相同的。把流量模型数字化到最底层，那么体现出来的就是字节长度和对应的百分比的各种组合。

表1是全球SSD领先企业三星的DSLR（Device Statistics Log Repository）工具分析出来的具体应用及其对应的字节大小和百分比。可以很明显地看到，对于网页服务器来说都是随机读的流量，其中4KB、512KB和8KB字节的占比总计达到50%以上；对于文件服务器，读占了80%，其中4KB占比60%；对于邮件服务器来说，都是32KB的读写操作，其中读占了80%、写占了20%。

表1 主流业务流量模型

另外，比较常见的有大数据处理系统。大数据处理集群的数据节点通常由数十台或者上百台服务器构成，每台服务器上分别存储分布式文件系统的部分数据，需要对存储数据进行频繁操作和处理，因此要求每台服务器支持与CPU、网络IO能力相匹配的硬盘存储空间，通常集群每个服务器节点配置一定数量的企业级硬盘保证存储容量，同时配置部分SSD硬盘作为高速缓存进行IOPS和吞吐率性能加速。OLTP/数据库测试代表了处理在线事务任务时带来的大量事物负载。测试模式为8K随机测试读67%、写33%。

因此，对于不同的应用，其数字化模型是不同的，对存储盘的需求和配比也是有一定差异的。作为基准测试，这就要求在制定测试项目时能够考虑到不同的字节、占比等，综合各种因素，做出较全面的设计。

4 基准测试项目设计

传统而言，最受用户关注的企业级硬盘技术指标包括吞吐量和IOPS，这跟传统的HDD有很大关系。对于HDD来说，由于其物理结构的原因会比较擅长顺序读写，所以一般会将对HDD的顺序读写定义为吞吐量。此时，HDD能够得到最快的读写速度，也就是每秒能够读或者写的字节数。随机读写被定义为IOPS，也就是每秒进行读写（I/O）操作的次数，衡量硬盘的随机访问性能。

在设计测试项目的时候，首先需要有项目能测量出在随机块大小和不同读写比例下的IOPS，以了解其随机访问性能；其次，测量稳态下的多种块大小（如小块、大块等）在顺序读、顺序写情况下的吞吐量，目的是测量被测设备在没有IO总线限制的情况下能以多快的速度传输顺序数据。此外，对于SSD来说，还需要有项目能够观察被测设备从PURGEDFOB状态开始对持续的随机小字节写的响应，这个项目可以持续24h或者4倍于被测SSD的容量，以检查被测SSD对长时间小字节随机写的IOPS稳定性。由于实际的访问流量不都是小字节的，考虑到极限情况，还需要对被测SSD的大小字节的变化做相关测试，可以观察被测SSD对大块顺序写、小块随机写、大块顺序写的处理情况，目的是衡量被测SSD在不同相邻负载下的相互作用。必须注意的是，性能测试中对相关的参数需要精确定义，以便测出并能描述被测硬盘的真实性能。

除了性能部分，被测硬盘的稳定性和功耗也非常受关注。

稳定性一般需要被测硬盘在一定压力下长时间运行不出问题。考虑到实际应用情况，这个项目需要在Windows和Linux两种OS下进行。与长时间运行相反，重复复位测试是被测硬盘在服务器不断重启的状况下进行数据的拷贝和比较，以检验被测硬盘在这种极限情况下的重复复位能力。对于稳定性而言，环境测试也是一个重要的组成部分，很有必要对被测设备在高温高湿和低温环境下进行储存和运行测试。

随着IDC规模越来越大，其功耗也逐渐引起人们的重视。作为IDC中的基本部件，硬盘的功耗非常重要，特别是对于存储类服务器，动辄近20块硬盘，如果是HDD的话其启动功耗将会非常大，这些硬盘同时开机对IDC的用电会产生很大的冲击，需要有一定的策略去解决这个问题。IOPS/Watt指标对于衡量SSD是否高效非常重要，一些高性能的PCIeSSD耗电比单个的HDD可能会高，但它们的性能极为出众，使用IOPS/Watt指标后将能更加准确地反映被测设备的能耗效率比。

5 结束语

硬盘是云数据中心的核心部件，不仅关系到云计算与大数据的服务、计算和性能，更关系到整个云数据中心平台的TCO。在云计算和大数据时代，爆炸式数据增长对容量要求越来越大，企业级硬盘对于上层应用稳定、可靠运行肩负着重要的责任。对企业级硬盘进行全面的基准测试设计，建立全面衡量企业级硬盘产品的标杆方法，这样产生的测试结果对各行业都将具有非常重要的参考意义。

Enterprise hard disk benchmark oriented cloud computing

GUO Liang

In recent years various types of cloud services are developing very fast. The demand for enterprise level disk as the important components of the bottom layer is more and more large. In order to stable the operation of the upper cloud services， it is necessary to conduct a comprehensive enterprise disk benchmark. This paper makes research on the market scale、technology development and the cloud service flow model of the enterprise disk， and puts forward some concrete suggestions on the enterprise disk benchmark.

hard disk drive；solid state disk；benchmark

2016-09-20）