对客票系统运用存储虚拟化技术的研究

李雁明，刘相坤，李 琪，武振华

（1.中国铁道科学研究院，北京 100081；2.中国铁道科学研究院 电子计算技术研究所，北京 100081 ）

对客票系统运用存储虚拟化技术的研究

李雁明1，刘相坤2，李 琪2，武振华2

（1.中国铁道科学研究院，北京 100081；2.中国铁道科学研究院 电子计算技术研究所，北京 100081 ）

结合铁路客票系统当前的存储状态，介绍虚拟化存储技术。通过与传统存储的对比，发现在性能方面两者差距不大，但在灵活性、扩展性、高效性和管理便捷性上，虚拟化存储远超传统存储，而且虚拟化存储还有良好的经济效益。

客票系统；虚拟化；存储

中国铁路客票发售和预订系统（简称：客票系统）自1996年开始建设，经过多年的发展，已建成覆盖全国的超大型售票网络，实现了全国联网售票，给旅客的出行带来极大的方便。

为了进一步提高客票系统的稳定性和高可用性，需要把更多新理念、新技术注入网站中，而虚拟化技术就是其中一项。随着虚拟化技术的日趋成熟，客票系统对虚拟化技术的应用也越来越深入。客票系统已经完成了服务器虚拟化，服务器虚拟化使得系统具有聚合、灵活、高效和弹性扩展的特点。随着业务量的上涨，存储的容量也在不断增大，传统存储在维护管理和扩展性方面都已达到瓶颈期，必须考虑新的存储方式，而存储虚拟化就是解决以上问题的一种方式。

1 客票系统面临的存储问题及解决思路

1.1 存储问题

1.1.1 存储设备的管理问题

随着互联网售票占全路售票比例的不断上升，业务规模和种类不断扩大，运维人员逐渐感受到服务器虚拟化带来的便利和高效，但僵化的传统外置磁盘阵列逐渐成为提高管理水平和效率的瓶颈，数据中心的运维人员需要同时管理服务器、网络和存储等硬件，还要管理数据库、操作系统、虚拟化和云管理平台，所以存储设备的管理是一个不容忽视的问题。

1.1.2 存储设备使用的高效性问题

每当新业务需要存储空间时，存储管理的人员必须详细了解存储空间使用方和所需逻辑卷的空间、性能、可用性等数据服务的需求。导致存储无法做到像虚拟服务器快速高效分配计算资源一样去分配存储资源。整个数据中心运维的敏捷性、灵活性都因此受限。

1.1.3 单个存储的性能问题和高成本问题

采用传统外置磁盘阵列，将单个存储的功能与性能绑定在某个具体存储硬件上，并不能满足所有的应用要求，导致成本居高不下，造成严重浪费。

1.1.4 集中存储的扩展性问题

如果为不同的应用配置不同的集中存储，将会造成大量分散的集中存储，造成管理的困难，而且集中存储存在扩展性问题，存储容量无法随服务器计算能力的扩展实现存储容量的水平扩展。同时，集中存储在扩容的时候可能面临被存储硬件厂商绑架，从而丧失议价能力的问题。

1.2 解决思路

存储虚拟化最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个或多个目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供一个简化和无缝的资源虚拟视图。

VMware VSAN 是针对服务器本地存储进行优化的一种方式，它与虚拟服务器都运行在 VMware vSphere 虚拟化环境中，两者可以有机地统一起来。VSAN为vSphere虚拟化架构提供高性能、可扩展的存储解决方案。

2 虚拟化存储VSAN和传统存储EMC的对比

为了进一步了解VSAN的功能和I/O（Input/ Output）性能，将VSAN与EMC集中式共享存储进行对比测试。本次对比测试计算节点由5台IBM3850（CPU：2.67 GHz,内存：512 GB）组成，基于10 GB网络测试环境，分别挂载远端EMC共享存储（Vplex,VMAX20K）和VSAN分布式存储，形成两个测试环境。为达到测试目的，本次测试通过模拟业务环境中的文件传输,数据库加载数据，完成VSAN存储的性能测试。

此次测试，使用5台服务器组成1个VSAN集群，每台主机创建1个磁盘组，每个磁盘组配置1块1.2 T的固态硬盘（SSD，Solid State Drives）和4块600 G的机械硬盘（HDD，Hard Disk Drive），其中，3块HDD用于VSAN磁盘组，ESXi安装占用1块HDD。采用vSphere分布式虚拟交换机，上联2块万兆网卡用于VSAN测试；采用标准虚拟交换机，上联2块千兆网卡用于管理，保留原有2块HBA（Host Bus Adapter）卡挂载EMC共享存储。

2.1 I/O性能测试

使用IOmeter测试工具和虚拟机测试VSAN和EMC共享存储的I/O性能。

IOmeter测试工具和虚拟机主要用于收集VSAN和EMC共享存储的IOPS（Input/Output Operations Per Second）数据。每台虚拟机包含1个40 GB的vDisk和8个10 GB的vDisk，设置不同数据块大小，不同读写比例，测试IOPS、占用带宽、响应延迟及CPU利用率等数据。为提高虚拟机I/O性能，配置4块准虚拟卡，多块虚拟磁盘。IOmeter测试工具新建多个工作组分别承载每块虚拟磁盘，设置并发指令数为16，选择不同数据块大小，不同读写比例的策略，设置刷新频率为最小以实时观察I/O变化情况，设置测试时间为15 min，分别运行在2个对比环境中，测试结果如表1所示。

表1 I/O性能测试表

最终测得VSAN和EMC共享存储的最高IOPS分别约为10.8万和11.9万，VSAN的I/O性能已经接近EMC高端共享存储，约为其91%。

2.2 读取文件性能测试

本次测试使用文件服务器虚拟机6台，VSAN环境和FCSAN环境各3台，每台虚拟机包含1个100 GB的vDisk。

测试从VSAN环境读文件的性能。在VSAN环境配置http文件服务器，在/var/www/html目录下存放6个10 GB大小的文件，用于模拟影像文件，同时在EMC共享存储环境新建配置18台虚拟机客户端，测试同时读取6个10 GB文件的性能，模拟18个铁路局（公司）同时从HTTP文件服务器访问下载文件。

同样的方法，测试从EMC共享存储环境读文件的性能。将VSAN环境中的HTTP文件服务器迁移至EMC共享存储环境，同时将EMC共享存储环境18台虚拟机客户端迁移至VSAN环境，测试同时读取6个10 GB文件的性能，模拟18个铁路局（公司）同时从HTTP文件服务器访问下载文件。

HTTP在两个环境的性能测试结果如表2所示。

表2 读取文件性能测试表

最终测得，当HTTP文件服务器在EMC共享存储环境时，客户端读取文件量（6×10G×18）约为1 080 GB，耗时约18 min；当HTTP文件服务器在VSAN存储环境时，客户端读取文件量（6×10G×18）约为1 080 GB，耗时约18 min，由此可知，同样大小的文件，传输耗时基本无差别。

2.3 数据库载入数据测试

本次测试使用数据库虚拟机共2台，VSAN环境和FCSAN环境中各2台，每台虚拟机有1个100 GB的vDisk和3个460 GB的vDisk，共1 480 GB。

在两个测试环境下配置的数据库虚拟机，每个数据库创建有3张表，分别测试每个环境下同时向3个数据库插入各3 600万条数据，验证载入数据能力，测试结果如表3所示。

表3 数据库载入性能测试表

最终测得，在插入相同数量的数据过程中，VSAN平均耗时约为共享存储耗时的1.27倍，VSAN的数据库载入能力与EMC的高端存储还有一定的差距。

通过以上3次测试，对比了EMCVMAX20K高端存储和VSAN存储的性能。在性能方面，分析IOmeter、访问文件服务器和数据库插入数据3个场景的测试结果，EMCVMAX20K高端存储由于采用基于内存智能缓冲技术的VPLEX产品，表现出了较好的性能，VSAN存储仅利用SSD闪存和SASHHD持久盘架构，性能表现虽不如EMCVMAX20K，但结果也比较好，尤其在4 K数据块大小时，IOPS最高可达10万多。经分析，目前VSAN测试环境主要由于后端数据持久层SASHDD盘及RAID卡的性能抑制了整体VSAN存储的读写速度，如果后端存储同样采用SSD闪存盘，将会大幅提升整体性能。

3 VSAN解决方案

3.1 方案概述

VSAN方案设计理念基于“软件定义的存储”思想。“软件定义的存储”可对存储资源进行抽象化处理，以支持存储的池化、复制和按需分发。这使存储层与虚拟化计算层非常相似：都具有聚合、灵活、高效和弹性扩展的特点。它们的优势也如出一辙：全面降低了存储基础架构的成本和复杂性。

Virtual SAN利用多个服务器的本地存储构建成1个共享的分布式数据存储（datastore）。这个数据存储的容量由组成Virtual SAN群集的多个主机里面的磁盘组汇集而成。这些主机可以是vSphere群集的1个子集。Virtual SAN数据存储的总容量就是Virtual SAN群集主机里HDD磁盘的容量之和。

运行Virtual SAN的每个服务器节点可支持 5 个磁盘组。每个磁盘组有1～7 个HDD磁盘，但必须有1个 SSD用于缓存层。SSD充当分布式读写缓存，并不用于永久保存数据。每个磁盘组只支持1个SDD，70%的SSD 容量用于缓存读取，其余30%用于写入。可以在取消向磁盘暂存之前，在2个或2个以上节点之间镜像缓存写入来对该缓存写入进行保护。也可以使用多节点镜像来防止发生磁盘故障和节点故障,如图1所示。

图1 VSAN存储结构图

3.2 环境要求

3.2.1 计算资源要求

1个Virtual SAN至少需要3台vSphere主机（其中每台主机均具有本地存储）以形成受支持的Virtual SAN集群。这样，集群才能达到至少允许1台主机、磁盘或网络发生故障的最低可用性要求。

3.2.2 网络要求

VSAN架构，要求每台vSphere主机必须至少具有1个1 GB或10 GB的网卡（NIC）。在每台vSphere主机上，必须创建用于Virtual SAN通信的VMkernel端口。当集群中的1台vSphere主机拥有特定虚拟机时，此端口将用于集群间的节点通信，也用于读写操作。

3.2.3 存储要求

Virtual SAN集群中的每台vSphere主机均必须至少有1个全新的SSD 和1个全新的SAS/SATA/ PCI-e磁盘驱动器。SSD充当分布式读写缓存，并不用于永久保存数据。推荐的Virtual SAN的用于缓存SD容量是VSAN存储总容量的10%。

3.3 方案特点

（1）VSAN是使用服务器的直连存储，它并不需要专用的网卡和芯片，所使用的服务器、硬盘以及网络都是通用的硬件。

（2）VSAN是分布式的集群。它在网络化的支持之下，其空间可以延展到支持32个节点。可以使用千兆网，也可以用千兆网来组一个最初始化的集群。VSAN要求至少有3台服务器来提供虚拟存储服务器，也就是说保持数据有2个备分，因此在PC里面，任何系统风险都不会产生任何的数据丢失。

（3）VSAN是使用闪存SSD的纯加速产品。目前，机械硬盘的转速并没有办法提高，如果用普通的机械硬盘，它对服务器的空间和性能都有一定制约。VMware采用的策略是混合策略，用SSD提供性能，由普通机械平台提供能量。这使得VSAN的总成本控制在较低的水平，适用的市场范围会更广。

（4）管理便捷性。VSAN能实现普通的虚拟化管理，并且VSAN所支撑的虚拟机在网络VSAN存储的时候，具有最短的路径、最快的API调用，并且这些全部在内核完成。当企业的存储应用需求发生变化的时候，可以在不停机的情况下，修改策略。在底层会满足企业的新存储要求，这个过程对于用户来说非常方便。

（5）VSAN是完全固定在存储VM虚拟化的基础上的，它是一个VM的VMDK存储，只用来做VMware的网络建设。在VSAN里，默认的存储是VMPK存储文件形式。在默认的情况下，1个VMPK至少有2个以上的部分，分散在不同的界面上面。当网络出现问题的时候，在节点整理停机或者调令的情况下，可以在计算的同时保证计算的严密性，也保证存储的数据安全。

4 结束语

当前虚拟化技术已经被广泛应用到 IT 基础设施建设中。服务器虚拟化已得到充分的发展，但存储虚拟化在数据中心还没有得到广泛应用。基于VSAN的存储虚拟化技术，在性能方面与传统存储的差距已经越来越小，但是在灵活性、扩展性以及管理维护便捷性等方面已经远远超过传统存储。随着存储虚拟化技术的发展，将来数据中心可充分利用服务器自身硬盘存储，达到去存储化，从而产生巨大的经济效益。

[1]中国铁道科学研究院.新一代客票系统总体技术方案[R].北京：中国铁道科学研究院，2012，5.

[2]单杏花.客运生产经营指标体系研究报告[R]. 北京：中国铁道科学研究院，2011.

[3]施 庆.基于VMware vSphere的高校数据中心虚拟化建设研究[D].上海：复旦大学，2012.

[4]铁道部客票总体组.新一代客票系统用户需求说明书[S].北京：中国铁道科学研究院，2011.

[5]李 聪.服务器、网络、存储虚拟化技术在数据中心的应用研究[D].天津：天津大学，2009.

[6]王洪爱，朱建生，刘文韬，等.铁路客票系统中缓存机制的应用模型研究[J].铁路计算机应用，2013，22（2）.

责任编辑 杨琍明

Application of storage virtualization to Railway Ticketing and Reservation System

LI Yanming1,LIU Xiangkun2,LI Qi2,WU Zhenhua2
( 1.China Academy of Railway Sciences,Beijing 100081,China;2.Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China)

Combined with the current state of the Ticketing and Reservation System,this article introduced the virtual storage technology.Compared with the traditional storage,the gap was not great in performance,but the fexibility,scalability,effciency and management of the convenience,the virtual memory was much better than the traditional storage.The virtual memory had good economic benefts.

Ticketing and Reservation System;virtual;storage

U293.22：TP39

A

1005-8451（2016）04-0028-04

2015-10-16

李雁明，在读硕士研究生；刘相坤，副研究员。