Pro-CIMS系统虚拟化的实现与应用（下）

宫鲁沙 孙红伟 于艳/大连船舶重工集团有限公司

3．存储虚拟网的设计

目前网络存储技术主要有两种，第一种是网络附加存储，简称NAS，它拥有自己的磁盘和文件系统，实际上就是一个网络文件系统，利用NFS、CIFS等文件协议进行访问。随着海量数据的增长出现了存储区域网，简称SAN，它实际上是一个存储的网络，而不是某种设备，这个网络中涵盖了一切后端相关存储元素。Pro-CIMS服务平台以数据为中心，如何有效的存储和管理日益增长的数据是我们面临的挑战。

SAN由物理服务器、网络设备、存储设备和相应的存储管理软件构成，利用FC等互连协议连接起来的，可以在服务器与存储设备之间以及存储设备之间直接传送数据的网络。SAN采用纤维通道技术，因而性能优异，但在其应用中需要FC交换机连接服务器和存储设备，用于数据太集中的环境。存储区域网的典型结构如图1所示。

图1 存储区域网结构

3.1 SAN的结构

在SAN中，FC作为一种高速骨干网络互连技术应用在各主流存储设备中。FC全称为Fibre Channel，也就是 “纤维通道”的意思，也可称为“网状通道”。传输介质以光纤（单模或多模光纤）为主，可支持1Gb/s传输速率，单模光纤长达10km。FC协议栈有5个标准层，如图2所示。

（1）SAN的层次结构

①FC-0：第一层是物理层。

②FC-1：第二层是编码子层。用于定义在网络上发送数据时使用的编码方案、以及定时信号错误检测机制。

③FC-2：第三层是链路层。用于定义了传输机制、包括帧定位，帧头内容、使用规则以及流量控制等。

④FC-3：第四层为公共服务层。用于定义一些公共服务，即端口间的结构协议和流动控制。

⑤FC-4：第四层为传输层，定义了适配上层协议的接口。FC-4定义了四种服务类型：Class1、Class2、Class3和 Class4。

（2）SAN的技术优势

① 采用高速链路，适用于大块顺序的IO密集环境，具备很高的速度；

② 完善存储网络管理，将存储设备实现集中管理和检测，更新和配置更加简单。

③ 很高的容错性能和平滑扩容能力。

④ 数据备份、恢复、迁移通过存储局域网本身完成，无须借助服务器和现有的LAN/WAN，提高了现有服务器和网络的吞吐能力。

⑤ 使用SCSI协议，兼容旧存储设备。

（3）SAN的拓扑结构

①点对点：最简单一种互联方式，通过光纤将两个节点直接连接，适合简单的最少的节点环境模式，当随着节点的增加这种方式就不合适了；

② 仲裁环结构FC-AL：类似于以太网共享总线拓扑，可连接的节点数达到127个，其结构类似令牌环和FDDI环的结构，数据帧传输方向是单向的，任何时候只能是一跳一跳往下游传输。图3为AL环路数据帧传输机制示意图。

③ Fabic，意思为“网状构造”，表明这种拓扑其实是一个网状交换矩阵，交换矩阵的架构相对于仲裁环来说，提供更宽的带宽，提高了转发效率，其总带宽为所有端口带宽之和。接入交换矩阵的所有节点都可以实现点对点的通讯，每个节点带宽恒定不变，不会随着节点数的增加而产生变化，即共享的环路带宽。

通过拓扑方式的研究得知，以FC交换机为互联核心的SAN才是我们应用重点。物理主机、存储设备、备份设备都是通过FC交换机完成数据交换。EMC DS6505交换机采用第五代纤维通道，支持2、4、8或16Gbps的速度。24端口总共可提供384Gbps的全双工交换能力，可以应对不断增长的SAN工作负载。基于Exchange的动态路径选择可以优化Fabric架构范围性能，实现负载均衡的优化。在虚拟化环境下应用EMC DS6505提供高可用性；提高数据的可靠性和安全性；易扩展性和兼容性；集中管理、共享存储；提高数据访问速度。

图2 纤维协议的层次结构

图3 AL环路数据传输机制示意图

3.2 RAID技术

RAID技术在高性能存储系统中被广泛应用。RAID（廉价磁盘冗余阵列）。通过硬件将多块物理驱动器组成一块逻辑驱动器来存储管理数据的系统。RAID技术使用可提高数据读取速度，实现自动备份和容错等功能。为了在不同工作环境下使用，RAID技术主要包含了RAID 0- RAID 50等数个规范。每种规范都各自有其自身优点与缺点。目前，在人们可接受空间和成本中广泛应用该技术实现存储区域网络高性能和可靠性，有证据表明磁盘发生故障可能性随着存储系统规模的增加而变大。这里我们重点研究下 RAID6、RAID1+0和 RAID0+1，合理选择 RAID 级别，提高磁盘阵列的安全性能、缩短磁盘发生故障后的重建时间，确保数据安全可靠。

RAID 6：具备两种独立分布式奇偶校验码的独立磁盘结构。一个典型的RAID6存储系统其结构为使用水平码的K+2块磁盘，其中K块盘用于存放原数据，剩余2块盘作为校验盘来使用。两个奇偶校验系统使用独立算法生成两个不同校验码，连同条带化数据一起被分布写入到所有磁盘中，这样能在两块硬盘同时损坏的情况下保证数据的安全，其可靠性非常高，数据恢复能力很强。不过在增加一位校验位后，就需要一个比较复杂的控制器来进行控制，同时也使磁盘的写能力降低，并且还需占用一定的磁盘空间。每次写操作中的“写损失”远大于其他RAID模式，尤其是当出现在顺序IO中随机IO情况时，写性能会非常差。

RAID 0+1：由RAID0和RAID1组合形成的产物。RAID0实现了数据条带化，数据块分别保存在不同磁盘驱动器中。当读取数据时，并行读、写于多块磁盘。RAID1实现了磁盘镜像形成数据冗余，数据安全性高。由于可以同时读取多块磁盘数据，所以读性能不错。RAID 0+1同时拥有RAID0高速传输和RAID1的镜像冗余的特点，数据吞吐率高，负载也较均衡，不需要校验码即可实现数据恢复功能。其结构如下图4所示：两块以上（含两块）硬盘先做条带（RAID0），组成相同的两组一级逻辑盘。再将两组逻辑盘做镜像（RAID1）。

图4 RAID 0+1结构图

图5 RAID1+0结构图

在RAID 0+1中，磁盘的利用率为1/2；从冗余性来看，只要有一块盘出错，它所在的RAID0就会整体离线，系统出现故障的可能性是N/(2N-1)，这时只能靠最外层的RAID1的冗余来支撑。实际上，只能允许一块盘出错，一旦一个硬盘坏了，一半的硬盘无法工作，如果每个条带上各坏1个硬盘，整个RAID组彻底瘫痪。I/O读写效率均可以实现N/2（N为硬盘总数）的理论带宽。

RAID 1+0：是将RAID1的镜像功能和RAID0的数据分割功能混合了起来，因此需要至少4块硬盘驱动器（2块互为镜像盘，2块作为数据盘）来运行。其结构如图5所示。所有磁盘先两两做数据镜像，然后数据条带化到每组镜像驱动器组中。当发生数据重建时，只需拷贝镜像组的驱动器数据，不需通过奇偶校验运算就可获得丢失数据，其可靠性更高。

在RAID1+0中，磁盘的利用率为1/2；从冗余性来看，只要有一块盘出错，它所在的RAID1中不会有问题，所以每组RAID1中都允许有一块盘离线，系统出现故障可能性是1/(2N-1)。而安全性上来看，损坏两块盘崩溃的机会只有2/(N-1)，但如果同一个镜像组的2个驱动器都坏掉的话所有数据都会丢失；I/O读写效率均可以实现N/2（N为硬盘总数）的理论带宽。

4．总结

Pro-CIMS服务平台是船舶设计、生产、物资等主要业务的管理平台，通过平台的应用，将实现部门间的数据积累、整合和信息共享，促进部门的协调与沟通，优化业务流程、进行产品数据的有效积累与持续优化，实现信息的及时有效分析，最终建立以生产计划体系为核心的设计、生产、物资管理为一体的网络管理系统。通过对该系统应用环境的分析，采用SAN技术实现Pro-CIMS服务器和存储设备之间直接进行高速数据传输，数据访问和平滑简单的扩容是最为合理和可靠。

（1）SAN技术对性能提升的体现

① 优秀的集中管理：传统模式需要重启或关闭服务器才能完成新存储配置，而SAN 技术的优秀可扩展性使得服务器不停机或重启就可对存储进行扩容，集中管理数据使得成本大大降低。

② 服务器集群的实现：由于虚拟化服务器集群是Pro-CIMS的主要服务器资源供给方式，SAN结构采用全共享方式提供存储资源，这与集群将数据当作是一个单一的系统映像是相同的。

③ 数据移动方便：在传统WANLAN中，数据的移动或复制是通过服务器来完成。用户发出移动请求，服务器响应后负责从源设备中读取，传输和写入目标设备。这种方式数据慢、耗用大量WAN/LAN的网络资源。而SAN技术的LAN-Free，将磁带库和磁盘阵列各自作为独立的光纤节点。数据备份时，数据流直接从磁盘阵列传输到磁带库，而无需占用LAN网络带宽。

（2）IOPS的衡量

磁盘性能主要体现在两个方面：IOPS和每秒IO吞吐量。完成一次IO所用的时间=寻道时间+数据传输时间。IOPS=IO并发系数/（寻道时间+数据传输时间）。由于寻道时间远远大于传输时间，所以影响IOPS关键因素就是降低寻道时间。

每个磁盘系统的IOPS是有上限的，如果设计的存储系统，实际的IOPS超过了磁盘组的上限，则系统反应会变慢，影响系统的性能。Pro-CIMS服务平台涉及到大量数据的积累和共享，数据的检索传输需要高性能磁盘来支持。按照计划的40TB空间部署，为了保证性能配置5块300GB15000转SAS硬盘，5块 200GB SSD，65块 600GB 15Krpm的SAS硬盘，理论上可以支撑的最大流量为65×13MB/s=910MB/s（15Krpm 最大流量为 13MB/s），采用16Gb的FCHBA卡（16Gb光纤卡所支持最大流量为16Gb/8= 2000M/s）。在同样的压力和磁盘，I/O的每个操作，RAID6中实际发生4个I/O，而RAID1+0只发生2个I/O，后者性能是前者1.5倍。数据库将采用RAID1+0模式，而其他非数据库的应用采用RAID6模式。

（3）最终设计

鉴于以上相关技术研究，我们对所构建的存储网络进行了设计，选用2台24端口的DS6505光纤交换机，24口激活，拓扑方式为Fabic网络交换矩阵形式，主机与EMC VNX5400盘阵控制器前端接口与后端接口都采用FC端口，存储控制器配置一级缓存共44GB。经过以上对虚拟化技术和SAN技术的介绍，服务器硬件配置和性能、虚拟化平台应用业务需求等进行分析和计算，得出Pro-CIMS服务平台虚拟化环境如下：三台HP DL580 Gen9服务器作为ESXi主机，一台虚拟化主机来作为vSphere套件中的vCenter服务器，配置EMC VNX5400光纤存储和磁盘扩展柜，两台CISCO WS-C3560X-48T-L三层交换机用于以太网接入。通过将资源、存储、网络和安全性等进行抽象化、组件化和池化，可以快速建立起一个完整的数据中心并实现管理，有效稳定地保障了平台的正常运行。★