海南电网数据中心存储互联架构研讨

张铁刚，马　超，冯世杰

（海南电网有限责任公司信息通信分公司，海口 570100）



海南电网数据中心存储互联架构研讨

张铁刚，马超，冯世杰

（海南电网有限责任公司信息通信分公司，海口 570100）

摘要：基于存储互联的存储架构CloudSAN，将云领域的多节点集群扩展的优势，与传统存储的高性能、高可靠、易管理等特性相结合，提供分布式服务器存储架构与传统架构优点结合的面向云计算的新型存储系统。

关键词：存储互联；云计算；分布式存储；CloudSAN

1 引言

海南电网在数据时代的新形势下，采用基于存储互联的存储架构CloudSAN方案，通过CloudSAN技术，将云计算的多节点集群扩展的优势，与传统存储的高性能、高可靠、易管理等特性相结合，形成分布式存储架构与传统SAN架构优点结合的面向云计算的新型存储系统，为海南电网众多应用系统的数据存取保驾护航。CloudSAN是云架构与SAN存储技术的融合，采用块数据存储、管理与控制、数据应用三层分离的架构，能提供512个节点的扩展能力和上亿次的IO访问能力。

图1　企业云计算中心新架构图

2 传统SAN存储技术捉襟见肘

目前，传统数据中心的存储架构主要还是SAN（存储区域网络）架构。SAN采用网状通道（Fibre Channel, FC）技术，通过FC交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准（但各个厂商的光纤交换技术不完全相同，其服务器和SAN存储有兼容性的要求），而SAN存储技术的优缺点也非常明显：优点是高可靠、高性能、低延迟、数据强一致性、接口标准统一、支持所有应用；弱点是扩展性弱、价格较贵、管理一致性较差。

3 分布式存储技术何去何从

在前端业务应用逐渐迁移到VMWare等服务器虚拟化平台之后，用户的后端的存储架构如何调整、构建、顺势而变，一场新的存储架构的变革已经到来。NVMe Over Fabric、软件定义存储（SDS），这些新的存储架构和存储技术新概念和新专业名词扑面而来，似乎传统阵列已经过时了。分布式存储架构的优点是高可扩展性、硬件较廉价、基于文件系统设计、管理一致性好；缺点是单节点性能低、节点可靠性低、高延迟、数据弱一致性（或只保证最终一致性）、容易造成数据绑架、分布式存储使用的有效性。

4 采用何种存储技术

云计算时代，数据爆炸式增长，怎么在有限的空间和时间里存取到最有价值的数据，将成为我们IT界关注的焦点。利用SAN的高性能，高可靠性快速存储有价值数据，还是通过分布式存储技术的高扩展性，可管理性进行海量数据存取将成为未来存储界中亟待解决的难题。

图2　传统SAN存储和分布式存储对比

根据IDC数据，2015年，全球云架构部署占IT开支的1/3。IDC预测，到2019年，用于云架构的开支将占IT总开支的一半以上。IDC认为，云已快速成为IT开支重点，而云服务也将逐步取代传统IT架构。

在数字化时代，随着企业业务的不断革新，以及网络技术、闪存技术的突飞猛进，传统的存储架构已经难以应对企业不断发展的业务需求。CloudSAN解决方案是一个将云计算的多节点集群、分布式扩展的优势与传统存储的高性能、高可靠等特性相结合，将存储资源进行池化，为用户提供了一个普适的、统一管理的资源池，能够根据业务需求，透明地给应用动态分配不同性能、不同可靠性、不同成本的资源，从而在性能、可靠性、弹性、经济性上实现统一，构建面向公有云、私有云应用的新一代存储架构。因此，云计算常态催生CloudSAN技术。

5 CloudSAN存储互联：融合SAN和分布式存储

无论是软件定义存储还是融合存储，其出发点都是从用户的业务需求出发，根据业务的特点来构建最适合的存储架构，同时以用户最经济的成本来交付存储系统。

分布式存储和传统SAN架构并非对立关系，其未来的发展趋势一定是走向融合。传统SAN会吸取互联网存储架构的技术思路，实现存储互联，从多控存储架构过度到多个存储系统的松耦合互联架构，地理位置也会从一个机房扩大到更广的地理区域，这其中PCI-E 3.0总线技术以及40Gb甚至100Gb的IP技术已经为存储互联时代的到来做好了技术准备。

软件定义存储进一步揭示了存储的本质：存储的功能是由软件定义的，存储资源的池化由软件来完成，软件定义存储将软件与存储硬件彻底解耦，存储异构管理的难题最终将由软件破解。软件定义存储一定是从客户的业务需求出发，业务驱动是存储发展的源泉。

而融合能够将存储构建一个真正意义上的统一资源池，彻底消灭信息孤岛，使存储变得更加高效、简化，甚至是无所不能，而且不只是存储领域，从整个IT基础架构的角度来说，融合也依然是大势所趋，未来IT的存在形态将不再着眼于物理设备，而是一系列的能力模块，包括基本的数据存储功能，高级的数据管理功能，而且根据业务随需部署到云计算环境中。

CloudSAN用40G/100G RDMA网络，互联SAN存储节点，将传统SAN节点带入到scale-up与scale-out的二维扩展时代。

高端存储被重新定义，应用CloudSAN技术，可以轻松实现性能叠加，达到亿级IOPS。40G网络，意味着每小时10TB数据迁移和同步能力、100GB网络25TB。

（1）存储性能QoS服务。CloudSAN存储网络中，能够自由部署多控、双控、单控节点，配置全闪存、SAS、SATA等不同性能服务的介质资源，每一个CloudSAN节点都是一个智能节点，根据应用访问的性能、可靠性要求，能够自动进行访问路径切换、多副本配置、节点数据迁移等动态存储QoS服务。如下场景：4个服务器开始都访问A存储节点，首先发现磁盘性能不足，则A节点将服务器4上的数据迁移到B节点，继续通过A节点后端数据网络访问。然后进一步发现A节点控制器IO性能不足，A节点发起优化路径切换，服务器4开始从B节点访问数据。

（2）存储可靠性QoS服务。CloudSAN支持双活、多活（也即双副本/多副本技术），也同时支持异步数据复制/容灾服务，能够根据应用需求提供可靠性QoS服务。如下场景，两个数据中心，两个CloudSAN域，每个域内一堆服务器和四台存储。A存储向B存储同步，实现双活访问；B存储向C存储同步，实现三活访问。一个域向另一个域进行数据复制，实现远程灾备。

（3）以节点为基础的存储资源池扩展。在一个典型的虚拟化云环境中，性能、容量告急，推入一个全闪存节点，大幅度缓解性能压力，访问链路变蓝。推入一个低端双控SATA大容量节点，数据纷纷向该节点迁移，容量红灯变蓝。

（4）CloudSAN兼容传统存储。如下场景：用户建立CloudSAN之后，推入存储虚拟化网关节点，将用户传统存储纳入CloudSAN统一管理资源池。原五花八门的设备，变为CloudSAN节点。

6 CloudSAN是企业级云计算最佳存储平台

将SAN的高性能、高可靠、低延迟、标准块访问，将分布式存储的高可扩展性、去中心化、一致性管理融为CloudSAN结构，上层应用从2～4台服务器的传统应用，下层一台存储、到双活，上层开始实现虚拟化出现虚拟机，扩展到几十台服务器上百个VM，下层十几台存储，各种节点类型，提供不同的QoS服务，到企业级公有云数百台服务器，下层上百台存储提供服务。指出一点：企业级云计算与面向个人服务的云计算最大的区别：应用数量多、服务质量要求高、应用之间差异大，CloudSAN完美支撑从小规模应用到大规模云计算的持续演进。

6.1 CloudSAN是企业级云计算的最佳存储平台

（1）CloudSAN是在传统SAN存储、分布式文件系统、软件定义存储、最新网络技术、全闪存技术、去中心化等技术基础上，融合各种最先进的存储技术，面向企业级云计算需求。

（2）海南电网深刻理解企业级云计算的应用特征，以业务为导向，解决公司在构建企业级云计算平台时面临的应用复杂、性能及可靠性要求高、应用需求不均衡、数据膨胀带来的管理复杂度等痛点，为企业级云计算提供普适、通用、可信赖的存储资源化平台架构。

（3）CloudSAN紧紧把握存储的本质问题：数据安全、性能、成本、管理，将传统SAN存储的优势与最新存储和网络技术充分融合，以用户需求为导向，而非以技术为导向推出的创新存储技术。

6.2 CloudSAN的关键技术

6.2.1 低延迟以太网技术

基于10/40/100GE低延迟以太网技术，建立存储互联通道。基于低延迟的10/40/100GE以太网，配合RDMA、ISER技术，在CloudSAN的各个存储节点之间构建高速的内部数据传输与通信网络，实现内部数据的高效传输。尤其是低延迟的100GE以太网技术，将会提供比PCIE3.0、Infiniband更快的传输技术。高速以太网技术使得存储设备之间的传输通道不再成为瓶颈，从而在此基础上构建存储互联架构

6.2.2 透明负载均衡

基于虚拟LUN和虚拟路径技术，实现透明的负载均衡访问。基于虚拟LUN技术，所有服务器可以同时“看到”CloudSAN所有存储节点上的LUN。基于虚拟路径技术，单台服务器最大可以通过32条路径访问单个LUN。理论上，任意服务器可以通过任一存储控制器访问任一存储LUN。比如A服务器可以通过B存储的控制器访问C存储的硬盘。多条路径之间可实现负载均衡访问。

6.2.3 多类型混合扩展

全闪存、高、中、低端存储等各种节点混合部署，支持Scale-UP，Scale-Out扩展方式，实现性能、容量的按需扩展。存储节点不限一种，可同时支持闪存、高速SAS、低速SAS、SATA，可支持全闪存阵列、高、中、低端各种存储。节点之间可支持Scale-Out横向扩展，最大支持512节点。单节点内可支持Scale-UP纵向扩展。

6.2.4 兼容异构存储

基于存储虚拟化技术，兼容各厂家、各品牌的存储设备。CloudSAN的高、中、低端存储节点自带存储虚拟化特性，可将主流厂家、主流品牌的存储阵列虚拟化，从而纳入CloudSAN的统一体系。用户已有的存储投资，可得到有效的保护利用；用户未来的扩展，不用受单一厂家品牌的限制。

6.2.5 智能管理与控制

通过智能管理与控制机制，实现透明的数据迁移，支持QoS及负载均衡。各存储节点提供丰富的、完善的存储访问与控制接口（WebService，SMI-S，Cinder，VAS等）。CloudSAN采用带外管理的方式，通过智能控制中心对存储设备进行资源的统一管理与控制。

可实现应用无关的透明数据迁移，并且计划支持在不同节点之间的QoS及负载均衡。

7 CloudSAN助力海南电网数据无忧

海南电网数据中心有多台企业级存储，包括宏杉，华为，HP，NETAPP，日立等高端存储，担负着电网公司的核心数据存储业务，随着海南电网公司业务不断拓展，数据不断增长，单个存储的扩展性和性能逐渐成为瓶颈，在云计算浪潮下，如何在大量结构和非结构化数据驱动下，满足不同应用系统的需求，成为海南电网信息化建设工作中的的焦点。

图3　各种业务场景对存储的需求

海南电网所采用的CloudSAN解决方案，将传统SAN存储的高性能、高可靠、低延迟、标准块访问，将分布式存储的高可扩展性、去中心化、一致性管理融合，将海南电网数据中心的多台企业级存储设备进行统一管理，统一存储，有效提升其单个存储的利用率以及高性能和低性能存储的数据存储分层，有效保证了海南电网在不同时期，不同业务层面的数据存储SLA，助力海南电网在云计算新形势下对数据存储和管理的掌控。

图4　CloudSAN解决方案架构

8 结束语

在新经济环境下，与云计算、大数据、移动、社群、互联网、物联网相关的新应用数量激增，开发和部署周期短，且要求高并发、低延迟，传统的IT架构难以“驾驭”；不同应用对资源的需求不同，甚至同一个应用在不同的阶段需求也不同。而如何以工作负载为核心，智能调配资源，既不浪费资源，又能为不同应用提供QoS；企业IT环境中不但有各种不同品牌、不同型号的存储设备，还使用不同的存储介质，运行着不同的存储协议，能否实现统一的存储资源池，并构建存储互联的架构……传统的存储架构在这些需求面前显得一筹莫展，变革势在必行。

新一代存储互联的CloudSAN解决方案，将云计算和SAN融为一体的，通过异构存储整合，提高已有存储资源使用管理效率。通过跨设备、跨介质、跨站点甚至跨应用构建存储互联架构，提高新应用部署效率。其跨异构的全局化存储，为用户跨异构资源实现存储QoS透明管理、动态配置。同时，CLoudSAN技术为企业提供的高性能、高可靠、低延迟的统一存储资源池，结合Scale-UP和Scale-Out架构，保证各种应用性能需求，并实现了数据管理的统一化、平台化、透明化和应用驱动，重新定义了新经济环境下的存储。■

参考文献

［1］ 创新驱动企业级云计算存储架构变革.中桥国际调研咨询有限公司，2016

［2］ 宏杉科技CloudSAN评测.宏杉科技官网，www.macrosan.com

The Research and Exploration about Data Storage in Data Center of China Southern Power Grid Hainan Branch

Zhang Tiegang, Ma Chao, Feng Shijie
（Information Communications Branch of CSG of Hainan, Haikou, 570100）

Abstract:The CloudSAN architecture, Based on storage interconnect, in combination of the advantage of multi-node cluster expansion in cloud technology with the merit of high poerformance, high availability and easy manageable of the traditional SAN storage technology, provides a new type of storage for cloud computing with both advantages of traditional SAN storages and the distributed storages.

Keywords:storage interconnect； cloud computing； distributed storage； CloudSAN

doi：10.3969/J.ISSN.1672-7274.2016.06.007

中图分类号：TP39，TN91

文献标识码：B 文章编码：1672-7274（2016）06-0018-04