冷迪
摘 要:近年来,企业数据中心计算与存储融合的超融合架构相对于传统计算网络存储分离架构发起了强有力的挑战。文章通过分析传统企业数据中心基础架构面临的弊端,提出了传统构架向超融合架构的演进趋势。并对超融合架构的概念、组成和主要特点进行了详细分析和介绍,从产品和市场角度分析了超融合架構的发展和应用趋势。最后,作者对超融合架构在电力行业云数据中心的应用给出了展望。
关键词:云数据中心;超融合架构;分布式存储;Server SAN
1 企业数据中心基础设施架构演进趋势
1.1 云计算趋势下,企业数据中心建设面临的挑战
数据中心在不断进行演进过程中,云计算、大数据、移动互联的需求日益高涨,基于此需求的近实时或实时数据分析(OLAP、OLTP)等商业智能分析应用得到越来越多企业用户的关注。不论是私有云、公有云或是混合云,都面临企业云数据中心建设的关键问题,即如何提高数据中心的资源利用率、如何降低整体成本、优化管理、如何应对业务的快速变化、如何伸缩自如等,这些都是数据中心建设者们需要积极思考的问题。
目前企业云数据中心的建设通常对服务器、存储、网络设备、平台及应用软件等部件独立采购,而后再集成的方式。这在一定程度上降低了数据中心的初始购置成本。然而,随着云数据中心规模的不断扩大,传统的构架会使企业将在后续运维运营上消耗过多的人力物力,进而导致IT效率低下,终将阻碍业务发展。企业需要不断寻求改善IT环境的解决方法,来保证业务能够稳定、敏捷地运行。可以预见,未来企业IT希望购买到的是一个数据中心基础设施整体方案,通过更多聚焦于IT技术对业务的响应,为公司业务提供增值辅助,从而将传统的成本中心转为“利润“中心。
1.2 超融合架构是企业云数据中心基础设施架构的大势所趋
为应对当下云计算、虚拟化和大数据发展的趋势,2014年第三方权威调查机构Wikibon提出Server SAN名词,自被提出就获得很多关注和热烈讨论。Server SAN简单来说是由多个独立的服务器直连存储组成的一个存储资源池。服务器之间实现高速互联(如InfiniBand或低延迟万兆以太网),通过软件进行统一管理。
Server SAN可以用标准的X86服务器、高速通用网络来实现,省去了专用设备和网络成本。同时集合了超大规模、计算与存储融合和闪存等技术优势,计算和存储可以共享网络,在扩展性和易管理上亦有不俗表现。因此,Server SAN是超融合架构的产品化代表。目前超大规模互联网公司如Facebook、Google和亚马逊等已经开发了超融合Server SAN解决方案。目前已经商品化的10Gb以太网技术不仅提升了数据的传输速度,降低延迟,而且传输距离更远。“软件定义”这一新兴概念也逐渐被成果化,因此通过软件作为媒介,将普通服务器内部存储组成一个存储资源池,既保证了存储需要的性能,又同时通过硬件加软件的方式,提供了良好的扩展性。由此看来,Server SAN发展所需基础都已经逐渐成熟。
2 超融合架构的关键特征
2.1 超融合架构基本概念与组成
超融合架构是一种新兴的数据中心基础设施解决方案,从根本上将核心计算、存储和网络功能集成到单一软件解决方案或设备中。而传统集成平台和系统的自主计算、存储和网络系统是在工厂由供应商或代理商进行集成的。超融合系统将存储和计算功能集成到一个单一节点(或节点集群,每个节点都提供计算和存储功能),超融合系统都具有以下通用核心组件:
(1)分布式存储系统:构建在虚拟化平台之上,在服务器虚拟化基础上,通过部署存储虚拟设备的方式,对本地存储资源进行虚拟化,再经集群整合成资源池,为应用虚拟机提供存储服务。
(2)高速网络:GE/10GE以太网交换机,或者Infiniband光纤交换机为分布式计算和存储集群提供可扩展和高可用性的网络通道。
(3)统一管理平台:其管理程序除了提供硬盘或SSD硬件抽象层之外,还提供工作负载邻接、冗余、故障迁移、管理和容器化作用。
因此,超融合架构可以基于X86服务器等低单价企业服务器为基础,对服务器的内置硬盘资源进行虚拟化,提供raid后的存储空间供服务器使用。服务器采用集群的方式部署在数据中心的多个机架内,通过机架间及机架内的高速二层交换网络提供极高的连接可靠性。整个超融合集群系统,以一个2U X86机架服务器提供40TB裸容量为例,一个100个服务器组成的集群可以提供4PB的存储容量,可满足90%以上企业的业务增长需求。通过批量采购的商用服务器可使基于超融合架构建设的数据中心可具有较高的性价比。
2.2 超融合架构主要特点
2.2.1 分布式、无共享架构的分布式存储系统
超融合架构分布式存储系统一般采用分布式,无共享(Share Nothing)架构设计理念,通过分布式计算算法,将数据分散式存放在集群中的所有节点上,不仅提升了数据可靠性,同时大大提升了系统性能。另外,整个分布式存储系统也无集中管理和控制节点,每一个数据节点都有能力承担另一数据节点的功能,节点之间通过内部高效的分布式协议完成相互协作和通信。
2.2.2 计算与存储融合
超融合架构通过将计算服务器上的存储设备组成一个高性能、高可靠的分布式存储池,给服务器或者虚拟机上的应用提供存储空间。通常虚拟化、数据库等对I/O延迟要求高的应用将数据存放在应用所在的物理服务器上,减少传统外置共享存储(SAN/NAS)带来的网络开销,提升应用的读写性能。
2.2.3 相对低廉的采购成本
然而使用传统共享存储设备提供空间,当存储空间不够时,需要再次购买昂贵的专业存储设备。然而基于服务器的构架可避免购买传统的外置共享存储设备(SAN/NAS)和交换机,有效的降低采购成本。当存储空间不够时,在现有物理服务器上添加性价比较高的存储磁盘或者添加物理服务器即可有效扩展存储空间。
2.2.4 高冗余横向扩展架构
由于超融合架构采用分布式架构,因此,具备强大的横向扩展能力,一般都能支持成百上千个节点的集群,其分布式集群架构消除了传统计算和存储分离导致的低性能、不易扩展、单点故障等问题,保证了节点扩容后无需迁移系统内所有数据,可以快速达到负载均衡状态;增加节点的同时,系统的IOPS、吞吐量等性能,以及系统存储容量能够实现同步线性增长。传统计算存储分离架构解决方案中的存储系统被限制在少量的几个硬件控制器上(中低端一般是两个主备控制器),而对于超融合架构系统而言,集群中的每个节点既是计算节点,又是存储控制器,因此,随着节点的增加,性能也能线性增长。
与传统的计算存储分离架构相比,超融合架构集群具备非常好的弹性扩展能力。在系统运行过程中,管理员可在不中断业务的情况下新增和删除节点。当一个新节点或者一个新硬盘加入到集群中时,超融合架构能实现集群内数据的最优化的自动重新分布和均衡。而整个数据的迁移和重新均衡的过程不会影响应用对数据的访问。因此,新增节点和硬盘,不仅提高的系统存储容量,也同时提升了系统的访问性能。当管理员删除节点或者硬盘时,系统能够在通过数据迁移实现数据在其余节点的重新分布,以保证系统的数据均衡性。在所有数据的重新分布和均衡过程中,系统能够保证只需尽可能少的数据进行重新分配,而无需对系统内所有数据进行调整和迁移,提升了系统稳定性和性能。
表1对比了超融合架构与传统计算、存储分离架构的主要优劣,可见超融合构架相对于传统构架具有较大优势。
3 超融合架构产品与市场发展趋势
3.1 超融合架构产品发展趋势
随着软件定义数据中心概念的兴起,软件定义存储和计算存储融合等概念和技术也成为了下一代存储的热点。近几年来,在美国,以色列等IT先进国家,涌现出了一批面向企业云数据中心场景,研发软件定义存储和超融合系统的创新公司,比如Nutanix、ScaleIO、Simplivity、Nexenta、Maxta等。与此同时,传统虚拟化和存储大厂商也逐步看到了企业数据中心下一代基础设施系统的发展趋势,纷纷通过收购或自研进军来布局软件定义存储和超融合架构市场,比如EMC收购ScaleIO,HP收购LeftHand,Dell收购Equallogic,Vmware自研VSAN等。这些创新公司和传统存储公司,根据自身的发展或者产品布局需要,推出不同形态的超融合架构产品,比如Nutanix、Simplicivity等推出软硬结合的超融合架构一体机,而EMC、Vmware、Nexenta等则推出纯软件的软件定义存储方案总体来说,新型创业公司走在了超融合架构产品和市场的前列,他们占据了超融合架构基础设施市场的大半壁江山。目前Nutanix,Simplivity、Nexenta等创新公司推出的产品最有竞争力,占据的市场份额也最大。
国内的超融合架构基础设施发展速度总体上落后国外,但随着融合存储系统在国外越来越受到存储大厂和大客户的关注和重视,以及云计算、大数据、软件定义存储等新一代数据中心基础设施技术的发展,目前国内的主流存储厂商,比如,华为、浪潮、曙光等公司,开始进行新一代大规模分布式存储系统的研发,但其主要关注点在面向数据中心的海量数据存储场景提供分布式文件或者分布式对象存储集群。比如,华为公司的UDS对象存储系统,中科院蓝鲸大型分布式文件存储系统等等,这些系统一般都面向公有云应用场景。面向企业云数据中心环境的超融合软件定义系统,国内也出现了一批新型创业公司,比如深圳杉岩数据公司、北京志凌海纳公司等推出的超融合架构产品。
3.2 超融合架构市场发展趋势
近年来,超融合架构系统市场发展迅猛,对传统计算分离架构系统市场冲击很大,特别是传统外置存储设备市场,以至于传统存储大厂也纷纷进入超融合架构和软件定义存储市场。
据IDC最新发布的2014年全球融合存储系统分析报告,基于软件定义存储的融合存储系统正在强势领跑全球存储软件市场,最近一个季度的收入规模达到38亿美元,同比增幅为39.4%。根据ReportsnReports的预测,全球软件定义存储市场在2015年到2019年之间的年复合增长率预计为35%,覆盖大中小各种类型的企业。企业级融合存储市场在2013年全球销售收入达2.7亿美元,并且以50%左右的年复合增长率增长。HP、Nutanix、Simplivity占据了TOP 3的市场份额。另从国内整体市场来看,超融合架构系统正在从大型互联网公司的数据中心逐步向公有云、私有云、以及混合云等企业云数据中心市场延伸和扩散。一方面,UnitedStack,EasyStack等公司利用OpenStack开源产品中的分布式存储系统构建公有云数据中心基础设施;另一方面,华为推出的FusionStorage分布式存儲产品已经在浙江电信云计算虚拟化平台上得到应用。华为,天玑科技,云和恩墨等公司纷纷推出基于软件定义存储的数据库一体机,在运营商,金融,政府等行业中得到应用。
4 超融合架构在电力行业数据中心的应用展望
目前,电力行业数据中心的IT基础设施还是以传统的计算与存储分离的架构为主建设,以深圳供电局有限公司为例,数据中心存储基础设备全部都是以传统外置存储系统SAN和小型机为主的计算、存储分离架构。已经延续了20多年的传统外置存储架构和产品,在云计算、虚拟化和大数据应用面前,暴露出了扩展性差,灵活性低,管理复杂,成本高等致命问题。随着企业规模的壮大和业务的增多,以及X86服务器虚拟化技术和应用的普及,数据量快速增长,基础硬件设施逐步采用X86服务器替代小型机的转型。因此,如何为未来基于X86服务器和虚拟化计算平台的关键应用提供与之匹配的高可扩展性、高性能、高可靠性、和可维护性的存储平台、同时又能满足核心业务按需、灵活的交付特性,是包括电力在内的各行业在向云计算、虚拟化和大数据等信息化建设转型和发展面临的重大挑战。
因此,深圳供电局有限公司目前正结合自身业务场景,积极开展超融合架构产品和技术在电力行业应用的探讨和研究,计划摸索出一套适用于电力行业数据中心超融合平台建设规范和标准,为不同业务层级提供不同的超融合架构解决方案提供建议和参考依据,并且适用于云数据中心虚拟化、大数据业务应用的运行、管理、扩容等多种多样的需求。并在未来将项目的研究成果在行业内以行业标准和规范进行广泛共享和推广,从而为公司创造更大的经济效益。
参考文献
[1]赵雷霆.运营商级云计算数据中心发展研究[J].信息安全与技术, 2011(8):36-39.
[2]王恩东,张东,亓开元.融合架构云数据中心:概念、技术与实践[J].信息通信技术,2015(2):31-36.
[3]谭章禄,王印红.企业数据中心存储架构比较及经济分析[J].统计与决策,2007(23):177-178.