云计算环境下的分布式存储技术研究与应用

文静，陈达，于璐（中国移动通信集团政企客户分公司，北京 100053）

云计算环境下的分布式存储技术研究与应用

文静，陈达，于璐
（中国移动通信集团政企客户分公司，北京 100053）

随着云计算、大数据和物联网等技术的广泛应用，传统存储阵列已难以满足快速增长的数据存储要求。分布式存储在大规模数据处理能力、扩展性、可维护性、可靠性，以及成本考量上都有更出色的表现，逐步成为公有云中存储产品的主流技术实现方式。本文首先介绍了存储分类，其次详细阐述中国移动公众服务云的存储实践。

互联网+；传统存储；分布式存储；公众服务云

1　存储市场

在当今的存储市场，存储技术的革新可以用“颠覆”来描述。云端存储是“互联网+”稳步前进的基石，其能够为海量数据提供优质、先进、低成本的存储服务。“存储+服务”的模式，将实现“存入谷物、输出面包”的效果，满足市场对数据存储、数据处理、数据分析、在线播放、编辑以及二次分享等特定需求。

2　存储分类

块存储和文件存储是我们比较熟悉的类型，而对象存储是一种新兴网络存储架构。

块存储主要用于数据库和操作系统的存储，文件存储主要使用在对接传统需要Posix接口的系统中；对象存储则解决了块存储的有限扩展和文件存储的传输性能开销大的问题，非常适合大规模海量非结构化数据存储。

2.1块存储

两种传统块存储类型如下。

（1）DAS（Direct Attach Storage）：与主机服务器直连，每台主机服务器有独立的存储设备，其间无法互通；适用于单一网络环境、数据交换量不大，性能要求不高的场景。

（2）SAN（Storage Area Network）：用高速（光纤）网络连接主机服务器，使用高速I/O连接方式，如SCSI，ESCON及Fibre-Channels；适用于对网络速度要求高、对数据可靠性和安全性要求高、对数据共享性能要求高的场景。

2.2文件存储

NAS（Network Attached Storage）是网络存储设备，采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，扩展性好、价格便宜；但由于协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

2.3对象存储

对象存储与硬盘、文件系统等存储形态不同，它提供Key-Value方式的RESTful API接口，通过HTTP请求中的PUT和GET等操作进行文件的上传和下载；对象存储同时具备SAN高速直接访问磁盘特点及NAS的分布式共享特点。

对象存储结构组成部分包括对象、对象存储设备、元数据服务器、对象存储系统的客户端等。对象是系统中数据存储的基本单位，一个对象实际上就是文件的数据和一组属性信息（Meta Data）的组合。所有对象都有一个对象标识，通过对象标识访问该对象。对象存储设备的主要功能包括数据存储、智能分布、对象元数据管理。元数据服务器（Metadata Server）控制Client与对象存储设备（Object Storage Device）的交互，主要提供对象存储访问、Client Cache一致性。

图1　分布式块存储系统示意图

3　中国移动云存储实践

中国移动公有云又称作“移动云”（http：// ecloud.10086.cn/），隶属于中国移动通信集团公司，是中国移动面向政企、事业单位、个人等客户推出的基于云计算技术、采用互联网模式、提供基础资源、平台能力、软件应用等服务的业务。现阶段移动云可提供IaaS（基础设施服务）、PaaS（平台即服务）、SaaS（软件即服务）类型的云计算服务，移动云是建立在中国移动“大云”的基础上，自主技术研发而成的公有云平台，通过服务器虚拟化、对象存储、网络安全能力自动化、资源动态调度等技术，将计算、存储、网络等基础IT资源作为服务提供，客户根据其应用的需要可以按需使用、按使用付费。

传统存储在处理性能、扩展性、可靠性上已难以满足云计算时代的存储需求。分布式存储技术逐步成熟，打破了统阵列的“一体机”配置模式，将软硬件解耦；能将多个物理节点虚拟整合为一个整体资源池，可以灵活扩充资源；架构更加稳定可靠，采用多副本或纠删码理技术，有效的解决了传统阵列的“单点故障”。

移动云基于分布式存储技术、采用x86服务器构建并商用大规模、跨地域的存储系统，形成广州、北京、呼和浩特、哈尔滨、长沙五大存储资源池，很好地解决传统SAN容量和性能均衡分布的难题，避免受到传统存储软硬件一体化的制约；采用4U集采存储服务器，每台带有12～24块硬盘，在x86服务器上可轻松实现性能和容量扩展，解决了基于大规模不可靠存储硬件构建大型高可靠存储系统的技术难题。

“移动云”存储服务采用三副本和纠删码方式，能够在硬件和网络出现问题时保证数据不丢失、易恢复；同时，系统支持线性扩容，按照业务增长量进行模块化扩容。

3.1块存储

移动云块存储具备高可靠、大容量、易扩展、易管理等优点，主要用于云计算虚拟机部署、云数据库应用等场景；块存储系统包括3部分：Web管理前端：提供系统管理员各种运维功能；存储管理服务：通过Rest接口提供各种存储资源申请和存储管理的服务功能；Sheepdog存储集群：基于开源软件Sheepdog实现的底层存储集群。

移动云通过引入将集群一致性维护操作和数据读写操作相分离，建立了带外集群管理机制，解决了由于大规模存储环境中节点间数据一致性维护的开销大而导致节点规模受限的问题；采用在应用节点的前端部署大规模磁盘数据缓存，从而减少网络数据交换负载，解决IP网络的快速闪断和系统性能问题，大幅提高系统I/O性能。

图2　文件存储系统示意图

移动云基于一致性哈希的数据卷分片三副本的分布和管理方法，实现面向磁盘、节点和机架的多级数据自动快速恢复和重分布，在廉价的x86服务器上实现存储的高可靠和灵活扩展，数据持久性可达99.999999999%。

移动云基于统一节点监控和管理方案，通过集成多种系统检测和监控技术，构造高效的系统磁盘、服务进程、数据I/O性能、网络设备监控系统，提高大规模系统的可管和可控能力，大幅度降低系统管理和运维成本。

3.2文件存储

移动云的文件存储基于中国移动大云的分布式文件存储BC-NFS实现，以GlusterFS架构为基础、采用开放式设计，广泛支持工业标准的存储、网络和计算机设备，而非与定制化专用硬件设备捆绑。

文件存储系统由存储资源池、客户端、NAS网关等部分组成，其可以将x86架构的存储服务器硬件聚合成统一命名空间的、可线性扩展、具备数据自愈能力、提供标准文件系统接口的存储资源池；客户端软件是基于fuse（用户态文件系统）开发，能够和客户端vfs无缝对接，并提供卷管理、I/O调度、cache管理等功能；NAS网关提供原生的私有接口，及NFS/ CIFS协议，为应用提供标准Posix接口，应用可以无缝对接。

在存储硬件层，文件系统可屏蔽底层硬件的差异，可将CPU、内存、磁盘资源聚合成统一的存储资源池，并通过以太网和Infiniband网络互联；存储服务器主要提供基本的存储功能，最终文件数据通过统一的调度策略分布在不同的存储服务器上。

图3　文件存储系统软件架构图

存储服务层可提供文件系统内部的数据资源管理，主要包括集群管理（集群配置、能优化参数、扩缩容）、数据模型管理（复制、纠删码、Stripe等）、数据平衡（异常恢复和扩缩容时的数据重分布）、数据分层（增加通用缓存层，提升热点数据读写性能）、数据自修复等功能。

文件服务层提供统一的命名空间的文件和目录服务。

图4　分布式对象存储系统示意图

存储接口层提供标准的文件系统接口和驱动，如cifs/ nfs，libgfapi，openstack manila/cinder driver等。

系统管理提供配置管理、用户管理、权限管理、监控和告警等功能。

GlusterFS在用户空间实现，这使得其安装和升级特别简便。另外，这也极大降低了普通用户基于源码修改GlusterFS的门槛；采用无元数据服务的设计，取而代之使用算法来定位文件，不需要查询索引或者其它服务器，使得数据访问完全并行化，从而实现真正的线性性能扩展。

3.3对象存储

移动云的对象存储系统主要由接口层、服务层、存储层、管理系统构成。接口层通过负载均衡和Web服务为用户应用系统及资源管理平台提供基于HTTP协议的对象存储服务；服务层实现了与对象、容器以及用户相关的具体功能；存储层基于分布式存储系统实现数据的存取，具体存储方式对外部应用透明；系统管理是对象存储系统内部进行运维的管理控制单元，主要包含计量、用户控制、日志管理、统计报表以及运维管理等功能，同时提供资源管理平台接口。

移动云的对象存储节点采用对等集群方式部署，为数据存储提供了良好的线性扩展能力；采用三副本存储机制保障数据的高可靠（99.9999999999%）；支持标准S3接口，与业界标准保持一致；所有进程服务均采用HA模式，服务可用性高达99.9%，无单点故障；支持至少千亿级对象存储，单个对象最大支持5TB；支持用户可选的数据加密存储，整个过程对用户透明；支持系统和存储资源监控及告警功能，方便运营管理，减少运营成本；提供面向系统、用户和容器3个级别的准实时统计计量能力，支持用户按需付费，节省用户使用成本。

对象存储节点采用易扩展的对称性设计，单集群至少支持上千节点规模，至少存储对象数量上千亿；对象存储系统组件均热备、组件HA节点分布到不同机架，保证在单机、单机架故障时系统仍能不停服地对外提供服务，服务可用性达到99.9%。系统的健康检查模块定期启动，副本减少时自动修复副本数量；可根据用户需求对存储在系统中的对象进行数据加密存储；系统的认证鉴权和ACL访问控制机制保证数据只被授权用户访问，同时系统支持密钥签名机制，保证用户访问消息在传输通道上的安全性。

媒体云、影像云、直播云、监控云等一般是基于云主机、分布式对象存储、多媒体处理和CDN加速服务打造的用于音视频存储、媒体服务和应用的新兴媒体云平台。伴随着移动互联、社交网络的快速发展，新兴媒体的云平台均呈现出对云存储的大容量需求，一是用于满足新增音视频存储，二是将原有海量对象文件迁移至云端保存；同时，要求具备异地备份、快速扩容、媒体处理等功能。

以CRM业务为例分析，CRM根据数据特征，对数据进行垂直切分和分类管理。除关键数据仍采用传统关系型数据库Oracle和全闪存阵列、混合阵列或传统盘阵的组合，其它数据均采用低成本实现与部署的数据管理技术以及存储技术。

三户资料和业务数据等核心数据，包括产品、资源、规则、营销等数据，采用关系型数据库存储：访问频繁，底层存储设备可采用弹性块存储。

记录类数据，包括日志数据、客户接触记录等数据，体量较大，访问较高，可采用分布式文件存储。

历史数据，如各类不需在线的数据，容量大、访问少，可采用对象存储。

4　实践应用

除服务于内部业务外，移动云主要面向各级政府部门、企事业单位及中小企业客户，目前已为国家知识产权局出版社、海南气象局、中央电教馆、卫计委等政府部门及国京证券、盘古搜索等近百家大中型企业，提供了安全可靠的存储服务。

教育部与中国移动于2011年9月签署战略合作框架协议，2012年开始合作共建“国家教育资源公共服务平台”，移动云提供平台的基础设施服务，主要包括云主机、云存储等产品服务。

国京证券和移动云团队共同努力、合作共赢，金融行业内首创云计算模式综合服务系统，移动云块存储产品支撑证券业务服务，直接实现全球网络24 h开户、下单、交易，引起行业巨大反响。

作为运营商级云服务综合提供商，移动云已逐步在政府、教育、医疗、车联网、娱乐等多领域提供存储服务，也将基于前期实践，致力打造“中国功能最完备、技术最先进、成本最低”的存储产品，向用户提供更具价值的存储服务。

［1］ 王康，李东静，陈海光. 分布式存储系统中改进的一致性哈希算法［J］. 计算机技术与发展，2016（7）.

［2］ 贾博文，张文军，李小勇. 面向虚拟机的分布式块存储系统设计及实现［J］. 微型电脑应用，2015（3）.

［3］ 董进武，宋亮. 磁盘阵列技术浅析［J］. 仪表技术，2016（6）.

［4］ 高学武，姚智慧，牛中盈. 基于云存储的分布式弹性块存储系统研究［J］. 软件导刊， 2016（5）.

［5］ 杨飞，朱志祥，梁小江. 基于Ceph对象存储集群的高可用设计与实现［J］. 微电子学与计算机，2016（3）.

Research and application of distributed storage under cloud computing environment

WEN Jing， CHEN Da， YU Lu
（China Mobile Communications Corporation Government and Enterprise Service Company， Beijing 100053， China）

With wide application of cloud computing， big data and Internet of things， traditional storage arrays cannot meet the fast increasing requirements of data storage. Distributed storage has better performance in data processing， high scalability， maintainability， reliability and lower cost， and is becoming the main stream technology of storage products in public cloud. In this paper， the general classifi cation of storage products is introduced fi rstly， and then the practical cases are presented in details.

Internet plus； traditional storage； distributed storage； public cloud service

TP39

A

1008-5599（2016）08-0057-05

2016-05-16