IT支撑系统中的存储特征需求及云存储方案研究

刘 玲

（中国移动通信集团设计院有限公司，北京 100080）

IT支撑系统中的存储特征需求及云存储方案研究

刘 玲

（中国移动通信集团设计院有限公司，北京 100080）

本文通过分析各类IT支撑系统应用的存储技术特征，为不同类应用选择恰当的存储方案，有助于降低系统建设成本、提供差异化存储服务，同时，通过研究云存储技术及对应适用场景，对于推进云计算在IT领域的应用具有重要意义。

IT支撑系统存储；云存储技术

1 引言

近10年来，运营商在IT支撑系统、数据和信息业务平台建设上投入了超过千亿的资金，对内对外提供着丰富的应用，同时传统的“烟囱”式IT系统建设模式也造成了系统利用率低、建设扩容成本高、系统规模扩展性有限、快速响应能力不足等问题。针对这些问题，IT支撑系统积极引入云计算技术，充分发挥设备效率，降低能耗和运营成本。

云存储是通过集群应用、网格计算、分布式文件系统等技术，将大量的X 86架构存储单元组成虚拟化的、易于扩展的资源池，通过基于网络的开放接口，对外提供数据存储和业务访问服务的一个系统，具有高扩展性、高性能、易维护、低成本等特点。考虑到部分IT支撑应用与存储之间的松耦合和海量数据的特性，云存储作为云计算技术的很好切入点，满足集中化数据存储与备份的建设需求，可逐步实现基础设施的集中化与云化。

目前，云存储技术仍在不断地演进和发展，国内外厂商的产品成熟度不高，主流产品支撑的存储数据类型及大规模部署环境下的性能及可靠性等仍需测试验证与优化提升。从国际先进经验看，云存储平台需要根据企业的自身需求进行架构、策略、参数及核心技术的设计与优化。国内外知名的互联网公司，均以自主研发的方式开展云存储的设计、实施与建设工作，降低产品成本，掌握核心技术的主动权。

2 IT支撑系统的存储需求及特征

目前，国内运营商的IT支撑系统的应用大多以联机事务处理型/分析型应用为主，主要以小型机+FC SAN存储+大型关系型数据库为基础硬件架构，其底层数据依赖于复杂的关系型数据库，需要部署在IO性能较高的块存储设备上，单个系统硬件规模相对较大，各系统大都独立建设，少量存储、备份和网络设备共享。

经对业务支撑、网管、信息化三大类支撑系统中各主要系统的数据存储需求及特征进行梳理并归类，所需存储数据类型大致可分为文件型数据（如图片、文件、音/视频档案、邮件附件等非结构化数据）、Hadoop类数据（如日志、点击流、计费结算详单、信令等一次写入、无追加及修改要求的结构化数据和需要进行查询、分析的非结构化数据）、关系型数据库数据（如建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据等）。

3 云存储

云存储是在云计算技术上延伸和发展出来的一个新的存储方式。相对于传统盘阵存储的复杂和高成本，分布式云存储具有易管理，低成本，高可扩展特性，是降低存储成本的关键技术。云存储通过集群、分布式文件系统、分布式并行计算等技术协同工作，并通过一定的应用软件或应用接口，对应用系统或用户提供一定类型的存储和访问服务。

分布式云存储采用标准X 86架构服务器大规模集群实现，每个模块都是一个离散的处理单元，所有的模块都通过一个可扩展的网络进行连接。出于成本及开放性的要求，分布式存储在今后几年的时间内将部分取代传统盘阵存储，该过程正在从非关键性数据和文件存储领域扩展到较关键的数据库存储领域。目前云存储的局限还难以支撑事务频繁的关系型数据库。

3.1 云存储系统分类

按照存储系统外部接口差异，国际标准化机构SN IA将云存储系统分为四类。

（1）块存储：提供块接口（如iSCSI）的云存储系统。向应用的数据库或文件系统直接提供原始存储块空间；块存储系统应用场景多为一些高性能、高IO的企业关键业务系统提供存储，但受限于数据库的能力，通常只能支持TB级数据库应用。此外，可为虚拟机提供集中存储，包括镜像和实例的存储。

（2）文件存储：提供文件接口的云存储系统。以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间，其对外表现提供文件存储能力，协议开销较高、响应延迟较块存储长，与上层应用系统跟存储系统的耦合程度中等，存储能力和性能均可水平扩展。该类存储在业内已有较多的成熟商用产品，应用场景大多适合TB～PB级文件存储，可支持文件频繁修改和删除。

（3）对象存储：提供对象接口的云存储系统。为海量非结构化数据提供key-value这种通过键值查找数据文件的存储模式；其特点为访问接口简单（可提供REST/SOAP接口），协议开销高、响应延迟较文件存储长，应用系统跟存储系统的耦合程度松散，支持一次写多次读，其主要应用场景为PB级文件在线存储。用于在线访问的文件的存储（包括缩略图、音乐视频、大文件）。

（4）表存储：提供表存储的云存储系统。向应用系统提供高可扩展的表存储空间，包括交易型数据库和分析型数据库（Hadoop类存储和NoSQL）。其中，Hadoop类存储主要适用于海量数据存储及查询分析的应用场景，如分析型（更新少，批量导入，每次针对大量数据进行处理，并发量小），而不支持在OLTP场景下替代如Orac le，Sybase等数据库服务。存储的数据包括WAP网关日志、点击流、计费结算详单、信令等一次写入、无追加及修改要求的数据，NoSQL数据存储系统主要适用于海量数据存储和OLTP交易型（每次更新或查找少量记录，并发量大，响应时间短）的应用场景，存储的数据包括微博、评论、消息等结构化的数据。

3.2 不同类别的云存储系统对比

根据对上述四类分布式云存储的技术特点、存储能力及目标、以及应用场景分析，得出如表1对比：

图1 不同类别的云存储系统对比

4 云存储在IT支撑系统中的应用方案

在IT支撑系统中，可引入基于X86集群的分布式云存储系统，逐步替代部分现有盘阵存储方式，实现低成本、高效率的海量数据存储和数据处理

（1）对于IT支撑系统中的非结构化数据的存储，可采用分布式文件系统，基于POSIX/CIFS/NFS等标准文件系统接口协议进行数据存取。

（2）对于IT支撑系统中的可采用表存储的需进行查询、分析的非结构化、结构化数据，可存储在Hadoop类数据存储系统，非结构化数据通过HDFS接口进行数据存取，通过MR接口进行数据查询、分析，结构化数据通过命令行、FTP接口进行数据存取，通过JDBC/SQL，MR接口进行数据查询、分析。此外，应构建集中化的存储资源支撑，引入分布式表存储系统，以降低存储设备成本。

（3）对于IT支撑系统中有高速数据存储需求的结构化、非结构化数据，可采用块存储系统，如直接使用裸卷的数据库，通过FC，iSCSI等标准接口进行数据存取。

4.1 数字档案系统

以某运营商的数字档案为例，档案管理系统是对包括文书档案、合同档案、工程档案、科研档案、产品档案、招投标档案等等档案进行统一管理的应用系统，主要提供档案收集、档案管理与使用，以及档案信息服务等应用功能。该系统目前属于各省自行建设，据初步统计，全国分散建设的数字档案系统中共存储了约50TB的数字档案文件，这种情况导致数字档案管理系统难以满足当前的发展需求，总部及各省公司面临类似的问题：档案管理标准不统一、上下联动不充分、存储容量及性能无法满足未来需求等。

未来新建全国集中的数字档案管理系统将基于专业化数字档案管理系统软件进行部分客户化开发。根据集中化要求，数字档案系统对于档案文件的非结构数据存储，将采用管理信息系统统一的云存储资源池进行存储及备份管理。

4.2 账单系统云存储改造方案

运营商的账单系统可采用Hadoop类存储，建议仅把不会修改的已销账账单保存在云存储，存在修改可能的账单仍旧保留在计费账务数据库中，从而节约运营成本，其软件改造如下所述：

（1）计费账务修改：区分历史月已销账账单，12个月内的账单，业务逻辑做相应的修改。

（2）数据导出、预处理修改：从计费账务库例行导出数据、经文本预处理后，导入云存储。

（3）账单查询修改：连接2个数据库提供查询服务。增加路由选择逻辑，区分月份、销账状态。

5 结束语

随着云计算技术的逐步应用，引导IT支撑系统逐渐向以X 86服务器为主的高通用性和低成本软硬件架构演进，进行有效的资源整合，提升系统利用率和扩展性，降低系统建设和运维成本，是目前IT系统建设的主要方向。云存储具体高扩展性、高性能、易维护，以及低成本等特点。面对IT支撑系统中海量规模和多样化的数据，IT支撑系统应积极探索云存储的应用，实现IT支撑应用与存储之间的逐步解耦合，以云存储技术为切入点，进一步满足集中化数据存储与备份的建设需求，可逐步实现IT支撑系统的基础设施的集中化与云化。

Research on Characteristics of It Supporting System Storage and Cloud Computing Storage Solutions

Liu Ling
(China Mobile Group Design Institute Co.,Ltd.,Beijing, 100080)

By analyzing the characteristics of various types of storage technology support for IT supporting system, searching for the storage solutions which are appropriate for different typical applications, help to reduce the construction cost, and provide the variety of storage service. In the meantime, through the research of cloud computing storage technology and the corresponding application scenarios, it is very significant to promote the application of cloud computing in the field of IT system.

IT supporting system storage; cloud computing storage technology

10.3969/j.issn.1672-7274.2014.07.015

TN 929.5，TP333文献标示码：B

1672-7274（2014）07-0051-03