自主可控的数据存储系统开发

2015-08-19 14:31吴洪成金亮亮
信息化建设 2015年7期
关键词:存储系统国产化数据管理

吴洪成+金亮亮

当前信息系统对数据安全的要求不断增加,其数据存储系统愈加重要,国产化尤其是国产处理器势在必行。这几年,国内CPU自主研发进展也较快,如申威、龙芯、飞腾等CPU器件,在性能上已经得到大幅提升。因此,笔者在此提出一种基于国产处理器的数据存储系统,立足于国产申威处理器为基础的自主研发的服务器、盘阵,采用万兆网络组网,部署与运行自主开发的存储软件平台,构成一整套自主可控、高性能、安全可靠的数据存储系统,为信息系统的“自主可控、安全可信、高效可用、好用”可起到重要支撑作用。

系统构架设计原理

按照信息系统“以网络为中心,面向服务”的架构发展趋势,基于国产处理器的数据存储系统在对数据的采集、交换、存储、处理以及应用等方面进行统一规划,并着重考虑数据安全可靠存储的基础上,围绕以网络为中心的数据策略,对数据管理、交换、服务进行研究。

组成原理

基于国产处理器的数据存储系统的组成,主要包括数据访问服务器、数据管理服务器、存储阵列及相关配套的交换机(万兆网络)。(如图1所示)

数据存储系统的核心设备如数据访问服务器、数据管理服务器、存储阵列等,都采用基于国产化CPU(申威处理器)的自主研制开发的计算服务平台,并适配国产化操作系统及应用,服务器实现从处理器、平台设计到软件系统的自主可控。

主要功能

基于国产处理器的数据存储系统在国产自主计算机系统架构设计、国产软、硬件兼容适配、系统性能优化、系统可靠性及稳定性设计、集群高可用管理、监控管理等技术攻关基础上完成设计与实现。

该系统针对小型系统应用、记录转储、私有云进行性能优化,提供高速访问、高速导入导出能力;为保障数据安全可靠,支持多种备份手段;实现统一的、多样化的数据服务;完善鉴权加密机制;支持多中心访问及备份以及动态重构及扩展。

基于国产处理器的服务器

在基于国产处理器的数据存储系统中,数据访问服务器、数据管理服务器采用自主研制开发的计算服务平台,并适配国产化嵌入式操作系统及应用。

服务器硬件平台采用国产处理器申威4核64位处理器(SW410),配有板载嵌入式GPU和存储单元,通过高带宽PCIe总线扩展IO,具有高处理性能、高带宽和高可靠性等特点;支持多存储控制器交换式架构,提供对主要存储总线、交换总线、网卡、加密设备等的驱动支持。

基于国产处理器的存储阵列

自主可控存储阵列由国产化主控模块(基于国产处理器平台)、磁盘盘阵、高速接口模块、PCIe交换模块、RAID控制模块组成。

存储阵列硬件平台借鉴基于国产处理器的服务器的设计思路,仍采用国产化处理器申威4核64位处理器(SW410),配有板载嵌入式GPU和存储单元,同时适配国产化中标麒麟操作系统及国产化数据库、中间件。

目前,基于国产处理器的存储阵列已实现了2U、3U、4U等不同的机箱形式,可挂载12盘位、16盘位、24盘位、36盘位,实现数据读写访问能力600MB/s以上,容量(单柜,每盘4TB)最大支持144TB的数据盘阵。

自主存储软件平台

自主存储软件平台为数据存储系统的研制提供支撑,并提供多样化的数据服务。自主存储软件平台通过开放的分布式架构设计提供可扩展、可重构、高可靠、高安全的数据存储、管理、服务运行环境,进一步提高数据存储系统的自主可控能力。自主存储软件平台总体框架如图2所示。

自主存储操作系统

自主存储操作系统平台集成自主存储软件,运行在自主研制的自主可控服务器上,共同构成自主存储阵列产品。

分布式存储平台软件

分布式存储平台软件部署在多台自主存储阵列产品上(基于自主存储操作系统),将这些多存储阵列结合为一个整体,实现存储资源统一管理、并行存储服务等功能,形成对象存储系统、高性能并行存储系统产品。

数据服务软件

根据国产化存储阵列的特点,并结合相应特殊应用的需求,自主研制了对应的数据服务软件。数据服务软件包括三个部分:数据管理服务软件、海量数据高速转储服务软件、海量数据Web服务软件。

数据管理服务软件:数据管理服务软件实现数据管理、数据转储/归档、数据Web服务等,其形态为相对独立的软件模块,可集成到自主存储阵列、分布式存储系统中实现多种数据服务,并可根据用户的需求进行定制,例如实现情报数据转储、情报数据Web服务等。

海量数据高速转储服务软件:海量数据转储服务软件,提供海量数据的高速导入和导出接口,可充分根据数据特点优化数据存储结构与归档方式,加快查询效率。

海量数据Web服务软件:海量数据Web服务软件运行于存储系统,为存储系统增加基于Web的私有网盘服务,提供用户可视化的人机访问及查询界面。软件支持多用户的数据上传、下载、共享、查询、分类管理等功能。

安全机制、安全保护及审计

在存储系统原有安全机制的基础上,采用多安全级强制访问控制、加密、审计等安全机制,并融入到平台的相关存储访问、数据存储、存储备份、终端访问各环节,在保证计算、传输、存储性能的前提下实现多级安全机制紧密耦合一体化技术,提供安全防护能力。

对外应用服务

基于国产处理器的数据存储系统对外提供多种存储服务,包括标准的iSCSI/NAS接口(可扩展支持FC、FCOE)、定制的数据访问接口、定制的Web数据服务。

存储接口服务

支持NAS存储服务,支持包括CIFS、NFS文件共享访问协议提供存储服务;

支持IP-SAN存储服务,支持iSCSI协议,提供基于网络的虚拟盘服务;

支持分布式存储服务,提供文件系统API接口,可实现对存储系统进行并行文件访问;

支持对象存储服务,支持对象存储接口,支持定制接口。

数据冗余/备份

支持存储设备间的热备存储功能,设备间存储空间可组成实时镜像,提供高可靠、高可用的存储服务;

支持RAID功能,支持RAID等级包括RAID0、RAID1、RAID5、RAID6、RAID10;

支持存储设备间文件副本备份功能。

系统管理服务

用户通过使用浏览器登陆配置管理界面,查看系统状态并对系统的空间划分、虚拟卷、分布式存储、网络参数、用户管理等进行配置和管理。

云存储服务

系统可支持B/S方式的云存储服务,用户可通过浏览器对数据进行上传、查询、访问,主要服务包括分布式存储服务、网盘服务、海量数据管理服务和多中心数据查询服务。

基于国产处理器的数据存储统,采用国产化申威计算平台、国产化存储管理软件、中间件,通过多台服务器(4台)、存储机柜(3U,24盘位,6台)的组网试验,采用分布式数据存储系统的分布式交换架构,将物理上多台服务器、存储阵列在逻辑上构成了统一的存储空间。目前,该数据存储系统的有效容量超过500TB,读写访问带宽达到3000MB/s(剔除叠加效应),并提供统一的数据存储、访问定制、范文等服务,具有良好的通用性、扩展性、可靠性和可用性。

未来,随着国产处理器及国产操作系统的进一步发展,基于国产处理器的数据存储性能将得到进一步提升,从而满足大多数应用需求。

(作者单位:中国电子科技集团公司第五十二研究所)

猜你喜欢
存储系统国产化数据管理
特大型桥梁供电系统国产化改造探讨
元器件国产化推进工作实践探索
企业级BOM数据管理概要
定制化汽车制造的数据管理分析
海洋环境数据管理优化与实践
ASM-600油站换热器的国产化改进
分布式存储系统在企业档案管理中的应用
CTCS-2级报文数据管理需求分析和实现
基于国产化ITCS的卫星导航仿真研究
天河超算存储系统在美创佳绩