一种并行存储设备的配置方法

祖国峰



一种并行存储设备的配置方法

祖国峰*

（河南油田分公司勘探开发研究院，河南南阳，473132）

在油气田勘探开发过程中，地震资料处理阶段需要大量的计算资源和存储资源。其中计算资源以Linux系统的集群式应用为主，存储资源则主要基于冗余磁盘阵列（RAID）搭建。每套集群由众多节点构成，由于节点的合力作用，Linux集群的运算能力非常强大，但是强大的计算能力依赖数据在存储系统中的快速传输。本文将介绍一种基于Panasas的并行存储系统配置过程，希望本文能够为存储资源的后期维护提供参考。

存储；集群；Panasas

引言

随着 Linux 集群在石油物探资料处理行业的大规模应用，存储成为了限制Linux 集群继续快速发展的瓶颈。Panasas并行存储解决方案采用其独有的基于面向对象的PanFS并行文件系统，最大化客户的应用和工作流性能，同时减少客户存储基础设施上的成本开支。单一全局命名空间可显著简化存储管理，提高IT生产力和工作性能。石油和天然气用户可采用统一的存储解决方案来满足地震数据处理、油气藏模拟、解释应用存储方案的需求。

Panasas Active Scale文件系统与智能灵巧的Panasas指挥刀片（Director Blades）和存储刀片(Storage Blades)相结合，取代了整体式的NAS设计。Panasas文件系统（PanFS）是一种基于集群的设计，它把所有的硬件部件虚拟化成一个高度可扩展，且易于管理的存储网络。Panasas的指挥刀片和存储刀片协调工作，提供了一个平衡的和可扩展的设计来配合PanFS文件系统。

1 Panasas基本原理及设备构成

Panasas存储解决方案的核心是实现了控制路径（元数据metadata）和数据路径（读、写）的分离，允许应用服务器（计算节点）直接和并行地访问存储设备，从而提供了高带宽的存储给应用系统的计算集群。同时，它还将存储系统的元数据分散，允许并发的文件访问而没有中央瓶颈。Panasas高性能并行存储设备的构成包括：

指挥刀片（DirectorBlade）：负责管理文件系统的“元数据”（metadata），维护虚拟的“对象映射图”（object maps），此图描述了哪个存储刀片存储了哪些对象。多个指挥刀片自动地构成集群，表现为一个统一的资源，提供了高性能和高可靠性。

存储刀片（StorageBlade）：存储应用系统和最终用户的数据，负责将数据对象写到物理磁盘上，从物理磁盘上读取数据对象。所有的存储刀片都被精细地协调工作，从而优化网络到物理磁盘的数据流。每一个存储刀片都是一个智能灵巧的“分布式控制器”。

存储机箱：每个机箱可容纳11个刀片，提供冗余的电源、网络连接，以及电池后备保护。

DirectFLOW客户端：安装于Linux服务器，用于实现客户端与存储刀片之间的高速并行读写访问。

2 并行存储安装配置

2.1 硬件安装

本项目选用Panasas PAS11存储设备共 6个机箱：

每个PAS11机箱配置2个万兆交换机模块，通过1条万兆以太网连接到局级网

PAS11的总体容量为360TB，有效容量可达80%以上。

2.2 初始配置

在笔记本上安装仿真终端程序(SecureCRT)，笔记本通过9针串口线连接到到第一个Panasas刀箱的指挥刀片串口，使用仿真终端程序，笔记本串口参数设置，登录刀片，输入缺省用户名和密码。

图1 串口连接示意图

初始化网络配置，配置指挥刀片的IP地址，网关，子网掩码，确认后保存配置：

pancli -- Initial network setup

You may now configure the IP address, netmask, and default router

address of this system.

Would you like to setup the network now? (recommended)[yes]

System IP Address: 192.1.2.150

Netmask: [255.255.255.0]

Default Router (type "none" to leave blank): [192.1.2.1] 192.1.2.254

Validating entries. Please wait...

Settings chosen:

System IP Address: 192.1.2.150

Netmask: 255.255.255.0

Default Router: 192.1.2.254

Save settings? [yes]

进行系统配置：

[pancli] install

Are you ready to configure the system? [yes]

Please read the Terms & Conditions:

PANASAS'S END USER LICENSE AGREEMENT TERMS

Do you agree to accept and abide by the Terms & Conditions? [yes]

Panasas Customer ID: pan11_henan_2

Administrator Password:

Confirm Password:

Enable PanActive Link? [yes]

SMTP Server: [none]

Administrator Email Address: [none]

Secure Web Proxy Server Name or IP: [none]

System DNS Name (e.g. panfs.company.com):

…

Primary DNS Server IP Address: [none]

NIS Domain Name: [none]

NIS Server Name: [none]

Enable NIS Hostname Resolution? [no]

NTP Server: [none]

Timezone:

Timezone:

1. North America Eastern…

9. Other (more choices)

enter 1-9: 9

Timezone:

1 GMT+13:00 Nuku'alofa Pacific/Tongatapu

…

Settings were accepted.

It will take a few moments for configuration to take effect...

Use the "sysmap blades" command to monitor progress of the system bringup.

配置完毕后，在工作站上使用telnet命令登录指挥刀片，通过sysmap blades命令查看刀片的状态信息。

2.3 创建卷

安装完毕后通过WEB界面，添加Add shelf。

2.3.1 创建BladeSet

“重建”预留空间（即备件的数量）的数量决定了系统可以承受的连续失败的存储刀片个数同时还提供数据冗余。预留空间实际上是分布在所有storageblades刀片组，而不是被限制在单个storageblades。这是被称为“分布式保留”。

通过命令bladeset list可以查看set配置信息。

2.3.2 创建卷

在管理界面选择Storage菜单，在Controls中选择Create Volume创建卷。把整个存储系统划分四个卷。

设置卷的限额：软指标，触发通知，已达到极限但不限制写入量。硬指标，不能超过。限制写入超过这个容量体积。限额可以随时修改或禁用

容量管理：创建基于项目，用户或用户组的容量限制。

备份策略：使用多量，同时进行多个备份流，降低整体备份时间。

指挥刀片：定义管理这个卷的首席指挥刀片

2.3.3 客户端安装

第一步：安装Panasas Directflow客户端软件

[root@cs131~]#rpm -ivh

panfs-2.6.18-194.el5xen-3.5.1.e-558792.140.rhel_5_x86_64.rpm

Preparing... ########################################### [100%]

1:panfs-2.6.18-194.el5xen ########################################### [100%]

PanFS installed but not configured.

To configure, run: /usr/local/sbin/config_panfs

…

第二步：检查客户端安装情况：

[root@ cs131 ~]# rpm -qa |grep panfs

panfs-2.6.18-194.el5xen-3.5.1.e-558792.140

第三步：配置客户端：

[root@cs131 ~]# mount.panfs panfs://10.75.97.100/pan10 /pan10

[root@cs131 ~]# mount.panfs panfs://10.75.97.100/pan10 /pan10(注：10.75.97.100为Panasas的系统IP)

第四步：检查Panfs是否已经被mount上

root@cs131 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

…

/dev/sda6 148G 62G 80G 44% /soft

/dev/sda5 46G 27G 17G 62% /home

panfs://10.75.97.100/pan10 19T 240K 19T 1% /pan10

至此，panasas的安装就已经全部完成。

3 结束语

本文介绍了一种基于Panasas的并行存储系统的配置过程，为存储资源的后期维护提供了参考。对石油和天然气用户来说，可采用统一的存储解决方案实现地震数据处理、油气藏模拟、解释应用存储方案的需求。

[1] 王红艳. 2008年全国高性能计算机学术年会, 2009.

[2] 吕鹏程. 一个分布式文件系统元数据服务器设计与实现[D]. 电子科技大学, 2015.

[3] 战科宇.分布式文件系统元数据服务器高可用设计与实现[D]. 上海交通大学, 2012.

[4] 高秀华.地震勘探数据处理高性能计算平台存储系统设计与应用[J]. 2005, 12(3): 100-102.

[5] 张军权, 姚舜才. 基于CPLD的并行数字量存储器设计[J]. 中国科技信息, 2015, 8.

A Configuration Method for Parallel Storage Devices

ZU Guofeng*

(Research Institute of exploration and development of Henan Oilfield Branch, Henan Nanyang, 473132, China)

in the process of exploration and development of oil and gas fields, the seismic data processing stage needs a large number of computing resources and storage resources. The computing resources are mainly based on the cluster application of Linux system, and the storage resources are built mainly based on the redundant disk array (RAID). Each cluster is made up of many nodes. Because of the resultant force of nodes, the computing power of Linux cluster is very strong, but the powerful computing power depends on the fast transmission of data in storage system. This article will introduce a Panasas based parallel storage system configuration process, and hope this article can provide reference for the later maintenance of storage resources.

storage; cluster; Panasas

10.19551/j.cnki.issn1672-9129.2017.08.054

TN764

A

1672-9129(2017)08-0119-03

祖国峰. 一种并行存储设备的配置方法[J]. 数码设计, 2017, 6(8): 119-120.

ZU Guofeng. A Configuration Method for Parallel Storage Devices[J]. Peak Data Science, 2017, 6(8): 119-120.

2017-03-21；

2017-04-13。

祖国峰（1982-），男，工程师，从事物探专业。E-mail:846226786@qq.com