GPFS共享文件系统在企业门户系统中应用的研究

王鸥+赵永彬

摘要：为提高辽宁电力企业基础平台的有效集成与综合利用，进而为公司运营决策提供基础支持，本文结合企业门户系统文件共享稳定性的需求，设计并实现了基于GPFS共享文件系统的辽宁电力企业门户系统。实际应用情况表明该项技术的部署满足辽宁公司企业门户的基本要求，为公司业务应用和数据共享提供有力支撑。

关键词：GPFS；企业门户；Weblogic Portal；单点登录

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）10-0015-03

按照国家电网公司“十一五”信息化建设规划的总体目标，辽宁省电力有限公司通过3年的时间，建成了以统一目录为用户管理以及身份认证依据的一体化平台体系架构，以应用集成为数据的横向集成工具、以数据中心为数据的共享平台、以数据交换为数据的纵向贯通手段、以企业门户为统一信息的展示方式、为各业务系统提供了强有力的基础平台，其中，企业门户系统是基础平台中的基础。

辽宁省电力有限公司企业门户系统覆盖了本部以及省内所有地市级供电公司。该系统的每日点击量均超过100万次，目前系统注册用户数为62400人，每日登录人数为49000人。

企业门户系统所展现出的附件、图片以及内容管理的文章等数据，都保存在80或81服务器挂接的存储设备上。所有的web应用服务器都需访问统一的仅可以挂载在单台服务器上文件系统，且无法进行并发的访问与修改。每日瞬时访问量过大将导致单台服务器资源紧张，进而影响该系统的安全稳定运行，所以提出在企业门户系统中部署GPFS文件共享系统，进而解决单点故障的问题。

1 企业门户系统架构现状

辽宁省电力公司企业门户系统基于Weblogic Portal 平台软件开发， WebLogic集群前端采用两台四层交换机F5作为负载均衡器，后端采用6台门户应用服务器构成门户集群，实现高可用性架构，数据库采用Oracle10g，组成RAC集群。

其前端的F5四层交换机会定期检测，当某台门户服务器发生故障时，F5四层交换机会将该故障服务器隔离，并将后续发往该故障服务器的请求转发至集群中其它的服务器，这时其它的服务器将处理系统。

与此同时，后端的六台门户应用服务器搭建了同时提供服务的两套相同的高可用性集群架构，每套集群架构中均由九个受管理服务和一个管理服务所组成，这种架构方式提升系统负载容量也能够实现该系统7×24小时的无间断可靠运行。

企业门户数据库采用的是Oracle10g，通过Oracle10g产品的特性实现高可用（RAC）。两台服务器在并行服务的方式下各自运行一个数据库核心的进程，但是共同操作、管理同一个数据库。系统连接到哪个服务器均可以在数据库中进行操作。当其中某台服务器出现故障时，数据库系统本身并没有停止工作，连接在另一台服务器上的客户端还可继续正常工作。从而实现门户系统7*24小时的可靠运行。

企业门户系统所展现的附件、图片以及内容管理的文章等数据，都储存在80或81服务器所挂接的存储设备上。FTP文件服务器已经进行了双机设置（如图2）。

2 基于GPFS并发文件系统的企业门户架构

GPFS （General Parallel File System）起源于 IBM 公司SP 系统上所使用的虚拟共享磁盘技术 （ VSD ），是IBM 公司开发的第一个共享文件系统。

2.1 GPFS共享文件系统工作原理

GPFS允许使用者共享分布在多个节点与多个磁盘上的文件，将所有物理的资源都视为虚拟文件系统对象。它允许并行的应用程序能够同时从GPFS 节点组中的任何一个节点访问相同或者不同的文件。

GPFS通用并行文件系统设计的目标是允许应用程序通过标准UNIX文件系统的接口来访问数据，使数据分布于一个集群中的所有的节点上。GPFS是通过将I/O分布在多个硬盘来提高性能，通过日志与复制的方式来提高数据的可靠性，通过增加节点与节点间由SP Switch互联来提高系统的可扩展性。GPFS可超越单一节点与单一文件系统的性能极限，通过将文件分布于多个节点和磁盘上的方式。GPFS系统资源可以在文件系统挂载状况下添加或删除硬盘，从而可以进行动态调整。当GPFS系统相对空闲时，用户为了能提高其吞吐量，可在已配置的硬盘上重新均衡文件系统，还可在不重新启动GPFS服务的情况下添加新的节点。

GPFS文件系统可通过在SP系统或群集中增加节点的方式来提高性能。GPFS通用并行文件系统为不同节点建立各自的独立日志。日志种能够记录Metadata的分布，一旦节点发生故障，就可以快速恢复数据。GPFS fail-over的功能通过规划，将数据分布到不同的failure group内，减少单点故障影响，达到高可用性。GPFS在多个failure group内为每个数据实例做出备份，即使在创建文件系统时没有被要求复制，GPFS也会自动在不同的failure group内完成复制恢复日志的工作，从而保证数据的可用性。

GPFS 文件系统基本上由三层架构组成：磁盘，网络共享磁盘（NSD）， GPFS 文件设备，如图3所示。

磁盘：GPFS 文件系统的最底层是物理磁盘设备。原则上，可采用系统上任何一块设备，包括磁盘，逻辑卷，磁盘分区。从物理连接上来看，GPFS 能够支持使用所有方式连接的磁盘。包括本地 SCSI 磁盘，光纤 SAN 磁盘，本地 IDE 磁盘， iSCSI 磁盘，等等。

网络共享磁盘（NSD）：NSD 是由磁盘所映射出的虚拟设备，NSD 与磁盘为一一对应的关系。NSD 被标记了不同的属性来区分其用途，我们可将磁盘标记为 4 种用途：Data Only：只存储文件系统中的数据信息；Desc Only：只存储 GPFS 文件系统描述信息的磁盘； Meta data only： 只存储文件系统中的目录结构 inode 信息；Meta and data： 存储所有信息（默认）。

GPFS 文件设备：GPFS 文件设备由 NSD 所创建而成，是一个可以被系统挂载的文件设备，可并行的同时挂载在多个节点上。

2.2 GPFS共享文件系统的特点

1）高性能：GPFS 允许在同一节点内的应用或多进程使用标准文件系统调用，同时访问同一文件。通过将节点内的读写操作分布到多个磁盘上，进而大大增加了文件系统的带宽，通过整个系统的负载均衡地避免了某个磁盘过大的读写。

2）跨平台设计：GPFS 支持在一个集群内加入异构的平台。

支持异构的硬件环境：System p， System x。

支持异构的操作系统：AIX， Linux。

3）数据一致性：GPFS 通过一套复杂的信令管理机制提供数据的一致性。通过这套机制而允许任意节点通过各自的独立路径到达同一文件。即使节点无法正常的工作， GPFS 也可找到其它路径。

4）数据安全性：GPFS 是一种为不同节点建立各自独立日志的日志文件系统。日志中记录 metadata 的分布，一旦节点发生故障，可以快速恢复数据。

5）管理简单：GPFS 能够自动在各个节点间同步配置文件与文件系统信息，且在同一节点内，可以在任一节点上进行对 GPFS 的管理。

6）系统可扩展性：在文件系统挂载状况下通过 GPFS添加或删除硬盘，系统资源从而进行动态调整。

2.3 GPFS系统可用状态的仲裁

GPFS文件系统提供3种仲裁方式来确定系统当前状态是否安全可靠：

1）File Descriptor Quorum、Node Quorum和Tiebreaker Quorum 1File Descriptor Quorum：当在磁盘上创建GPFS文件系统时，会将文件系统信息的拷贝复制到多个磁盘上，达到数据冗余的目的。这种方式是GPFS文件系统默认支持的，是不可以配置改变的。File Descriptor Quorum通过判断包含有文件系统信息的磁盘的在线情况来判断当前系统是否正常。当超过一半的包含文件系统信息的磁盘下线时，GPFS文件系统会判断系统为非正常状态，此时会自动关闭文件系统。

2）Node Quorum： GPFS文件系统集群中，将多个主机节点设置成Quorum节点，当有超过一半的Quorum节点下线时，GPFS文件系统判断系统为非正常状态，会自动关闭文件系统。

3）Tiebreaker Quorum： GPFS文件系统集群中，可以设置一些指定的物理磁盘作为Tiebreaker Disk，GPFS文件系统会动态的监视这些磁盘的状态。当有超过一般的Tiebreaker Disk下线时，则表示系统为非正常状态，自动关闭文件系统。按照文档上来说，用于监视Tiebreaker Disk的Quorum主机数目最多只能配置两台，当2台Quorum主机都故障，则也表示系统故障，此时文件系统也会关闭。Tibreaker Quorum和Node Quorum仲裁方式只能选择其中一种，不能两种同时使用。Tibreakder Quorum仲裁方式主要是用于节点比较少的亲况下，如果整个系统的接入节点较多，应该考虑Node Quorum的仲裁方式。

2.4 GPFS在企业门户中的部署及应用

首先需要分别在6台服务器上安装GPFS软件，创建GPFS集群，创建GPFS文件系统。GPFS软件的安装部署主要包括如下几个步骤：1）GPFS软件的下载安装；2）创建GPFS集群；3）创建GPFS NSD；4）创建GPFS文件系统。

在GPFS软件安装配置完成后，每台主机的根目录下均出现/portal文件系统，该文件夹下所存储的就是门户系统所使用的业务数据。GPFS集群建立完成后，每个主机节点都能够直接访问/portal文件系统，在某个主机出现故障时，也不会影响到其它节点的正常运行，保证了文件系统的可用性。

单独完成GPFS的配置是不够的，我们还需要完成门户系统软件功能的调整，通过对软件源代码和应用配置文件的修改，将原有FTP文件访问方式转换为本地文件的读取和写入方式，通地读写方式的修改，不仅提高了文件访问速度，还降低了80服务器的访问压力。

最后，对新的系统架构进行测试，包括GPFS文件系统的读写测试，多个节点文件修改的并发读写测试，以及系统集成测试，压力测试。通过对业务系统的测试，保证未来业务的稳定运行。

最终实现企业门户系统基于GPFS的架构优化，如图：

3 结论

通过在企业门户中部署GPFS文件共享系统，各台服务器都可以通过GPFS来访问共享的文件系统，当单台web服务器出现故障时，将不会影响到整个门户系统的稳定运行，从根本上解决了企业门户在存储方面的单点故障问题。通过调整后，无论在数据库层、网络层、web应用层以及文件存储层，都不存在单点的故障，从而提高了系统运行的可靠性和稳定性，效果十分明显。

参考文献：

[1] 李胜利， 唐维， 石柯， 等. 高可用并行文件系统的分布式元数据管理[J]. 应用科学学报， 2005， 23（3）：297-299.

[2] 陈宏昊. GPFS并行文件系统在地震数据处理中的应用[J].物探装备， 2008，18（6）： 393-398.

[3] 何庆兵. SNFS高性能共享文件系统在集群系统中的应用[J].石油工业计算机应用，2010（3）：10-12.