面向油气地质力学研究的高性能计算平台构建

王白羽

（中国石油新疆油田分公司数据公司，新疆 克拉玛依 834000）

0 引言

高性能计算环境在工业仿真、油气地震资料处理上的应用已经较为成熟。在地质力学研究仿真计算的应用方面，由于计算量相比地震资料处理来说相对较小，因此并行计算的应用较少。但是，随着非常规能源在全球油气勘探开发中的地位日渐凸显，致密油是当下非常规油气领域的热点，致密油藏高效开发中的难点问题则越来越需要地质力学仿真计算的成果提供更加有效的依据［1］。随着仿真计算规模的增长，使用工作站作为仿真计算环境已不能满足需求。

1 问题描述及需求分析

在地质力学研究所涉及的专业软件中，斯伦贝谢公司的Petrel 油藏地质力学研究平台是常用软件。其为油田开发业务中的地质力学研究提供了一体化高效的建模仿真平台。Petrel能够无缝衔接有限元地质力学模拟与其他解释及建模流程，包括有限元地质力学模拟器Visage、油藏数模模拟器Eclipse、大型复杂油藏数模模拟器Intersect 等。

在研究过程中，需要在Petrel 平台进行各种地质建模，如构造模型、相模型、属性模型等，这个过程需要专业显卡的支持。完成模型及参数设置后，再使用Visage 等仿真计算模拟软件，按照步骤加载模型及参数，最后提交作业，进行应力场模拟、地应力预测等模拟场景。这个过程需要消耗大量内存，且会出现由于内存不足中央处理器（Central Processing Unit，简称CUP）未能充分发挥计算能力的情况。因此，地质力学研究过程大致分为交互应用和计算应用两类。

为提高研究效率，适应科研人员同时进行交互应用和计算应用的特点，就需要融合专业软件云平台以及高性能计算集群，构建面向地质力学研究的高性能计算平台。

专业软件云是基于远程三维可视化技术、虚拟应用或桌面云交付技术构建的SaaS 云平台，主要实现油气行业专业软件的云交付，包括远程会话管理、许可调度管理。

2 系统实现及应用

地质力学建模研究高性能计算环境总体架构由基础层、系统层、功能层、应用层自下而上组成，如图1所示。

图1 面向油气地质力学研究的高性能计算平台总体架构

2.1 基础层

基础层为高性能计算环境提供所需的硬件基础设施。服务器集群由高性能计算集群、专业软件应用集群组成。高性能计算集群主要提供高性能计算服务，专业软件应用集群提供与用户交互的专业软件界面服务。由于地质力学建模计算无须图形处理器（Graphics Processing Unit，GPU），高性能计算集群中的服务器可以不配置GPU。由于Petrel 平台中三维建模需要专业显卡加速渲染，专业软件应用集群必须配置GPU。

网络环境如图2所示。由基于以太网的智能平台管理接口（Intelligent Platform Management Interface，IPMI）网络、高性能计算网络、SaaS 服务网络组成。IPMI 网络主要向服务器的运维管理提供网络支撑。高性能计算网络有25 GB 链路互联，保障高性能计算集群以及分布式共享存储的通信。SaaS 服务网络主要是专业软件服务器接入10 GB 链路，提供用户远程交互网络通信。

图2 网络拓扑图

分布式共享存储向整个高性能计算环境提供数据存储服务，所需的工区数据、成果数据均存储在此设备上，通过通用并行文件系统（General Parallel File System，GPFS）提供跨平台、高每秒进行读写操作的次数（Input Operations Per Second，IOPS）场景的数据存储及共享能力。

2.2 系统层

系统层基于Slurm 框架定制开发的作业调度及管理系统，通过集成应用VNC Viwer，将Linux 命令行交互窗口与专业软件远程交互窗口无缝对接。系统层通过适配Visage、Eclipse、Intersect的消息传递接口（Message Passing interface，MPI），打通Slurm 作业调度及管理服务能力；接收用户提交作业脚本，将作业根据策略分发到基础层的计算节点中，并实时对作业状态进行监控；能够对作业进行编辑、撤销、变更等管理操作，将完成的作业提交给上层交互界面，是高性能计算环境实现作业调度及管理的核心层。

2.3 功能层

功能层向应用层提供必需的系统功能，包括应用交付、应用集成、虚拟网络控制台（Virtual Network Console，VNC）会话管理、Citrix 会话管理、资源管理、资源监控、数据管理、作业调度管理。①应用交付是将安装在Windows 系统中的Petrel 软件以虚拟应用或虚拟远程桌面的方式交付给远端用户。用户通过Web 浏览器实现专业软件的交互使用。②应用集成功能主要实现专业软件中MPI 高性能计算作业接口与Slurm 作业管理及调度接口适配及集成。③VNC 会话管理实现Linux 平台虚拟远程桌面会话的管理，包括会话交付、启动、共享、监控、删除。④Citrix 会话管理实现Windows 平台虚拟应用会话或虚拟远程桌面会话的管理，包括会话交付、启动、共享、监控、删除。⑤资源管理功能实现服务器资源负载均衡策略定义、编辑，实现集群节点的加入、编辑、维护、删除管理。⑥资源监控功能实现计算节点的CPU、内存、GPU 资源利用率的实时监控。⑦数据管理即面向用户提供专业软件应用的工区数据、模型数据、成果数据的存取、传输、共享、权限分配等数据管理功能。⑧作业调度管理即用户设置好计算所需的参数和脚本，提交作业。用户可进行作业状态查询、作业编辑、删除等操作。管理员可对作业队列、作业优先级等进行管理。

2.4 应用层

应用层向用户提供油藏地质力学研究软件应用环境，主要是基于Petrel 平台，并通过Visage、Eclipse、Intersect 软件对不同领域数模开展研究。

科研人员主要应用高性能计算平台，分别在水平井轨迹跟踪、四维岩石力学建模、压裂缝网模拟、耦合数值模拟等方面开展研究工作，这个平台能够支持大型计算作业规模。利用30 个CPU 核并行处理，就能够计算近4 000万网格的规模，且平均耗时12小时。

3 结语

本文通过分析地质力学研究工作对高性能计算应用的特点，基于以太网络，融合专业软件云的优点，研究了高性能计算平台的构建。高性能计算平台能够胜任大型、超大型地质力学建模工作，满足多人同时提交作业、作业进度可监控的需求，使科研人员能够多人协同进行大型、超大型地质力学仿真计算。