数值模拟并行处理技术及应用研究

李中建 刘靖安 马玉霞，李 讴 朱玉澎

(中石化河南油田分公司石油勘探开发研究院，河南 南阳 473132) (中石化河南油田分公司南阳石蜡精细化工厂，河南 南阳 473132) (中石化河南油田分公司石油勘探开发研究院，河南 南阳 473132) (中石化河南油田分公司通信公司，河南 南阳 473132)

数值模拟并行处理技术及应用研究

李中建 刘靖安 马玉霞，李 讴 朱玉澎

(中石化河南油田分公司石油勘探开发研究院，河南 南阳 473132) (中石化河南油田分公司南阳石蜡精细化工厂，河南 南阳 473132) (中石化河南油田分公司石油勘探开发研究院，河南 南阳 473132) (中石化河南油田分公司通信公司，河南 南阳 473132)

并行数值模拟是高含水后期调整挖潜，提高水驱采收率的重要手段之一。简述了数值模拟并行处理技术，介绍了构建高性能的计算平台、构建数据安全存储区域网的思路和做法以及运用高性能计算实现百万节点并行数值模拟处理的应用实例。

并行计算；数值模拟；油藏

油藏数值模拟的核心是求解大型偏微分方程组形成的大型稀疏线性代数方程组，这类问题需要大量的计算时间，计算费用高昂。是适合于在各种并行计算机上求解的并行计算问题。高性能并行计算机的出现使油藏数值模拟技术进入了一个崭新的阶段。油藏数值模拟并行技术研究已经成为一大研究热点。并行处理在高性能计算方面应用很广，近几年在石油勘探开发中的地震资料处理方面应用迅速。数值模拟并行处理技术与计算机技术的发展是紧密相关的，如开发后期采集数据量的剧增带来地质资料处理计算量的剧增。为获得准确的地下剩余油分布情况，应采取更为复杂的数值模拟处理技术如多维多相数模处理技术等，而这些都需要大量的计算机计算。以往，囿于计算机设备的限制，许多先进的精细数模、三次采油、稠油热采、大规模整状油藏并行数模处理技术无法得到充分应用，影响了石油勘探开发的发展。近年来，一些咨询公司的油藏数值模拟软件已推出并行版，如ECLIPSE及VIP并行软件。而国外许多石油公司及咨询公司用并行处理技术来降低生产成本，提高工作效率。我国自“九五”期间就开展了多项包括国家“863”计划在内有关并行计算的重大科研项目。中科院、国家智能计算中心、清华大学、南京大学等均开展了油藏数值模拟并行计算研究。这些并行数模软件在应用上不断挑战大型油田开发过程和多层厚油层的精细数值模拟，软件系统也逐步得到完善，功能也越来越强大[1-2]。

目前，人们对并行数值模拟的优势已有了充分的认识。它不仅有助于油田开发大型一体化流程的实现，同时更能够提高油藏模拟的精细度；节约计算时间，加快决策速度；优化方案设计，提高油田开发整体效益。所以并行处理技术将是油藏数值模拟应用发展的主要方向。我国石油行业先后引进了一些并行计算机和并行处理系统，如大庆、胜利等油田已在科研生产中发挥很大作用。并行处理技术必将成为大规模科学计算的主要工具，而并行数值模拟技术也得到更为广泛的应用。

1 建立油藏数值模拟高性能计算并行处理环境

要解决河南油田后期开采阶段细分调整、稠油热采方案编制、三次采油潜力评价及规划等的精细油藏描述、精细数值模拟及整装油藏大规模计算、并行处理问题，缩短数模处理周期和处理精度,必须进一步加强油藏描述、数值模拟技术的综合配套，利用多节点并行计算机的高性能计算解决数值模拟处理过程中求解大型偏微分方程组形成的大型稀疏线性代数方程组类大量的计算问题，以适应当前以及今后生产和科研的需求。并行计算环境需要解决以下3个方面的问题：

1)构建高性能的计算平台 并行计算可称为高性能计算或超级计算，它把并行计算处理的大任务依据并行算法的要求，分解为多个子任务，然后分给并行机不同处理单元，通过并行计算、协同合作而快速求解。并行计算的主要目标是提高求解速度、扩大处理规模。基本条件是硬件(并行机)、并行算法设计、并行编程环境。 硬件(并行机)是IBM p5 570服务器。它技术先进、性能超强。具有同步多线程、独特的可伸缩性和构建块封装技术的 IBM POWER5TM处理器，非常适合于服务器整合项目、数据库与应用程序服务。p5的并发多线程(SMT)技术可以大幅提高处理能力,将并行处理性能发挥到最佳；p5的虚拟化技术可以根据策略自动调整每个分区负载；虚拟引擎(VE)将IBM现有的逻辑分区功能提高到了一个新的水平，能够为客户提供跨平台的异构虚拟和系统管理功能。

综合考虑数值模拟未来几年的发展，笔者应用IBM p5 570并行机，2台SUN Blase2500 UNIX工作站,6台DELL P670 PC工作站和2套并行数值模拟软件Landmark. VIP、Schlumberger ECLIPSE构建了高性能的计算平台。

2)构建高性能的大容量数据安全存储 并行计算在处理作业过程中将产生大量的中间计算结果和最终计算结果，这些阶段性的数据需要占用大量的在线存储空间，这其中一些数据是可以被删除的，但也有一部分数据需要长时间保存，以便进行后续的数据计算，所以数值模拟高性能并行运算的存储容量必须配置达到10TB左右。

数值模拟高性能并行运算的每个节点就是一个服务器，系统整体效率的发挥是通过多个节点协同并行工作达到的，通常每个节点所配置的磁盘存储容量有限，一般只能满足操作系统的安装、极少部分的用户数据的存储，大量的数据需要存储在大容量的磁盘阵列上，由于不可能为每个节点配置一个大容量的存储系统，所以大部分的时候采用了多个节点共用一个磁盘阵列方式来为计算节点提供数据支持。前两年引进的计算机系统中，大多没有充分的考虑数据I/O的复杂性，只是简单的配置了一定数量的存储系统，所以这些系统目前就暴露出存在I/O瓶径的问题，因此，更好地解决高性能并行运算存储问题是高性能计算环境的一个关键。

通过上述分析可知，并行计算在数据处理过程中需求大容量的存储系统，对于高性能并行运算平台通常需要10TB左右的高速在线存储，以支持频繁进行的I/O，还需要4TB的近线存储，作为中间计算结果、成果数据、原始数据的存储以及用户数据的备份。而且，还须将这些存储纳入统一规划的存储区域网络(SAN)，实现为多个服务器、用户提供数据的存储子系统。

3)计算平台、存储系统、用户终端高度融合 高性能的计算平台必须充分地融合，才能为用户提供高性能的计算服务。在高性能计算平台内部，主力的IBM p5 570大型机、SUN Blase2500工作站, DELL P670 微机工作站要通过SAN存储区域网络共享存储池中的存储，这就需要建立高性能的存储区域网，规划一个简单的SAN环境是必要的，构成一级网络环境。为了是用户使用高性能计算平台，需要改造或者建立TCP/IP网络环境，使之成为主干千兆的二级网络环境，加入企业局域网络供用户使用。

存储层面采用存储管理战略，通过存储管理平台，使用统一的存储管理工作站通过同一窗口和界面进行所有存储资源的管理。通过图形化的界面，实现数值模拟高性能并行运算关键数据资源开放的、简单的、自动化的管理。

2 百万节点并行数值模拟的实现

并行计算应用配套的是ECLIPSE和VIP并行数值模拟软件，两者都是世界上较为领先水平的油藏数值模拟系统，并行性能稳定，速度快，效果好。有较高的并行加速比和并行效率。这次并行计算采用8CPU并行Eclipse05版，它具有一整套无缝模拟工作流程，可以完成从网格建模到自动历史拟合，到开发预测，生产优化的一系列功能。在大模型模拟运算方面具有无可比拟的优越性。下面以河南油田一个区块(Ⅴ下层系)为例，介绍高性能计算实现大规模并行数值模拟的过程和方法。

1)并行数值模拟的目的 运用并行数值模拟技术及油藏工程方法，对剩余油进行定量化描述，研究特高含水期油藏剩余油分布规律,为完善Ⅴ下层系开发井网与注采系统、调整产液结构、改善油田开发效果、进一步提高采收率提供科学的挖潜依据。

2)应用实现内容方法 ①针对Ⅴ下层系油层多，储层物性差异较大，非均质严重，平面、层间矛盾突出的特点，确定数值模拟范围、建立双河Ⅴ下层系主体区精细三维油藏地质模型，模型的总网格数为308×203×35=2188340，是河南油田有史以来数据量最大的地质模型，充分体现储层的非均质性；②根据精细地质研究细分层系储量，进行地质储量拟合；③搜集整理基础资料，结合生产动态监测对合采井劈产，进行生产历史拟合；④运用并行数值模拟技术，对剩余油进行定性、定量化描述，根据剩余油分布规律，结合储层物性、动用状况与井网现状等，利用三维定量化模型开展特高含水期开发单元重新划分与组合研究, 设计井网组合方案。针对Ⅴ下层系存在的问题及潜力，进行10年数值模拟开发指标预测对比，提出最优调整部署方案。

3)并行计算技巧(分块历史拟合、整体并行计算) ①把断层作为封闭边界，严格满足定解条件；②在油藏地质模型中选取有代表性的分区做详细历史拟合，得到的参数作为总体模型的基础参数；③每小块单独历史拟合；④将每小块拟合的结果放入并行数据中，做整体并行计算，主要工作是调整边界数据，最终得到整体并行计算结果。

4)技术指标效益 IBM P570 16CPU服务器并行应用环境安全、稳定，满足了多用户Eclipse并行数值模拟软件高效运行、并行处理高性能计算的需要。拟合指标的计算值与实际值吻合较好，单元历史拟合符合率达96%以上；单井拟和符合率达75%以上。进行组合单元内注采井网的整体优化部署及开发水驱效果数值模拟预测对比。优化方案延长稳产期6年，增产原油10.04×104t，提高采收率1.76%，综合含水率降低0.97%。

[1]车学林，李翠玲，赵国忠，等.百万节点油藏数值模拟技术应用[J].大庆石油地质与开发，2002(3):32-35,86.

[2] 曹建文，潘峰，姚继锋，等.并行油藏模拟软件的实现及在国产高性能计算机上的应用[J].计算机研究与发展，2002(8)：78-85.

[编辑] 洪云飞

10.3969/j.issn.1673-1409(N).2012.06.031

TE319

A

1673-1409(2012)06-N093-03