CPU-GPU耦合的多尺度模拟应用

孙以环（湖北工业大学，湖北 武汉 430068）

CPU-GPU耦合的多尺度模拟应用

孙以环（湖北工业大学，湖北 武汉 430068）

简要介绍了多尺度问题与研究方法。论述了常见多尺度问题的模拟计算方法与研究进展，对现有研究的局限性和存在的问题进行分析，指出了进一步研究多尺度模拟与计算的必要性。离散颗粒模型（DPM）在颗粒流体系统的模拟中已经得到了广泛的应用，但DPM对大规模系统进行模拟时计算量巨大，严重制约了它的应用。而近年迅速发展的图形处理器（GPU）以其强大的计算能力和良好的并行性为离散颗粒模型的发展应用提供了另外一种途径。

多尺度；模拟；DPM；应用

化学工程是一门拥有接近百年发展史的学科，它的发展和进步对整个化学工业的发展和兴起起到了巨大的推动作用，到目前为止，化学工程的服务对象不单是化学工业，而且已经扩展到材料、冶金、能源、生物、环境等诸多过程工业。世界工业化的发展和繁荣离不开化学工程，因此化学工程学科也在不断扩大其科学内涵，向着更为交叉学科发展起来，尤其应用于研究物质在各个学科转化过程中，向着化学、生物等学科中物质运动、传递和反应及其相互关系为科学内涵的过程工程学科间转移。目前，化学工业在我国整个国民生产中占据非常重要的比例，过程工业的产值约占工业总产值的一半，并且占据工业总税收的l/3，由此可见化学工程学科的发展不仅在科学领域有着重要的意义，而且在我国国民经济中起着同样举足轻重的作用。

多尺度现象几乎出现在所有的自然科学和实际工程应用中，因此对于多尺度问题模拟与计算研究的课题在材料科学、化学、力学和生物学等许多领域中屡见不鲜。随着社会的不断发展，人们对于材料的要求也在不断的提高，材料设计系统也逐渐趋向于细致化和复杂化， 因此，原本用于单一尺度的模型显示出其固有的局限性，单一尺度模型其中的一个主要的局限性就是它的精度无法满足实际应用的需要。除此之外，单一尺度模型的局限性还表现在对微观尺度上的力学性能的忽略，而微观上被忽略的力学性能往往会对模型的合理性有非常重要的影响。例如，在建筑中常用到的混凝土，其微观结构对宏观性能(如尺寸大小稳定性、强度以及耐久性等) 有着至关重要的影响，可是现如今所经常使用到的混凝土模型远远没有反映微观结构对其宏观性能的影响。此外，为了克服有些单一尺度量级的模型是半经验的，研究者们就开始从微观尺度模型上着手。而将微观尺度量级的模型使用在整个系统上，却给建模和计算带来极大的复杂程度，不仅有可能无法实现， 而且对于有用信息的提取也是件十分困难的事情。因此，本文将对一个能够克服上述困难的有力工具——多尺度模型进行探讨。

1 多尺度模拟概念

上世纪50～60年代，“三传一反”原理广泛应用于各个学科和工业上，已经成为是化学工程的基石，“三传一反”原理本质上是一种宏观的表述，其科学内涵仅限于宏观上数学和物理归纳。实际上，化学工程讨论的范围同时涉及到很宽的时间和空间尺度上，时间上从分子化学间振动的纳秒(〈10-4 s)到工业过程所需的几天，空间上从分子或颗粒的纳米(〈10-9 m)到工厂的米或千米（〉10km）。如果要对某一尺度进行控制，则需要在另一尺度中寻找可操作的手段。现如今，化学工程已开始慢慢倾向于生物学科、医药学科、纳米颗粒、材料学科、环境等学科和过程，而我们传统化学工业依然存在过程调控、放大和优化等复杂问题。因此，从分子尺度到宏观过程尺度的多尺度关联将逐渐在化学工程中得到应用。传统的“三传一反”将面临着巨大的新的挑战，必须要换一个角度，从新的角度来认识化学工程的现象和规律[1]。不均匀时空多尺度结构是化学工程众多现象中突出的特征，并且不均匀时空的多尺度结构慢慢得到研究人员的关注[2]。李静海等[3]最早提出了能量最小多尺度作用模型，并且已成功预测了快速流化床中局部稀密两相不均匀分布和密相的聚团尺寸以及气固流型。这项研究表明了用多尺度方法是非常可行的，也预示其对化学工程进行量化具有可行性，并将在未来化学工业有一定的发展势头。化学工程中的现象可归纳为以下4种过程：流动、传递、分相和反应；6种尺度：分子、纳微米、单元(颗粒、液滴、气泡)、聚团、设备、工厂。

多尺度法可归纳为：（1）把总过程分解为若干不同尺度的子过程；（2）研究不同尺度下各个子过程；（3）对不同子过程以及子过程之间的相互联系进行研究；（4）采用物理化学过程手段，对系统产生多尺度结构的控制机理分析和归纳；（5）将这些不同子过程的研究结果综合起来，解决总过程的问题。可是这些步骤的实施存在很多难题，难点分为：（1）选择有代表性的尺度以及尺度空间，可以表达过程的结构特征；（2）不同尺度间的相互联系的分析；（3）多过程多尺度综合的方法和规则。多尺度模拟考虑空间和时间的跨尺度与跨层次特征，并将相关尺度祸合起来，提高模拟和计算效率，分析出有用的微观信息，是求解各种复杂的材料和工程问题的重要方法和技术。抓住不同时空条件下材料或者系统的物理响应特征是多尺度模拟的目标，并要对其性能或者使用寿命进行预测，掌握较小尺度的结构与性能对材料或者系统宏观行为的影响。

目前，按照连接尺度的范围大小，多尺度模拟主要包括纳观、微观、细观和宏观等主要尺度的模拟。一般情况下，纳观尺度上常运用量子力学（quantum mechanics，QM）理论，微观尺度上常运用分子动力学（moleeular damies，MD）理论，而细观和宏观尺度运用连续介质力学（continuum mechanies，CM）理论，但细观尺度比宏观小得多并且有一定的随机性，还需要结合统计学方法。

对多尺度模拟建模的策略常有以下两种：一种策略是先在较低的尺度上进行建模，分析总结，寻找其中的规律和法则，然后再将规律放入高尺度模型中，这个过程是一个从小尺度到大尺度的递阶过程。采用这种策略的方法一般称作信息传递的多尺度方法(information-passing multi-scale methods )或递阶的多尺度方法(hierarehical multi-seale methods ) 。另一种策略是在不同尺度上同时进行建模， 并把区域进行划分，将区域分成不同尺度定律控制的区域， 这些区域可以重叠也可以不重叠，并且在区域之间交界连接。在第二种策略中， 区域之间的连接也是一个重要问题。采用这种策略的方法一般称作一致 的多尺度方法(coneurent multi-seale methods)。

2 CPU-GPU 耦合的多尺度模拟应用

颗粒轨道模型由于能够得到微观尺度上单个颗粒的具体信息，对于探索颗粒流体系统中的复杂流动行为能够提供十分有益的帮助，同时在实际工程应用中表现出巨大的潜力[4-7]。但由于工业装置均规模较大而且具有复杂的边界，同时工业过程伴有复杂的流动和传热以及反应，应用颗粒轨道模型依然需要大量的处理时间。

最近几年，图形处理器(GPU)的发展很大程度上提高了计算机图形处理的速度以及图形质量。并且同时，图形处理器绘制流水线的高速度和并行性以及近年来发展起来的可编程功能，方便了图形处理以外的数字图像处理和通用并行计算，并且，近年来人们关注的新的热点问题聚焦在使用GPU对传统的通用计算和图像处理算法和进行并行加速[8-12]。针对颗粒轨道模型中最耗时的颗粒相间作用，利用 GPU进程间快速便捷的通信，可以减少传统并行机进程间通信和管理的损耗；同时GPU的执行时间和粒子规模为次线性关系，不仅提高了算法的运算速度而且大大增加计算的规模。本文针对传统并行颗粒轨道模型在实际应用中的缺点，结合GPU的高速并行性，提出了一种多尺度并行颗粒轨道模型，而这种模型则是基于GPU加速，并且减少了计算时间，解决了计算的粒子规模问题，极大提高了颗粒轨道模型的运算速度。

2.1 计算方法

2.1.1 CPU-GPU 耦合的多尺度计算模式

文献提出的基于GPU加速CPU-GPU耦合的多尺度并行颗粒轨道模型，其计算结构示意图如图1所示。在宏观尺度上由主节点进行任务划分，进而基于区域分解法在介观尺度上的流体相运动方程在CPU上并行求解，而微观尺度上的计算量大的颗粒相间作用以及粒子搜索等在GPU中加速并行执行。

图1 CPU-GPU耦合的多尺度计算结构的示意图

2.1.2 CPU-GPU 耦合的多尺度计算流程

根据上述的CPU-GPU耦合的多尺度计算模式所建立的计算模型的流程如图2所示。首先上层的CPU主节点读入整体计算区域和计算参数以及初始计算条件，完成初始化后进行负载调度和计算区域分割，并将分割后的任务分配到各个CPU节点。计算过程中每次迭代计算完成后，中层的各个CPU节点的流量残差要归约收集到上层的CPU以进行收敛判断。然后中层的CPU节点接到任务后进行流体动量方程的求解，流体动量方程的求解完毕后则计算在此流场下颗粒所受到的曳力，并发送到GPU，然后进行下一个时间步的计算。最后下层的GPU将中层的CPU的颗粒相计算区域作为一个栅格，其中所包含的每个颗粒的运动方程利用一个线程进行并行求解。颗粒运动方程的求解过程主要包括：（1）交换该栅格和相邻栅格的重叠区域的粒子的信息；（2）搜索定位每个颗粒的所在元胞，并确定其邻居颗粒的信息；（3）进行颗粒碰撞过程的计算；（4）根据颗粒碰撞所受到的合力，并将更新后的颗粒速度和位置信息发送到中层GPU，然后进行下一个时间步的计算。

图2 CPU-GPU耦合的多尺度计算的流程图

2.2 流态化不同流型过渡的模拟

基于上述的CPU-GPU耦合的颗粒轨道模型的计算流程，有文献对具有不同反应器几何结构而具有相同平均空隙率和入口气速的三种不同工况下的气固流态化系统进行了模拟研究。模拟中对于气相，入口处以固定的气速进入，对于固体边壁采用无滑移边界条件，上端的出口采用自由出流边界条件处理，颗粒初始随机在整个管内分布。三种工况下的颗粒的非均匀结构的动态演化过程的模拟结果分别如图3～5所示。正如李等[13]所提出的设备尺寸的改变同样会导致流动结构的突变即所谓的放大效应，本文的模拟结果展示了在不同系统具有相同气速和空隙率的情况下，随着设备尺寸的改变，两相流动的流型由节涌流态化向湍动流态化和快速流态化过渡的过程。

图3 近似节涌流态化的动态演化过程图

图4 近似湍动流态化的动态演化过程

图5 近似快速流态化的动态演化过程

2.3 流态化系统的大规模模拟

基于CPU-GPU耦合的颗粒轨道模型的计算模式，对包含50万个颗粒的气固流态化系统进行了模拟研究。模拟中对于气相，入口处以固定的气速进入，对于固体边壁采用无滑移边界条件，上端的出口采用自由出流边界条件处理，颗粒初始随机在整个管内分布。模拟结果如图6所示。由图6可以看出，模拟结果复现了具有轴向上，上稀下浓，而径向上，中间稀两边浓的非均匀结构特征的稀密相共存的环核结构的形成过程，同时展示了颗粒的团聚过程由小的团簇逐渐发展为带状团聚物进而发展为颗粒群的过程。

图6 大规模颗粒流体系统的非均匀结构的动态演化过程

综上所述，针对颗粒轨道模型中颗粒计算量过大而限制其应用的问题，利用求解颗粒运动方程的离散单元法良好的并行性，同时结合GPU的超强计算能力，提出了一种基于GPU加速的多尺度并行颗粒轨道模型，并详细论述了该模型的多尺度计算结构的实现。先以设备尺度变化而导致的流动结构的突变作为算例进行了模拟研究，模拟结果展示了在不同系统具有相同气速和空隙率的情况下，随着设备尺寸的改变，两相流动的流型由节涌流态化向湍动流态化和快速流态化过渡的过程。进而对包含有50万个颗粒的气固流态化系统的非均匀结构的动态演化过程进行了模拟研究，复现了具有轴向上，上稀下浓，而径向上，中间稀两边浓的非均匀结构特征的稀密相共存的环核结构的形成过程，同时展示了颗粒的团聚过程由小的团簇逐渐发展为带状团聚物进而发展为颗粒群的过程。

3 存在问题及结论

由于自身理论体系的问题，多尺度分析方法缺乏系统性和完整性。虽然在解决一些实际问题时，多尺度分析方法很有成效，但其针对性很强，一般都是一对一的解决方法，对于普通的模型缺少适用性。多尺度模拟当今研究的难点和重点仍然是不同尺度区域间的连接以及低尺度建模理论。大型商用计算程序还没有和多尺度模拟与计算有效结合起来，还没能够有效实现，基本上要靠研究人员编写计算程序或者采用一些发达国家沿用的理论和设别，多尺度方法的发展与应用在这种现状下很难进行下去。此外，多尺度方法的最终目标之一还是要建立连接纳米尺度、微米尺度、细观尺度和宏观尺度等全尺度模拟的理论与方法。此外， 这种方法还需要进行大规模的普及，吸引更多的研究者和专家加入，实现这些目标对复杂材料、生物学、化学、力学以及系统设计等领域有重要意义。

[1] 张锁江, 张香平. 分子工程与过程工程[M]．北京: 化学工业出版社，2004. 36 - 49．

[2] 李静海, 郭慕孙. 过程工程量化的科学途径-多尺度法[J]. 自然科学进展, 1999, 9 (121)：1073 - 1078．

[3] 李静海．颗粒流体两相流多尺度方法和能量最小模型[D]．北京：中国科学院化工冶金研究所，1987．

[4] Hoomans B P B，Kuipers J A M ，Briels W J, van Swaaij W P M. Discrete Particle Simulation of Bubbleand Slug Fclrmation in a Two-dimensional Gasfluidized: a Hard-sphere Approach[J]. Chem. Eng. Sci., 1996,51: 99 - 108.

[5] 0uyang J, Li J H. Particle-motion-resolved Discrete Model for Simulating Gas-Solid Fluidization[J]. Chem.Eng. Sci., 1999, 54: 2077 - 2083.

[6] Tsuji Y, Kawaguchi T, Tanaka T. Discrete Particle Simulation of Twodimensional Fluidized Bed[J]. Powder Techno1., 1993, 77: 79 - 87.

[7] Xu B H，Yu A B. Numerical Simulation of the Gas-Solid Flow in a Fluidized Bed by Combining Discrete Particle Method with Computation Fluid Dynamics[J]. Chem. Eng. Sci., 1997, 52: 2785 - 2809.

[8] Li J, Kuipersa J A M. Gas-particle interactions in dense gas-fluidized beds[J]. Chem. Eng. Sci.，2003, 58:711-718.

[9] Belleman Robert G., Bedorf Jeroen, Zwart Simon F. Portegies. High performance direct gravitational N-body simulations on graphics processing units II: An implementation in CUDA[J]. New Astronomy, 2008,13(2): 103 - 112.

[10] van Meel J A, Arnold A, Frenkel D, Zwart S F Portegies, Belleman R G. Harvesting graphics power for MD simulations[J]. Molecular Simulation, 2008, 34(3): 259 - 266.

[11] Anderson J A, Lorenz C D, Travesset A. General purpose molecular dynamics simulations fully implemented on graphics processing units[J]. Comput. Phys., 2008, 227(10): 5342 - 5359.

[12] 多相复杂系统国家重点实验室多尺度离散模拟项目组. 基于GPU 的多尺度离散模拟并行计算[M]. 北京: 科学出版社, 2008.

[13] Li J, Kwauk M. Exporing complex systems in chemical engineering－the multi-scale methodology[J]. Chem.Eng. Sci, 2003, 58: 521 - 535.

The Multi-scale Simulation Application of the Coupling of CPU-GPU

This paper briefly introduces the multi-scale problem and its research methods, discusses the research on the multi-scale simulation calculation method and the research progress, and points out the limitations of current researches and the existing problems, making further research on the multi-scale simulation and calculation very necessary. Discrete particle model (DPM) in the numerical simulation of particle fluid system has been widely used, but the DPM of large-scale system generates a huge computation and has seriously restricted its application. In recent years, the rapid development of the graphics processing units (GPU) with its powerful computing capacity and good parallelism provides another way for the development and application of discrete particle model.

Multi-scale; Simulation; DPM; Application

B

1003-0492(2015)05-0096-04

TP391

孙以环（1983-），女，江苏沐阳人，湖北工业大学仪器仪表工程专业硕士研究生在读，现就职于中国石油天然气运输公司长庆运输分公司。