基于INTESIM5.0的气缸体静力学大规模分布式并行计算

刘天成 张群 代民果 宋德健

（英特工程仿真技术有限公司，大连 116000）

主题词：工业仿真 有限元 并行计算 亿级网格 发动机气缸 计算机集群

1 引言

汽车CAE贯穿于汽车研发设计的整个流程，CAE复杂度高、计算量大，对并行计算有很高要求。缸体作为汽车发动机主体结构，几何结构越来越复杂。现代缸体结构在传统结构基础上，大多增加了油泵壳体、水泵壳体和各种回油道结构。其凸台根部、孔洞边缘等倒角、倒圆处会产生应力集中，水套底部拐角等处容易出现结构设计上的应力集中。对此有很多基于ANSYS、Altair等CAE仿真工具的相关研究[1-5]，但普遍存在计算模型偏小，计算准确性仍有不足的问题。从有限元数学分析的角度看，在缸体薄壁、孔洞、结构过渡的关键区域布置充分细的网格，是缸体全模型精细化分析的关键，也是确保其结构可靠性耐久性的重要手段。这对计算提出了巨大挑战。随着计算技术的发展，使得对缸体全模型进行亿级网格建模，利用超级计算集群求解数千万自由度的力学模型成为可能。

近年来，英特工程仿真技术有限公司开发的INTESIM5.0等国产CAE软件在功能、精度以及高性能计算方面取得长足进步，不仅可以覆盖ANSYS和Altair等国外商业软件的绝大部分应用领域，而且在大规模并行计算具有独特优势，比如完全基于分布式内存的高速I/O和并行预处理，有更大的并行计算规模等。本文采用国产工业仿真软件INTESIM5.0，对某缸体分别建立26万个网格单元、100个万网格单元、1亿个网格单元的3个CAE模型进行静力学仿真分析。首先基于26万个网格单元模型，比较INTESIM与某商软计算结果，以验证INTESIM计算结果的正确性。然后通过INTESIM 3个CAE模型计算结果对比，验证对于缸体这样的重要零部件，进行精细化建模分析的重要性和必要性。

2 缸体有限元模型

缸体基本结构和材料参数如表1所示。

如表2所示，建立3个有限元网格模型，网格数量最多达到1亿7百万个。

3 INTESIM计算精度验证

INTESIM-Structure结构分析模块是其核心产品之一，是技术领先的自主研发结构力学分析工具，具备强大的分析功能和丰富的模块配置，能够模拟复杂的固体力学问题，特别是结构高度非线性问题，包括几何大变形、材料非线性、接触非线性问题。目前主要支持结构稳态线性和非线性分析、瞬态分析、模态分析、转子动力学分析、特征值屈曲分析、谐响应分析、响应谱分析和随机振动分析。

对于模型2，分别使用INTESIM和某商业软件在Windows系统上进行单机模拟，均采用直接法求解，计算所得合位移大小的空间分布分别如图1所示。

图1 合位移大小的空间分布

从图1中对比结果可以看到，模型下部位移幅度较小，上部位移幅度较大，受直接支撑部分的位移幅度较小，受侧面支撑部分的位移幅度较大，符合客观规律。两者合位移大小的最值基本相等，空间分布规律基本一致，相对残差均约为10-11。由此INTESIM仿真计算的正确性得到验证。

4 INTESIM大规模并行计算

INTESIM-HPC高性能求解模块是面向高性能计算硬件和大型CAE模型仿真需求开发的高级功能。采用网格重叠一层的ghost技术。计算区域划分后相当于把总体矩阵按行分配到每个处理器，每个子域内的单元分析和总体矩阵的形式都是完全并行。在对整个结构分区的过程中，同样可以对边界进行分区施加，因此形成右端向量以及约束处理也可以完全并行实现。这样，系数矩阵和右端项都分布存储在各个处理器。这种数据的独立性，还可通过并行输入/输出（I/O）进一步提高程序性能。独特的分布式并行排序算法，使得多物理场仿真高性能计算（High Performance Computing，HPC）的数据预处理完全基于分布式内存，具有很好的载平衡，因此无需单独的胖节点，直接在计算节点即可完成亿级网格规模的预处理[6-8]。另一方面，数据常驻内存，这一阶段不存在硬盘I/O，省去数据文件的多次读写和胖瘦节点间转移，可以迅速进入求解迭代循环。

对于模型3，使用INTESIM在神威·太湖之光的商用计算系统的q_x86_vio_share队列，使用25个计算节点（每节点16核）进行了强扩展测试（表3）。图2展示了加速比S及并行效率E与进程数n的变化关系。

表3 强扩展测试

图2 加速比与进程数的变化

计算系统的CPU为Intel(R)Xeon(R)CPU E5-2630 v3@2.40GHz，求解方法采用共轭梯度法迭代求解。随着并行规模增加到400个进程，数据粒度不断减小，通讯时间消耗不断增加。如果以25个进程定基，400个进程的并行效率不低于30%，基本满足大规模并行计算要求。

为了适配不同计算队列，在q_x86_cn_sim队列上，还进行5节点120核测试。图3为120进程时以矩阵表达的通信结构，共有870个非零位置，在这些位置上，进程将触发通信。通信矩阵的特点是主对角位置均为0，表示进程自身与自身不发生通信。

图3 120进程时通信结构矩阵

应当指出，实际收发的字节长度为每次通信收发字长的累加，约等于ghost网格点总数乘以每个网格点上所需交换的变量个数，以及整型字长（4字节）或实型字长（8字节）。本例中，ghost网格点总数为2 169 874个，若交换4个实型量，总字节长度就超过1亿字节，通信量非常大。如何隐藏通信，提升并行计算效率，是另一个需要研究的方向。

图4是该模型被划分为120个分区的效果图。

图4 缸体并行计算区域分解

图5给出了120进程计算得到的合位移大小空间分布。可见，其分布规律与第3节中的结果一致。不同n值对应的结果相一致，不再详细描述。

图5 合位移大小的空间分布（n=120）

5 不同网格计算结果对比

表4给出了使用INTESIM分别求解模型1～3得到的合位移大小最大值和冯米塞斯（Von Mises）应力最大值。

表4 模型1～3的位移和应力最大值

由此可见，随着网格规模的增大，合位移大小最大值和Von Mises应力最大值均增大。这是因为有限元数学处理是基于空间离散、分片连续和细化的网格，提升了计算求解的逼近程度。从而使得应力集中处的计算结果更加灵敏、精确，导致测得的最大值增大，并伴随最小值减小。如果以模型3计算结果为基准，模型1的位移最大值误差为20.7%，Von Mises应力最大值误差为5.8%；模型2的位移最大值误差为9.0%，Von Mises应力最大值误差为2.6%。这些误差足以对设计优化和后续其它分析产生影响，如高估使用寿命和强度极限。

6 结论

使用国产INTESIM5.0软件的INTESIM-Structure结构分析模块，对某缸体小规模有限元模型、中等规模有限元模型和超大规模有限元模型进行静力学分析。与亿级网格的超大规模模型计算结果相比，小规模模型和中等规模模型的位移和Von Mises应力存在较大误差。这个误差可能对缸体设计优化和后续的其它分析带来比较负面影响。超大规模并行计算实现了以低时间成本获得高精度仿真结果，对提升发动机缸体的可靠性、耐久性的结构优化设计效率作用显著。汽车其它零部件也应尽可能建立精细有限元模型，借助高性能计算，分析出更精确的结果，提出更准确的设计评估。

后续还将采取多种措施，稀疏矩阵分块求解技术、通信隐藏技术和细粒度数据的线程加速技术，进一步提高大规模并行计算效率。