航空发动机风扇叶片脱落仿真分析大规模并行计算方法研究

侯　亮　张晓云　王志强　柴象海

1.上海交通大学，上海，200240　　2.中航商用航空发动机有限责任公司，上海，2011083.中国航空研究院上海分院，上海，201108

航空发动机风扇叶片脱落仿真分析大规模并行计算方法研究

侯亮1，2，3张晓云1王志强2，3柴象海2，3

1.上海交通大学，上海，2002402.中航商用航空发动机有限责任公司，上海，2011083.中国航空研究院上海分院，上海，201108

摘要：针对航空发动机风扇叶片脱落数值仿真的问题，分析了并行计算模式与网格区域分解策略对并行计算效率和一致性的影响。在保证计算结果一致性前提下，提出了高效率区域分解和并行模式配置策略。最后通过工程算例进行了验证。

关键词：航空发动机；风扇叶片脱落；并行计算；一致性

0引言

航空发动机研制需要建立计算耗时短、结果一致性高的航空发动机整机数值仿真模型来获取发动机在风扇叶片脱落(fan blade off，FBO)后的各种响应，以缩短设计迭代周期、提高航空发动机风扇叶片脱落试验成功率[1-4]。

国内学者针对航空发动机风扇叶片脱落数值仿真的计算效率和一致性问题开展了相关研究。文献[5]研究了接触算法对航空发动机包容性数值仿真并行计算效率的影响，通过优化接触设置提高了单机并行计算的效率。文献[6]描述了航空发动机包容性数值仿真存在的计算结果不一致问题，分析了计算结果不一致的原因，在特定计算节点上获得了一致的计算结果。已有研究对不同并行模式的并行效率、网格区域分解策略和并行计算结果一致性影响因素等问题研究较少，因此，本文针对航空发动机风扇叶片脱落数值仿真问题，对并行计算模式、网格区域分解策略和计算结果一致性等问题进行研究，提出了一种高效率、一致性和跨平台的并行计算方法。

1并行模式计算效率研究

大涵道比涡轮风扇发动机整机FBO仿真模型通常为显式动力学有限元模型，如图1所示。模型由风扇、压气机、燃烧室、涡轮、安装节等几部分组成，有限元节点数为300万。模型包含带失效的弹塑性材料模型和非线性接触。风扇组件的有限元网格、接触和材料模型最为复杂，计算量占整个模型计算量的一半以上。

图1　航空发动机整机FBO数值仿真模型

显式动力学求解器的并行计算主要分为共享内存式并行SMP、分布内存式并行MPP和混合式并行Hybrid。混合式并行是一种新型的并行模式，综合了SMP并行和MPP并行的优点：在计算节点内部通过SMP并行减少消息传递；节点之间通过MPP并行扩展并行规模，其原理如图2所示[7]。

图2　MPP与Hybrid并行的并行原理

对于计算航空发动机整机FBO数值仿真模型，三种并行模式的计算耗时如表1所示。

表1　航空发动机整机FBO计算耗时　h

注：N/A表示不适用。

采用并行效率Ep衡量三种并行模式的并行性能：

Ep=Sp/p

(1)

Sp=t1/tp

(2)

式中，Sp为加速比；p为计算核心数；t1、tp分别为计算相同算例的单核计算消耗时间和多核并行计算消耗时间。

当加速比等于计算核心数之比时，效率为100%。

3种并行计算模式的并行效率曲线如图3所示。可见，MPP模式的并行效率最高，Hybrid模式的并行效率低于MPP模式的并行效率。并行计算核心数不大于16时，二者效率差距较小。随着核心数增加，并行效率的差距有所增大。64核并行计算时，二者差距增大至16%。SMP模式的并行效率显著低于另外两种并行模式的并行效率，并行效率下降也较快。

图3　并行效率随并行核心数的变化曲线

在相同并行核心数量下，MPP模式的计算耗时最短，Hybrid模式计算耗时略高于MPP模式计算耗时。这是因为Hybrid模式为保证计算结果的一致性，在进程内部开启了一致性选项，牺牲了部分计算速度[8]。

SMP模式计算耗时最长，而且受单个计算节点内计算核心数量的限制，最多16核并行。因此SMP模式的并行效率及可扩展性不佳。

2整机FBO模型区域分解策略研究

并行计算求解前，求解器首先对有限元模型进行区域分解。区域分解的策略直接关系到并行计算性能，均衡的区域分解可以缩短计算核心等待时间和信息传递时间，提高并行效率。递归坐标对分(recursive coordinate bisection，RCB)算法是一种常见的自动区域分解算法。该算法根据模型整体几何尺寸对网格进行递归分解，忽略了复杂模型中接触、网格疏密、子区域边界信息传递等对计算效率的影响。为了提高计算效率，需要针对航空发动机整机有限元模型的特点，研究区域分解策略对并行计算速度的影响，提出适合航空发动机FBO仿真计算的区域分解策略。

航空发动机整机FBO模型近似为以发动机转子中心线为轴线的回转体。将模型所在的直角坐标系转换为以航空发动机轴线为Z轴的圆柱坐标系。然后按照沿径向、周向和轴向三种不同的分解策略进行区域分解，结果如图4所示。

(a)径向分解(b)周向分解

(c)轴向分解图4　分区方案示意图

将航空发动机整机FBO模型按上述策略进行区域分解后，在某超级计算中心集群上计算。径向分解策略计算耗时67.0 h，周向分解策略计算耗时50.2 h，轴向分解策略计算耗时96.2 h。周向分解策略计算耗时最少，比计算耗时最长的轴向分解策略缩短了50%的计算时间。

如图4a所示，按径向分解策略得到以发动机轴线为圆心的若干类环形子域。按这种策略分解会导致外层子域计算量高于内层子域计算量。脱落风扇叶片与包容机匣的冲击区域集中在外层的子域，且外层子域周长较大，易导致外层子域单元数量较多。按此策略分解后，计算耗时较多。

如图4b所示，按周向分解策略得到以发动机轴心为顶点的若干类扇形子域。每个扇形子域的接触计算和有限元网格数量相同，各个子域计算量均衡。因此按此策略分解后，计算耗时最短。

如图4c所示，沿模型轴向分解得到以发动机中心线为轴线的若干类柱形区域。位于发动机整机模型前端的风扇机匣单元数量多，而风扇叶片与机匣的接触运算也主要集中在该区域。因此发动机仿真模型前端的子域运算量远大于后端子域运算量，各子域计算量不平衡。按此策略分解后，计算耗时最多。

综上所述，通过周向网格区域分解策略得到的子域计算量较为均衡，并行计算耗时最少，是针对航空发动机整机FBO仿真模型并行区域分解的最佳策略。

3整机FBO模型计算结果一致性研究

对于航空发动机FBO仿真而言，计算结果的一致性非常重要，否则会影响计算结果的可信度，甚至对工程设计产生误导。显式动力学并行计算中，存在由自动网格区域分解的随机性、并行数值噪声和并行计算平台硬件配置差异等导致的计算结果不一致问题[6]。因此在提高并行效率的同时还需要对计算结果一致性的影响因素进行进一步的研究。

本文采用单一因素法测试了区域分解策略、并行核心数和计算平台硬件等因素对计算结果一致性的影响。测试结果如表2所示。

表2　并行计算一致性测试

注：集群A为某超级计算中心集群，集群B为企业内部高性能计算集群。

图5所示为MPP模式下航空发动机FBO计算结果中某点位移的时间历程曲线。5 ms以前，计算结果差异不大；5 ms后，计算结果差异逐渐增大。这说明MPP模式在不同的并行核心数下的计算结果不一致，并且误差是不断累积的。因此MPP模式并不适用于航空发动机FBO仿真分析。

图5　MPP模式不同并行数计算结果

Hybrid模式在自动区域分解下的计算结果不一致，是因为自动化网格区域分解在区域边界处的分割存在随机性。采用周向分解策略后，不同并行数量(图6)和不同计算平台下(图7)的计算结果均一致，因此图6、图7中的多条曲线重合。该模式在保证计算结果一致性的前提下，仍然具有较好的可扩展性和平台无关性，适用于航空发动机FBO仿真分析。

图6　Hybrid模式计算结果(8核、16核、32核、64核并行)

图7　Hybrid模式计算结果(集群A、集群B)

4并行计算配置策略应用

并行计算模式、区域分解策略会影响并行计算的效率以及计算结果的一致性。针对航空发动机风扇叶片脱落显式动力学仿真模型的特点，采用Hybrid模式和周向区域分解策略，分别在8、16、32、64、128个核心下并行计算，配置策略及计算结果如表3所示。

表3　Hybrid并行计算配置策略及计算耗时

Hybrid模式下128核心并行计算耗时为11 h，与SMP单核心串行计算耗时相比，缩短了97%的计算耗时。应用并行计算配置策略后，缩短了航空发动机整机FBO仿真的迭代周期，并保证了计算结果的一致性。

5结语

本文针对航空发动机FBO显式动力学分析问题，首先比较了SMP、MPP和Hybrid三种模式在不同计算核心数量下的并行效率，发现SMP模式效率较低，MPP模式和Hybrid模式计算效率较高。然后，研究了不同区域分解策略对并行计算耗时的影响，发现周向区域分解策略的并行计算耗时最短。最后，对影响并行计算结果一致性的因素进行了测试。在兼顾计算结果一致性的前提下，Hybrid模式更适用于航空发动机整机FBO数值仿真计算，该种方式计算耗时显著缩短，计算结果一致性较好。

参考文献：

[1]Sarkar S，Atluri S N. Effects of Multiple Blade Interaction on the Containment of Blade Fragments during a Rotor Failure[J]. Finite Element in Analysis and Design，1996，23(2/4):211-223.

[2]宣海军，陆晓，洪伟荣，等. 航空发动机机匣包容性研究综述[J]. 航空动力学报，2010，25(8): 1860-1870.

Xuan Haijun，Lu Xiao，Hong Weirong，et al. Review of Aero-engine Case Containment Research[J]. Journal of Aerospace Power，2010, 25(8): 1860-1870.

[3]范志强，高德平，姜涛，等. 模型机匣的包容性试验和数值模拟[J]. 南京航空航天大学学报，2006，38(5)：551-556.

Fan Zhiqiang，Gao Deping，Jiang Tao，et al. Experimental Study and Numerical Simulation of Model Casing Containment[J]. Journal of Nanjing University of Aeronautics and Astronautics，2006, 38(5): 551-556.

[4]于亚彬，陈伟. 模型机匣/叶片的包容性数值分析[J]. 航空动力学报，2005, 20(3): 429-433.

Yu Yabin，Chen Wei. Numerical Analysis of the Modeled Blade/Casing Containment[J]. Journal of Aerospace Power，2005，20(3): 429-433.

[5]史同承，柴象海，张晓云. 航空发动机包容性数值仿真并行计算效率研究[J]. 计算机仿真，2013，30(1)：86-90.

Shi Tongcheng，Chai Xianghai，Zhang Xiaoyun. Research on Parallel Computing Efficiency of Aero Engine Containment Analysis[J]. Computer Simulation，2013, 30(1): 86-90.

[6]郑恒，柴象海. 风扇叶片脱落机匣包容性仿真并行计算一致性研究[J]. 航空科学技术，2015(2): 68-73.

Zheng Heng，Chai Xianghai. Numerical Study of Parallel Computing Consistency for FBO Case Containment Analysis[J]. Aeronautical Science and Technology，2015(2): 68-73.

[7]Wang J. Hybrid (MPP+OpenMP) Version of LS-DYNA [EB/OL]. Livermore Software Technology Corporation, LS-DYNA Forum，2011. [2015-12-01] http://www.dynamore.de/de/download/papers/forum11/entwicklerforum-2011/wang.pdf.

[8]Hallquist J O. LS-Dyna Keyword User’s Manual[EB/OL]. Livermore Software Technology Corporation, Version R7.1,2014.[2015-12-01]http://ftp.lstc.com/anonymous/outgoing/jday/manuals/LS-DYNA_manual_Vol_I_R7.1.pdf.

(编辑张洋)

Study on Parallel Computing Methods for Aero Engine Fan Blade off Simulation Analyses

Hou Liang1,2,3Zhang Xiaoyun1Wang Zhiqiang2,3Chai Xianghai2,3

1.Shanghai Jiao Tong University,Shanghai,200240 2. AVIC Commercial Aircraft Engine Co.,Ltd.,Shanghai,201108 3.Chinese Aeronautical Establishment Shanghai Branch,Shanghai,201108

Abstract:To solve the numerical simulation problem of fan blade off in aero engine, the effects of parallel mode and grid domain decomposition strategy on computing efficiency and consistence were analyzed herein. An optimal strategy for domain decomposition and parallel mode configuration was proposed to satisfy the computation consistency requirements. The superiority of the strategy was verified by a practical engineering case.

Key words:aero engine；fan blade off；parallel computing；consistency

收稿日期：2015-02-03

基金项目：国家自然科学基金资助项目(51205377)；上海市自然科学基金资助项目(13ZR142230)

中图分类号：V231.91

DOI：10.3969/j.issn.1004-132X.2016.03.018

作者简介：侯亮，男，1987年生。上海交通大学机械与动力工程学院硕士研究生，中航商用航空发动机有限责任公司设计研发中心工程师，中国航空研究院上海分院工程师。主要研究方向为航空发动机包容性与外物吸入损伤试验与仿真、显式动力学分析与应用。张晓云，男，1975年生。上海交通大学机械与动力工程学院副教授。王志强，男，1971年生。中航商用航空发动机有限责任公司设计研发中心高级工程师、博士，中国航空研究院上海分院高级工程师。柴象海，男，1979年生。中航商用航空发动机有限责任公司设计研发中心高级工程师，中国航空研究院上海分院高级工程师。