E级计算给CFD带来的机遇与挑战

张来平，邓小刚，何 磊，李 明，赫 新1，

（1.中国空气动力研究与发展中心空气动力学国家重点实验室，四川绵阳 621000；2.中国空气动力研究与发展中心计算空气动力研究所，四川绵阳 621000；3.国防科学技术大学，湖南长沙 410073）

E级计算给CFD带来的机遇与挑战

张来平1，2，＊，邓小刚1，3，何 磊2，李 明2，赫 新1，2

（1.中国空气动力研究与发展中心空气动力学国家重点实验室，四川绵阳 621000；2.中国空气动力研究与发展中心计算空气动力研究所，四川绵阳 621000；3.国防科学技术大学，湖南长沙 410073）

E级（Exascale）计算机有望在2020年前后投入使用，E级计算将给计算科学和科学研究带来革命性的变化。计算流体力学（CFD）作为超大规模计算机应用的重要领域之一，将迎来前所未有的发展机遇，同时也将面临极其严峻的技术挑战。本文对当前国内外超大规模CFD计算的现状进行了概述，探讨了未来CFD的发展趋势，并对E级计算给CFD带来的机遇与挑战进行了分析，最后提出了适应未来E级计算的CFD发展思路与建议。为了实现E级计算的宏伟目标，CFD与计算机科学、应用数学等学科的“协同设计”势在必行。我们期待本文的分析能对我国的高性能计算应用、CFD发展有一定的启示作用。

E级计算；高性能并行计算；计算流体力学

0 引言：计算科学及CFD的重要性

2005年，美国总统信息技术咨询委员会的报告《计算科学：确保美国竞争力》［1］中指出：计算科学是提升国家竞争力的关键技术之一；21世纪最伟大的科学突破将是大型计算科学所获得的成就；计算科学等同于理论、实验，已成为科学探索的第三大支柱。

计算科学与天体物理、核物理、天气预报、生物医药、海洋工程、石油勘探等领域的结合，推动了这些领域的飞速发展。流体力学及空气动力学与计算科学的结合催生了计算流体力学（CFD）的诞生。经过半个多世纪的发展，CFD已经在以航空航天为代表的诸多工业领域得到成功的应用［2－4］，并在流体力学和空气动力学学科发展中发挥着越来越重要的作用。相对于空气动力学研究的其它两种手段（风洞试验和模型飞行试验），其突出优势主要体现为：

1）由CFD软件和高性能计算机相结合而形成的“数值风洞”能够快速提供飞行器气动性能分析、结构／飞控设计所需要的基础数据，进而节省研究费用，缩短设计周期；

2）高精度CFD软件可以提供流场细节数据，便于流动机理分析，在空气动力学基础研究及飞行器关键气动技术攻关方面可以发挥重要作用；

3）精细的CFD数值模拟可以为风洞试验及风洞试验技术发展提供支撑，如为天平和支架设计提供载荷估计，研究更加精细的洞壁和支架干扰修正方法，对风洞试验结果进行天地换算等；

4）以CFD为核心的飞行器多学科多目标优化设计是未来飞行器设计的重要发展方向，其将引发飞行器设计模式的变革，“数值优化设计”的实现将全面提升飞行器综合设计能力和水平；

5）CFD与飞行力学和飞行控制等学科的耦合，将可以实现基于CFD的“虚拟飞行试验”，或又称为“数值虚拟飞行”，有利于在设计初期即对控制系统进行一体化优化设计。

随着计算机技术的飞速发展，E级（Exascale）计算机将在2020年前后投入使用，E级计算将给以CFD为代表的超大规模计算应用带来前所未有的发展机遇，同时也会带来极其严峻的技术挑战。可以预期，基于CFD与E级计算机结合的“数值风洞试验”、“数值优化设计”、“数值虚拟飞行”将给航空航天飞行器设计带来革命性的变化，并将推动流体力学和空气动力学等学科的创新发展。

本文将就E级计算给CFD带来的机遇与挑战展开讨论。首先，对当前国内外超大规模CFD计算的现状进行了概述，其次分析了当前面临的一系列挑战性问题，探讨了未来CFD的发展趋势，随后对E级计算给CFD带来的机遇与挑战进行了分析，最后提出了适应未来E级计算的CFD发展思路与建议，期待以上分析与建议能对我国高性能计算机的发展、CFD的研究与应用等有一定的启示作用。

1 CFD对超级计算机的需求及E级计算机研制现状

由于CFD所求解的问题越来越复杂，因此CFD对于计算资源的需求可谓“永无止境”。以最具代表性的复杂外形湍流数值模拟为例，由于湍流脉动从积分尺度到最小耗散尺度所涵盖的尺度范围很大，湍流直接数值模拟（DNS）需要目前最快的计算机都难以承受的计算量。假设问题的积分尺度为L，相应的雷诺数为ReL，则DNS要求的空间网格和计算时间步数至少要达到O（Re9／4L）和O（Re1／2L）［5］。工程实际中遇到的问题通常ReL＞1.0×106，因此要求的网格点数应满足Ng＞1.0×1013，而大型飞机边界层流动的直接数值模拟要求Ng＞1.0×1015。所以有学者早在1997年就估算，商业飞机巡航状态一秒钟的计算，用每秒万亿次计算机需要数千年［6］。据美国Boeing公司Edward N.Tinoco博士2009年的估计，以当时的高性能计算机发展速度，至2080年才有可能进行民航客机全机的DNS模拟；即便是进行大涡模拟（LES），也要等到2045年［7］。

由于计算资源的限制，目前对于复杂飞行器的湍流数值模拟，我们仍普遍采用雷诺平均Navier－Stokes（RANS）方法，计算网格规模也大多限定在千万量级。尽管LES较DNS对计算机资源的需求小数个量级，但是即便是在当今最快的计算机上，进行复杂飞行器的大涡模拟也是不现实的。所以，近年来，发展了多种以脱体涡模拟（DES）为代表的RANS／LES混合算法［8］。然而这些方法应用于实际复杂外形的报道亦不多见，其主要原因仍是计算量过于庞大。图1（取自文献［9］）给出了从翼型、机翼到整机三个阶段气动特性分析与设计对计算机速度和内存的需求。从图中可以看出，目前我们已经可以对机翼进行基于壁面模型的LES（WM－LES，Wallmodeled LES）或RANS／LES混合模拟，但是对于整机的WM－LES模拟（尤其是以达到设计目标的WMLES）却需要E级以上的计算机。

可喜的是，计算机运算速度一直在按照Moore定律飞速增长。据统计分析，高性能计算机的计算速度每十年将提高三个量级［10］。5年前，P级计算机（1015Flops）已研制成功并投入使用。尤其是2013年6月，我国研制的“天河二号”排名世界Top500超级计算机第一名，而且三年来稳居第一，荣获Top500“六连冠”。该计算机采用CPU／MIC异构融合体系架构，峰值性能达到5.49亿亿次／秒（约55P），持续性能达到3.39亿亿次／秒（约34P）；共有16，000个运算节点，共约312万个计算核心。“天河”“曙光”“神威”等系列计算机的问世，标志着我国高性能计算机研制能力与水平已跻身国际前列。

图1 翼型、机翼和整机分析与设计对计算机速度和内存的需求（取自文献［9］）Fig.1 Computer speed and memory requirements for analysis and design of airfoils，wings，and complete aircraft for three different stages of approximation（From Ref.［9］）

当前，世界各国均将E级计算作为下一个努力争夺的战略高地［10］。美国对E级计算机的研制高度重视，总统奥巴马在“Strategy for American Innovation”计划中，将E级计算列为21世纪美国最主要的技术挑战。2011年12月美国国会通过美国能源部科研经费申请，提供1.26亿美元用于E级计算研究（不含E级计算机的建设经费）。美国国防部高级研究计划署（DARPA）提出：研究新的计算架构和编程模型，计划于2018年完成E级原型系统研制。2014年11月在全球超级计算机Top500榜单发布前夕，美国能源部发布了“珊瑚计划”，将投资3.25亿美元建设两台100P－150P量级的超级计算机，另投入1亿美元用于应用软件的开发与升级。计算机强国日本也不甘落后，2011年11月，实现首台万万亿次（10.51P）计算机“京”（K－Computer）。与此同时，日本政府于2011年投资13亿美元用于E级计算机的研究，预计于2020年前实现他们的E级计算机。欧盟集欧洲各国的力量，力争持续增强自身的竞争力。2010年，欧洲将E级计算纳入其第七框架计划，为泛欧E级高性能计算服务的实现制定了路线图并开展研制；欧洲巴塞罗那超算中心计划在近期构建性能高于200P的计算机系统［11］。俄罗斯作为一个超级大国，也已实施“2012－2020俄罗斯E级技术发展”计划，计划投资15亿美元，于2020年前实现E级计算机［11］。亚洲邻国印度不甘示弱，计划投资20亿美元，于2017年建成世界最快的高性能计算机。我国政府对E级计算也高度重视，国家科技部等机构对E级计算机及相关领域应用软件开发给予了持续投入，“天河二号”有望在近期升级至100P，而E级高性能计算机的研制亦正在紧锣密鼓地进行。尽管E级计算机研制本身仍存在较多的技术瓶颈，尤其是能耗问题，预期研制进度（2020年）有可能推迟，但是2025年前投入使用，2030年前提供稳定应用应该没有问题。

高性能计算机的迅猛发展为计算科学和科学研究提供了前所未有的发展机遇。当我们为我国在高性能计算机领域取得的辉煌成就而欢欣鼓舞时，我们应该清晰地认识到，我国在以CFD为代表的大规模应用软件的开发方面，与西方发达国家相比仍有很大的差距。这一差距使得我国的高性能计算机尚未能充分发挥应有的作用。

2 国内外超大规模CFD计算现状与面临的挑战

目前，大规模CFD模拟已在以航空航天为代表的工业领域得到广泛应用［2－4］。在美欧等航空航天强国，基于大量风洞试验的气动设计传统模式，正在向以CFD为核心的多学科多目标优化设计并经风洞试验验证的新模式转化。从国内外发展趋势来看，CFD在飞行器设计中发挥的作用日益凸显，据文献显示，在美国航空航天飞行器研制中，CFD占整个气动研究工作的比重已达50%左右，而波音公司CFD在气动设计工作中的比重更是达到70%［12］。目前，以二阶精度计算格式为基础的CFD软件在模拟能力、数据质量和生产效率等方面已能基本满足飞行器常规状态气动特性预测的需求。就飞行器常规状态的CFD数值模拟而言，西方先进国家的计算网格规模已达数千万，部分达到数亿量级（主要用于RANS模拟），少量达到百亿量级以上（如在第八届国际计算流体力学会议上，日本学者Kato教授介绍了他们采用320亿网格在“京”超级计算机上进行汽车LES的应用实例［13］）；在运算处理器（Processing Unit or Computing Core）规模方面，一般为数百至数千核，少量达到数万甚至数十万以上；在计算模型或方法方面，仍普遍采用RANS模型，部分采用URANS、RANS／LES（或DES）等模型，少量采用了LES模型。在基础研究领域，关于湍流的直接数值模拟（DNS），其计算网格规模已达数十亿，甚至上千亿，如美国于2013年在激波与各向同性湍流相互干扰的数值模拟中采用了4.1T（1012）网格、利用了197万个核进行超大规模的并行计算［14－15］。

在国内，由于计算机资源的限制，对于中等复杂程度的飞行器构型（如机动导弹），一般采用数百万的计算网格；对于复杂的全机构型（如C919民航客机），网格规模也已达到数千万；对于极少数的极端复杂外形（如16车编组高速列车），网格规模达到6.5亿。在运算处理器规模方面，由于条件的限制，一般采用数十至数百核进行分区并行计算；个别算例进行过数万至十余万核的并行测试。例如，中国空气动力研究与发展中心计算空气动力研究所于2014年初曾在广州超算中心的“天河二号”上，利用自主开发的CFD软件平台，进行过十三万纯CPU核的并行测试；中国科学院软件研究所于2014年在“天河二号”上实现了6144个异构计算节点（14.7万CPU核＋105.1万MIC核）的区域欧拉中尺度大气模拟［16］。

总体而言，经过半个多世纪的发展，CFD已在很多领域得到成功应用，并呈现蓬勃发展的强劲势头。但是我们应清醒地认识到，CFD在许多方面仍存在极大的挑战［4，17－18］，比如：1）飞行器全包线的高保真度气动特性模拟，尤其是带动力飞行器在全包线内的大涡模拟；2）耦合飞行控制律、飞行力学、结构动力学的动态数值模拟，即所谓的“数值虚拟飞行”；3）动力系统（发动机）的真实物理／化学过程的数值模拟，尤其是涡扇发动机非设计状态的瞬态模拟；4）以CFD为核心的飞行器多学科多目标优化设计（MDAO）和概率设计；5）基于CFD的飞行器气动声学特性直接数值模拟；6）高超声速飞行器气动热环境／热响应／热应力等多物理场的一体化耦合计算，等等。当然，这些仅是部分具有代表性的挑战性问题，更多挑战性的问题绝非仅限于此。以下就上述挑战性问题进行简要分析。

2.1 飞行器全包线的高保真度气动特性模拟

在最简单的应用中，通过计算确定整个飞行包线相关参数点上的气动力和力矩，可以获得纯静态的气动数据库。飞行包线参数空间可以分为流动参数和几何参数。例如，流动参数一般包括Mach数、迎角和侧滑角等；几何参数包括各种控制面的偏角，例如副翼、升降舵、方向舵等。如果我们假设对于每个参数需要5个状态的计算结果（往往远不止五个状态），需要计算的参数矩阵大小将是5p，其中p＝参数个数。如果考虑更多的物理参数或更复杂的气动效应，如发动机推力装置、Re数效应等，需要模拟的状态总数将很容易达到百万量级［4］。因此对计算机在短时间内提供百万量级状态计算结果的“容量计算”能力提出了很高的要求。

在P级计算机问世前的2004－2005年，美国CFD专家利用他们当时最为成熟的CFD软件（Cart3D和OVERFLOW），在当时NASA最先进的SGI工作站（256CPU，400MHz MIPS4处理器）上，一周的时间也只能进行2863个无粘流状态（140万Cartesian网格）和211个定常粘性流状态（850万重叠结构网格）的计算［4，19］。

因此，对于上百万状态的气动数据库建设，即便是在现有的P级计算机上，采用完全的RANS模拟也是非常困难的，更不要说RANS／LES和LES了。鉴于当前计算机资源的限制，目前常用的做法是利用高效的低保真度计算方法（如Euler方程流场解算器，甚至面元法等）建立基础数据库，然后利用高保真度方法（RANS方法等）进行典型状态的差量计算（一般取数千个状态），确定粘性干扰效应、真实气体效应、稀薄气体效应等的影响差量，进而修正低保真度计算结果。当然，利用现代试验设计方法，可以大幅减少计算状态，但是高保真度的气动数据库建设仍需要充分的气动数据，因此计算量无疑是巨大的。

由此可见，E级计算机的问世将为我们提供更加强大的计算资源，解决众多状态中等规模（数千万网格、数百至数千核）并行的“容量”计算问题。然而典型状态的“能力”计算（如带动力飞机全机构型的大涡模拟）仍是重大挑战性问题之一［17］。在这种情况下，CFD的模拟能力集中体现在能否准确模拟飞行包线关键点处绕复杂飞机构型的流动，如低速起飞和着陆状态、跨声速抖振、大迎角大范围流动分离等。在这些情况下，气动性能高度依赖于湍流现象，如流动分离和激波－边界层干扰的预测。显然，为实现该目标，仅靠高性能计算的进步并不足以解决这一重大挑战问题，必须在计算方法、物理模型等方面持续改进，同时研发适应超大规模计算平台、经过全局优化的流场解算器。

2.2 数值虚拟飞行一体化模拟

更加具有挑战性的问题是时间相关的机动飞行器动态模拟，即所谓的耦合了“气动／运动／控制／结构／动力”等因素的“数值虚拟飞行”一体化模拟（Virtual Flight Simulation或Digital Flight）［18］。对比前面讨论的静态气动数据库方法，这里的全飞行包线气动特性是无法预先得到的。每次单个动作的机动和轨道运动将需要一次全新的时间相关计算。该方法的优点在于它能精确地计算在飞行包线内目标区域的全动态、非线性和多学科耦合效应，但是这反过来对单个解算器的效率和多学科耦合计算方法提出了更高的要求，而且动态模拟也极大地增大了计算量。

据2006年的文献介绍［18］，利用当时最新的CFD解算器（TLNS3D）和最先进的硬件设备（NASA的Columbia超级计算机），对某飞行器60秒飞行时间的模拟大约需要512个CPU运行1.5天（网格规模5千万，时间分辨率50Hz）。如果增加空间分辨率或提高时间分辨率，或者延长模拟的飞行时间，亦或考虑其他更多的物理效应（如结构分析、气动加热等），计算时间很容易就增长1个以上的量级。很显然，现有计算机硬件的计算能力无法满足“数值虚拟飞行”在数小时内完成模拟任务的实际需求。

尽管现有计算方法的保真度在网格分辨率、模型复杂度、多学科耦合等方面还达不到我们期待的要求，但是最近的研究表明：在现有的P级计算机上进行机动飞行器的多学科耦合动态模拟仍是可能的，而E级计算更为数值虚拟飞行提供了坚实的后盾。自2007年始，美国国防部高性能计算现代化计划（DoD HPCMP）开始实施总投资达3.6亿美元的雄心勃勃的CREATE项目（Computational Research and Engineering Acquisition Tools and Environment）。该项目旨在研发关于舰船、飞机、雷达等的设计和分析软件系统［20－21］。其中关于飞行器的分项名为CREATE－AV，其又包括四个子项，即：直升机虚拟模拟工具（Helios）、固定翼飞机虚拟模拟工具（Kestrel）、机体／推进一体化模拟工具（Firebolt）和概念设计工具（DaVinci）。该项目计划持续12年，从2010年开始每个子系统每年推出一个升级版本。与固定翼飞行器虚拟飞行直接相关的是Kestrel软件系统，其目的是建立耦合空气动力学、结构动力学、飞行动力学和运动学的一体化模拟平台。在研发过程中，他们利用该软件对F16C、F／A－18E、F－22等先进战斗机进行了大量的静动态气动特性模拟及气动力建模分析，并将CFD计算结果与气动力建模结果、风洞试验乃至飞行试验结果等进行了比较。虽然气动力系数存在一定的差异，但是对于如此复杂的飞行器，其整体趋势和量值已比较令人满意，而且其计算效率也令人鼓舞［21］。而国内在这方面的研究才刚刚起步，相关研究工作严重滞后。

2.3 动力系统的真实物理／化学过程的数值模拟

利用三维非定常CFD方法模拟完整的发动机将可以形成虚拟发动机实验的能力，这将有助于我们加深对各部件间相互干扰的理解，进而改进和优化设计，提升发动机整体性能。例如，普惠发动机公司（Pratt＆Whitney）使用改进的CFD方法，直接将昂贵的喷气发动机高压实验次数削减了50%［9］。然而，在最近十几年内发动机实验次数仅有10%的减少，其主要原因是用于飞机推进的燃气涡轮发动机的流体力学问题本身比外流空气动力学更复杂；而且发动机几何构型也更复杂，其由上千个贯穿整个涡轮机的活动部件、燃烧室的多相反应流以及涡轮叶片内错综复杂的冷却通道组成［9］。

对于燃烧室内复杂的湍流混合燃烧和多物理／化学现象（液体燃料分解、高温气体混合和化学反应）的模拟，当前普遍采用的RANS方法已不适应，需要利用高保真度的LES方法。因此，美国在这方面开展了大量的前期研究工作，以发展复杂环境下湍流燃烧模拟的LES方法。1997年，由于当时计算资源的限制，湍流燃烧的第一次大涡模拟仅限于对一个简化的同轴腔燃烧室内的气相燃烧的研究［22］；而到2007年，斯坦福大学和普惠公司合作，已能进行一个真实的燃烧室（PW6000发动机燃烧室）20度扇面的LES模拟，并与涡轮机组的RANS模拟相集成（耦合）［23］（图2）。该模型中包含了注入的液体燃料如何分解成液滴，以及液滴的拉格朗日跟踪、蒸发和燃烧等。

图2 Stanford大学领导的DOE ASC项目中高保真度发动机模拟模型分解图。压缩机和涡轮机采用RANS模拟，燃烧室采用LES方法模拟（取自文献［4］）Fig.2 Decomposition of the engine for flow simulations for high fidelity simulations performed at Stanford University under the DOE ASC program.Compressor and turbine simulations are performed with RANS models；Combustor simulation is performed with LES（From Ref.［4］）

2010年前后，科学家们首次利用P级计算机（阿贡国家实验室的BlueGene／P）和LES方法模拟了完整的直升机燃烧室［9］，给出了发动机内的不稳定湍流运动和声波传播的清晰描述（图3）。在此基础上，工程师们将可以设计相应的控制方法以防止这种不稳定现象的发生。然而，全发动机湍流燃烧及整机进排气耦合模拟，尤其是涡扇发动机非设计状态的非定常模拟，仍是一个巨大的挑战。对整台发动机进行时间相关的模拟，将包括全环旋转部件、二次流、燃烧化学和耦合热传导等复杂几何和复杂流动现象。与前述的第一个重大挑战问题类似，为达到这一目标，将需要在分离流的精确预测、复杂几何外形处理、滑移和自适应网格生成以及非线性非定常流CFD技术方面取得突破性进展，并得到精细实验的验证与确认。此外，在大范围变时间尺度的内流计算、燃烧过程和热混合的预测精度方面也需同步发展。

图3 直升机燃烧室喷油嘴附近的瞬时温度（左）和压力（右）分布（取自文献［9］）Fig.3 Instantaneous temperature（left）and pressure（right）fields on a cylinder view plane passing through the injectors of the helicopter chamber（From Ref.［9］）

2.4 以CFD为核心的飞行器多学科多目标优化设计和概率设计

现代飞行器对飞行性能和飞行品质的要求越来越高。随着优化理论的发展，优化设计作为一种强大的设计工具已被广泛地应用于飞行器设计领域。这种方法可以在确定约束条件后，在计算机上自动地进行最优化设计，减少对设计师经验的依赖，提高设计效率，改善设计质量，节约设计经费，因而受到世界各国的极大重视。

以CFD为核心的多学科多目标优化设计不仅涉及空气动力学，还涉及到结构气动弹性变形、气动噪声特性、隐身性能、推进系统、飞行控制等等；对于高超声速飞行器，还需要考虑气动热环境与热防护、气动物理特性等等。在当前的计算机资源条件下，多学科优化设计只能将现有的各学科低保真度模型耦合起来进行计算；另一个采用低保真度模型的因素，是这些模型通常在较宽的范围内比高保真度模型更容易耦合，并且更鲁棒。因此，各学科均采用高保真紧耦合的计算模型和方法是对未来E级计算的重大挑战，尤其是需要考虑高保真度的非定常计算模型时［4］。

以旋翼的优化设计为例，在前行的叶片上，会产生跨声速效应，而后行的叶片则会发生边界层分离。在某些飞行条件下，叶片与前面叶片的尾涡接近和相交时会发生叶片／旋涡相互作用（Blade Vortex Interaction，BVI）。BVI是旋翼飞机的主要噪声来源。由于旋翼空气动力学和结构动力学的强烈耦合，旋翼飞机设计往往需要多学科分析，这进一步增加了复杂性。例如，边界层分离引起的非定常气动力会降低旋翼性能并增强其叶片的疲劳。在极端情形下，由此导致的叶片颤振会限制直升机的飞行包线。作为典型的空气动力学和结构动力学耦合问题，旋翼飞机设计采用多学科分析已经超过三十年，然而，直至今日，多学科模型仍然是低保真度的［24］。在2006年的综述论文中，Strawn、Caradonna和Duque等［25］指出，目前在旋翼飞机设计中应用CFD方法主要有如下两个方面挑战：一是后行叶片失速；二是旋翼尾迹演化。对叶片失速来说，困难在于适当的转捩和湍流模拟手段。旋翼尾迹演化的挑战则在于，在许多个涡核长度的距离上，对涡结构对流的精确模拟。他们估计精确的尾迹对流模拟需要超过10亿网格点，除非发展出动态自适应方法或其他涡保持方法。在实践中，由于非定常流动和叶片运动的存在，需要发展非定常问题的优化方法。对于定常优化问题，伴随矩阵方法是一种较好的选择。而对非定常问题，需要求解一个非定常伴随矩阵，伴随矩阵与非线性问题本身的时间推进方向相反：从最后的模拟时间向初始条件推进。因此，非定常伴随矩阵方法的计算开销令人生畏。假定流场和伴随矩阵求解要求大致相等的计算量，相应的优化分析的计算量将是流场计算的100到200倍。由此估算，非定常旋翼飞机优化设计问题，采用1亿网格点模拟全360°叶片旋转将需要10000个核在60个小时（墙上时钟）内完成［4］。其计算量无疑是惊人的。

概率设计方法应用于航空航天工业的结构分析和设计已经有超过二十年的历史［26］。例如，NASA已经将概率设计的方法应用于先进发射系统的可靠性评估［27－28］。此外，NASA开发了一套概率结构分析软件（Numerical Evaluation of Stochastic Structures Under Stress，NESSUS），这一软件已经被用于航天飞机主发动机关键结构部件的静、动态分析。同样，美国空军采用概率设计工具来减小涡轮机叶轮设计中较大的安全因子，并将概率方法应用于预测关键发动机部件以及机身的使用寿命。相对于结构分析和耐用性分析，关于气动热的概率分析和设计仍然很少，其挑战主要来源于物理现象的复杂性和由此导致的庞大计算量。

以下以涡轮叶片的寿命预测为例说明概率设计给高性能计算带来的挑战性问题。涡轮叶片的寿命预测是一个典型的多学科问题，要求模拟外部空气动力学（围绕叶片的气体通道）问题、冷却通道流动、热传导、结构动力学和寿命预测。叶片故障通常由局部现象主导，因而高保真度模拟将会是提高寿命分析可靠性的基本因素，然而遗憾的是，由于计算资源的限制，实际的分析中只能采用高低保真度模型混合的方法。叶片寿命对温度的极端敏感，每升高20℃，发动机寿命减少50%，而涡轮发动机的叶片数量进一步放大了低寿命叶片的影响。如果制造一个低寿命叶片的概率是p，那么对一组n个叶片的叶栅，具有至少一个低寿命叶片的概率为：1－（1－p）n。如果制造一个低寿命叶片的概率是1%，那么一组80个叶片的叶栅，出现至少一个低寿命叶片的概率大约为55%［29］。因此我们需要对叶片冷却装置的性能、特别是温度进行准确的预测。文献计算显示，采用三维非定常Navier－Stokes方程模拟包含独立冷却孔和简化内流通道（无涡流发生条）的一级涡轮，采用210万的重叠网格，大约需要500CPU核小时。Burdet和Abhari估计，准确模拟膜冷却涡轮叶片所需要的网格点数在5000万到1亿［30］。如果我们假定概率方法作寿命预测需要1000次模拟，并且计算开销主要来自CFD分析，那么保守估计概率寿命分析将需要10000个CPU核运行2500个小时（墙上时间）［4］。由此可将，其庞大的计算量对现有的计算机资源是一种极大的挑战。

2.5 基于CFD的飞行器气动声学特性高精度模拟

噪声问题是高速飞机面临的主要问题，而湍流是飞机噪声的主要来源。不幸的是，通过现代光学诊断技术，还无法测量时空数据来揭示气动噪声的机理；只有高保真的模拟技术，如大涡模拟，甚至DNS，才能够预测噪声及其产生过程中湍流涡旋的具体细节。

与传统的计算流体动力学相比，气动声学有很多独特性，主要表现为：1）多尺度特征。声场信号引起的物理量变化与流体介质运动所引起的物理量变化相比相差巨大，比如马赫数为1.5的喷流出口40倍直径处的噪声为124dB，声波的脉动速度与喷流的速度之比是1.5×10－4，压力脉动也具有类似的比值；2）噪声频带很宽；3）衰减速度慢，传播距离远。噪声传播距离比流体运动空间大很多。在近场，流体介质的非定常运动产生声波；在远场，声波的运动几乎是无色散无耗散的等熵运动；4）非定常特性。气动噪声是流体介质的非定常运动产生的，定常运动不会产生噪声；5）对边界条件敏感、难于处理。由于气动噪声是一种微弱的信号，对边界条件非常敏感，如果处理不当则会产生很强的反射声波。

这些特点构成了对CFD的严峻挑战，并形成了一个相对独立的学科——计算气动声学（CAA）。从“纯”数值模拟的角度来看，计算气动声学对格式的要求非常高，需要数值格式具有高阶精度、高分辨率、低耗散、低色散特性；对超声速问题，还需要格式能够捕捉强激波，目前尚缺乏较为理想的计算格式。由于必须采用高阶精度计算格式，且需要足够密的计算网格，因此其计算量无疑是惊人的。正是由于当前计算机条件的限制（当然也有计算方法和模型不够成熟的原因），目前的工程应用中仍普遍采用Lighthill的声比拟方法等获取远场的声学特性，少量的研究工作利用RANS、LES或RANS／LES混合方法进行近场声源的计算，远场传播采用Euler方程进行计算或直接用更简单的工程方法。

E级计算将对噪声产生的机理研究带来变革性的影响，并会在消减噪声的方案设计中发挥重要作用。2010年，CFD工作者首次利用大涡模拟方法，对超声速射流湍流噪声进行了直接数值模拟［9］。虽然模拟结果与实测噪声数据基本吻合，但是对于喷嘴内的流动还没有实现高分辨模拟，原因可能是网格分辨率不足。这种演示性计算已经相当费力，并且仅限于非常简单的外形。随着E级计算的来临，高可信度工具不仅会用于了解和预测流动所产生的噪声，还能用于流动和噪声控制。

2.6 高超声速飞行器气动热环境／热响应／热应力等多物理场的一体化耦合计算

无论是传统的战略导弹还是新型大推力火箭，无论是载人航天飞行器还是新型临近空间高超声速飞行器，其不可避免地会涉及到气动热环境的预测、热传导问题的分析和热防护系统的综合设计。传统的设计模式是先根据飞行性能指标设计气动外形，然后进行气动热环境的预测，根据气动热环境选取相应的防热材料，进行防热结构设计。如此循环迭代的周期很长，而且为了安全起见，防热系统设计往往过于保守，导致结构重量过大、有效载荷减少。新型的设计模式应该是在气动力、气动热、热传导、热应力等的精确预测的基础上，与飞行弹道和飞行控制耦合进行气动／防热系统的一体化设计。然而，遗憾的是，由于计算机条件的限制，目前尚无法实现真正意义上的一体化综合设计。其中的主要挑战表现为以下几个方面：

1）复杂外形的气动热环境精确预测。对于简单的高速声速外形（如球锥等），传统的工程估算方法亦能得到较好的结果。但是对于复杂外形高超声速飞行器，由于其存在复杂的激波干扰、层流至湍流的转捩等现象，表面热环境的预测必须采用高精度的数值计算方法，由于热流分布与边界层内的温度梯度相关，因此对计算网格的质量和数量具有更严格的要求，其收敛速度较常规气动力计算慢数倍，相应的计算量是气动力计算的数倍甚至数十倍。另一方面，在高超声速情况下，往往要考虑高温热化学非平衡效应，由此需要考虑复杂的化学反应动力学模型、壁面烧蚀／催化模型；在更真实的情况下，还应考虑湍流转捩、壁面温度变化等的影响，其本身就是一个计算量巨大的任务。

2）热气动弹性耦合计算。高超声速飞行器热气动弹性问题受到越来越广泛的关注，其涉及到非定常气动力、气动热环境、结构热传导和热应力／应变等多物理场的耦合。有别于航空领域的气动弹性问题，在高超声速气动加热情况下，材料的属性会随着气动加热、热传导的影响而发生变化，导致材料和结构固有振动模态及振动频率的变化，这反过来会影响机体和控制舵面的弹性变形。因此其耦合求解的难度和计算量都很大，目前尚处于初期研究阶段。

3）沿弹道的热防护系统性能分析。新型临近空间飞行器将长时间在高空热环境中飞行，而飞行性能指标又要求保持飞行器气动外形，即防热材料应尽可能不烧蚀或微烧蚀。因此，需对飞行器沿弹道的热防护系统进行性能分析。目前的方法只能是依据工程估算或少数弹道点的数值计算给出的热环境，作为输入边界条件，在数量有限的离散弹道点上进行热传导和热应力的分析，尚无法进行非定常的双向耦合计算，其主要原因是由于长时间飞行导致的计算量过于庞大，而且耦合计算的代价太高。

3 E级CFD应用面临的挑战

3.1 CFD大规模并行计算的特点及未来发展趋势

根据现有的计算机体系结构，结合CFD的自身特点，CFD大规模并行计算呈现以下主要特点：

随着国企改革进入深水区，“新电改方案”的通过标志着电力市场进一步开放，电网企业面临着更多的挑战。从内生角度降低管理成本，提质增效，以提升企业市场核心竞争力成为在开放竞争市场上取得竞争优势的重要手段[1]。集约化能够通过规模经济效益，降低管理成本；也能通过提高规范化水平，降低企业财务、审计风险；并且能够统筹资源调配，有效配置提升资源利用率。在物资合同结算管理方面，省级电网企业作为集约化管理的重要环节，起到了承上启下的作用。

1）基于网格分区的并行计算。随着所涉及的流动问题和物理模型越来越复杂，CFD工程应用中的计算网格规模由数百万已经激增至数千万，甚至数亿。对于湍流的大涡模拟和直接模拟，计算网格已经达到数十亿，甚至数千亿。对于如此庞大的网格规模，必须采用分区方法才能进行并行计算。

2）普遍采用隐式计算方法。由于显式计算方法稳定性条件的限制，为了加速流动模拟的收敛历程，一般采用各种隐式计算方法，如ADI、LU－SGS、GMRES等等；即便是对于一些非定常问题，也普遍采用双时间步方法，而子迭代中一般采用隐式方法。但是，在分区并行计算时交界面边界条件的处理难以实现隐式，因此隐式算法的分区并行如何保证与串行计算的一致一直是研究的难点问题。

3）高保真度的物理／化学模型。CFD所计算的物理模型已经由最初的线化位势流方程、过渡到Euler方程和RANS方程、并逐步过渡到全NS方程，未来BGK方程、Boltzmann方程或许也将成为主流流动控制方程。对于高超声速流动，还需要考虑复杂的化学反应热力学模型、材料烧蚀／侵蚀模型；对于发动机内流的湍流燃烧过程，需要考虑复杂的燃油雾化、燃油掺混、燃烧反应模型等等。只有采用保真度更高的物理／化学模型才能更真实地模拟实际物理／化学过程。

4）高精度的计算方法。尽管以二阶精度格式为基础的CFD方法和软件已经在航空航天飞行器设计中发挥了重要的作用，但是由于二阶精度格式的耗散和色散较大，因此对一些非常复杂的流动现象（如旋涡、分离、湍流等），二阶精度格式仍难以给出精细的流场结构，尤其是对于湍流的大涡模拟、直接模拟，必须采用高阶精度格式；在计算气动声学领域，由于声波具有小扰动、宽频特性和长距离传播等特点，二阶精度格式无法准确模拟流场的声学特性，必须采用耗散和色散更小的高阶精度计算格式。

5）CFD与其他学科的耦合并行计算。多学科多目标优化设计、数值虚拟飞行一体化计算、多介质／多相流的数值模拟、自由界面问题求解、计算电磁流体力学、气动光学、计算气动声学等等，无不涉及到CFD与其他学科的交叉融合。多物理场的耦合并行计算策略对计算结果的精度和效率将产生直接的影响。

3.2 E级计算的挑战及需要突破的屏障

2010年4月，IBM公司的《Some Challenges on Road from Petascale to Exascale》报告［31］指出E级计算系统的五大挑战，即访存、通讯、可靠性、能耗及应用。CFD数值模拟是高性能计算的主要应用领域之一，其中的计算方法、物理模型、并行策略、软件实现等均是重大挑战性问题，在前面的论述已经进行了讨论，在后文中还将涉及，因此此处暂且不表。以下就其它四个问题与CFD的关系进行简要论述：

1）访存墙问题。该问题仍然是提升计算速度的第一大难题。处理器的运算速度和访存速度之间极不匹配，CPU运算速度达到0.2ns，而存储器读写速度仅10ns；处理器单个引脚的信号传输速度和引脚数受限。多核处理器的出现只是提高了计算速度，不但没有缓解访存墙问题，反而使其变得更加严重［10］。而全机构型的湍流模拟需要亿量级（甚至数千亿以上）的计算网格，因此对访存速度提出了更高的要求。

2）通讯墙问题。超级计算机的规模不断增加，互连网络对计算性能的影响越来越大，E级计算对互连网络提出了更高的要求，互连网络已成为制约超级计算机发展的核心因素之一。分区并行计算必然涉及到分区间的信息通讯，尤其是在采用高阶精度格式和高保真度的物理模型进行计算时，通讯量更大，通讯速度直接影响并行效率。

4）能耗墙问题。资料显示目前Titan的系统功耗为8.209MW。如果照此发展，E级系统功耗将达466.7MW，全年用电量40.88亿千瓦时，相当于长沙2012年全市用电量的1／5。过高的功耗产生一系列问题，如稳定性、可用性、可靠性将降低，冷却成本将增加，使用成本将增加［10］。为了降低功耗，目前超级计算机的发展趋势是采用异构体系结构，即通用处理器CPU和专用处理器（如GPU等）的混合结构，而且普遍采用“众核”技术（如MIC）。对比传统的CPU并行计算，新型异构体系结构的并行计算策略更加复杂，如何充分发挥异构系统的并行计算效能，是当前急需解决的重大挑战性问题。

访存、通信、可靠性、能耗等问题严重制约着并行计算的可扩展性，而可扩展性是超大规模CFD并行计算需要突破的重要瓶颈问题之一。这些方面无疑涉及到计算机科学本身，同时亦涉及到CFD应用，二者的紧密耦合是问题的关键所在。

4 CFD未来发展的思考

2014年初，NASA在其《CFD Vision 2030Study：A Path to Revolutionary Computational Aerosciences》的报告［17］中，列举了未来需要重点发展的六大技术领域，即：1）高性能计算（HPC）；2）物理建模；3）数值算法；4）几何与网格生成；5）知识提取；6）多学科分析与优化（MDAO）。报告中结合E级计算的发展，提出了2030年前后的技术发展路线图（图4）。该报告对于我国CFD的发展具有很好的借鉴作用。

以上六个方面无疑是非常重要的研究领域，也是我国CFD界需要长期努力的发展方向。但是，我国的CFD在这六大领域的发展极不平衡。首先在HPC硬件水平上我国已取得重大突破，但是HPC软件水平仍相对较弱，尤其是CFD应用软件与HPC硬件的匹配方面仍十分落后；其次，我国CFD学者在计算格式的研究方面与国际水平相当，部分研究成果跻身世界前列，但是在加速收敛技术研究方面明显落后，如隐式计算方法大多采用传统方法、Multigrid技术的应用效果较国际先进水平有较大差距等等；第三，我国CFD学者在物理建模方面投入有限，物理建模方面的进展明显落后，绝大多数CFD研究人员采用的仍是国外学者建立的各种物理（化学）模型，如湍流模型、转捩模型、化学反应模型、燃烧模型等；第四，我国CFD界对网格生成技术和以流场显示为核心内容的知识提取的研究关注不够，仅有少量人员涉足该领域，目前CFD研究人员大多采用商用网格生成和流场显示软件，但是这些软件对于超大规模网格生成、动态网格生成、海量数据流场显示等有较大的限制，而关于知识提取中最为重要的气动数据库，国内基本分散于各型号研制单位，尚无统一的综合气动数据库；第五，关于多学科耦合模拟和优化，国内相关单位开展了一些研究，初步形成了多学科多目标优化设计能力，但是对于全机构型的整体优化能力仍很弱，急需提升。

根据CFD和计算机科学当前的发展趋势和面临的挑战，结合我国的具体实际，作者仅从以下几个方面谈谈我们的认识。

4.1 高保真度的计算模型

随着计算机技术和CFD本身的发展，CFD所求解的计算模型由最初的线化势流方程、全速势方程，逐步发展为Euler方程和RANS方程，近十年来进一步发展为脱体涡模拟（DES）以及RANS／LES混合模拟，并向实际构型的LES、DNS方向发展。基于RANS的湍流模型仍将是用于预测复杂构型大范围流动的标准方法。然而，对于大范围的分离流动，现有湍流模型的预测精度有限，仍需继续发展和改进湍流模型，尤其是雷诺应力输运（RST）模型［17］。在可预见的2030年前，RANS／LES混合方法或许是能够捕捉复杂外形更多流动细节的最有希望的方法，研制基于RANS／LES方法的生产型软件是可行的［17］。而实际构型的LES和DNS在E级计算机上的实现仍非常困难，可行的计算模型是所谓的壁面模型大涡模拟（WMLES）。对于实际的流动问题，除了前述的基本方程或模型外，还涉及到其它许多物理（化学）模型，如高超声速流动中涉及到热化学非平衡反应模型、壁面催化／烧蚀模型等，发动机燃烧问题中涉及到湍流燃烧模型、两相流雾化模型、火焰面模型等等；而对于稀薄流和过渡流区的模拟，CFD工作者们正努力求解由分子动力学导出的BGK方程，甚至更高阶的Boltzmann方程，期待建立连续流／过渡流／稀薄流统一计算模型。因此高保真度的计算模型是提高计算结果精准度的关键问题之一，应予以高度重视。

图4 NASA的2030年CFD发展路线图（取自文献［17］）Fig.4 Technology development roadmap of NASA CFD through 2030（From Ref.［17］）

4.2 可高度并行化的高精度数值计算方法

数值计算新算法的发展将是实现2030目标的关键。对于前述的重大挑战性问题，仅靠高性能计算机的发展将不足以实现这些目标，必须寻求新的计算方法。1）就传统空间离散格式而言，高阶精度格式无疑是重要的研究领域，其包括基于结构网格的高阶有限差分方法，基于非结构／混合网格的高阶有限体积、有限元方法，以及各种新型的混合方法等［32－34］。虽然高阶精度格式提供了更高精度的潜力，但是其仍然存在鲁棒性较差和计算成本过高等方面的问题，如何提高其对复杂外形计算的鲁棒性是当务之急。2）一些新颖的非传统方法，如格子Boltzmann方法（LBM）、浸入边界法（IBM）、无网格（Meshless）方法等或许能提供全新的解决途径，因此需要深入研究其特殊应用。3）需要特别指出的是，计算格式必须与计算网格、边界条件等相匹配，否则无法实现全场的一致高精度。4）数值方法的可并行化是未来E级计算的重中之重。超大规模的并行计算是必然趋势，如果一个计算格式在提升计算精度的同时，需要增加过多的周边网格的信息，则这种格式的可并行度就会受到较大的限制。因此，发展高度“紧致”的计算格式是适应超大规模并行化的优先选择。5）流场、结构、飞行、控制、动力、传热、防热、声学、光学、电磁等众多学科的耦合计算将是未来的重要发展趋势，发展多学科的高效耦合计算方法是当前的研究重点之一。

4.3 高效的超大规模隐式并行计算方法

正如前述，为了提高计算效率，隐式计算格式是CFD工程应用中的常用方法。尽管其已经取得长足发展，但是近10年度却少有突破，尤其是在我国CFD界，高效的隐式计算方法研究仍相对落后，急需针对实际工程问题的计算开展深入研究。1）在时间离散格式方面，包括众所周知的基于矩阵技术的隐式计算格式和各种加速收敛技术，如以GMRES为代表的Krylov方法、针对网格尺度和格式精度的hp－Multigrid方法等等，或者其他目前尚未可知的全新方法。2）隐式计算格式和各种加速收敛技术的可并行化至关重要，如何保证并行计算与串行计算结果的一致性一直是需要重点关注的问题。3）最为重要的是，与未来E级计算机异构体系结构相适应的并行计算方法。E级系统将广泛采用“流处理器”，其并行计算将是一种多级多层结构，如MPI＋OpenMP＋CUDA＋……，或许还会出现更新的并行计算编程环境。如何适应新型计算机体系结构和编程环境就成为E级并行计算的关键所在。

4.4 高度自动化的超大规模并行网格生成及自适应技术

网格生成是数值模拟的第一步。文献研究表明，网格生成的时间约占整个计算周期的60%－70%，因此其是制约CFD走向实际工程应用的“瓶颈”问题。网格生成技术研究和网格生成软件研制在20世纪90年代得到蓬勃发展，先后发展了多块结构网格、非结构网格和混合网格技术，而网格生成软件的市场化更是推动了技术的发展，大大提升了离散复杂外形的网格生成能力。然而近年来，网格生成技术的突破基本处于停滞状态，面对未来的E级计算，网格规模动辄达到数十亿，甚至千亿以上，利用人工操作生成如此大规模的计算网格显然是不现实的。为了将CFD应用者从繁重的网格生成工作中解放出来，必须发展高度自动化的网格生成技术。1）首先要建立CAD数模到表面网格生成的无缝连接，现有的CAD几何描述往往存在几何构型不封闭、曲面碎片化等不足，需要发展自动化的几何数模修补技术。2）自动化的表面和空间网格生成是提高网格生成效率的关键。然而无论是结构网格还是非结构网格，甚至混合网格，针对复杂外形粘性流动模拟的计算网格生成的自动化程度仍很低，人机交互费时费力。3）超大规模的并行网格生成是E级计算的基础，在单台微机和服务器上生成数十亿以上的网格几乎不可能，更何况千亿量级的网格。4）网格自适应技术将有效提高网格离散效率，尤其是局部各向异性网格自适应技术。当前，并行化的网格自适应、与CAD紧耦合的曲面修正、动态网格自适应、基于伴随方程的网格自适应等技术是研究热点。5）随着高阶精度格式的广泛应用，发展高阶的曲边界网格生成方法值得重视。6）动态网格技术的自动化、并行化、鲁棒性将关系到未来复杂飞行器“数值虚拟飞行”模拟的成败。

4.5 高度智能化的知识提取和三维虚拟现实显示技术

P级和E级计算将生成海量的计算数据，为更有效地利用大规模CFD和MDAO在航空航天工程中的模拟结果，应及早推进数据知识提取的研究工作，其中主要包括流场可视化，数据库的建设、管理和利用等。1）对于流场可视化，发展三维、并行、实时、虚拟可视化技术是当前及未来的发展趋势，而在生产型CFD软件中直接引入可视化能力（如所谓的“原位可视化”），为分析者提供对流场更直观、自然、方便、智能的显示界面无疑是必须的。2）数据库是进入“大数据（Big Data）”时代的主要标志，其中的数据是非常宝贵的财富，因此国际航空航天界对于气动数据库的建设非常重视，所有来源于风洞试验、数值模拟和飞行试验的数据均得到了很好的保存和利用。但是我国在这方面的投入明显不足，尚未建成完整的气动数据库，更不用说数据的开发与应用了。这在很大程度上造成了数据资源的浪费。可喜的事，我国空气动力学领域的“数据再利用”工程已经提上议事日程，风洞试验、数值模拟和飞行试验“三大手段”的数据融合、数据挖掘技术将有望发挥更为强大的作用。3）基于“大数据”的“深度学习（Deep Learning）”在互联网、人工智能等领域研究火热，将这些领域的研究成果推广应用于海量CFD数据的分析，或许能催生创新的研究成果。

4.6 通用的大规模并行CFD基础软件平台开发

无论是计算模型还是数值方法，无论是网格技术还是流场显示，归根到底都需要利用计算机语言，开发相应的CFD软件。软硬件的有机结合，才能实现“数值风洞试验”，开展多学科多目标“数值优化设计”，实现多学科耦合的“数值虚拟飞行”。面对E级计算的来临，传统的“面向过程”的软件设计思想已远不能满足大型通用CFD软件平台开发的需求。正如前述，大型通用CFD软件将涉及各种计算网格（结构网格、非结构网格、混合网格、动态网格、自适应网格、重叠网格、多重网格等等）、物理／化学模型（完全气体、化学非平衡气体、湍流模型、转捩模型、RANS／LES混合模型、LES亚格子模型等等）、空间离散格式（有限差分、有限体积、有限元、二阶和高阶等等）、时间推进算法（显式Runge－Kutta，隐式ADI、LUSGS、GMRES，双时间步方法，半隐半显方法及其他加速收敛策略等等）、并行计算策略（网格自动分区、MPI、OpenMP、CUDA等等）；对于多学科耦合计算和多学科多目标优化设计问题，还将涉及到结构动力学、数值传热学、燃烧动力学、多相流体力学、电磁流体力学、飞行力学、飞行控制、数值优化等等一系列计算技术；作为一个实用的工具系统，其还将涉及到计算作业管理、CAD数模构建和网格自动生成、交互式流场可视化、气动数据分析与入库等等。要想在一个统一的CFD平台上集成上述功能模块，唯有采用“面向对象”的软件设计技术，将各功能模块抽象为合适的“对象”，即各种“类（Class）”，并通过这些“类”派生出更加丰富的“子类”，对每个“类（子类）”进行适度的封装，才能保证软件系统的通用性、可维护性和可扩展性［35］。这是当前和未来大型CFD软件开发的必然趋势。

为此，当前需要开展以下方面的研究：1）通用CFD软件的体系结构和数据结构研究。大型通用软件的基础是软件的体系结构和数据结构，体系结构构建了整个软件的框架结构，而数据结构贯穿于软件体系结构之中。合理的体系结构将保证软件的可扩展性和易维护性，规范的数据结构将保证数据的完整性，提高数据的利用效率。2）针对E级计算机异构体系结构的并行支撑库开发。新型计算机异构体系结构导致并行计算更加复杂，非计算机专业人员难以全面掌握，因此有必要开发相应的并行支撑库，使得CFD研究者能更专注于自身领域的研究。3）在E级计算机上，超大规模的湍流数值模拟将涉及到百万量级以上的计算单元并行。正如前述，如此规模的计算单元协同运行，必然会出现故障单元，依据现有的计算模式，一旦一个计算单元出现故障，将导致整个计算任务的失败。不仅浪费资源，更有可能无法得到最终结果。因此，在软件设计过程中引入“容错”算法是非常必要的。在某些计算单元出现故障时自动复制到备份单元继续计算，这样才能维持整个作业的正常运行。4）自动化的CFD验证与确认平台研制。验证与确认是CFD软件研制的重要环节，而验证与确认是一项系统工程，软件每一处细小的改动，均需要经过系列算例的严格对比计算，方可在新版本的软件中得到认可。而目前的验证与确认工作主要依靠开发者人工发送计算作业，手动收集计算结果进行对比分析，这占用了CFD软件开发者的大量时间，严重影响了大型CFD软件的开发效率。因此开展自动化的测试及验证与确认平台的研制非常重要。

5 结束语

本文对当前国内外CFD高性能计算的现状进行了概述，探讨了当前CFD的重大挑战性问题及未来发展趋势，并对E级计算给CFD带来的机遇与挑战进行了分析，最后就如何适应未来E级计算，对CFD发展之路进行了探讨。

显然，E级计算的来临，将带给计算流体力学革命性发展，由此将带来流体力学、空气动力学的创新发展，进而推动航空航天飞行器设计的重大革新。但是，我们也应该清晰地认识到，要实现这一宏伟目标仍有很长的路要走，仍面临众多的重大挑战。而解决这些挑战性问题，仅靠CFD界的努力是远远不够的，必须与计算机科学、计算和应用数学、物理化学等学科的研究人员开展紧密的“协同设计（Co－design）”。

协同设计是E级计划的关键组成部分。在迈向E级计算的征途中，有必要从早期系统设计阶段就纳入协同设计的理念，无论是计算机硬件系统还是计算机基础软件，无论是CFD应用软件还是相关领域的工程应用，都需要多学科的协同设计。唯有此，才能保证E级计划的成功。

虽然在迈向E级计算的征途中，我们会遇到前所未有的挑战，但是我们有理由相信，E级计算是势不可挡的发展趋势，E级计算的实现必将带来CFD和航空航天应用领域的革命性突破。

［1］Computational Science：Ensuring America’s competitiveness.Report to the President［R］.President’s Information Technology Advisory Committee，June 2005.

［2］Shang J S.Three decades of accomplishments in computational fluid dynamics［J］.Progress in Aerospace Sciences，2004，40：173－197.

［3］Johnson F T，Tinoco E N，Yu N J.Thirty years of the development and application of CFD at Boeing commercial airplanes，Seattle［R］.AIAA 2003－3439.

［4］Mavriplis D J，Darmofal D，Keyes D，et al.Petaflops opportunities for the NASA fundamental aeronautics program［R］.AIAA 2007－4084.

［5］Lesieur M，Metais O，Comte P.Large－eddy simulations of turbulence［M］.Cambridge University Press，2005.

［6］Moin P，Kim J.Tackling turbulence with supercomputers［J］.Scientific American，1997，276（1）：62－68.

［7］Tinoco E N.The impact of high performance computing and computational fluid dynamics on aircraft development［EB／DB］.2009.http：／／www.casc.org／meetings／09sept／Edward＿Tinoco.ppt

［8］Haase W，Braza M，Revell A.DESider－a European effort on hybrid RANS－LES modeling，results of the European－union funded project，2004－2007［R］.Springer－Verlag Berlin Heidelberg，2009.

［9］The ASCAC Subcommittee on Exascale Computing.The opportunities and challenges of exascale computing［EB／DB］.2010.http：／／science.energy.gov／～／media／ascr／ascac／pdf／reports／Exascale＿subcommittee＿report.pdf（又见：田荣，黎雷生，王迎瑞等译，百亿亿级计算机遇与挑战［J］.信息技术快报，2012，10（3）：1－49）

［10］杨学军.E级计算的挑战与思考［R］.2012全国高性能计算大会（HPC China 2012），特邀报告.湖南张家界：2012，10.

［11］陈皖苏，李利.欧洲E级计算概览［J］.高性能计算发展与应用，2012，2：2－5.

［12］Jameson A.The role of CFD in preliminary aerospace design［C］／／Proceedings of FEDSM 03 4th ASME JSME joint fluids engineering conference，FEDSM2003－45812，Hawaii，USA，2003.

［13］Kato C.Engineering applications of fully－resolved LES：present status and future perspectives［C］／／The eighth international conference on computational fluid dynamics，Chengdu，China，July 14－18，2014.

［14］Bermejo－Moreno I，Bodart J，Larsson J，et al.Solving the compressible Navier－Stokes equations on up to 1.97million cores and 4.1trillion grid points［C］／／SC13，November 17－21 2013，Denver，CO，USA.

［15］Larsson J，Bermejo－Moreno I，Lele S K.Reynolds－and Machnumber effects in canonical shock－turbulence interaction［J］.Journal of Fluid Mechanics，2013，717：293－321.

［16］Xue W，Ranjan R，Wang L.Ultra－scalable CPU－MIC acceleration of mesoscale atmosphere modeling on Tianhe－2［J］.IEEE Transaction Computers，2015，64：2382－2393.doi：10.1109／TC.2014.2366754.

［17］Slotnick J，Khodadoust A，Alonso J，et al.CFD vision 2030 study：apath to revolutionary computational aerosciences［R］.NASA／CR－2014－218178，2014.

［18］Salas M D.Digital flight：The last CFD aeronautical grand challenge［J］.Journal of Scientific Computing，2006，28（2／3）：479－505.

［19］Murman S M，Aftosmis M J，Nemec M.Automated parameter studies using a Cartesian method［R］.AIAA Paper 2004－5076，presented at the 22nd AIAA Applied Aerodynamics Conference，Providence，RI，August 2004.

［20］Morton S A，Eymann T A，Lamberson S，et al.Relative motion simulations using an overset multimesh paradigm with Kestrel v3［R］.AIAA 2012－0712.

［21］Dean J P，Clifton J D，Bodkin D J，et al.High resolution CFD simulations of maneuvering aircraft using the CREATE／AVKestrel solver［R］.AIAA 2011－1109.

［22］Pierce C D，Moin P.Large eddy simulation of a confined coaxial jet with swirl and heat release［R］.AIAA 1998－2892.

［23］Moin P，Iaccarino G.Complex effects in large eddy simulations［J］.Lecture Notes in Computational Science and Engineering，2007，56：1－14.

［24］Kunz D L.Comprehensive rotorcraft analysis：past，present，and future［R］.AIAA 2005－2244.

［25］Strawn R C，Caradonna F X，Duque E P N.Thirty years of rotorcraft computational fluid dynamics research and development［J］.Journal of the American Helicopter Society，2006，51（1）：5－21.

［26］Lykins C，Thomson D，Pomfret C.The air Force’s application of probabilistics to gas turbine engines［R］.AIAA 94－1440－CP，1994.

［27］Safie F M.Use of probabilistic design methods for NASA applications［J］.Reliability Technology，1992，28：17－24.

［28］Chamis C C.Probabilistic structural analysis methods for space propulsion system components［J］.Probabilistic Engineering Mechanics，1987，2（2）：100－110.

［29］Sidwell V，Darmofal D.The impact of blade－to－blade variability and assembly on turbine cooling performance［J］.ASME Journal of Turbomachinery，2005，127（4）：763－770.

［30］Burdet A，Abhari R.Three－dimensional flow prediction and improvement of holes arrangement of a film－cooled turbine blade using a feature－based jet model［J］.ASME Journal of Turbomachinery，2007，129（2）：258－268.

［31］Steinmacher－Burow B，Gara A.Some challenges on road from petascale to exascale［EB／DB］.http：／／www.physik.uni－regensburg.de／forschung／wettig／workshops／APO＿April2010／talks／20100404%20IQCD%20RegenburgStainmacher－Burowv07.pdf

［32］Zhang L P，He L X，Liu W，et al.Reviews of high－order methods on unstructured and hybrid grid［J］.Advances in Mechanics，2013，43（2）：202－236.in Chinese）张来平，贺立新，刘伟，等.基于非结构／混合网格的高阶精度格式研究进展［J］.力学进展，2013，43（2）：202－236.

［33］Ekaterinaris J A.High－order accurate，low numerical diffusion methods for aerodynamics［J］.Progress in Aerospace Sciences，2005，41：192－300.

［34］Wang Z J.High－order methods for the Euler and Navier－Stokes equations on unstructured grids［J］.Progress in Aerospace Sciences，2007，43：1－41.

［35］He X，Zhang L P，Zhao Z，et al.Research of general large scale CFD software architecture and data structure［J］.Acta Aerodynamica Sinica，2012，30（5）：557－565.（in Chinese）赫新，张来平，赵钟，等.大型通用CFD软件体系结构与数据结构研究［J］.空气动力学学报，2012，30（5）：557－565.

The opportunity and grand challenges in computational fluid dynamics by exascale computing

Zhang Laiping1，2，＊，Deng Xiaogang1，3，He Lei2，Li Ming2，He Xin1，2
（1.State Key Laboratory of Aerodynamics，China Aerodynamics Research and Development Center，Mianyang Sichuan 621000，China；2.Computational Aerodynamics Institute of China Aerodynamics Research and Development Center，Mianyang Sichuan 621000，China；3.National University of Defense Technology，Changsha Hunan 410074，China）

Exascale computer system will come into service in around 2020，and exascale computing will lead to transformational changes in computing scientific and scientific research.In Computational Fluid Dynamics（CFD），one of the main application fields of high performance computing，computing at the exascale promises dramatic advances in our capabilities to model and simulate complex phenomena of flows，at levels of fidelity that have the potential to dramatically change both our understanding and our ability to comprehend.Thus，there are almost certain to be great benefits to going to the exascale.In this paper，the opportunity and grand challenges in CFD were discussed with approaching of exascale computing.Firstly，the current progress of high performance computing in CFD was reviewed briefly.Secondly，the grand challenges and development tendency in CFD itself and applications of exascale computing in CFD were discussed.Finally，the suggestion for the development of future CFD was presented in the authors’opinion.In order to achieve the goal of exascale computing in CFD，the co－design of CFD，applied the applied math，the computer science，and the hardware community（including the hardware vendors）should be closely coupled in the exascale program.

exascale computing；high performance computing；computational fluid dynamics

V211.3

Adoi：10.7638／kqdlxxb－2014.0118

0258－1825（2016）04－0405－13

2015－02－14；

2015－03－23

国家自然科学基金（11532016，11272339）

张来平＊（1968－），研究员，博士生导师，主要从事非结构／混合网格生成技术、基于非结构／混合网格的计算格式、非定常流动机理等方面的研究与应用.E－mail：zhanglp＿cardc＠126.com

张来平，邓小刚，何磊，等.E级计算给CFD带来的机遇与挑战［J］.空气动力学学报，2016，34（4）：405－417.

10.7638／kqdlxxb－2014.0118 Zhang L P，Deng X G，He L，et al.The opportunity and grand challenges in computational fluid dynamics by exascale computing［J］.Acta Aerodynamica Sinica，2016，34（4）：405－417.