复杂工程建模和模拟的验证与确认

王瑞利+温万治

摘要： 综述国内外建模和模拟（Modeling and Simulation，M&S）的验证与确认（Verification and Validation，V&V）的相关概念、术语、规范、置信度评估方法和应用等方面的发展和研究进展，概括M&S的V&V中的几个关键问题，构建复杂工程M&S的V&V的知识指南，为M&S的V&V技术真正走向应用提供参考.

关键词： 复杂工程； 建模和模拟； 验证与确认； 置信度评估； 知识指南

中图分类号： TB115文献标志码： A

Abstract： The development and research advances of Verification and Validation（V&V） of Modeling and Simulation（M&S） in China and abroad are reviewed， including concepts， terminologies， specifications， and confidence evaluation methods and applications； a few key issues in V&V of M&S are summarized； a knowledge guide of V&V of M&S for complex engineering is given， which provides reference for the practical application of V&V of M&S.

Key words： complex engineering； modeling and simulation； verification and validation； confidence evaluation； knowledge guide

0引言

在科学和工程设计过程中，理论、实验和数值模拟是3种基本研究手段.现代计算机硬件和软件能力的飞速发展为强化高性能、大规模数值模拟研究提供前所未有的条件，数值模拟的重要性愈加显著.数值模拟中建模和模拟（Modeling and Simulation，M&S）本身的可信度评估是高置信度数值模拟的核心，直接影响基于数值模拟和少量试验支撑的复杂系统的可靠性认证.验证和确认（Verification and Validation ，V&V）是复杂工程系统可靠性认证中M&S置信度评估的重要手段.近年来，随着数值模拟系统日益广泛应用，V&V的重要性愈来愈为数值模拟系统开发者和使用者所重视，对V&V概念、理论、标准和相关方法的研究已成为复杂工程M&S可信度评估的重要内容.1复杂工程M&S的V&V现状

1.1国外研究现状和发展趋势

数值模拟在工业设计、产品性能分析和优化设计中的地位日显重要，国外尤其是美国非常重视M&S的V&V的概念、术语、规范、可信度评估方法和应用等的研究.

1.1.1概念、术语和规范

早在20世纪六七十年代，美国计算机仿真学会（Society for Computer Simulation，SCS）成立模型可信性技术委员会（Technical Committee on Model Credibility，TCMC），专门进行与M&S置信度评估相关的V&V方法的概念、术语和规范的研究.在20世纪90年代确定的V&V哲学观点无法对工程和技术领域的仿真结果进行可信性评估.20世纪90年代以后，由于M&S置信度评估在国家重大工程的研发和设计中的重要性越来越强，国外许多政府、民间部门和学术研究机构先后成立相应的组织或协会，以制定各自的M&S置信度评估及V&V的概念、术语和规范.美国几大工程协会不断组织人力、投入资金开展M&S置信度评估概念、术语和规范的研究.自1984年美国电器与电子工程师协会（Institute of Electrical and Electronics Engineers，IEEE）出版V&V相关术语至今，V&V相关概念、术语、规范一直都在完善.这些术语随后被美国核科学协会（American Nuclear Society，ANS）和国际标准化组织（International Organization for Standardization，ISO）采用，建立各自领域的标准.美国航空航天学会（American Institute of Aeronautics and Astronautics，AIAA）组织各个不同行业的代表进行研究，于1998 年起草计算流体动力学验证和确认的指南；2010年以来在此领域一直很活跃的OBERKAMPF等[1]对此进行系统总结，综述机械工程领域现代数值模拟中M&S的V&V的发展，详细全面论述M&S的V&V的基本概念、原理、步骤和系统的发展过程.1996年，美国国防部（Department of Defense，DoD）的国防建模与仿真办公室（Defense Modeling Simulation Office，DMSO）成立军用仿真V&V工作技术支持小组，专门制定验证、确认和认证（Verification，Validation and Accreditation，VV&A）技术发展的政策与规范，并逐渐形成系统仿真领域的VV&A体系.[2]1998年，美国能源部（Department of Energy，DoE）的3大实验室逐渐将V&V引入武器库存管理计划，给出M&S中准确度、误差、不确定度和确认域的概念内涵、M&S的V&V涉及的几个重要模型（客观世界、概念模型、物理模型和计算模型等）以及M&S的V&V活动的关系，其目的是通过V&V量化物理建模中模型的不确定度和程序研制中数值算法的误差，增强高置信度的数值模拟能力.1998年，美国机械工程师协会（American Society of Mechanical Engineers，ASME）Journal of Fluids Engineering杂志成立协调小组.该小组的工作重点是推动对数值模拟中误差估计，不确定度量化、验证和确认以及置信度评估方法的讨论.该小组组织一系列ASME论坛和研讨会讨论上述主题，并逐步编写和颁布系列V&V标准：2006 年颁布关于“计算固体力学V&V的指南”，即ASME V&V 102006 Guide for Verification and Validation in Computational Solid Mechanics；2009年颁布“计算流体力学和传热学的V&V标准”，即ASME V&V 202009 Standard for Verification and Validation in Computational Fluid Dynamics and Heat Transfer；2012年颁布“计算固体力学V&V概念的案例说明”，即ASME V&V 10.12012 An Illustration of the Concepts of Verification and Validation in Computational Solid Mechanics.ASME经过二十几年的发展，在复杂工程M&S的V&V的概念和方法上取得显著成果，但仍将M&S的V&V涉及的概念在不同领域的本地化作为研究核心，至今仍在结合实际应用研究完善相关概念、术语和规范.

1.1.2M&S置信度评估方法

迫于核武器禁止试验的压力，美国核武器认证工作的基础由以核试验为主转移到以计算仿真为主，提出核武器储存管理计划（Stockpile Stewardship Program，SSP），并由此产生武器认证新方法——裕度和不确定性量化（Quantification of Margins and Uncertainties，QMU）方法.1998年美国提出的加速战略计算创新计划（Accelerated Strategic Computing Initiative，ASCI）和随后提出的先进模拟和计算（Advanced Simulation and Computing，ASC）计划一直强调M&S置信度评估方法和数值模拟中误差估计，将不确定度量化方法作为成功实施计划的关键之一.对于数值模拟中的误差和不确定度，在1986年，ROACHE等[3]就意识到数值计算中不确定度对数值模拟结果评估的重要性，要求论文对计算结果的精度必须给出必要的量化信息.虽然该要求顺应数值模拟发展的需求，但在执行过程中仍遇到极大阻力.1993年9月，ASME Journal of Fluids Engineering杂志再次就数值模拟准确度的控制明确提出10条要求[4]：（1）必须描述计算方法的基本特点；（2）计算方法空间至少为2阶精度；（3）必须评估固有的或显式的人为黏性，使之最小化；（4）必须有网格独立性或收敛性说明；（5）必须给出适当的迭代收敛性信息；（6）在瞬态计算中必须评估相对误差并使之最小化；（7）必须详细说明初边值的数值实现和精度；（8）已有程序的引述必须全面；（9）对特殊问题可采用标准算例进行确认；（10）可采用可靠的试验结果确认数值解.这些要求被认为是数值计算类论文发表广泛采用的规则，基本涵盖验证、确认和文档等方面内容.[5]1993年美国航空航天局戈兰研究中心负责执行面向应用的计算流体力学研究国家项目（National Project for Application oriented Research in CFD，NPARC），开展军事背景很强的航天和航空领域相关M&S置信度评估研究.该项目给出数值计算的不确定度采用网格收敛指数方法，确认活动采用不同的层级：单元层级（Unit Case）、标准算例层级（Benchmark Case）、子系统层级（Subsystem Case）以及全系统层级（Complete System Case）.20世纪90年代末，基于M&S的特点、近似（方程、求解和程序等）和效果（误差、量化和范围等）等，将V&V引入复杂工程M&S可信性和数值模拟预测能力评估中.NPARC每年召开为期2天的学术研讨会，交流、评估V&V的最新进展，所有信息均在专门网站公开发布.2000年以来，美国3大国家实验室在软件质量保证（Software Quality Assurance，SQA）、精确解方法（Exact Solution Methods，ESM）、人工构造解（Method of Manufactured Solution，MMS）、程序对比（CodetoCode Comparisons，CCC）和网格收敛指数方法（Grid Convergence Index，GCI）等M&S可信性评估验证技术方面取得很好的效果.[67]2005年，美国3大国家实验室在M&S置信度评估的验证技术方面实现某些自动化，如误差分析的自动化、不对称检测自动化和自适应加密网格情形下的分析检测自动化等.2009年HELTON基于Richardson外推法与GCI方法，采用双层概率抽样方法，对误差的累积分布函数（Cumulative Distribution Function，CDF）和互补累积分布函数（Complementary Cumulative Distribution Function，CCDF）进行统计分析，给出M&S误差和不确定性敏感度的评估方法.此方法为独立因素或独立参数影响M&S置信度的评估提供较好的方法.为了解多因素耦合对M&S置信度的评估，2006年美国将多项式混沌（Polynomial Chaos，PC）方法[8]引入M&S不确定度评估中，发展多因素耦合影响M&S置信度、数值模拟中误差估计以及不确定度量化和传播的评估方法.至今，发展M&S不确定度量化和多因素敏感性分析方法仍是M&S置信度评估研究的核心.

1.1.3M&S置信度评估体系的应用

近几年，美国核武器3大实验室针对一些ASC多物理过程M&S的应用程序，继续实施V&V的过程，以评估程序的预测能力.如美国劳伦斯·利弗莫尔国家实验室（Lawrence Livermore National Laboratory， LLNL）开发通用有限元软件ParaDyn；桑迪亚国家实验室（Sandia National Laboratories，SNL）研制的氦气流的时间过滤NS闭合方程的简单湍流模型计算软件SIERRRA/Fuego，首先用氦气流的试验作为SIERRRA/Fuego确认的问题，用侧风试验装置（Crosswind Test Facility，CTF）上电偶热响应试验对预测模拟Fuego程序进行不确定性量化和确认过程.SNL开发多物理、海量并行计算环境中的用于设计优化、参数估算、不确定性量化和灵敏度分析的多级并行目标定制工作框架DAKOTA[9]，气体动力学激波反射问题模拟程序ALEGRA和封闭流模型GOMA等，开展程序V&V活动，取得很好的成果.2006 年LLNL完成第一个多物理机理内爆反应程序的置信度评估活动应用程序，其中单物理过程的测试算例来自美国核武器3大实验室共同开发的标准算例库Benchmark Problems[10]，多物理机理耦合算例源自于JOWOG 42测试算例库.M&S可信度评估体系的完善和发展仍然是其应用研究的瓶颈，并且在基准解程序库建设方面提出更多更复杂的测试问题，希望能提高美国模拟程序中M&S的质量和置信度.

从几个公开的网站看，针对NASA湍流模型及CFD在线、流体、湍流和燃烧数据库，欧洲研究团体都在建立公开模型测试库.

SNL于2006年12月完成核弹头W76和W80火烧实验模型的确认工作，并给出安全裕量和不确定度.项目评审委员会认为：这是历史上第一次将QMU分析方法用于核战斗部的评估，而早先的评估主要是基于专家判断和少量的试验数据；可以通过QMU过程为武器系统认证提供额外的量化证据，有能力根据核武器安全要求认证不确定度和安全裕量.2006年在SNL召开的会议上提出模型确认的3个挑战问题[11]，包括热传导、静力学和动力学等，用以集中探讨模型确认的各种解决方法.

值得关注的是建立测试、考核和评估应用程序的标准模型（Benchmark Problems）库和开展校准应用程序的基准试验（Benchmark Experiment）研究是未来实施M&S的V&V的关键.

1.2国内研究发展状况

国内在应用软件M&S领域也开展大量关于软件的VV&A的工作，并取得一系列成果.哈尔滨工业大学院士王子才等[12]和杨明等[13]在复杂仿真系统建模算法评估方面开展大量研究，提出VV&A发展的关键问题.西安空军工程大学导弹学院在军事仿真系统VV&A的概念、术语和原则、可信度评估及模型验证方法等方面取得很好的成果.[1415]这些软件大多为控制软件，即在算法和软件实现正确的情况下给定输入就会产生准确可知的确定性输出，而基于微分控制方程组物理建模的科学和工程数值计算，因M&S本身存在不确定性，无法知道复杂工程领域的准确计算结果.西安第六三一研究所在航空动力学CFD的验证、确认和置信度分析等方面开展大量工作，并在外流问题数据库建立方面取得可喜的成果.[1619]中国空气动力研究与发展中心对计算流体力学的验证、确认和实践应用软件的不确定度与真值估算方面进行研究.[20]中国航空工业航空气动力数值模拟重点实验室和中国航空研究院数值模拟技术研究应用中心在CFD模拟置信度评估和V&V涉及的相关概念、术语以及V&V在航空气动力数值模拟置信度评估方法研究方面开展大量工作，包括SQA，MMS，误差分析和不确定度量化等方法.[2122]中国船舶科学研究中心在船舶动力学CFD不确定度分析方法方面展开大量工作，并将V&V技术应用到船舶水动力学数值模拟置信度评估中，取得较好的结果.[23]华北电力大学在CFD误差分析及网格收敛性方面开展研究工作.[24]2005年，中国工程物理研究院总体工程研究所及北京应用物理与计算数学研究所展开对V&V的概念和知识体系的研究，在V&V基本框架和用于测试程序的基准模块库等方面开展工作.[25]在一些高校和研究所也有一些零散的工作.[2627]

总体来说，我国对M&S置信度评估及V&V的研究仍处于起步阶段，表现为研究工作比较分散、缺乏规模，大量工作都是结合调研开展的前期研究，尚未建立关于M&S置信度评估及V&V的概念体系，对可信度评估理论和方法也没有形成统一的标准.在M&S的开发过程中对置信度评估及V&V工作的重要性和必要性缺乏认识.特别是国内还没有类似于美国TCMC这样的专门机构负责协调，更没有组织国家级团队对M&S置信度评估及V&V技术进行专门研究，使得这方面的研究工作进展缓慢.我国至今还没有M&S的V&V的标准/规范，使得M&S的开发者、应用者和管理者在进行M&S置信度评估工作过程中无章可循、无法可依，例如对于M&S的VV&A的中文解释就有“校核、验证与确认”“校核、验证与验收”“验证、证实和认可”“确认、验证和认可”和“验证、确认与认证”等多种不同的提法.在复杂武器系统，国内仅基于过去的一些做法，尝试一些置信度评估方法，真正应用于实际模型V&V的工作研究甚少，M&S置信度评估体系几乎是“零状态”.

2M&S的验证与确认进展

2.1M&S可信度评估与V&V的关系

复杂工程数值模拟涉及两大重要过程：一是建模，二是模拟.复杂工程系统可靠性认证中M&S， V&V及评估和认证的过程见图1.

2.2.3验证

验证是通过将数值解与解析解或高精度解（经验解）进行比较，对数值误差进行量化，以确定计算软件是否正确求解方程，是一种数值分析活动.验证包括程序验证与解法/方法验证.

程序验证分为SQA和数值算法验证.解法/方法验证分为GCI验证和计算敏感性分析.SQA的关键任务是建立合理的M&S及程序研制的流程、标准/规范，以控制、监督、约束和指导程序的研制过程，提高程序的质量和编码的正确率；采取若干有效方法，检测、辨别和消除程序中的缺陷和错误，确定程序能按要求正确运行，没有编码错误.在复杂工程应用软件中，软件质量保证主要关注作为软件产品的程序应具有计算机科学和软件工程意义上的可靠性和健壮性，常采用静态分析、动态检验（回归测试、黑盒测试和白盒测试等）和正式分析等方法对软件质量进行分析和测试.数值算法验证是对实施算法的流程（伪代码或显示求解公式）和基本特性的正确性检查，主要关注如何正确地程序化数值算法以及实施数值算法本身能否保持算法基本理论（时空离散形式、精度、对称性、守恒性和收敛性等）的正确性.数值算法验证的目的主要是提供充足的证据证明程序化的数值算法执行正确且有预期的功能，常采用精确解方法、人为解方法[2829]和高精度程序解比较等方法或手段.

解法/方法验证主要是用数值模拟结果与精确解、人为构造解和高精度数值解进行比较，量化其数值误差和不确定度.其核心是进行网格收敛指标验证以确定实际的收敛阶，通过分析对比实际收敛阶与理论收敛阶判断程序是否存在错误或缺陷.另一方面是对数值模拟影响因素进行敏感性分析，以辨识和量化误差、不确定度和置信度.数值模拟验证包括方法理论/网格收敛指标验证与计算敏感性分析.基本理论验证技术主要是分析方法的特性，量化各种误差和不确定度，常采用GCI方法.GCI主要采用Richardson外推法建立估算网格误差.常用的做法是针对计算问题建立多套计算网格，原则上要求多套网格自相似，即体现Δt和Δx为逐渐缩小的趋势，然后通过计算L1，L2和L∞范数进行网格收敛性分析以确定实际的收敛阶.该方法需要知道问题的精确解或采用固定不变的网格，对定常问题或单独考核格式的精度行之有效.计算敏感性分析利用典型物理问题作为分析模型，结合已有的实验信息，分析论证数值模拟计算结果中由计算模型、计算参数和数值方法等引入的不确定度，以及数值计算中网格参数（网格类型、尺寸和规模等）、计算格式和参数（时间步长、黏性等）、计算过程中的误差时空演化特征分析等.一般用概率和非概率方法辨识与量化误差、不确定度和置信度.在一般情况下，将计算敏感性分析和网格收敛指标相结合，采用在计算条件变化的情形下对同一被模拟量进行多次抽样即复现性数值模拟分析方法辨识和量化误差、不确定度和置信度.目前，用CDF方法可以量化数值计算的误差和置信度，该方法的优点是既能综合分析所有误差源，又能通过概率分布函数给出数值计算误差的不确定度.

2.2.4确认

确认是对数值模拟结果、试验数据和真实行为三者之间进行相互比较，进而量化物理模型的精度.其计算结果用于确定模型与其试验之间是否存在可接受的吻合度.确定可接受吻合度的关键在于试验结果与模拟结果的一致程度，即数值模拟在多大范围内可接受地再现建模人员对感兴趣世界的真实过程，其结果在多大范围内可接受地再现试验结果.确认是将数值模拟结果与试验结果进行比较，对模型的不确定度进行量化以确定计算模型是否能正确描述客观世界，是一种建模活动（简单地说就是是否正确求解正确方程）.因其主要采用对比方式，所以要求对试验和数值模拟的结构、条件等输入/输出描述清楚，主要包括：（1）针对具体物理模型，构建验证层次图；（2）确认试验（单一试验、基准试验、子系统试验和全系统试验等）；（3）数值模拟结果与试验数据对比，以确定模型的适应性.

2.2.5基准数据库

在V&V活动中产生大量数据资源和文档，包括验证涉及的文档、需要的基准模型和确认文档、区域的基准问题等，如何有效管理和利用这些数据资源或文档是基准数据库要解决的主要问题.在V&V过程中要逐渐建立V&V的基准数据库，通过数据库推断M&S应用软件的置信度或给出在什么范围内置信度是多少，并作为预测分析的依据.

2.3M&S的V&V的知识指南

V&V贯穿于复杂工程M&S的整个过程，即贯穿于数值模拟应用程序研制的整个生命周期.M&S的V&V的知识指南见图4.复杂工程可靠性认证中M&S的V&V的知识体系包括4个方面的内容：验证、确认、预测和决策等.验证需要解决的问题是程序是否能正确求解方程，确认需要解决的问题是程序是否能正确求解出方程，即验证要回答数值模拟程序是否能正确求解数学模型或给出求解模型的误差、不确定性大小及使用范围，确认要通过数值结果与物理模型试验的对比回答物理模型是否反映真实客观世界或反映真实客观世界的程度.预测是利用V&V的应用程序对未知问题的模拟过程，包括问题、计算和结果评估等.决策是为开展可靠性认证规划、提供资源和利用各种信息对系统可靠性给出结论.

3问题和建议

通过阐述应用程序M&S的V&V的含义，明确V&V的过程、步骤及其技术，初步建立程序模拟误差、不确定度及置信度评估方法，给出用于数值模拟程序M&S结果的部分验证技术.

复杂工程M&S的V&V相当重要，涉及的核心问题较多.

（1）M&S的V&V术语概念体系和置信度评价体系.包括相关基本概念、术语和方法的描述，基于数值模拟和认知不确定性的复杂系统可靠性评估方法、流程和规范.目前研究从方法学向实例化/本地化和实用方法转变.

（2）检验数值模拟方法求解系统/过程控制方程（组）正确性的验证和测试方法研究，包括数值分析基本理论，网格收敛指标验证，偏微分方程精确解析解、半解析基准解、高精度基准解、人为构造解和不同程序计算结果对比以及软件质量保证等程序正确性验证和测试方法.目前亟须发展M&S可信度评估中误差和不确定度量化、传播及多因素敏感性分析方法.

（3）检验数值模拟中物理模型准确性的确认考核方法，包括分层实（试）验设计方法、系统试验及其数据不确定度分析方法、计算结果与试验数据对比的不确定度分析方法以及计算结果预测的置信度评估方法研究.重点应该发展确认域到应用域的预测方法.

参考文献：

[1]OBERKAMPF W L， ROY C J. Verification and validation in scientific computing[M]. New York： Cambridge Univ Pr， 2010.

[2]CARTER A B. DoD Modeling and Simulation （M&S） Verification， Validation， and Accreditation （VV&A）， DoD Instruction 5000.61[R]. Department of Defense Instruction， USA， 1996.

[3]ROACHE P J， GHIA K， WHITE F M. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1986， 108（1）： 2.

[4]FREITAS C J. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1993， 115（3）： 339340.

[5]ROACHE P J. Quantification of uncertainty in computational fluid dynamics[J]. Annu Rev Fluid Mech， 1997（29）： 123160.

[6]ROY C J. Grid convergence error analysis for mixedorder numerical schemes[J]. AIAA J， 2003， 41（4）： 595604.

[7]ROY C J. Review of code and solution verification procedures for computational simulation[J]. J Comput Phys， 2005， 205（1）： 131156.

[8]KNIO O M， le MARTRE O P. Uncertainty propagation in CFD using polynomial chaos decomposition[J]. Fluid Dynamics Res， 2006， 38（9）：616640.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 张冰， 杨明. 仿真系统的校核、验证与验收（VV&A）：现状与未来[J]. 系统仿真学报， 1999， 11（5）： 321325.

[13]杨明， 张冰， 马萍， 等. 仿真系统VV&A发展的五大关键问题[J]. 系统仿真学报， 2003， 15（11）： 15061508.

[14]吴晓燕， 赵敏荣， 刘兴堂， 等. 仿真系统可信度评估及模型验证方法研究[J]. 计算机仿真， 2002， 19（3）： 2527.

[15]吴晓燕， 许素红， 刘兴堂. 仿真系统VV&A标准/规范研究的现状与军事需求分析[J]. 系统仿真学报， 2003， 15（8）： 10811084.

[16]杨振虎， 白文， 高福安. 虚构解方法程序验证[J]. 航空计算技术， 2005， 35（2）： 1719.

[17]白文. 计算流体力学模拟可信度分析的基本术语[C]// 计算流体力学研究进展： 第十一届全国计算流体力学会议论文集. 洛阳， 2002： 410415.

[18]白文. 气动计算软件可信度分析解决方案[C]// 计算流体力学研究进展：第十二届全国计算流体力学会议论文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]邓小刚， 宗文刚， 张来平， 等. 计算流体力学中的验证与确认[J]. 力学进展， 2007， 37（2）： 279288.

[21]张涵信， 查俊. 关于CFD验证确认中的不确定度和真值估算[J]. 空气动力学学报， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康顺， 石磊， 戴丽萍， 等. CFD模拟的误差分析及网格收敛性研究[J]. 工程热物理学报， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁国兴. 科学计算程序的验证和确认（V&V）[J]. 北京理工大学学报， 2010， 30（3）： 353360.

[26]张保强， 陈国平， 郭勤涛. 结构动力学模型确认问题的核密度估计方法[J]. 机械工程学报， 2011， 47（17）： 2936.

[27]曾现洋， 刘睿， 刘希强. 人为解与人为解方法[J]. 聊城大学学报： 自然科学版， 2010， 23（1）： 7174.

[28]王瑞利， 刘全， 刘希强， 等. 人为解方法及其在流体力学程序验证中的应用[J]. 计算机应用与软件， 2012， 29（11）： 47.

[29]刘全， 王瑞利， 刘希强， 等. 流体力学方程组一类人为解构造方法[J]. 数学的实践与认识， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 张冰， 杨明. 仿真系统的校核、验证与验收（VV&A）：现状与未来[J]. 系统仿真学报， 1999， 11（5）： 321325.

[13]杨明， 张冰， 马萍， 等. 仿真系统VV&A发展的五大关键问题[J]. 系统仿真学报， 2003， 15（11）： 15061508.

[14]吴晓燕， 赵敏荣， 刘兴堂， 等. 仿真系统可信度评估及模型验证方法研究[J]. 计算机仿真， 2002， 19（3）： 2527.

[15]吴晓燕， 许素红， 刘兴堂. 仿真系统VV&A标准/规范研究的现状与军事需求分析[J]. 系统仿真学报， 2003， 15（8）： 10811084.

[16]杨振虎， 白文， 高福安. 虚构解方法程序验证[J]. 航空计算技术， 2005， 35（2）： 1719.

[17]白文. 计算流体力学模拟可信度分析的基本术语[C]// 计算流体力学研究进展： 第十一届全国计算流体力学会议论文集. 洛阳， 2002： 410415.

[18]白文. 气动计算软件可信度分析解决方案[C]// 计算流体力学研究进展：第十二届全国计算流体力学会议论文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]邓小刚， 宗文刚， 张来平， 等. 计算流体力学中的验证与确认[J]. 力学进展， 2007， 37（2）： 279288.

[21]张涵信， 查俊. 关于CFD验证确认中的不确定度和真值估算[J]. 空气动力学学报， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康顺， 石磊， 戴丽萍， 等. CFD模拟的误差分析及网格收敛性研究[J]. 工程热物理学报， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁国兴. 科学计算程序的验证和确认（V&V）[J]. 北京理工大学学报， 2010， 30（3）： 353360.

[26]张保强， 陈国平， 郭勤涛. 结构动力学模型确认问题的核密度估计方法[J]. 机械工程学报， 2011， 47（17）： 2936.

[27]曾现洋， 刘睿， 刘希强. 人为解与人为解方法[J]. 聊城大学学报： 自然科学版， 2010， 23（1）： 7174.

[28]王瑞利， 刘全， 刘希强， 等. 人为解方法及其在流体力学程序验证中的应用[J]. 计算机应用与软件， 2012， 29（11）： 47.

[29]刘全， 王瑞利， 刘希强， 等. 流体力学方程组一类人为解构造方法[J]. 数学的实践与认识， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 张冰， 杨明. 仿真系统的校核、验证与验收（VV&A）：现状与未来[J]. 系统仿真学报， 1999， 11（5）： 321325.

[13]杨明， 张冰， 马萍， 等. 仿真系统VV&A发展的五大关键问题[J]. 系统仿真学报， 2003， 15（11）： 15061508.

[14]吴晓燕， 赵敏荣， 刘兴堂， 等. 仿真系统可信度评估及模型验证方法研究[J]. 计算机仿真， 2002， 19（3）： 2527.

[15]吴晓燕， 许素红， 刘兴堂. 仿真系统VV&A标准/规范研究的现状与军事需求分析[J]. 系统仿真学报， 2003， 15（8）： 10811084.

[16]杨振虎， 白文， 高福安. 虚构解方法程序验证[J]. 航空计算技术， 2005， 35（2）： 1719.

[17]白文. 计算流体力学模拟可信度分析的基本术语[C]// 计算流体力学研究进展： 第十一届全国计算流体力学会议论文集. 洛阳， 2002： 410415.

[18]白文. 气动计算软件可信度分析解决方案[C]// 计算流体力学研究进展：第十二届全国计算流体力学会议论文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]邓小刚， 宗文刚， 张来平， 等. 计算流体力学中的验证与确认[J]. 力学进展， 2007， 37（2）： 279288.

[21]张涵信， 查俊. 关于CFD验证确认中的不确定度和真值估算[J]. 空气动力学学报， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康顺， 石磊， 戴丽萍， 等. CFD模拟的误差分析及网格收敛性研究[J]. 工程热物理学报， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁国兴. 科学计算程序的验证和确认（V&V）[J]. 北京理工大学学报， 2010， 30（3）： 353360.

[26]张保强， 陈国平， 郭勤涛. 结构动力学模型确认问题的核密度估计方法[J]. 机械工程学报， 2011， 47（17）： 2936.

[27]曾现洋， 刘睿， 刘希强. 人为解与人为解方法[J]. 聊城大学学报： 自然科学版， 2010， 23（1）： 7174.

[28]王瑞利， 刘全， 刘希强， 等. 人为解方法及其在流体力学程序验证中的应用[J]. 计算机应用与软件， 2012， 29（11）： 47.

[29]刘全， 王瑞利， 刘希强， 等. 流体力学方程组一类人为解构造方法[J]. 数学的实践与认识， 2013， 43（8）： 176182.