王 哲 李国辉 肖景新
(空军航空大学军事仿真研究所 长春 130022)
某型飞行模拟器静态飞行性能一致性检验∗
王 哲 李国辉 肖景新
(空军航空大学军事仿真研究所 长春 130022)
仿真系统的可信度检验已经是仿真研究的一个重要组成部分,也是评价飞行模拟器能否反映客观实际的重要依据。论文根据飞行模拟器静态飞行性能验证的实际特点,讨论了进行飞行模拟器静态飞行性能验证对数据的要求,介绍了模拟器静态数据一致性检验的方法,并提出对于样本量较少的试飞数据采用Bootstrap法将小样本观测量处理产生大样本观测子样,再对两较大样本观测量进行非参数检验,检验结果相容后再进行参数假设检验,最终得出样本相容性较好,试飞数据与仿真数据属于同一样本分布。结论表明,对于样本观测量相差较大的数据,可以通过自助Bootstrap法扩大小样本容量,再进行假设检验,可获得很好的检验效果,为处理样本相差较大观测量相容性检验提供方法。
静态一致性验证;假设检验;自助Bootstrap法
飞行模拟器仿真系统实质就是飞行系统模型对实际飞机系统进行仿真模拟,用仿真模拟结果代替飞机的实际飞行结果,从而在飞机的选型、研究、论证、使用上大大提高效率和效益,并降低真实飞行训练所带来的危险性。用仿真结果代替实际的试验结果,来对其进行分析和研究,是仿真系统的根本目的所在[1]。
模拟器的可信度研究主要是针对模拟器与真实飞机的各项性能进行一致性检验,从而得出仿真模拟的逼真度结果。模拟器的飞行性能分为静态性能和动态性能,本文主要对静态性能进行一致性检验。
由于在验证过程中,两数据样本容量相差过大无法直接进行验证,本文中笔者针对以上问题,提出采用自助Bootstrap法将小样本数据拓展为大样本数据,再将两数据样本进行非参数检验和参数检验,得出两数据样本的相容性,从而检验模拟器静态飞行性能的一致性。
用飞行试验所获取的试飞数据对飞行模拟器进行验证,首先最应该考虑的是获取的数据本身是否可靠,这与数据的来源和获取方法有关系[2]。
文中所采用的数据,一是来源于某型飞机试飞过程所记录的数据,是通过在飞机上加装各种感应器、调节器和采集器所获取的真实数据。二是基于飞行仿真实验平台,利用该型飞机的飞行模拟器进行实验所获取的数据[3]。两种数据都是可靠的。在对飞行模拟器进行性能验证的过程中,可以根据要求,提取合适的数据段落进行对比验证。
由于实际中所获得的数据难免受到一些干扰因素的影响,比如飞行过程中突然变化的气流、设备工作异常等,会使得飞行记录的数据产生偏差,出现异常值[4],所以先将这些异常值剔除,然后进行其他处理。每种验证方法也有自己不同的使用条件,对于模型验证所用到的数据必须满足这些条件,否则不会得到正确的结果[5]。
通过主观确认和各种标量指标对数据进行验证的方法,对数据没有特殊要求,不出现异常值即可[6]。对于时间序列统计也不用考虑样本长度及其统计分布规律。
模拟器静态一致性的验证方法主要有参数估计法和假设检验法。参数估计法主要有点估计和区间估计,但是参数估计法主要是针对大样本序列,是在极限的理论基础上进行检验的[7],这与本文中有限的试飞数据不相符,所以本文主要讨论假设检验的方法以及针对小样本进行验证的Bootstrap方法。
3.1 假设检验法
假设检验法通常根据两样本的总体分布函数进行方法分类。假设试飞数据分布为F(x),仿真数据为G(x),试飞数据的样本观测值为(x1,x2,…,xn),仿真数据的样本观测值为(y1,y2,…,yn)。下面分三种情况进行检验方法的说明。
3.1.1 参数检验法
如果已知F(x)、G(x)的分布函数是同一种分布函数时,属于参数检验问题,根据对于需要验证数据的预处理分析可确定绝大多数的试飞数据与仿真数据服从正态分布。两样本分布整体满足,试飞数据样本的均值为xˉ,方差为;仿真数据样本的均值为 yˉ,方差为s22,针对双正态参数检验问题,主要使用F检验、t检验[8]。
1)F检验
F检验主要是验证两样本方差的一致性,该两样本均服从正态分布,均值都不确定,且对于样本量大小无限制。
假设检验为
则拒绝假设H0,接受假设H1。
2)t检验
如果经过上面的F检验,则认为两样本的方差δ1=δ2,则利用t检验进行两正态分布样本的均值检验,该检验对于样本大小没有限制。
则接受原假设,该情况下飞行模拟器静态性能与真实飞机性能无显著性差异。
3.1.2 非参数检验法
如果对于F(x)、G(x)的分布函数都未知,则属于非参数分布检验,主要有Smiror检验、秩和检验、游程检验等[9]。
本文主要采用秩和检验,下面对该方法进行介绍:
称为两观测样本的秩和。令当n1≤n2时T=T1,当n1≥n2时T=T2。对于给定的显著性水平,可以查表得到T统计量的概率,如果满足该式子:
将试飞数据和仿真数据的观测样本混合起来,按照从小到大的顺序进行排列,得到新的统计量的顺序:
如果 Xk=Zi,Yk=Zj,则记 R(k)=i R(Y)=j,分别成为Xk和Yk在混合样本中的秩。
则接受H0,拒绝H1。如果在这个区间以外,则拒绝H0,接受H1。秩和检验表只是给出了样本数量小于10的情况对于小样本序列具有良好的检验效果,但是对于样本量大于10的情况或者n1<10,n2>10的情况都不太适用。
当 n1、n2均比较大(n1、n2>50),如果样本含量较大,表中查不到时,可用正态近似法作检验:
当相同秩次较多时,按上式计算的u偏小,应采用矫正公式:
上文中所提到的假设检验法中,不论是参数检验法还是非参数检验法,对于大样本和小样本均具有一定的优势。但是在实际验证过程中,模拟器仿真数据可以通过进行多次模拟飞行测试得到大样本数据,而真实飞机的试飞数据只能通过有限次数的试飞所采集。因此试飞数据和仿真数据的样本容量会出现较大的差别,这也会给样本相容性检验带来难度。基于此,可以考虑采用Bootstrap法,使小样本再生获取大样本。然后再进行样本相容性检验[12]。
本文以模拟器静态数据中的最大平飞速度为例进行静态一致性检验。首先,利用Bootstrap法对试飞数据观测样本进行如下处理:
1)假设文中所记录的样本数为n,利用计算机在区间0到M(n≪M)产生具有随机性和独立性的整数η;
2)令 j=η%n,j为n整除以η得到的余数;
3)令 i=j+1,x*=x(i),其中 x(i)是原始观测样本数据x1,x2,…,xn从小到大排列后得到的第i个统计量;
4)重复以上步骤n次,就得到一组抽样子样。抽样子样的多少由重复以上步骤的次数来决定。
本文中所记录的数据样本为X=[0.96 0.98 1.05 1.16 1.3 1.46 1.5 1.51 1.52 1.5],对该组数据进行Bootstrap法处理,抽取100点数据为n1,取150点仿真数据样本序列为n2,然后将抽取到的大样本数据与仿真数据进行比较。图1为根据抽样数据进行拟合得到的经验分布函数曲线图。
图1 Bootstrap法得到的经验分布函数
由于并不知道得到的大样本观测数据以及仿真数据的分布,所以在得到大样本数据后进行非参数检验。将上文中利用Bootstrap法得到的大样本数据,,...,以及仿真测试数采用非参数检验法中的秩和检验法进行检验,按照以下步骤进行处理:
1)建立假设:H0:试飞数据和仿真数据两个总体的分布位置相同;H1:试飞数据和仿真数据两个总体的分布位置不全相同。
2)将两个观测子样混合排列,试验数据样本为n1=100,仿真数据样本为 n2=150,求得的T1=12829,T2=18471,又因 为 n1<n2,所以T=12829。
3)取显著水平a=0.05,由于n1、n2均比较大
4)确定 P值,判断结果Uc=0.541,0.541<1.96 ,故 P>0.05,按a=0.05水准,不拒绝H0,可认为仿真数据样本和试飞数据样本尚无太大差别。
事实上,当n1,n2均大于7时,u就近似N(1,0)分布已比较精确[12]。即已知两样本的分布来自同一整体时,再采用参数检验方法中的F检验来检验两个总体的正态一致性,如果接受原假设,就用t检验来验证两个正态总体的均值一致性。如果两种验证都通过,就可以验证出试飞数据和仿真数据来自同一个样本[13]。
图2 试飞数据拟合曲线与仿真曲线对比
下面对试验数据和仿真数据的观测样本进行F检验:
查表得:
F0.05(n-1,m-1)=F0.05(99,149)=1.35
很显然,统计量分布F小于临界值,所以可以认为试飞数据和仿真数据无显著性差异,且服从正态分布。
经过F检验后,再进行t检验,计算统计量
经过计算得到T=2.201,又由于查询T检验的临界值表得到t(248)=2.596,可见统计量T小于临界值,因此则可认为仿真实验与飞行试验的数据都为正态分布整体且无显著性差异。
传统的静态性能一致性检验方法在试验数据和仿真数据的样本差别较大的情况下检验效果不好,本文分析了检验方法的优缺点,提出对于小样本的试飞数据先采用自助Bootstrap法,求取小样本数据的经验函数,再根据经验函数提取经验值,扩大样本容量。然后将扩大样本容量的试飞数据与仿真数据进行非参数检验,检验结果相容时再将其进行参数检验,最终检验得到两样本数据相容。结果表明,对于需要进行一致性验证的两样本来说,如果样本容量相差较大,则可以对容量较小的一组样本采用自助Bootstrap法进行处理,将样本容量扩大,根据是否知道两样本的分布相同选择参数检验和非参数检验方法,最终完成静态一致性验证。该方法对于容量相差较大的样本验证来说,具有实用价值。
[1]刘兴堂,刘力,孙文.仿真系统VVamp;A及其标准∕规范研究[J].计算机仿真,2006,23(3):61-66.
[2]吴方.时频域分析方法在仿真模型验证中的应用研究[D].哈尔滨:哈尔滨工业大学控制与仿真中心,2013:37-51.
[3]吕明,郭玲玲.飞行模拟器概述[J].硅谷,2010,20(7):140.
[4]温瑶.飞行过程中不安全因素的防范分析[J].技术与市场,2015,15(11):145.
[5]Osman Balci.Guidelines for successful simulation studies[C].Procedings of the 22nd conference on Winter Simulation.2015:25-32.
[6] Robert G.Sargent.A Tutorial on Validationb and Vertication of Simulation Models[C]∕Procedings of the 1984 Winter Simulation Conference.2014:115-121.
[7]刘惠英,孙真,刘昕.导弹仿真模型系统的验证与实现[J].现代电子技术,2012,1(2):1-4.
[8] Valerie L.Frankel.Osman Balci.An On-Line Assistance System for the Simulation Model Development Environment[J].International Journal of Man-Machine Studies.2016,31(6)699-716.
[9]郑立峰.数学仿真系统可信性评估[D].长沙:国防科学技术大学,2016:56-86.
[10]孙慧玲,胡美文,杨美妮.Bayes Bootstrap方法在小样本参数估计中的应用[J].计算机与数字工程,2006,24(5):788-790.
[11]孙锦,李国林,许诚,谢朝晖.基于Bootstrap的反舰导弹靶场试验小样本数据分析方法研究[J].计算机与数字工程,2014,42(1):48-51.
[12]李姝.导弹系统模型验证方法研究[D].长沙:国防科技大学,2003:30-35.
[13]谢德悠.基于曲线拟合的仿真模型验证方法[J].贵州大学学报(自然科学版),2014,31(4):18-21.
Static Flight Performance Consistency Test for a Flight Simulator
WANG ZheLI GuohuiXIAO Jingxin
(Institute of Military Simulation,Aviation University of Air Force,Changchun 130022)
The reliability test of the simulation system is an important part of the simulation study,and it is also an important basis to evaluate whether the flight simulator can reflect the objective reality.According to the actual characteristics of flight simulator static flight performance verification,flightper formancein flight simulator is discussed in static verification of the data requirements,this paper introduces the simulator static data consistency check method,uses the method of the flight test data and puts forwardto the sample size is less will have a large sample observation observation of small sample volume proces-sing,sample,and nonparametric test was carried out on the two large sampleobservation inspection results compatible parameter hypothesis test of the reentry after,finally it is concluded that the sample has good compatibility,flight test data and simulation data belong to the same sample distribution.Results indicate that,for the sample data quantity is large,self-help bootstrapmethod to expand the small sample size,furt-her hypothesis test,can obtain good examination result to provide processing samples differ the observat-ory measurement compatibility test method.
static consistency validation,hypothesis testing,self-help bootstrap method
TP391.9
10.3969∕j.issn.1672-9730.2017.10.026
Class Number TP391.9
2017年5月12日,
2017年6月7日
王哲,男,硕士研究生,研究方向:飞行器仿真,飞行模拟器验证。李国辉,男,博士,高级工程师,研究方向:飞行器仿真,仿真建模,模拟器验证。