基于试验结果可信度的装甲车辆测试性综合评估方法研究

徐保荣， 刘学工， 吴延威， 胡伟锋

(32184部队， 北京 100072)

0 引言

装备测试性试验不仅要根据试验数据判断产品测试性是否合格，而且要确定故障检测率(FDR)、故障隔离率(FIR)等测试性参数的具体量值，这一过程称之为测试性评估[1]。如何合理制定试验方法并科学评估装备测试性参数，是装备测试性工程领域的热点和难点问题。

目前，在航天、舰船、机电、雷达等领域已开展了大量测试性试验，其主要方法是采用基于故障注入的实验室试验方法[2-6]，这种方法没有考虑机内测试(BIT)设备自身的可靠性，在实验室环境中试验得到的测试性水平要高于装备外场实际使用中的水平。但是，外场试验样本往往达不到规定的样本量要求。为此，张联禾[6]提出将模拟故障与自然故障相结合进行综合评估的思路，使得试验结果比单一采用实验室进行故障注入的方法更换接近装备实际测试性水平，但上述方法没有解决部分故障样本无法实现实验室模拟或注入的问题。对此类故障样本，文献[7]提出了测试性分析评价方法来替代验证试验。张艺琼等[8]提出采用仿真手段评价不可注入故障的检测/隔离效果，并按照故障相对发生频率采用线性加权方法实现了自然故障、模拟故障、仿真结果的综合评价，但在综合评估时将外场试验结果与实验室试验结果同等权重考虑，没有体现出外场试验的特点，同时在进行仿真结果指标折算时以实验室试验结果为基础，而不是以外场试验结果为基础。上述方法降低了该方法评估结果的可信度。王京等[9]提出将专家数据、摸底试验数据、增长试验数据、可更换单元数据和虚拟试验数据一并纳入测试性综合评估范围进行等效折合，韩志钢[10]提出基于研制阶段各类数据进行测试性评估，这两种方法对于定型试验而言，存在被试装备状态未固化、评价不科学问题。余龙海等[11]提出基于使用阶段数据的测试性验证方法，该方法未考虑使用阶段故障样本量不满足最小样本量要求时的情况。

本文针对上述问题，立足于装备设计定型阶段的测试性试验，综合考虑外场试验、实验室试验、分析评价3种试验评价方式，从条件概率角度出发，分析了设备故障率与试验结果置信度的相互关系，提出了基于试验结果可信度的测试性试验综合评估方法。该方法以二项分布为理论基础，通过计算不同试验结果的综合可信度，实现装甲车辆测试性的综合评估。

1 测试性指标评估模型分析

1.1 测试性指标评估模型修正

针对装备自然发生或人为注入的故障，就检测、隔离、是否虚警而言，BIT设备通过运行相应程序实现的结果均只有成功和失败两种可能，即：检测到故障或未检测到故障；对检测到的故障能否实现隔离；是真实故障还是虚假报警。显然，对FDR、FIR等测试性能参数的验证属于成败型试验，因此可以用二项分布进行验证和评估[12-13]。目前参数估计类型主要包括点估计和区间估计两类，其中区间估计又分为单侧置信限和置信区间两种。

将故障检测率和隔离率统称为设备成功率，其预测模型[14]如(1)式所示。

(1)

式中：P为设备成功率；λi为第i个故障模式的故障率(对于隔离率，是可检测故障模式的故障率)；λci为第i个可检测故障模式的故障率(对于隔离率，是可隔离到不大于L个可更换单元故障模式的故障率)；m为系统出现的故障模式总数；n为可检测或隔离的故障模式总数。

(1)式表明，对于设计中已知的故障模式而言，只要发生就认为一定能够实现检测/隔离，即其前提是BIT设备始终正常工作。因此，(1)式为条件概率。

假设A事件为“成功检测或隔离”，B事件为“BIT设备正常工作”，则(1)式变为

(2)

式中：P(A|B)表示在BIT设备正常工作前提下，系统能够成功检测或隔离的概率。

事实上，设备成功率的真实含义应当是BIT设备正常工作且成功检测或隔离，即成功率为

P′=P(AB)，

(3)

式中：P(AB)为BIT设备正常工作且成功检测或隔离的概率。

设BIT设备的故障率为λb，则BIT设备可正常工作的概率为

P(B)=1-λb.

(4)

根据条件概率的定义有

(5)

从(5)式可以看出，BIT设备的成功不仅与故障模式的故障率有关，还与BIT设备自身的故障率有关。将P′称为BIT设备成功率的真值，将P称为BIT设备成功率的预计值，则单侧置信下限的真值可以表示为P′l，置信区间的真值可以表示为[P′l，P′u]，其中P′l为置信下限，P′u为置信上限。

将(1)式代入(5)式，得测试性参数点估计值为

P′=(1-λb)P.

(6)

相应地，有

P′l=(1-λb)Pl,

(7)

P′u=(1-λb)Pu,

(8)

则单侧置信下限P′l满足

(9)

置信区间[P′l，P′u]满足

(10)

(11)

1.2 BIT设备故障率对试验结果置信度影响分析

由于λb在区间[0,1]上连续取值，根据(9)式、(10)式、(11)式对P′l和P′u求1阶偏导，得

(12)

(13)

由此可见，P′l和P′u都是λb的单调减函数。

依据(9)式计算置信度C，可得

(14)

由于P′l在区间[0,1]上连续取值，对C求1阶偏导，得

由此可见，就单侧置信下限的计算而言，其置信度C是单侧置信下限P′l的单调减函数。又因为P′l是λb的单调减函数，所以置信度C是λb的单调增函数，即λb越大，C越大。同样，对于P′u，置信度C也是λb的单调增函数。因此，对于不同试验方式而言，越能够暴露BIT设备自身的可靠性真实水平，参数估计结果的可信度越高。显然，外场试验中BIT设备的故障率能够得到充分暴露，其参数估计可信度最高。

2 基于试验结果可信度的测试性综合评估方法

2.1 测试性综合评估流程

目前，在航空航天和船舶电子领域，由于特殊的空中、海上使用环境，对装备可靠性水平要求极高，各监测系统都尽可能进行充分的冗余设计，其测试性试验即使在外场实施，也几乎属于BIT设备无故障状态下的试验。但由于其外场试验自然故障极少，故障样本远远达不到规定样本量要求，较多地采用实验室试验方式进行测试性试验。而装甲车辆受目前设计、制造、工艺等条件限制，其可靠性水平还有待提高。例如某型坦克6辆样车在各自10 000 km外场试验中总计出现各类故障496个，其中BIT设备自身的故障41个。基于上述情况，装甲车辆测试性试验应充分利用外场试验提供的大量自然故障数据，以真实地反映BIT设备在实际使用环境下的可靠工作能力。

装甲车辆测试性试验的基本思路是：优先采用外场试验方式，当故障样本量不足时采用实验室试验方式进行模拟故障注入；当部分模拟故障无法注入时采用分析评价方法确定其检测/隔离能力。测试性综合评估就是将外场试验、实验室试验、分析评价3种试验评价方式所获取的故障数据，依据BIT设备的检测/隔离结果，采用合理方式有效综合现有数据，计算装备BIT设备的检测率和隔离率评估值。测试性试验综合评估流程如图1所示。具体评估流程如下：

1)按照试验计划分步实施测试性外场试验、实验室试验和分析评价，对试验所获取的数据进行整理汇总，剔除无效数据，确定故障样本总数、有效检测故障数(或检测失败故障数)、有效隔离故障数(或未有效隔离故障数)、置信度水平等基础数据。

2)根据二项分布理论，计算外场试验、实验室试验、分析评价3种方式下的故障检测率、故障隔离率的点估计和区间估计。与此同时，还要依据初步评估结果计算外场试验、实验室试验和分析评价3种方式信息源的可信度，确定不同故障模式的故障率。

3)按照可信度越高权重越大的思想将初步评估的测试性参数进行必要折算，使得数据更科学、合理。

4)根据装备外场试验、实验室试验、分析评价得到的折算评估值，对装备测试性试验的不同指标进行综合评估。

2.2 可信度计算模型

确定3种试验评价方式试验结果的可信度，就是对3种试验结果的可靠程度进行量化。可靠程度越高，其可信度量值越大。本文提出采用两两赋值法、改进偏差法和组合权重法计算不同试验结果的主观可信度、客观可信度、综合可信度。

2.2.1 主观可信度

步骤1对l个决策者的赋值作算术平均，令算术平均决策矩阵B=(bxy)r×r，其中

(15)

(16)

式中：

步骤3求归一化可信度，

(17)

2.2.2 客观可信度

改进偏差法可用于计算信息源可信度。其基本思想是：依据单个试验信息源与外场试验结果的变异程度确定其可信度，由此求得的可信度称之为客观可信度。设外场试验、实验室试验、分析评价3种试验评价方式得到的结果分别为z(1)、z(2)和z(3)，计算不同试验结果与外场试验结果之间的偏差，令偏差

vs=(z(s)-z(1))2.

(18)

显然，偏差vs可以表示第s(s=1，2，3)个信息源与外场试验结果的偏差程度。偏差小，表明数据可靠程度高，可信度也越高，反之亦然。令相对偏差

(19)

则第s个信息源的可信度为

(20)

2.2.3 综合可信度

主观可信度概念清楚，计算过程简单易行，但易受主观因素干扰；客观可信度推算严密，基于客观数据进行评价，但权重随着不同信息源数据的变化而变化，缺乏稳定性。因此，有必要将两种可信度优势结合起来，借鉴组合权重法的思想确定不同信息源的综合可信度[16]。

设3种试验结果主观可信度分别为μ1s(1≤s≤3)，客观可信度为μ2s(1≤s≤3)，则3种试验结果的综合可信度按(21)式计算。

(21)

2.3 测试性综合评估模型

设外场试验、实验室试验、分析评价3种评价方式的检测/隔离故障样本数分别为n1、n2、n3，检测/隔离失败的故障样本数为nf1、nf2、nf3. 相应地，3种试验方式的测试性参数点估计值为Ps，单侧置信下限为Pls，置信区间为[Pls,Pus]. 分别按文献[12]方法计算3种试验评价方式对应的测试性参数。

由于3种试验数据的可信度不同，需要对试验评估结果进行折算，折算原则是：可信度最高者，折算系数为1，即不用折算；可信度较低者，评估结果需乘以折算系数。折算系数的计算过程如下。

设外场试验、实验室试验、分析评价的可信度分别为μ1、μ2和μ3，对应的折算系数分别为φ1、φ2和φ3，折算系数计算公式为

(22)

则不同试验测试性参数点估计值的折算值Pcs和单侧置信下限的折算值Pcls分别按(23)式、(24)式计算。

Pcs=φsPs，

(23)

Pcls=φsPls.

(24)

置信区间双侧置信下限Pcls和双侧置信上限Pcus的折算值按(25)式计算如下：

(25)

完成3种试验数据源的评估结果折算后进行测试性参数综合评估，具体方法为：按照(26)式计算测试性参数点估计值的综合评估值P，按照(27)式计算单侧置信下限的综合评估值Pl，按照(28)式计算置信区间的综合评估值Pl、Pu.

(26)

(27)

(28)

3 评估案例验证

3.1 案例分析

某装甲输送车分别采用外场试验、实验室试验和分析评价3种方式进行BIT系统的故障检测率测试性试验。该车BIT系统即车辆综合电子信息系统由通信系统、定位导航设备、电气设备、综合电子系统和综合保障盒等组成。系统具备车辆动力、传动、操纵、电气、三防、灭火、指控、烟幕弹发射和激光告警等系统的状态监测与故障报警功能，部分故障可隔离到外场可更换单元。表1为外场试验期间综合传动装置5个自然故障记录结果。表2为某装甲输送车外场试验、实验室试验、分析评价3种试验评价方式的试验结果。

分别采用直接评估方法和基于外场试验的综合评估方法，计算故障检测率的点估计值和单侧置信下限，置信度取0.8. 其中，直接评估方法是将外场试验、实验室试验和分析评价3种试验评价方式同等对待，将3种试验得到的故障样本数和检测成功数直接相加，分别作为测试性参数评估的故障样本数和检测成功数。两种方法均按文献[12]计算装备故障检测率的点估计值和单侧置信下限。

3.2 直接法评估

根据表1统计结果，3种试验方式得到的故障样本总数为85个，成功检测故障数为66个，检测失败数为19个。得到故障检测率的点估计值为77.64%；由n=85，nf=19，C=0.8，在文献[17]中查表A.1，得到故障检测率的单侧置信下限为72.98%.

3.3 综合评估

3.3.1 3种试验结果的测试性参数评估

根据表1统计结果计算故障检测率的点估计值，得到外场试验、实验室试验、分析评价的点估计值分别为66.67%、89.28%、80.95%. 在文献[17]中查表A.1，得到外场试验、实验室试验和分析评价的故障检测率单侧置信下限分别为58.33%、81.88%、70.06%.

3.3.2 3种试验结果的可信度计算

首先，采用两两赋值法计算3种试验结果的主观可信度。选择16名资深业内专家对外场试验、实验室试验和分析评价3种试验评价方式试验结果的可信度进行打分赋值。打分按9分制实施，分值直接取整数，分值代表两指标相比较的重要程度。专家打分分值的含义如表3所示。

每名专家提供3项打分结果，分别是外场试验与实验室试验可信度比值、外场试验与分析评价可信度比值、实验室试验与分析评价可信度比值。矩阵A为16名专家的打分结果。

表1 外场试验自然故障统计表

表2 某装甲输送车测试性试验结果

表3 专家打分分值的含义

按主观计算法求得外场试验、实验室试验和分析评价的主观可信度分别为0.74、0.20、0.06.

其次，计算3种试验结果的客观可信度。将3种试验评价方式求得的故障检测率评估结果(单侧置信下限)代入(18)式计算vs，分别按(19)式、(20)式计算ds和μ2s. 客观可信度计算结果如表4所示。

表4 客观可信度计算结果

最后，按照(21)式，采用组合权重法求得3种试验结果的综合可信度分别为外场试验0.75、实验室试验0.19、分析评价0.06.

从3种算法的排序结果看，实验室试验的主观可信度高于分析评价结果，客观可信度低于分析评价结果，即专家系统认为实验室试验结果更可信，但其在一定程度上高估了装备测试性水平。综合加权后得出3种试验结果可信度的排序是外场试验>实验室试验>分析评价，与实际情况较为吻合。

从3种算法得到的数值结果看，主观计算法得到的外场试验可信度为0.74，经过客观可信度的修正后，综合加权得到的外场试验可信度进一步提高到0.75，即客观计算为主观判断提供了数据支持。

3.3.3 3种试验结果测试性参数折算

首先，按(22)式计算3种试验的折算系数。计算结果为：外场试验折算系数1，实验室试验折算系数0.25，分析评价折算系数0.06.

其次，分别按(23)式和(24)式计算故障检测率的折算值，计算结果如表5所示。

表5 3种试验方式测试性参数折算结果

3.3.4 测试性参数综合评估

将3种试验方式的测试性参数折算值分别代入(26)式和(27)式，求得故障检测率的综合评估结果为：点估计值71.83%，单侧置信下限63.38%.

3.4 计算结果对比分析

将单项评估和综合评估所得到的测试性参数计算结果进行对比分析，如表6所示。

表6 直接法和综合评估法评估结果对比

从单项评估结果看，外场试验故障检测率的点估计值和单侧置信下限均明显低于实验室试验和测试性分析评价，这与外场试验中装备所经历的复杂试验环境有直接关系，在真实环境中装备BIT设备存在的设计缺陷和可靠性问题得到了充分暴露，相应的故障检测率水平也相对要低一些。因此，外场试验的测试性验证结果更可信，更接近装备测试性的真实水平。

从综合评估结果看，采用直接法评估得到的故障检测率点估计值和单侧置信下限均高于综合评估法计算结果，这是因为直接法将外场试验与实验室试验及分析评价3种试验评价方式的可信度水平等同看待，而综合评估法得到的评估结果更靠近外场试验结果。因此，采用综合评估法对装甲车辆测试性参数进行评估是可行的，评估结果也更为合理。

4 结论

本文针对测试性实验室试验可信度低于外场试验的问题，结合装甲车辆外场试验自然故障样本量大的特点，引入试验结果可信度概念，将外场试验、实验室试验和分析评价一并作为装甲车辆测试性试验方式，对测试性评估模型进行了研究。主要得到以下结论：

1)装甲车辆测试性试验优先采用外场试验方式。当故障样本量不足时，采用实验室试验方式进行模拟故障注入；当部分模拟故障无法注入时，采用分析评价方法确定装备测试性水平。

2)基于试验结果可信度的测试性综合评估方法基本原理是：以外场试验、实验室试验、分析评价3种方式的试验结果为基础，首先采用综合权重法计算不同试验结果可信度，其次按可信度对初始评估结果进行折算，最后进行测试性参数的综合评估。

3)综合可信度既考虑到决策者的评估侧重点，又突出了外场试验结果的客观性。与单一主观、客观赋权法相比，在工程实践中更具可操作性。

参考文献(References)

[1] 田仲，石君友.系统测试性设计分析与验证[M].北京：北京航空航天大学出版社，2003：361-396.

TIAN Zhong, SHI Jun-you. Design, analysis and demonstration of system testability[M]. Beijing: Beihang University Press, 2003: 361-396.(in Chinese)

[2] 沈岭，周鸣歧.航天产品测试性试验验证方法[J].中国质量, 2006(7)：16-18.

SHEN Ling, ZHOU Ming-qi. Testability demonstration methods of aerospace products[J].China Quality, 2006(7):16-18. (in Chinese)

[3] 何洋，叶晓慧，赵建扬.机电设备的测试性试验初探[J].电光与控制，2011，18(11)：92-95.

HE Yang, YE Xiao-hui, ZHAO Jian-yang.On testability verification for electromechanical equipment[J]. Electronics Optics & Control, 2011, 18(11):92-95.(in Chinese)

[4] 张小波，常瑞承.舰艇型号工程测试性验证与评价方法[J].舰船科学技术，2014，36(7)：150-153.

ZHANG Xiao-bo, CHANG Rui-cheng. The study of the ship engineering development testablilty evaluation method[J]. Ship Science and Technology, 2014, 36(7): 150-153. (in Chinese)

[5] 常春贺，杨江平，王杰.雷达装备测试性验证及应用研究[J].计算机测量与控制，2011，19(8)：1943-1949.

CHANG Chun-he, YANG Jiang-ping, WANG Jie. Research on verification and application of testability of radar equipment[J]. Computer Measurement & Control, 2011, 19(8): 1943-1949. (in Chinese)

[6] 张联禾.基于模拟试验的测试性评估方法研究[J].西南师范大学学报：自然科学版，2014, 39(11)：122-127.

ZHANG Lian-he. Testability evaluation method based on the simulation test study of flight test phase[J]. Journal of Southwest China Normal University：Natural Science Edition, 2014, 39(11): 122-127. (in Chinese)

[7] 中国人民解放军总装备部.GJB 2547A—2012 装备测试性工作通用要求[S].北京：中国人民解放军总装备部， 2012.

General Armaments Department of the Chinese People’s Liberation Army. GJB 2547A—2012 General requirement for materiel testability program[S]. Beijing: General Armaments Department of the Chinese People’s Liberation Army, 2012. (in Chinese)

[8] 张艺琼，武月琴，曾照祥，等.测试性验证试验中的综合评估方法[J].测控技术，2013，32(6)：133-139.

ZHANG Yi-qiong, WU Yue-qin, ZENG Zhao-xiang，et al. Method of integrated evaluation of testability validation test[J]. Measurement & Control Technology, 2013, 32(6): 133-139. (in Chinese)

[9] 王京，李天梅，何华锋，等.多源测试性综合评估数据等效折合模型与方法研究[J].兵工学报，2017,38(1)：151-159.

WANG Jing, LI Tian-mei, HE Hua-feng，et al. Research on multi-source data equivalent methods for testability integrated evaluation[J]. Acta Armamentarii,2017, 38(1): 151-159. (in Chinese)

[10] 韩志钢.装备测试性综验证技术研究[J].可靠性与环境适应性理论研究，2016，34(2)：7-9.

HAN Zhi-gang. A comprehensive testability verification technology of equipment[J]. Electronic Product Reliability and Environmental Testing, 2016, 34(2): 7-9. (in Chinese)

[11] 余龙海，史贤俊，肖支才.基于使用阶段数据的装备测试性验证方法[J].电光与控制，2016,23(6)：90-95.

YU Long-hai, SHI Jun-xian, XIAO Zhi-cai. A method for testability verification of armament based on data of service stage[J]. Electronics Optics & Control, 2016,23(6): 90-95. (in Chinese)

[12] 田仲.测试性验证方法研究[J].航空学报，1995,16(增刊)：65-70.

TIAN Zhong. Study on testability demonstration methods[J]. Acta Aeronautica et Astronautica Sinica, 1995, 16(S):65-70. (in Chinese)

[13] 徐忠伟，周玉芬，徐松涛，等.测试性验证中抽样方案的精确算法及应用[J].航空学报，2000，21(1)：67-69.

XU Zhong-wei, ZHOU Yu-fen, XU Song-tao，et al. Accurate algorithm of sampling plan & its application in testability demonstration[J]. Acta Aeronautica et Astronaunica, 2000, 21(1):67-69. (in Chinese)

[14] 田仲.测试性分配和预计[J].北京航空航天大学学报，1995,21(4)：13-17.

TIAN Zhong. Testability allocation and prediction[J]. Journal of Beijing University of Aeronautics and Astronautics, 1995, 21(4): 13-17. (in Chinese)

[15] 魏世孝，周献中.多属性决策理论方法及其在C3I系统中的应用[M].北京：国防工业出版社，1998:76-77.

WEI Shi-xiao, ZHOU Xian-zhong. Multi-attribute decision-making theory and its application in C3I system[M]. Beijing: National Defense Industry Press, 1998:76-77. (in Chinese)

[16] 张永锋，骆清国.装甲车辆柴油机整机性能的综合评价[J].机械工程学报，2006，42(13)：205-208.

ZHANG Yong-feng, LUO Qing-guo. Comprehensive evaluation of diesel engine performance for armored vehicles[J]. Chinese Journal of Mechanical Engineering, 2006, 42(13):205-208. (in Chinese)

[17] 东北师范大学. GB/T 4087—2009 数据的统计处理和解释：二项分布可靠度单侧置信下限[S]. 北京：中国标准出版社，2009.

Northeast Normal University. GB/T 4087—2009 Statistical interpretation of data—one-side confidence lower limit of reliability for binomial distribution[S].Beijing: Standards Press of China, 2009. (in Chinese)