方案阶段测试性评价指标体系构建

王佳祥

(陆军航空兵学院,北京 101123)

0 引言

测试性是指装备能及时准确地确定其状态(可工作、不可工作或性能下降),并有效隔离其内部故障的一种设计特性[1]。直升机的研制是一个复杂的系统工程,涉及机电、航电、结构、动力等多个专业,测试性设计和验证贯穿整个研制过程。测试性评价做得好,是提高产品质效、降低研制风险的有效手段。其他军兵种早在2012年就开展了相关装备的测试性评价问题研究[2-4]。但现行军用标准和行业规范,缺少直升机方案阶段测试性评价工作的指标体系。

针对以上问题,本文从装备管理的角度出发,通过梳理方案阶段测试性工作的主要工作、评审内容及评价要点,采用层次分析法构建直升机方案阶段测试性评价体系。从设计之初开始规范、完善评价机制及评审过程管理,提高直升机方案阶段测试性评价的客观性、合理性。

1 方案阶段测试性评价工作分析

按照GJB 2547A-2012《装备测试性工作通用要求》的阶段划分,测试性管理涉及工作项目200系列、400系列、500系列的工作内容,其工作内容互有交叉耦合。测试性技术线、管理线各阶段评价节点汇总如图1所示[5-8]。

图1 测试性相关评价节点汇总

结合陆军航空装备工程经验,方案阶段的测试性工作一般依据诊断方案、测试性设计准则、FMECA(Failure Mode Effects Criticality Analysis,故障模式、影响及危害性分析)等进行测试性建模,开展测试性虚拟仿真试验,完善产品设计。在实际评审过程中,一般结合F转C阶段评审进行测试性核查,为下一阶段的产品研制提供输入文件和数据源。

方案阶段测试性评价主要内容包含:装备测试性及其工作项目要求的科学性和合理性;装备测试性要求是否符合装备诊断方案,诊断约束是否正确等内容。

通过梳理发现,军方在整个测试性管理、监管过程中存在薄弱环节。项目管理机构和军事代表机构的介入时机没有明确;各评审节点的评审标准和原则没有统一标准;尤其是在方案阶段的测试性设计,是整个产品的设计输入,对后续的产品设计影响较大。因此,在方案阶段建立统一标准,严格进行测试性审核、评价,是提高工作质效的有效手段。

2 方案阶段测试性评价指标体系构建

评价是反映测试性工作开展情况的关键因素,被评价的所有因素的集合就是指标体系[9]。评价就是判断这些指标,以证实设定的目标是否达到。在一个科学的评价体系中,各评价指标相互独立、互不干扰。这些指标从不同的方面反映评价目标,最终形成层次化的评价指标体系[10]。按照系统性、独立性、完备性原则构建直升机方案阶段测试性评价指标体系。

2.1 评价工作内容及影响因素分析

梳理方案阶段测试性设计及验证工作内容可见,方案阶段测试性评价主要涉及故障模式、影响与危害性分析(FMECA)、产品功能说明、测试性诊断方案、BIT设计、BIT关键安全故障设计、BIT防虚警设计、外部测试设计、制定测试性设计准则、测试性设计准则符合性检查、开展测试性建模、测试性建模功能构建、测试性建模结构关系构建、测试性建模故障信息构建、测试信息对照分析、测试性建模分析等15项工作内容。通过调研、专家咨询,考虑评价阶段为转段评审,在设计准则符合性自查时发现的问题,应已得到有效的解决,故新增设计准则符合性检查落实整改1项工作内容。

将以上16项测试性工作内容作为方案阶段测试性评价影响因素,依据重要度等级进行打分:非常重要5分、比较重要4分、一般3分、不重要2分、非常不重要1分,汇总打分结果如表1所示。

表1 测试性评价工作重要度打分汇总表

对打分结果进行因子分析。首先进行KMO检验和Bartlett球形检验,数据分析结果为:KMO值为0.786,Bartlett的球形度检验近似卡方为1651.123;KMO值大于0.6(存在相关性),且P<0.05(有显著性),符合因子分析要求。尔后,采用主成分分析方法进行相关性矩阵抽取,用最大方差法进行矩阵旋转解输出。系数显示格式取消小格式,输出得到总方差。抽取了4个影响因子,如表2所示。

2.2 目标层指标的选取

通过影响因素分析可见,4个影响因子累计方差总计81.932%,影响因子分析有效。综合考虑装备研制特点,对这4个主影响因子进行分析归类,形成评价目标层,并重新命名。

影响因子一,涉及的为:故障模式、影响与危害性分析(FMECA)、产品功能说明,均为产品在在测试性工作开展设计之前进行的产品功能结构分解,是设计的输入和依据,可将其命名为“设计依据”。

影响因子二,涉及的为:测试性诊断方案、BIT设计、BIT关键安全故障设计、BIT防虚警设计、外部测试设计,均为在产品开展测试性设计时的关键工作项目,可将其命名为“测试性设计”。

影响因子三,涉及的为:制定测试性设计准则、测试性设计准则符合性检查、设计准则符合性检查落实整改,均是围绕测试性准则开展的活动,可将其命名为“测试性设计准则及符合性检查”。

影响因子四,涉及的为:开展测试性建模、测试性建模功能构建、测试性建模结构关系构建、测试性建模故障信息构建、测试信息对照分析、测试性建模分析,均是围绕测试性建模、预计和测试性分析开展的活动,可将其命名为“测试性建模与分析”。

2.3 准则层指标的选取

准则层是依据目标层的分项目标所开展的具体工作。依据前文梳理的方案阶段测试性工作16项内容及测试性评价影响因素分析,将其16项指标分类纳入各一级指标的下级指标,作为评价体系的准则层。

2.4 指标层指标的选取

指标层指标为准则层项目开展工作内容的关键评价点。例如,故障模式、影响与危害性分析(FMECA)的评价要点主要包含:①产品约定层次划分的正确性和FMECA报告的配套符合性审查;②故障模式、故障原因及故障影响分析的充分性和一致性核查;③FMECA报告的内容完整性审查;④故障判据、严酷度定义、故障判据和故障影响核查;⑤故障影响描述符合性核查;⑥故障检测方法可行性;⑦FMECA分析效果评价。可以将评价要点作为评价准则层的指标,来评价准则层工作的开展情况。

据此,共计分解59项评价要点,作为三级指标层评价指标。初步形成方案阶段测试性评价指标体系,如图2所示。

图2 测试性评价初步指标体系

2.5 指标体系完善

依据测试性评价初步指标体系开展问卷调查。问卷调查对象为陆军航空装备以往型号设计研究所、装备承制承研单位。所调研单位涉及装备论证、直升机设计、标准化研究、成品制造、直升机总装等多种类型军地单位,覆盖整个装备研制周期。共计发放问卷40份,收回38份,有效问卷34份,有效率为89.47%。

使用SPSS 22对收回的34份有效问卷调查进行统计分析,对数据的有效性、一致性进行分析评估。经SPSS数据信度分析,克隆巴赫系数为0.987,置信度良好。

经数据汇总分析,所有指标重要评分3分以上都在75%至90%,均为重要指标。同时,依据反馈意见,考虑机电产品及结构件的测试性设计,新增状态监控设计和预测设计部分的15项指标层评价指标,尔后进行第2轮问卷调查。

根据问卷调查结果,所有指标重要评分3分以上都在70%～95%。同时,提出调整二级指标状态监控设计E1与测试性预测设计E2,考虑部分结构部分不适宜开展状态监控和预测设计,必要性和可行性分析需单独形成指标项。

2.6 方案阶段评价指标体系形成

通过两轮问卷调查,对评价指标进行细化和调整,汇总形成直升机方案阶段测试性评价指标体系。受篇幅限制,仅列出新增内容,见图3。

图3 测试性评价指标体系(新增部分)

3 小结

本文开展了直升机方案阶段测试性评价指标体系构建研究,将测试性管理工作与测试性技术工作的交叉内容、评价时机和工作内容进行融合,利用主成分分析法提取关键因素,确定目标层、准则层和指标层评价指标,初步形成测试性评价指标体系;通过两轮问卷调查对评价指标体系进一步细化和完善,最终形成直升机方案阶段测试性评价指标体系,为有效开展直升机方案阶段测试性评价工作奠定了基础。