装备试验与评价系统工程管理知识体系的设计

许芝芹 刘 琦 黄 力 霍志玮

现代管理

装备试验与评价系统工程管理知识体系的设计

许芝芹刘 琦黄 力霍志玮

（1. 湖南交通工程学院经济管理学院，衡阳 421001；2. 湖南交通工程学院高科技研究院，衡阳 421001；3. 湖南中盛交通高科技研究院，长沙 410003）

将装备试验与评价看作一个系统，利用系统工程的理论、方法和技术对其进行全面管理不仅是必要的，而且是可行的。首先，对装备试验与评价的知识需求进行了分析，构建了知识需求的网络模型，给出了所需的关键知识类型。其次，明确了知识之间的支撑关系，阐述了不同知识对装备试验与评价的支撑作用。最后，建立了装备试验与评价知识运用的循环结构模型，明确了装备试验与评价的阶段任务。知识体系的设计，对于规范试验与评价的实施，提升试验与评价的质量和效益具有重要的工程实践指导意义。

试验与评价；系统工程；知识体系；知识需求；支撑关系；知识运用

1 引言

随着《中国制造2025》的不断推进，逐步实现多数关键零部件、产品的国产化，特别是实现高端装备的全面国产化，已成为当前装备建设的首要问题。在装备建设方面，通过试验与评价（TestandEvaluation，简称为T&E），完成对战术技术指标的分析，并提升关键指标的水平，是装备设计生产中的不可或缺的关键性工作。系统工程作为一种成熟的方法论体系，已广泛用于军事、航天、经济、社会、人口、教育等领域。而装备，特别是复杂装备的T&E是涉及多指标、多阶段、多组件（部件）、多部门人员协作、多设备配合的复杂工作，只有依靠系统工程方法安排和组织试验，才能实现对T&E的全面系统规划与管理，真正实现对T&E需求的全面分析、对T&E实施的整体规划、对指标的综合分析等，以最终达到总体上降低试验消耗、提升试验效益、确保装备质量的总体目标。

在T&E的系统工程管理方面，国内外已进行了大量的相关研究，如王治国等剖析了反导装备体系建设的特点，研究了系统工程管理在美国国家导弹防御系统中的应用；杜卓宏等介绍了应用验证系统工程在型号中的具体实践。在系统工程方法的应用方面，孟祥敏将系统工程的V模型验证技术引入民机复合材料部件的适航符合性验证过程，通过V模型说明复合材料部件设计符合性和制造符合性的相互验证关系；闫金栋等综合运用航天系统工程理论与方法，对航天器专业化测试模式进行了探索与实践。

在T&E方面，Eileen等针对T&E中存在的不确定性，提出了使用基于模型的系统工程框架和MonteCarlo模拟定义不确定度降低目标的方法；廖兴禾等应用三维结构方法体系，分析了不同寿命阶段对T&E的需求，并从试验内容、试验目的、对象规模、对象形态等角度对装备试验进行了分类；刘仕雷等分析了装备作战试验组织实施的系统工程需求和美军装备作战试验组织实施特点，探索了试验目标规划、总体方案设计等5个不同组织实施阶段的系统工程具体应用；魏兆磊等剖析了保障装备体系构建内涵，运用IDEF3给出了保障装备体系构建过程的形式化描述模型，明确了保障装备体系构建研究的关键技术。

在试验的质量管理方面，余学锋等对靶场测试数据产生过程中的质量管理问题，提出了测试数据质量管理框架，设计了数据质量管理功能配置方法；高新介绍了软件测试质量管理中风险评估的3个方面，分析了软件测试的一般风险，并提出了纠正措施及建议；居加祥等将质量管理方法融入到试验的质量管理过程中，提出了具有航天特色的质量管理方法，规范了地面武器装备联调试验流程；王琦等通过对影响雷达靶场试验质量的关键要素和过程的研究分析，提出了对靶场雷达装备试验过程实施基于知识的质量控制的基本方法。

从现有研究情况看，利用系统工程对T&E进行全面管理，是必要和可行的，但现有的研究还主要停留在具体方法的应用和具体装备（产品）的分析，研究还存在一定的零散性，缺乏对整个知识体系的分析，需要对T&E系统工程管理知识体系进行较为全面的设计，以从方法论上指导不同装备的T&E实践。T&E系统工程管理英文翻译为System Engineering Management for Test & Evaluation，为便于描述，在文中将其简写为SEMTE。

2 SEMTE知识的需求分析

试验与评价（T&E）的定义为：通过试验获取足够有价值的数据资料（信息），并将所获得的数据进行处理、逻辑组合和分析，将其结果与装备研制总要求中规定的战技指标和作战使用要求分析比较，对实现装备研制目标的情况进行评价，对军事装备（包括系统、分系统及其部件）的战术技术性能和作战使用性能进行评定的过程，其目的是为装备的定型、部队使用、研制单位验证设计思想和检验生产工艺提供科学的决策依据。将该定义中的军事装备改为装备、战术技术性能和作战使用性能改为技术性能和使用性能、部队改为用户，则该定义就可通用到一般装备，可用于指导其T&E。

按照T&E的定义，根据其工作要求，可采用图1所示的网络模型，分析其知识的需求。网络模型的核心思想是运用头脑风暴法将T&E所需的知识进行逐项列举，然后分类归纳，给出所需的知识体系。主要步骤为：a.根据T&E的定义，列出关键要素，在此关键要素包括信息获取、信息管理、信息分析、指标比较、指标评价。b.针对每一个关键要素，列出针对该要素所需进行的工作，以信息获取为例，其所需工作包括现场试验信息的获取和相关数据的获取。c.对于b所需的工作进一步细分，明确更为详细的工作，如相关数据的获取又包括相似装备数据、仿真信息数据、专家信息、上下游数据、理论分析信息等。b和c可重复利用头脑风暴法进行，直到确定具体的知识需求。d.将具体知识需求按照学科或专业进行分类归纳，以便于相关工程技术人员按照专业技能进行工作的划分，并进行工作的协调安排。在分类归纳中，按照先小类后大类的顺序进行。如针对本网络结构，所有获取到的数据都须进行数据的质量分析，这是质量管理的一项分支工作，而进一步数据质量分析和质量管理又都可归为质量管理学这一分支。

通过图1的网络模型，可将T&E所需的知识归纳为试验学、质量管理学、系统工程、管理学、大数据技术、统计学、装备学、计算数学等大类知识，这些知识都有相应的学科专业与其对应，如试验学属于军事装备学学科、系统工程属于控制科学与工程学科等。这些学科都有专业的人才培养体系与知识要求，利用这些专业的人才即可进行T&E的系统性管理。

图1 SEMTE知识需求分析的网络模型

3 SEMTE知识的支撑关系设计

由图1可见，装备的T&E涉及到多种知识，而且知识之间并不是孤立的，而是互相协作共同完成T&E任务，知识之间存在依存和支撑关系，在本文中将这种共同协作完成T&E任务的关系称为T&E的系统工程管理技术。知识之间的支撑关系如图2所示。

图2 SEMTE知识之间的支撑关系

a. 管理学对T&E的支撑作用。管理学的作用重点体现在：对T&E全过程的信息管理（此部分内容可通过信息管理系统实现）、装设备管理（包括试验装设备和被试装设备的管理）、T&E环境分析（包括进行T&E的费用、政治、自然环境约束，T&E的目标分析等）、T&E元模型设计（元模型包括试验所用的方法、数据分析的方法、收集数据的要求等）、人员管理（包括试验所需的各类人才的规划、使用等）。管理学以“管理”为核心要素，实现对整个T&E过程中人、财、物、数据等的管理。

b. 装备学对T&E的支撑作用。装备学是研究装备建设、发展、运用、管理以及技术保障的学科。装备学对T&E的作用重点体现在：明确装备使用所需评价的相关技术性能指标和使用性能指标的定义、所需满足的最基本的要求，明确所试装备在整个装备体系中的定位与装备组成的层次关系，分析装备使用的环境条件与保障性要求，在装备设计中明确装备的组成与配置等。可见，装备学是为T&E提供有关于装备的相关硬件基础条件支持。

c. 质量管理学对T&E的支撑作用。T&E所获得的数据与被试装备本身应有的数据的一致性、实施过程的规范性等等，这些问题都需要质量管理学或质量管理体系的方法进行分析、控制，以确保T&E结论的正确性。质量管理学的作用重点体现在：信息质量分析（所获得的信息是否正确，能否真实反映被试装备本身的情况）、对被试装备质量提升提供辅助决策（通过T&E发现问题，并将问题正确反馈给相关部门，以进一步提升设计生产水平），必要时构建T&E质量管理体系，实现对T&E全过程的质量控制。

d. 试验学对T&E的支撑作用。试验学重点研究试验的设计、实施，试验学的作用重点体现在：评价指标确定（依据装备技术性能和使用性能要求，明确所要进行评价的指标）、评价标准设计（根据合同或相关标准，明确指标评价的标准，如与预定值进行大小比较或者从统计角度进行假设检验）、产品（装备）的特性归类（明确产品的类型、其寿命分布特点、试验设计（对试验所采用的方式方法、试验的先后顺序等进行设计）、相关指标对应的数据特征等）、试验的环境要求分析、试验所需的相关标准分析等。

e. 大数据技术对T&E的支撑作用。随着装备复杂化，大数据技术对T&E的支撑作用会逐步增强，其主要作用重点体现在：（潜在）故障发现（通过数据挖掘、相关性分析等发现设计生产中的缺陷数据，进一步发现潜在故障）、数据管理（实现对所有现场数据、相关数据、组成部件数据等的全方位管理）、数据展示（对数据进行分类展示，以便于进一步的数据挖掘）、指标预测（通过大数据分析手段，在装备设计的同时对相关指标进行预测，并指导装备的设计）。

f. 统计学对T&E的支撑作用。当前T&E中，用到的数据分析方法还重点是统计学方法，包括经典的大样本统计方法、小子样条件下的Bayes方法，以及基于性能退化的统计分析方法。其支撑作用主要体现在：指标的统计评价（利用点估计、区间估计、假设检验等方法完成指标的分析）、结果的准确性分析（包括数据的灵敏性分析、结果对装备真实状态的验证、当用质量管理手段分析时数据本身的正确性分析等）、试验数据的预处理（对数据中异常值的剔除、缺失数据的补充等）、病态数据分析（当试验数据出现重复、缺失、异常值等情况时，分析造成这种异常的原因，给出补救措施）。

g. 计算数学对T&E的支撑作用。装备T&E需要建立多种类型的数学模型（如信度和效度分析模型、性能退化趋势分析模型、异常数据处理模型等），需要对多个指标进行评价，这些都离不开数学建模、数值计算、数据分析等数学方法的支持。计算数学的支撑作用重点体现在：构建数学模型，给出模型的求解方案，当不能用解析方法求解时，需对数值计算方法进行研究。当数学模型求解不能给出最优解时，需对其满意解进行论证。

h. 系统工程对T&E的支撑作用。系统工程从学科上定位，是一种组织管理技术，是把要研究的对象或工程管理问题看作是一个由很多相互联系相互制约的组成部分构成的总体，然后运用运筹学的理论和方法以及计算机技术，对构成系统的各组成部分进行分析、预测、评价，最后进行综合，从而使该系统达到最优，其根本目的是保证最少的人力、物力和财力在最短的时间内达到系统的目标，完成系统的任务。从这个角度，系统工程对T&E的支撑作用就非常明确，它可以综合利用相关的知识，对T&E全过程涉及到的各要素进行分析、预测、组织、协调，最终实现T&E的总体目标。主要支撑作用体现为：利用系统工程方法论指导T&E各阶段模型的建立（此处模型包括数学模型、物理模型、概念模型）、构建T&E的元模型（即明确T&E的试验方法、评价方法、数据要求等）、进行系统评价与决策（完成对模型的有效性评价、T&E实施的有效性评价等，完成不同阶段工作转换的决策）、进行系统规划与实施（对T&E的人、财、物等进行规划，对T&E的工作安排进行规划，并监督T&E的实施等）。

从上述支撑关系的分析情况看，系统工程是所有知识之间的纽带，通过系统工程对整个T&E过程进行全面管控，然后在不同的阶段、不同的工作中采用相关的知识完成具体的T&E任务。

4 SEMTE知识的运用设计

根据装备T&E的工作需求，可将其实施过程分为需求分析、现状分析、试验方案设计等7个工作任务阶段，不同任务阶段所需进行的工作和知识需求如图3所示。由图3可见，整个T&E工作可按照外部大循环（系统工程管理技术循环）、内部小循环（质量管理学的PDCA过程）和试验任务循环等3个循环进行T&E的实施，将此称为循环结构模型。

a. 需求分析任务阶段。此阶段的任务是明确要进行T&E的装备；根据合同要求和装备的通用要求，明确需要进行评价的指标（包括技术性能指标、使用性能指标等），此时需要用到装备学、管理学、试验学等知识。在系统工程上对应于系统分析的初始阶段。从质量管理的角度而言，属于质量的计划阶段。

b. 现状分析任务阶段。此阶段的任务是明确已掌握的关于被试装备的相关信息，其任务包括：分析被试装备上下游的相关信息、类似装备试验信息等；对于相关指标，调查本单位或借助其他力量能够实现的评价方法；分析进行试验的约束条件，包括样本量、试验时间、试验环境、试验经费约束等。此阶段需要大数据技术、统计学、管理学等知识的支持。对应于系统分析的详细分析阶段，属于质量管理的计划阶段。

c. 试验方案设计任务阶段。此阶段的任务是在理论上进行试验方案的设计，其工作包括：对于不同的指标确定试验的方法、指标评价的方法，并对试验进行归类合并，在此基础上明确不同试验进行的顺序关系，然后给出数据收集方案，最后从理论上对试验方案的可行性进行论证。此阶段需要装备学、试验学、统计学、管理学等知识的支持，处于系统建模阶段（重点是建立T&E的基础模型），属于质量管理的计划阶段，此阶段是质量形成的基础阶段，此阶段的成果决定了能否正确评价装备指标的真实水平。

d. 实施方案设计任务阶段。此阶段的任务是将理论上的试验方案落实到具体的工程实施，包括：确定进行试验的环境、装设备、负责试验的人员、确定试验数据传输方案、确定试验的具体流程等，任务确定后还需再次进行确认实施的可行性。此阶段重点需试验学、装备学的知识支撑，属于具体的系统规划，是质量管理计划的落实阶段。此阶段重点需试验学、装备学知识的支持。

图3 SEMTE知识运用的循环结构模型

e. 试验实施任务阶段。此阶段的任务是按照实施方案的要求，具体进行试验的实施，是试验数据的形成阶段，主要工作包括：监控试验的进程、收集储存试验数据，此阶段对数据管理的重要任务是避免数据造假，从而需对数据的准确性进行监控。在系统工程上属于系统实施阶段。在质量管理上属于执行阶段。

f. 结果评价任务阶段。此阶段的任务是基于已有的数据，利用c阶段确定的评价方法，对装备的相关指标进行评价，主要工作包括：试验数据的信度和效度分析、指标的评价比较，并传输结果。需要用到统计学、管理学、质量管理学、计算数学等知识。属于系统评价阶段，在质量上归为质量检查阶段。

g. 改进建议任务阶段。此阶段是对整个T&E过程进行总结，发现问题，并给出进一步的改进计划建议。主要工作包括：基于指标评价的结果，对装备研究的现状进行分析，发现存在的问题；当相关指标不能满足研制要求时，分析给出改进的建议，并对改进方案的可行性进行分析。此阶段需要质量管理学知识的支持，并且需要研制生产等单位进行装备缺陷的深入分析，为系统决策问题。对于该阶段发现的问题，进行改进后，需重新进入a阶段，进一步验证，从而实现质量的提升。

5 结束语

将T&E看作一个系统，运用系统工程的理论、方法和技术对其进行分析、建模、规划、实施、评价和决策，是实现T&E全面管理、提升试验效益的可行途径。本文设计了T&E系统工程管理中所需的知识体系，构建了知识需求分析的网络图模型，明确了知识之间的支撑关系，并对T&E全任务过程知识的运用进行了论述。本研究对于实现装备T&E的规范化管理以及进一步提升装备质量，具有实践上的指导作用。

1 武小悦，刘琦. 装备试验与评价[M].北京：国防工业出版社，2008

2 孙东川，孙凯，钟拥军. 系统工程引论[M].北京：清华大学出版社，2019

3 王治国，蔡润南. 系统工程在反导装备体系建设中的应用研究[J]. 现代防御技术，2015，43(1)：13～17，113

4 杜卓宏，付琬月，丁丽娜，等. 宇航元器件应用验证系统工程方法实践与探索[J]. 重庆理工大学学报（自然科学），2019，33(6)：236～240

5 孟祥敏. 基于系统工程的民机复材部件适航符合性验证测试技术及应用[J]. 工程塑料应用，2019，47(12)：115～120

6 闫金栋，王华茂，李大明，等. 基于系统工程的航天器专业化测试模式探索与实践[J]. 航天器工程，2017，26(5)：99～108

7 Bjorkman EA,Sarkani S,Mazzuchi TA.Usingmodel-basedsystemsengineeringasaframeworkforimprovingtestandevaluationactivities[J].SystemsEngineering, 2013, 16(3): 346～362

8 廖兴禾，白洪波，丁建琪. 基于系统工程的装备试验与评价需求研究[J]. 装备学院学报，2017，28(1)：118～123

9 刘仕雷，柯宏发，祝冀鲁. 基于系统工程的装备作战试验组织实施流程问题研究[J]. 装备学院学报， 2017，28(1)：111～117

10 魏兆磊，陈春良，王磊，等. 保障装备体系构建的系统工程方法[J]. 火力与指挥控制，2018，43(4)：178～182

11 余学锋，文海，张红清. 靶场测试数据质量管理方法研究[J]. 中国标准化，2019(15)：177～182

12 高新.软件测试过程中的质量管理及风险应对分析[J]. 无线互联科技，2019，16(13)：31～32

13 居加祥，马可. 地面装备系统联调试验质量管理研究[J]. 设备管理与维修，2018(17)：19～20

14 王琦，高兵. 基于知识的雷达装备靶场试验过程质量控制方法研究[J]. 舰船电子工程，2016，36(11)：99～102

15 徐英，王松山，柳辉，等.装备试验与评价概论[M].北京：北京理工大学出版社，2016

16 刘琦，孙智信，黎新才，等.装备试验与评价的系统工程管理技术[J].国防科技，2020，41(1)：50～56

Design of Equipment Test and Evaluation Knowledge System Based on System Engineering Management

Xu ZhiqinLiu QiHuang LiHuo Zhiwei

(1. School of Economics and Management, Hunan Institute of Traffic Engineering, Hengyang 421001; 2. Academy of Hi-Tech Research, Hunan Institute of Traffic Engineering, Hengyang 421001; 3. Hunan Institute of Traffic Engineering, Changsha 410003)

It is not only necessary but also feasible to take equipment test and evaluation as a system, and make full use of the theory, method and technology of system engineering. Firstly, the knowledge requirements of equipment test and evaluation was analyzed, the network model of knowledge requirements was constructed, and the key knowledge types were given. Secondly, the supporting relationship between knowledge were clarified, and the supporting role of different knowledge to equipment test and evaluation were expounded. Finally, the cycle structure model of equipment test and evaluation knowledge application was established, and the phased tasks of equipment test and evaluation were defined. The design of knowledge system has important guiding significance for engineering practice to standardize the implementation of test and evaluation, and improve the quality and efficiency of test and evaluation.

test and evaluation；system engineering；knowledge system；knowledge requirement；supporting relationship；knowledge application

湖南省自然科学基金（202JJ4282）、衡阳市科技计划项目（202010041588）。

许芝芹（1984），副教授，企业管理专业；研究方向：装备试验与评价、质量管理。

2021-01-25