基于系统工程的试验与评价质量管理体系设计

刘琦

（湖南交通工程学院高科技研究院，湖南衡阳 421009）

0 引言

随着《中国制造2025》的提出与不断推进，随着国际政治经济形势的变化，逐步完成关键零部件、关键装备的国产化，已成为装备研发和生产中需面临的首要问题。对装备建设而言，试验与评价[1]（Test and Evaluation，T&E）的作用是：获取装备的相关信息，完成相关技术指标、性能指标的分析，发现设计生产的薄弱环节并加以改进。而T&E的策划、实施过程、结果等如何，如何衡量T&E是否达到了预定的目标，则需要运用质量管理[2-3]方法对T&E过程进行全面管理，以确保T&E的有效性、科学性和准确性。

在装备T&E质量管理方面，国内外的学者已进行了大量的相关研究，如居加祥等[4]将质量管理方法融入到地面装备系统联调试验的质量管理过程，提出了具有航天特色的质量管理方法；朱军等[5]对航天装备试验质量管理知识体系的构建进行了论述，给出了知识体系的框架和内容；郭建军[6]对试验装备保障项目的质量管理效能评估机制进行研究，设计了评估组织管理机构，规范了评估执行计划，提出了评估模型构建的几种方式；顾清[7]以磁学工程武器装备为对象，对试验质量管理进行了探讨，阐述了试验管理PDCA程序及试验可能出现差错的6个方面；秦晓君等[8]从健全试验装备采办管理机构、完善试验装备采办管理法规制度、强化质量管理体系监督和加强试验装备质量管理人才队伍建设等方面，提出了加强试验装备采办过程质量管理的对策建议；单永海等[9]从过程管理角度出发，对装备试验过程质量管理进行了研究，从技术层面提出了装备科研试验全过程质量管理理论、方法和应用的思路。

在质量管理体系的理论、应用方面，国内外已进行了大量的研究，如国际标准化组织发布了2015版的ISO9000系列标准[10]，2016版医疗器械质量管理体系标准ISO13845[11]等。Gregory[12]描述了在北卡罗来纳大学医学院基因组学核心设施中建立质量管理体系的系统方法，给出了质量管理体系的实施步骤；Rashed等[13]针对质量管理体系应用中质量审核人为判断的不足，构建了中性质量审核（Neutrosophic Quality Audit）模型；陈朝兵[14]对公共服务质量管理体系的需求进行了分析，构建了“复合型”基本公共服务质量管理体系；段心林等[15]提出了与研发活动相匹配的汽车研发组织质量管理体系构建方法，建立了质量管理体系框架。在T&E的质量管理体系研究方面，当前的研究主要集中在试验和检测方面。如杨钰等[16]从明确质量规划、建立质量保证、执行质量控制、持续质量改进4个方面对药物临床试验质量管理体系的建设进行了阐述；牛晓也等[17]从数据上证明了应用质量管理体系（QMS）可显著提高医疗机构临床试验管理的质量及效率；Kateryna等[18]对于临床试验的质量管理，建立了质量管理体系的过程模型，给出了现场试验实施质量管理体系的一般框架；S. Djali等[19]对药物临床试验基于数据和量度驱动策略的质量管理体系开发进行了描述。对于装备T&E质量管理体系的研究还处于初步研究阶段，如管海山[20]分析了当前装备试验后勤保障质量管理体系建设存在的问题，并提出了加强后勤保障质量管理体系建设的改进对策；韩成哲等[21]给出了装备试验质量管理体系结构，并根据军事装备试验的4个阶段，阐述了试验全过程质量控制的基本方法；洛刚等[22]提出了建立装备试验质量管理体系的构想，并就建立该体系应注意的若干问题进行了论述；侯兴明等[23]阐述了航天试验装备质量、质量管理和质量管理体系的概念，并从5个方面对质量管理体系的框架进行了研究和设计。

从现有研究情况看，对企业管理、试验管理，按照ISO和GB（国家标准）标准构建质量管理体系，进行质量管理体系认证，并按照要求对企业进行全方位的质量管理，已成为现代企业管理标准化、规范化的必备条件。但T&E作为一个系统，其质量管理方法与质量管理体系的研究还处于初始探索阶段，还需在如下方面进行深入的研究和探索以提升T&E的质量管理水平，进一步提升产品质量：1）设计T&E质量管理体系，对T&E全过程质量管理的目标、需求、策略和任务等进行总体规划，完成质量管理的顶层设计；2）构建量化质量评价模型，对T&E全过程产生的信息进行质量评价，特别是进行T&E信息的信度和效度分析；3）设计软科学项目通用质量特性评价规则，相比具体软硬件产品（其通用质量特性[24]表现为可靠性、维修性、保障性、安全性、测试性、环境适应性等），T&E属于管理性的软科学项目，其产出为文件、数据，其通用质量特性更多的表现为文件的符合性、数据的准确性、信息的时效性等，此时需要对T&E的通用质量特性进行设计，并给出相应的评价分析方法。鉴于质量管理体系的必要性和基础性，本文以T&E为对象，从系统工程角度对T&E质量管理体系的需求、PDCA循环过程、通用质量特性等进行研究，为产品T&E的质量管理提供总体性框架性的支持。

1 T&E质量管理需求分析

T&E的定义[1,25-26]为：通过试验获取足够有价值的数据资料（信息），并将所获得的数据进行处理、逻辑组合和分析，将其结果与装备研制总要求中规定的战术技术指标和作战使用要求进行分析比较，对实现装备研制目标的情况进行评价，对军事装备（包括系统、分系统及其部件）的战术技术性能和作战使用性能进行评定的过程，其目的是为装备的定型、部队使用、研制单位验证设计思想和检验生产工艺提供科学的决策依据。根据ISO9001：2015，质量管理体系（Quality Management System，QMS）是指在质量方面指挥和控制组织的管理体系。它将资源与过程结合，以过程管理方法进行系统管理，涵盖了从确定顾客需求、设计研制、生产、检验、销售、交付之前全过程的策划、实施、监控、纠正与改进活动的要求，一般以文件化的方式，成为组织内部质量管理工作的要求。

从T&E的定义看，其包括装备某项指标在某个具体阶段的T&E和装备所有指标在其全寿命周期内的所有T&E，前者称为T&E的元模型，后者是所有元模型的逻辑组合。元模型可用如下的五元组描述[26]：T&E元模型={寿命阶段，评价指标，装备层次，试验方法，评价方法}。以五元组模型为基础，将寿命阶段拓展为论证阶段、方案阶段、工程研制阶段、定型阶段、批生产阶段、使用与保障阶段，将评价指标细化为可靠性、维修性、保障性、测试性、安全性、环境适应性等，将装备层次拓展为零配件、整机、子系统、系统、体系，则可构建T&E霍尔三维结构模型[26]。

结合T&E的工作特点、定义与目标，依据ISO9001：2015《质量管理体系要求》，对比一般的硬件产品，T&E的质量管理有其特殊的工程需求，主要体现如下。

1）管理的特殊性。T&E的最终结果是信息和方法，是一种特殊的产品。相比一般企业进行ISO认证，其产品为软件、硬件产品，T&E的产品具有特殊性，它是产品试验的信息、指标评价的方法，具有非常强的抽象性，对其质量检验与控制、管理等需要运用特殊的手段进行。以质量管理中的不合格为例，T&E的不合格包括评价方法不正确、试验数据异常于装备的真实表现、试验数据记录不规范等。

2）工作的伴随性。T&E伴随于装备的研发、生产、使用过程，属于伴随性的核心工作。与一般企业进行ISO认证时是针对某个（某些）装备全寿命周期的全面质量认证与检验不同，T&E是伴随性的工作，是企业核心工作的一部分。除专业的实验室、试验靶场外，T&E工作一般由企业的研发、生产或测试部门（为便于描述，后文将企业内部负责T&E的部门统称为试验部）完成，这些部门的工作过程通常没有经过专业的质量管理体系认证。

3）任务的科学性。T&E的质量管理重点关注于信息与方法的正确性和科学性认证，而不是符合性认证。T&E关注于装备试验、评价信息是否正确反映了装备的真实状态，关注于指标评价的方法是否科学，这属于统计学领域的信度和效度分析[27-28]。符合性是对于给定的标准要求，只要装备的购买、生产等符合这些标准要求，即可认为其符合质量要求。而信度和效度需要用科学的方法进行评价，证明所得评价结果与装备真实状态的一致性。

4）过程的信息性。ISO质量体系认证强调基于过程的管理，T&E的过程包括信息的需求分析、信息的产生、信息的评价和信息的传递。该类过程的识别、分析、管理区别于一般产品，需要对抽象的信息获取、信息评价分析、信息管理等有明确、科学的方法，并需要有专业的数据处理人员加入。

5）评价的具体性。相比一般的软硬件装备，T&E质量评价方式需要进行科学的定义，并给出比较客观的评价准则。在GJB 9001C-2017标准中，将通用质量要求定义为可靠性、维修性、保障性、测试性、安全性和环境适应性。而对于T&E，其产品为信息，其管理属于过程性管理。在信息方面，信息的来源又分为试验信息、外部供方提供的信息和评价产生的信息，这就涉及到对信息的评价，此时难以用硬件装备的通用质量要求进行评价衡量，需要给出信息质量的评价方式。在管理方面，需对T&E的操作、执行可行性、经费管理满足性等进行评价，这就需要定义符合T&E要求的质量评价指标。

上述5种需求是T&E区别于一般软硬件产品最为关键的需求，对T&E构建质量管理体系，需要重点进行考虑，并融入质量管理体系实践的全过程。分析上述5点需求，明确其解决方案，并根据一般硬件装备质量管理体系设计的原则和要求，基于ISO9001：2015的工作框架，即可实现对T&E质量管理的体系设计。

2 T&E质量管理的顾客需求分析

ISO9001：2015强调通过满足顾客要求增强顾客满意度，因此明确T&E的顾客对象和顾客要求就成为T&E质量管理的关键和基础工作。从T&E的定义看，T&E的最终目的是获取数据资料，评价研制目标的实现情况。T&E的顾客是装备的研制、生产或者采购单位。之所以有不同类型的顾客，是因为在装备不同的寿命阶段，T&E所产生的数据资料提供给的对象不同。由于在不同寿命阶段，顾客类型不同，所以顾客需求的重点不同。

表1给出了T&E在不同寿命阶段所需面对的顾客和顾客需求，所列出的顾客需求中，最为关键的是给出准确、可追溯、甚至是故障可重现的T&E结果，这是最基本的共性要求，也是衡量T&E质量的一个重要准则。

表1 不同寿命阶段T&E面对的顾客和顾客需求

3 T&E质量管理的PDCA设计

ISO9001：2015标准倡导在建立、实施质量管理体系及提高其有效性时采用过程方法，强调基于PDCA方法实现质量的逐步提升。T&E的PDCA主要包括如下工作：

1）计划（Plan）。提出对零配件、装备T&E的计划。计划包括：列出需要进行评价的指标、给出指标的评价方法、列出需要进行试验的内容、给出试验实施的步骤和数据整理方案、从理论上证明评价方法的科学性。

2）执行（Do）。对零配件、装备进行T&E的实施。执行包括进行零配件和装备的试验、收集整理试验数据、进行指标的评价、给出评价的结果。

3）检查（Check）。对T&E结果的正确性进行检查验证。检查包括：基于类似零配件、装备的T&E信息分析当前T&E信息的合理性；回溯T&E的过程，避免出现不正确的操作和遗漏；与预期的结果（包括理论分析结果）进行比对，发现T&E中的异常值；列出所有异常信息，以便于进一步的分析。

4）处理（Act）。对于检查中出现的不正确操作和遗漏、异常信息进行深入的分析，并给出解决方案。处理包括：改进不正确的操作、补充遗漏的T&E项目、分析异常值出现的原因；对于前述的这些处理给出解决方案，进一步可形成制度，避免在进一步的T&E中出现类似问题。

上述的PDCA过程是针对零部件或者装备在某一个寿命阶段所需进行的工作，随装备层次不同、类型不同、寿命阶段不同，所需进行T&E的指标不同、评价的方法不同，但所需进行的工作内容是类似的。

当最后一步的处理实施完成后，根据所需工作的开展情况，若本寿命阶段所有的工作已按照要求完成，则可进入下一寿命阶段的PDCA循环；若在本寿命阶段还有大量的工作未完成，则需根据检查和处理的结果，需返回本寿命阶段的计划，继续进行本阶段的PDCA。图1给出了T&E的PDCA过程示意图。由图1可见，T&E的PDCA是逐步实施，并且通过不断的改进实现T&E工作质量的逐步提升，并且在每个P、D、C、A阶段也可以进行细化的PDCA，实现本阶段工作质量的提升。

图1 T&E的PDCA循环

4 T&E通用质量特性设计

对于一般的硬件产品，特别是军用装备，其通用质量特性[24,29]表现为可靠性、维修性等“六性”，而T&E属于软科学性质的过程与产品，需从符合性、全面性、科学性、时效性、操作性等方面构建软科学产品的“五性”质量指标。

1）符合性。是指T&E指标、方法、过程等选择符合装备研制、生产与保障等的标准（包括国标、国军标、行业标准、国际标准）要求、合同要求，符合信息传递与管理的规范要求。

2）全面性。是指在T&E过程中，需全面考虑需评价的指标、全面考虑需采集和分析的信息，从全系统、全过程的角度，对指标进行设计，对信息进行规划，避免指标和信息的遗漏和工作的重复。

3）科学性。是指在T&E过程中，对指标的评价方法选择应具备科学性，即在指标评价过程中，评价方法应能综合筛选和利用现场试验信息、历史信息、子系统信息等，并且指标评价的结果应满足数据分析的信度和效度要求，评价的结果应能反映指标的实际情况，避免指标评价的不准确性。

4）时效性。任何信息的应用都有其特定的时效，需在给定的时间范围内传递、应用，超过预定时间，不仅信息成为冗余信息，而且会造成其他工作的延误。因此在T&E的时序安排上，不仅要给出需要采集、分析的信息，而且应给出这些信息传输的时间要求。

5）操作性。是指试验方法、指标评价方法和计算方法应考虑当前工作的实际环境条件，包括试验环境、计算环境、人员能力、单位之间的协调能力等，使得T&E是可操作的，以确保试验的顺利实施、数据的准确采集、计算的顺利执行和信息的高效传递。

上述“五性”从需求管理、理论分析、实践操作3个层面对T&E的质量管理与评价提出要求，在具体装备的T&E中需进一步结合装备的实际，采用头脑风暴、Delphi法等进一步论证具体的评价指标和评价方法。“五性”应用的具体流程要求如图2所示。从图2可见，对于“五性”的论证需多次反复进行，确保T&E的高质量顺利实施。

图2 T&E通用质量特性的分析需求与流程

5 结语

T&E作为一种软科学的过程与产品，其质量管理体系的设计区别于一般的硬件装备。结合ISO9000质量管理体系的要求，运用系统工程的理论、方法和技术，本文对T&E质量管理体系需求、顾客对象和顾客需求、PDCA循环和通用质量特性要求进行了阐述。首先，基于T&E的软科学特性和工作特殊性，对T&E质量管理的需求进行了分析，明确了T&E质量管理需重点关注的5个特殊要求；然后，对不同寿命阶段装备T&E需面对的顾客对象和顾客需求进行了分析，明确了质量管理原则中“以顾客为关注焦点”的质量管理需求；再次，针对质量管理体系设计中质量的过程性要求，对PDCA质量环的主要工作要求进行了阐述；最后，针对T&E质量评价的软科学特性，给出了质量评价的符合性、全面性、科学性、时效性和操作性“五性”指标，为软科学产品的通用质量评价给出了指标建议。