基于元评估的武器装备体系贡献率评估指标优化方法研究

蔡卓函，穆歌，冯琦琦，王新宇，贾烨

（1.陆军装甲兵学院，北京 100072；2.66058部队，天津 301700；3.军事科学院系统工程研究院，北京 100072；4.32290部队，山东 济南 250002；5.北部战区联合参谋部，辽宁 沈阳 110001）

0 引言

武器装备体系贡献率是我国独创[1]的概念，用于全面、科学地评估武器装备在体系中发挥作用的情况，进而指导武器装备成体系建设，有效提升装备体系对抗能力。在评估武器装备体系贡献率（以下简称体系贡献率）的过程当中，建立评估指标体系是非常关键的一环，指标体系选取是否合理，将直接决定评估结论是否科学可用。

国内对体系贡献率评估指标的研究成果较为丰富。文献[2]提出了指标体系构建的六点原则，并从体系功能适应性、体系结构优化、作战能力提升、体系技术进步四个视角构建了多层次的评估指标体系。文献[3]分析了作战效果、作战效率、作战代价与体系作战能力之间的定性关系，从增强作战效果、增强作战效率和降低作战代价三个方面构建了武器装备作战体系贡献度评估指标体系。文献[4]从功能完备、结构合理、有效、先进、经济、适用6个视角构建了具有通用性和可扩展性的多维度多层次指标体系框架。文献[5]将能力效能、体系结构、运行机制、型号谱系、经济成本、支撑技术六项贡献类型指标和问题阶段、评估技术相结合，构建了三维体系贡献率评估的总体研究框架。

从上述成果中我们发现：①目前体系贡献率评估指标体系构建主要依靠专家经验，从不同视角出发构建的指标体系差异较大；②指标体系的层次结构和指标间的关系较为复杂，结构梳理不合理容易导致指标遗漏、指标重复、相关性过大、权重分散等问题；③综合性指标较多，难以细化、量化。针对评估指标的上述特点，本文提出应用元评估理论对体系贡献率评估指标体系进行优化。建立由评估到元评估，再由元评估到新的评估的迭代过程，使评估指标选取尽可能完善、准确、客观。

1 基本理论

基元评估的概念最初是由美国评估理论专家Michael Scriven在1969年的教育产品报告中首次提出[6]，被广泛应用于教育领域[7]。此后，在政府绩效评价[8]、服装设计[9]、档案安全[10]、军事[11]等领域也有所应用。

1.1 内容与作用

“元”作为一个词缀，最初来自希腊前缀“meta-”，取其对本质探究之意。元评估“meta-evaluation”则是对评估本质的探究。它是元科学的一个分支，是对原评估科学性的评估，即将已有的评估活动作为研究对象，对其评估结构、评估过程、评估结论等方面进行反思式思考，以修正、改进评估活动的过程，具有调整原评估的功能。将元评估理论和方法应用于体系贡献率评估过程中的指标构建环节，旨在从多个维度检验评估指标的科学性并进行反馈修正，以优化完善指标体系。

1.2 设计思路与流程

传统的元评估主要运用统计方法来估计产生的误差对评估结果的影响，但元评估所指的偏差并不局限于统计性质。评估主体的心理认知失当，对评估问题的理解差异，以及运用的评估模型、手段等因素都可能造成评估偏差[12]。所以在研究面向体系贡献率评估指标的元评估方法时，应着眼于评估指标生成过程中偏差来源的多个环节，从多视角进行审视，综合包含统计在内的多种方法，有针对性地做出评估。实施步骤主要有：①组建元评估专家团队；②明确元评估目标及内容；③设计元评估量表；④实施元评估；⑤处理分析元评估数据；⑥做出元评估结论。具体流程设计如图1所示。

图1 武器装备体系贡献率评估指标元评估流程图

1.3 指标构建与量表设计

元评估的标准是元评估主体进行评估活动的根本依据，决定着评估的实际效果。美国教育评估标准联合委员会（Joint Committeeon Standards for Educational Evaluation，简称JCSEE）从1974年便开始研究元评估标准和量表，经过不断完善和修正，形成了四个基础性标准分别是实用性、可行性、合理性和准确性[13]。以两级指标体系为例，设计量表如表1所示。

表1 元评估量表设计

2 应用

2.1 设置初始指标体系

本文从完善装备体系建设和提升作战输出效果两个视角出发，分别构建了体系结构贡献率和体系作战贡献率，尝试综合描述体系贡献率评估的各项指标。共拟定了2项一级指标、9项二级指标和28项三级指标，如图2所示。并采用层次分析法结合专家打分法，根据专家经验确定一级、二级、三级指标的权重系数分别为：W1=[0.31 0.69]T，W2=[0.062 0.069]T，W3=[0.0372 0.0138]T。以上述指标体系作为初始指标体系，尝试对其进行评估优化。

图2 武器装备体系贡献率评估指标体系

2.2 设计量表实施评估

共邀请本领域5位专家作为元评估专家实施评估，在对评估指标打分时采用十分制。将评价分为极差、很差、差、不满意、最低标准线、基本合格、良好、好、很好、非常好十个等级，并依次对应1-10分。专家对各层级评估指标设置情况的评分结果如表2所示。

表2 领域专家对评估指标的评分结果

2.3 处理分析评估数据

2.3.1 认识一致性元评估

由于体系贡献率的概念及其内涵尚无统一明晰的定义，且专家自身知识结构不同，导致元评估主体存在较大认知差异。为避免个人认知偏差和思维定势在元评估中出现过强的主观倾向。首先应对评估主体进行认识一致性评估。这里采用肯德尔和谐系数法。以一级指标“体系结构贡献率”为例，将专家对实用性、可行性、合理性、准确性的评分结果进行排序（最高分计为1，第二高分计为2……），因可能存在多个相同等级分数，需用校正公式计算肯德尔和谐系数：

式中W为肯德尔和谐系数，K为评估者数量，N为评估对象数量，Rj为第j个对象获得全部评估者评估等级数之和，t为相同等级分数的个数。上述评估属于小样本（K≤20且N≤7），对照“肯德尔和谐系数临界值表”，若计算值大于等于临界值时，认为意见一致，否则认为意见不一致[14]。由此得到专家对于“体系结构贡献率”这一指标评价结果的一致性情况。为检验整个评估指标体系的认识一致性，需对全部39项指标进行验证计算，如果出现不一致，可进一步探究专家意见分歧的原因，专家分歧较大的评估指标往往存在含义不清、描述不准确等问题，应给予充分重视。

2.3.2 指标体系信度元评估

体系贡献率评估指标众多且指标体系的层次结构和指标间的关系较为复杂，在元评估过程中，应特别关注指标体系的内部结构情况，以构建独立性强、内部结构良好、指标关系一致的高信度指标体系为目的。可以采用克朗巴赫系数法进行评估。计算公式为：

式中a为克朗巴赫系数，K为评估指标数量（当评估指标体系包含若干个子指标层时，K为子指标层所含的指标总数），S2i为第i项指标得分的方差，S2t为评价总得分的方差。以评估体系贡献率评估指标的实用性为例，K值为底层指标数量28，S2t为专家对全部28个指标实用性一项评分总分的方差，为专家对每单项指标实用性一项评分的方差，计算得到a同理可计算出面向可行性、合理性、准确性的a值。其值在0～1之间，越大则信度越高。一般认为，a需达到0.8以上，评估指标信度较好，否则指标需要做调整；当信度低于0.35时，必须予以拒绝。

2.3.3 指标体系效度元评估

评估指标效度是指评估指标可以在多大程度上描述评估对象的特征范畴并反映评估目的[15]。对体系贡献率评估指标体系进行效度元评估，是为检验所设计的指标体系能否全面客观反映新研装备对原有装备体系的贡献情况。对评估指标效度评定常用内容效度比（CVR）来评价，计算公式为：

式中ne为评估主体中认为某指标很好地表示了评估对象范畴的评估人数；N为评估主体的总人数。以三级指标中“适应现有装备体系”的合理性指标为例，假设认为满足十分制等级中“好”（7分）及以上为主体满意标准，10为专家中打分大于7的专家人数为6人，计算得到CVR=0.2。同理可得到各项指标及各层指标权重的CVR数值。CVR值在-1～1之间，越大则效度越高。当CVR<0时，表示认为该项指标适当的专家人数不足半数，需要修正指标项。

2.4 反馈评估结果

武器装备体系的组成要素与结构关系本身就十分复杂，要尽可能选取完善、准确的贡献率评估指标，需要借鉴元评估思路，构建评估反馈回路。将元评估结果以报告形式反馈给评估指标设计人员，进行指标修正，并投入下一轮元评估。经过这样多次评估，反复迭代，不断提高评估指标的可信性。

3 结语

在评估武器装备体系贡献率的过程中，评估指标选取是非常关键的一环，决定着评估结论是否科学可用。将元评估的思想引入体系贡献率指标选取环节，可充分利用专家经验，检验指标体系的实用性、可行性、合理性和准确性，为指标设计人员提供有针对性的反馈意见，以优化完善指标体系，同时为后续评估工作奠定良好基础。