基于TOPSIS的科技项目评审专家信用评价模型研究

贺晓宇

（浙江省科技信息研究院/浙江省科技发展战略研究院；“智江南”智库，浙江杭州 310006）

随着我国创新驱动发展战略的实施，科研项目管理被摆在了科研体制改革的重要位置。为提高科学决策能力，确保科技资源有效、公正地分配，在科技项目评审中引入同行评议已经是程序化、制度化的工作，其中，进行同行评议的专家的学术水平、学术道德直接影响到科研立项的择优性和公平公正性[1]。因此，评审专家的能力水平、权威性及其信用就成为关注的重点，如何确保评审专家客观公正地评价项目，如何评价评审专家的信用，给科研项目管理提出了新的课题。

近年来，在市场经济某些不正当行为的影响下，有的评审专家在实际项目评审中存在违背信用的行为，在科技计划制定、项目评审、成果鉴定等方面放松评价标准，造成科技投入风险加大，交易成本增加[1]。为预防这些不良行为的发生，加强评审专家信用评价管理至关重要。

目前，我国理论界已针对评审专家信用评价指标体系的建设与评价模型的构建开展了许多研究。徐华[1]从品格、能力和评估能力3方面评审构建专家评价指标体系；郑磊等[2]构建了以诚信基础、评标诚信和诚信环境为指标的评价指标体系；丁雪伟等[3]以创新基金项目为例，从基本信息、评审活动记录、不良行为信息和奖励及荣誉记录4方面构建评审专家评价指标体系；陈媛等[4]从科研活动程度、评审业绩和工作态度3方面构建评审专家评价体系；在信用评价方法方面，于宏国[5]提出了TOPSIS的方法评价专家水平；於翼等[6]采用AHP和德尔菲法对专家信用进行评价；游庆根等[7]通过熵权法确定指标权重,并构建了评审专家的遴选模型；徐锦英等[8]运用层次分析法与熵权法相结合的方法评价评审专家信用。国内学者的研究文献为评审专家信用评价模型的构建提供了良好的基础，但总的来看，专家信用评价模型构建还需在指标设定、方法选择、结果应用等细节方面不断完善。

本文在梳理现有信用评价理论和方法文献的基础上，从科技项目评审专家的视角出发，围绕同行评议公正性的影响因素进行分析，结合评价指标体系的构建思路及原则，构建了一套以资质能力、行为规范、评审表现为一级指标的评审专家信用评价指标体系。在此基础上，本文首先通过AHP（层次分析法）和熵权法确定主、客观指标权重，采用组合赋权的方法得到总和全总，并根据TOPSIS(逼近理想解排序法)，最终建立评审专家信用评价模型，以期实现对评审专家信用的客观、公平、公正的评价。

1 评审专家信用评价指标体系的构建

同行评议指的是，由科学系统的同行组成的群体，根据一定的标准对某些人提交的项目申请进行评议。这样评议出的结果是有关部门确定项目（科学资源的分配）的重要依据[9]。

由于同行评议具有一定的主观色彩，其结果不仅受到诸如评审专家本身研究领域、评审能力等内部因素干扰，也受到多重外界环境因素干扰，因此，针对评审专家的信用评价指标体系是一个多维度全方面的评价指标体系。

1.1 影响同行评议公正性的因素

龚旭[10]指出，影响同行评议公正性的因素包括内部因素和外部因素，内部因素对评议公正性产生直接影响；与此同时，同行评议作为科技资源配置的重要手段，必然受到经济社会环境、科技政策等外部因素的影响。在此基础上，本文从评审专家的视角出发，将影响同行评议结果公正性的因素分为两大类：主观因素和客观因素。主观因素是指评审专家个体性特征影响评审结果的因素，客观因素是指评议过程中评审专家之外的外部环境等影响评审结果的因素。主观因素主要包括评审专家的道德水平、个人偏好、知识能力、人际关系、对评审准则的理解以及评审中的利益冲突等。客观因素主要包括评审制度、政策导向、科研环境以及同行评议制度的固有缺陷等。其中，客观因素是客观存在的，由于受到一系列外部环境的制约很难消除其影响；而主观因素则可通过事前预防、事中事后监管等措施加以防范和解决，因而本文主要基于主观因素，构建评审专家信用评价指标体系（见图1）。

图1 同行评议公正性的影响因素

1.2 评审专家信用评价指标体系的构建思路与原则

评审专家信用评价指标体系的构建思路是，从科技项目评审实际情况出发，坚持目的性、科学性、实用性原则，以确保评审结果的公正性为出发点，围绕评审专家的资质能力、行为规范，评审表现3方面建立定量与定性相结合、全面反映评审专家信用状况的信用评价指标体系。

评审专家信用评价指标体系的构建原则是：

（1）目的性原则。评审专家信用评价指标体系的构建目的是提高科学决策能力，更加公正有效地进行科技资源分配，加强对科技工作者的信用意识的培养，实现科技管理的客观公正。

（2）科学性原则。要充分尊重评审活动自身的规律，使用的评价方法、程序、指标体系、标准等必须符合评审专家的特点。

（3）实用性原则。评价指标的设计要符合客观实际，尽量利用可收集到各项信息设计指标，做到数据收集方便、计算简单、易于操作。

1.3 评审专家信用评价指标体系的建立

本文参考徐锦英等[8]设置的指标体系与度量方法，结合影响同行评议公正性的主观因素以及评价指标体系的构建思路和原则，最终确定了包含三级指标的评价指标体系。科技项目评审专家信用评价指标体系分为三级指标，其中一级指标3项、二级指标7项、三级指标23项。本文选用资质能力、行为规范、评审表现等3个指标作为一级指标，选用基本特征、工作态度、评审经历等7个指标作为二级指标，选用职称、承担项目情况、参与评审项目累计数等23个指标作为三级指标（见表1）。

（1）资质能力包括基本信息、学术成就、资质特长三部分。科技项目支持创新，鼓励创新，不仅要求专家具有一定的知识能力可以对项目的技术水平做出判断，更需要专家对项目的创新性、产业化以及发展潜力做出评价。因此，对专家资质能力的评价不仅包括其基本信息和学术成就如职称、承担项目情况、学术论著等指标，更包括其资质特长如近期发表相关论著的情况，对前沿问题把握程度等指标。

（2）行为规范包括工作态度、信用记录两部分。由于项目评审是一项具有主观性色彩的工作，因此专家的行为规范应作为重点内容来考察。其中，工作态度是指专家在评审过程中的工作态度，以评审及时性、评语字数、评语态度、评审时间等指标来考察，信用记录是指专家的信用记录情况，通过考察是否有被投诉或其他不良记录等指标来确定。

（3）评审表现包括评审经历、评审质量两部分。评审表现是评审专家不同于其他科技人员的特质，评审专家既需要拥有优秀的品质和良好的资质能力，更要理解评审准则，掌握评审方法，具备评审经验，以此保证评审建议的权威性以及评审的公正性。

表1 评审专家信用评价指标体系

2 基于TOPSIS方法构建评审专家信用评价模型

为充分反映专家信用评价的主客观因素，提出更优化的专家信用评价机制，本文采用TOPSIS方法构建评审专家信用评价模型。首先利用AHP和熵权法得出主、客观权重，然后通过组合权重的方法得到综合权重，最后根据TOPSIS方法得到综合排序结果，形成评审专家信用评价模型（如图2所示），并应用于项目管理专家评价中。

图2 基于TOPSIS的评审专家信用评价模型

2.1 评价指标体系中权重值确定

2.1.1 AHP法主观指标权重确定

AHP方法（层次分析法）是综合定性与定量分析，对多目标多准则的系统进行分析评价的一种方法[11]。它首先构造两两比较的判断矩阵，通过计算判断矩阵的最大特征根与特征向量，进而得到层次单排序与总排序指标权重，最终确定主观指标权重，其步骤如下所示：

第一，构造两两比较判断矩阵。假设每一层的决策目标为P，根据每一层的评价指标集构建两两判断矩阵A。通过上述判断矩阵的构建来实现每层层内评价指标的两两比较，以此确定每个层内指标相对于上层指标的重要程度。本文采用1—9来判断矩阵标度，1表示同等重要，数值越大表示重要程度越大。

第二，权重计算。利用方根法确定权重并通过一致性系数CR=CI/RI（RI查表可得）进行一致性检验。

（2）对每行的几何平均值做归一化处理，确定层次单排中各因素在上层评价因素中所占的比重

（3）一致性检验。当CR＜0.1,则认为矩阵通过一致性检验；否则调整判断矩阵。

第三，层次总排序及其一致性检验。计算同一层次所有决策因素相对于总目标的排序权值，同时进行一致性检验。

2.1.2 熵权法客观指标权重确定

熵权法首先对原始数据进行无量纲化和标准化，通过计算熵值来确定客观指标权重，其中熵值越大，指标权重越高，其步骤如下所示：

第二，确定熵值。

第三，确定指标权重。

2.1.3 组合权重(CW)确定

无论是主观指标权重还是客观指标权重，都有其自身的局限性，为了更加合理地确定指标权重，充分体现信用评价指标的主观意识和客观实际，本文采用组合赋权的方法来确定综合权重。在主、客观权重基础上，通过拉格朗日函数，确定综合权重；利用欧式距离函数计算主、客观权重的偏好系数，从而得到更加合理的综合权重。其步骤如下所示：

2.2 TOPSIS评价模型

TOPSIS（逼近理想解排序法）是一种逼近于理想解的排序法，其基本原理是通过有限个评价对象与最优解、最劣解之间的距离来进行排序[12]，具体步骤如下所示：

第二，数据标准化处理：

第三，构建加权决策矩阵。依据式（1）至式(10)确定综合权重后带入Y,构建加权决策矩阵

第五，计算各指标与理想值的欧氏距离：

3 模型应用

本文选取浙江省科技计划项目管理系统专家库中的10位专家作为分析对象，以说明TOPSIS评价模型在评审专家信用评价中的应用步骤。

第一，通过AHP法计算主观指标权重。通过式（1）—式（4），构造判断矩阵，并计算最大特征根，最终得到各层次的权重值，如表2所示。

表2 AHP法主观指标权重

第二，通过熵权法计算客观指标权重。在原始数据的基础上，通过式(5)至式(8)，计算客观指标权重，如表3所示。

表3 熵权法客观指标权重

第三，结合前两步计算得到的主观指标权重和客观指标权重，进行组合赋权，根据式(9)、式(10)确定主观权重、客观权重的偏好系数(0.646,0.354)，获得更接近实际的综合权重，如表4所示。

表4 指标体系综合权重汇总

第四，通过TOPSIS方法结合综合权重，利用式(11)至式(17)计算相对贴近度并对10位专家进行排序，相对贴近度越大，专家的信用评价结果越好，反之越差，排序结果如表5所示。

表5 TOPSIS评价模型排序结果

由表5可知，根据TOPSIS评价模型的排序结果，第7位专家在科技项目评审工作中的履职能力和可行性较差，而第5位专家的信用评价结果最佳。此评价结果与科技项目管理部门对10位专家的绩效评价结果较一致。因此，基于TOPSIS方法的科技项目评审专家信用评价模型符合应用实际，评价方法科学，所设置的评价指标体系合理，具有借鉴意义，并可为科研诚信库建设与专家管理工作提供参考依据。

4 结语

评审专家信用评价是我国科技管理体制改革的一项重要内容，建立科学、可行的评审专家信用评价模型是建立健全科研诚信库、科技计划健康发展的关键。本文在总结国内关于评审专家信用评价研究和实践的基础上，从主观因素和客观因素2方面剖析了制约同行评议公正性的影响因素，构建了以资质能力、行为规范、评审表现为一级指标的评价指标体系。在构建评价模型方面，本文提出一种基于TOPSIS的评价方法。TOPSIS评价模型运用AHP和熵权法组合赋权的方法计算综合权重，兼顾了主观性和客观性，并通过TOPSIS方法对评审专家进行相对贴近度排序，实现对评审专家信用客观、公正的评价。