科技成果评价中专家评级模型研究

张琼丽，陈 翼

(1.国家知识产权局专利局专利审查协作四川中心，四川 成都 610000；2.四川省计算机研究院，四川 成都 610000)

0 引言

科技成果评价是科技成果登记、科研计划立项、生产许可证审批、科技成果转让交易、科技资产评估、科技成果宣传推广以及申报国家级高新技术企业、省级和国家级科技型中小企业技术创新基金等的重要依据。

2016年，国务院印发《“十三五”国家科技创新规划》提出改革科技评价制度，建立以科技创新质量贡献绩效为导向的分类评价体系，正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值；推进高等学校和科研院所分类评价，实施绩效评价，把技术转移和科研成果对经济社会的影响纳入评价指标，将评价结果作为财政科技经费支持的重要依据；推行第三方评价，探索建立政府、社会组织、公众等多方参与的评价机制，拓展社会化、专业化、国际化评价渠道。这就需要第三方科技成果评价机构建立一套标准化的评价工作流程，确保评价程序的公平公正。

一般科技成果评价的指标体系有：①技术创新程度、技术指标先进程度。②技术难度和复杂程度。③成果的重现性和成熟程度。④成果应用价值与效果。⑤取得的经济效益与社会效益。⑥进一步推广的条件和前景。⑦存在的问题及改进意见。

构成成果评价模型的5个要素分别为：被评价对象、评价指标、权重系数、综合评价模型和评价者。当各被评价对象和评价指标值都确定以后，评价结论与权值体系、评价模型和评价者有关，属于多属性决策问题。

多属性决策(multiple attribute decision-making)是指对多个方案在多个准则下的准则值进行集成并排序。多属性决策理论和方法在工程、技术、经济、管理和军事等诸多领域中都有广泛的应用[1]。

2019年，四川省人民政府办公厅印发了《四川省深化科研项目评审改革实施方案》，文件指出，完善评审专家遴选规范。合理确定评审专家遴选条件和专家组组成原则，以同行评审为基本原则，主要选取活跃在科研一线的专家参与评审，充分考虑其专业水平和知识结构。与产业应用结合紧密的项目，还应选取活跃在生产一线的企业专家参与评审。邀请省内外高水平专家参与评审，扩大企业专家参与项目评审比重。因此，对专家的评价考核在科技项目成果评价中也占据重要的地位。

文章借助多属性决策理论，根据专家评分与群体决策之间的关联关系，给出了专家熵权求解方法，构建适用于科技成果评价的专家评级模型，并用算例验证其可行性。

1 多属性决策模型理论简介

多属性决策是指给定的根据备选方案在不同属性集下相关信息，同时考虑不同属性的重要性，以从备选方案中选择最优方案或是导出备选方案的排序[2]。

多属性决策问题描述如下。

单个专家的各方案的得分为：

(1)

专家群决策状态下各方案的得分：

(2)

多属性群决策权重包含属性(指标)权重和专家权重两部分，属性(指标)权重作为具体的决策标准，一旦确定就不宜更改[3]。

在科技成果评价中专家打分会有差异，一般群体决策是集体决策体现，理想状态是针对某个具体对象，专家间的决策结果应该趋于一致，避免出现过高和过低的打分情况。因此，本模型引入信息熵的概念，用来度量群决策中专家个人决策行为在集体决策中的熵值[4]，进而定义其偏离度，根据偏离度和统计数据来为专家进行评级。

2 专家评价分级模型

根据信息熵理论可知，熵是对不确定性的数学度量。

(3)

其中，n为信号源的信号数，Pi为第i种信号出现的概率。利用等概率原理可以证明，H与熵的统计表达式在形式上是可以互相转换的。当得到足够的信息后所消除的关于事物运动状态的不确定程度，也就是信息量。当获取足够的信息所消除的关于事物运动状态的不确定程度，因此信息量I为信息熵的对立面，Δ为信息熵增量的负值，即

I=-ΔH

(4)

一个开放的系统，获取信息即等同于吸收了负熵，可使系统的不确定性、紊乱程度减少并趋于有序；丢失信息时，系统的熵增加，无序度随之增加。因此，信息与熵彼此是互补的[5]。

由熵的概念不难理解，此时系统的紊乱程度最高，熵值应该最大。由熵的这个性质可知，如果各位专家在不同方案上的决策结果越接近，则其熵值越大。即专家的熵越大，表明结果差异程度越小，决策者的决策结果与群体决策结果差异越小[6]。

针对n个评价对象，组织s位专家进行评价，根据公式(1)(2)(3)可知，专家个体评价结果矩阵为J=[yik]n×s，其中，i=1，2，3，…，n；k=1，2，3，…，s。第K个专家的熵为

(5)

(6)

此时，专家熵值越大，决策者的决策结果与群体决策结果差异越小，从专家管理角度，专家在评分时的偏差概率较小，应赋予较高的等级。此外，专家的等级还应与其参与评审活动的频率有关。综上，可定义专家评定等级为：

(7)

其中，Tk为专家参加评审的频率，α和β是相应的参数，可根据科技项目的专家管理办法进行动态调整。

专家评价分级流程如下。

步骤1：利用公式(1)和公式(2)计算专家群决策状态下各方案的得分。

步骤2：利用公式(3)和(5)计算专家的熵权。

步骤3：利用公式(6)和(7)计算专家的评定等级。

3 算例分析

针对某科研项目评审活动，建立了4个一类评估指标和15个二级评估指标的指标体系，邀请6位专家对4个项目进行打分，构建的评价指标体系如表1所示。

表1 项目评价指标体系

1)步骤1：利用公式(1)和公式(2)计算专家群决策状态下各方案的得分，如下所示。

2)步骤2：利用公式(3)和(5)计算专家的熵权，如下所示。

E=(0.036 6 0.040 6 0.099 5 0.086 1 0.054 1 0.0203)

3)步骤3：利用公式(6)和(7)计算专家的评定等级，Tk=100，α=β=0.5，其结果如下。

专家3>专家4>专家5>专家2 >专家1>专家6。

由此可见，第三个专家在参与项目评审时其决策结果与群体决策之间差异最小，按照专家管理办法，其级别应为最优。

4 结语

多属性群决策在决策科学中较为重要，被广泛应用于各领域，如经济社会和军事管理等。多属性群决策中既需要关注属性对决策的影响，又需要关注专家的能力、经验对决策的影响。在科技项目评价中，需要建设专家库，如何根据专家的履历和参与项目评选活动效果，综合对专家进行评判和打分是今后重要工作。文章利用多属性群决策理论，构建了科技成果评价中专家评价模型，可为大型科技项目建设专家库提供决策依据。