基于集成权重和贝叶斯模型的科技奖励评价*

王　瑛，李　菲

(湖南大学 金融与统计学院，湖南 长沙　410079)



基于集成权重和贝叶斯模型的科技奖励评价*

王瑛†，李菲

(湖南大学 金融与统计学院，湖南 长沙410079)

采用聚类分析法将多专家的动态综合评价转换为静态综合评价；引入横向拉开档次法对各指标客观赋权，结合指标主观权重，运用数学规划法得到指标的集成权重；采用贝叶斯网络模型对24项科技成果进行分类评价，对每一项成果获得某一等级奖项的可能性给出测度，并对每一类内的项目排序.实证分析表明：我国科研成果大部分具有研究价值，且成果丰硕，但突破性、创造性的研究成果较少.

贝叶斯网络；集成权重；拉开档次法；聚类分析法

与2013年、2012年相比，2014年度国家科学技术奖授奖项目明显减少. 对此，国家科技部奖励办表示，优化奖励结构、减少奖励数量，是为了突出鼓励自主创新成果和重大的发明创造科技成果. 科技成果的评价作为科技奖励的前期工作，对科技奖励的最终决策有着举足轻重的作用，也是保证真正的重大创新项目获得应有奖励、鼓励科研人员进一步有所突破的关键.

目前，学者们对科技奖励综合评价体系的研究做了大量工作，部分研究成果已经投入实际应用. 张立军等[1]构建了基于路径系数权重体系的科技奖励评价模型.王瑛等[2-3]提出了基于模糊多属性投影法的科技奖励模型和E-BP神经网络的科技奖励评价模型.黄卫春等[4]提出了一种基于云模型的科技奖励评审模型，利用云模型描述项目评分在各属性下的分布情况，通过计算云模型参数来确定云模型数字特征图或云滴分布情况，并以此确定评价等级. 王瑛、蒋晓东等[5]提出了改进CRITIC法和云模型的科技奖励评价模型，既考虑评价过程中专家评分的模糊性和随机性，又考虑了定性语言与定量语言之间的转换.王瑛、王娜等[6]提出了基于随机森林赋权和改进的ELECTRE-Ⅲ方法的科技奖励评价方法，既提高了权重估计的精确度和可信度，又解决了难以给定门槛值和不能完全排序的问题.朱紫巍等[7]针对国内外科技评价方法，进行比较分析，提出了改革我国科技评价方法的建议.

针对科技奖励评价涉及多专家、多项目、多指标的特点，此前，学界的研究主要集中在评价指标的客观赋权法与主观赋权法的单方面研究，没有将这两方面有机结合起来；在评价方法上主要集中在数理统计和人工智能等方面，但对于评价结果的可靠性没有给出科学的测度．对此，本文提出一种集成权重的方法对科技奖励的评价指标进行综合赋权；应用概率论中的贝叶斯网络模型进行科技奖励综合评价，该方法不仅可实现对科技成果的分类评价，而且可对每一项科技成果获得某一等级奖项的可能性给出概率测度,并在分类评价的基础上，对每一类内的项目进行排序.

1　集成权重的理论

评价指标权重的确定可分为主观赋权法和客观赋权法，两者各有千秋[8].本文采用一种主、客观权重集成的方法，计算各评价指标的综合权重，该方法既能满足决策者的主观偏好，又能实现决策的客观性、真实性.

1.1基于聚类分析的专家权重理论

聚类分析方法是一种作为模式识别的分类方法，它常常被用来判断样品质量的好坏．把评审专家的个体排序向量看作是待识别的样品，对其进行聚类分析并判别其客观可信性，再根据聚类结果给专家赋权[9].

动态专家赋权坚持的是简单多数的基本原则，即一个评审结果体现的是整个专家群体的综合意见．因此，一个专家的个人评审意见和大多数专家的评审结果的吻合程度决定了该专家在整个综合评价中所占的分量．如果他的评价结果与大多数专家的结论基本一致，就可以给这一类专家赋以较大的权重；反之，其意见就值得怀疑，可以给这一类专家赋以较小的权重．

(1)

对ηk进行归一化处理，即可得到基于聚类分析的动态专家权重：

(2)

1.2拉开档次法的指标赋权理论

拉开档次法就是在使得各被评价对象之间的整体差异尽量拉大的条件下确定评价指标权重的方法[10].

对于静态综合评价问题，一般解决办法是取线性综合评价函数：

(3)

式中：ωj为评价指标权重.

σ2=YTY=(XW)TXW=WTXTXW=WTHW.

(4)

式中：

当指标权重矩阵W为对称矩阵H的最大特征值对应的特征向量时，σ2取最大值[11].此时权重系数W最大可能地体现了各评价对象间的差异．

1.3基于数学规划法的集成权重理论

本文应用数学规划法在非线性约束条件下，求解线性目标函数的极值问题．该方法在科技奖励综合评价中的具体应用如下．

(5)

解得：

(6)

(7)

(8)

(9)

(10)

由式(10)即可求得评价指标的集成权重.

2　贝叶斯网络模型的理论

贝叶斯定义的样本空间为Ω[13]，A⊂Ω，Bi(i=1,2,…,s)为Ω的一个有限划分，且P(Bi)>0，当P(A)>0时，则有

(11)

式中：P(A|Bi)为条件概率；P(Bi)为事件Bi的概率.

结合科技奖励评价的特点，Bi为科技奖励的等级集，元素yji表示第j个指标在第i等级时的标准值；A表示科技奖励的指标集，元素xjk表示第k项科技成果的第j个指标的实际值；i为标准级别，i=1,2,…,s；j为指标，j=1,2,…,m；k为科技成果编号，k=1,2,…,n.据此式(11)可改写为：

(12)

算法步骤如下：

2)计算P(xjk|yji).现有研究成果表明，P(xjk|yji)的估计是贝叶斯网络模型的核心.本文从抽样误差角度[14]估计P(xjk|yji).根据统计理论，当科技成果属于i类时，由于抽样缘故获得的样本指标值和总体指标值总是存在一定的抽样误差，其分布可用正态分布表示.基于以上考虑，将抽样误差正态分布原理用于估计P(xjk|yji).以科技成果评价指标j各等级标准值作为正态分布的均值aj，基于aj和标准差σj获得某一等级某一指标完整的正态分布.

(13)

(14)

(15)

式中:aj，σj和Cj分别为指标j各等级的均值、标准差和变异系数.

由式(13)～(15)计算变异系数Cj，Cj表示指标j在各类之间相对变化情况.而某类指标j抽样值的相对变化亦与之类似，因此采用Cji=Cj，即以各类等级变异系数估计某一类指标抽样值的变异系数.

基于抽样误差正态分布原理估计P(xjk|yji)的计算步骤归纳如下[15]：

①由式(13)～(15)估计Cji，并采用Cji=Cj；

②将第i类指标j的标准值yjk作为该类指标均值；

③计算第i类的标准差σji=Cjiyji;

④将抽样值(检测值)xjk标准化,

(16)

⑤以标准化正态分布计算

(17)

3)由式(12)计算P(yji|xjk).

4)多指标下(ωj为指标权重)科技成果评价后验概率Pi的计算.

(18)

5)以最大概率原则决策最终的级别Ph.

(19)

6)以分类结果为基础，在每一类内根据概率大小进行排序.

3　实证分析

以国家科学技术进步奖(技术开放项目)评选中25位专家对24项科技成果的评分数据(资料来源：科技部国家科技奖励办公室，原始数据略)为例，该奖项的5个评价指标是：技术创新程度、技术经济指标的先进程度、技术创新对提高市场竞争能力的作用、已获经济效益、推动科技进步的作用．国家科技奖励办赋予5个评价指标的权重[16]为：ω′=(0.2,0.2,0.2,0.25,0.15),将该权重作为评价指标的主观权重．具体步骤如下.

步骤1基于聚类分析法的专家权重的计算．

运用SPSS19.0对原始数据进行聚类分析，将25位专家分为5类，即:

第一类包含10，16号2位专家；

第二类包含1，2，4，12，15号5位专家；

第三类包含3，6，8，9，14，25号6位专家；

第四类包含5，7，11，13，18，19，20，21，22，23，24号11位专家；

第五类：含17号1位专家.

由式(1)(2)计算专家权重，结果见表1.

表1　基于聚类分析的专家动态权重

步骤2计算指标的集成权重．

由表1求得的专家动态权重，采用简单线性加权法，计算25位专家对每个项目的5个评价指标评分的加权平均值，计算结果见表2.

表2　25位专家对每个项目5个指标评分的加权平均值

表2的数据组成的矩阵，即为式(4)中的矩阵X，应用Matlab7.0计算XTX的最大特征值及归一化的特征向量(即权重系数)分别为：

λmax=109.33,

ω″=(0.199 9,0.201 3,0.202 0,0.195 4,0.201 5)T.

由式(8)(9)计算,分别得到α*=0.491 4，β*=0.508 6；由式(10)计算得到指标的集成权重为ω=(0.199 9,0.200 6,0.201 0,0.222 7,0.175 8)T.

步骤3科技成果评价标准体系的构建．

根据国家科技奖励办公布的国家科技进步奖(技术开发项目)评价指标体系和奖励办法，建立国家科技进步奖(技术开发项目)评价标准.按照“从严把关，严肃评审，宁缺毋滥”的原则，在分类上设置5个等级，在各等级标准设定中采取5分制原则，采用随机生成数的办法，得到5个指标各等级的评价标准，见表3.

表3　国家科技进步奖评价标准

步骤4基于贝叶斯网络模型的科技奖励评价．

2)以项目1为例，由式(13)～(17)计算，结果见表4 .

表4　项目1的抽样误差正态分布计算结果

3)由式(12)可知，求P(yji|xjk)的过程就相当于P(xjk|yji)的归一化过程，计算结果略.

4)由式(18)计算该项目分属各等级的概率．

同理，计算24个项目分属各等级的概率，结果见表5.

表5　各项目分属各等级的概率测度

5)由式(19)确定项目1所属类别，属于三等，抽样误差标准正态分布以0.366的概率保证其获得三等奖.

6)同理，可以得到所有项目的所属类别，并根据同一类内概率的大小，进行排序，结果见表6.

表6　24项科技成果评价结果

从分类评价结果看，大部分科技成果都属于二等和三等，一等和四等的项目较少，五等的项目完全没有；从评价结果的可靠性看，获得一等奖的项目分别以0.408,0.426,0.469的概率给予保障，获得二等、三等项目的可靠性测度维持在0.382，获得四等奖的可靠性则以0.320的概率给予保障；每一个等级内的排序可以为决策部门在授奖指标一定的情况下提供参考.通过实证分析可以得出：高等级获奖项目较少，大部分属于二等和三等，低等级获奖项目极少，这表明我国科研成果绝大部分具有研究价值且成果丰硕，但突破性、创造性的研究成果较少.

4　结　论

采用集成权重和贝叶斯模型相结合的方法进行科技成果综合评价，方法的特点表现在：

1)聚类分析将多专家的动态评价转化为静态评价.从一般线性函数的评价结果出发，用拉开档次法对评价指标客观赋权，该赋权过程科学、客观、透明，可操作性强.

2)数学规划法将主、客观权重相结合，构成评价指标的集成权重，使科技奖励综合评价结果同时反映了主、客观因素，弥补了单纯采用主观赋权法或客观赋权法的不足.

3)基于贝叶斯网络模型的科技成果综合评价，立足于概率，对每一项科技成果可能获得某一个等级的奖项都给出一个可靠性的测度，既实现了对科技成果的分类评价，也具有预测作用.

[1]张立军，邹琦．基于路径系数权重的科技成果奖励评价模型[J]．科技管理研究，2008, 28(5):102-103.

ZHANG Li-jun, ZOU Qi. The rewards of scientific and technological achievements evaluation model based on the path coefficient of weight [J].Science and Technology Management Research,2008, 28(5):102-103.(In Chinese)

[2]王瑛，赵谦，李石良．模糊多属性决策投影法在科技奖励评价中的应用[J]．科学学与科学技术管理，2010, 31(12):18-22.

WANG Ying, ZHAO Qian, LI Shi-liang.Fuzzy multi-attribute decision making projection method in the application of the evaluation of science and technology award[J].Science of Science and Management of S &T, 2010, 31(12):18-22.(In Chinese)

[3]王瑛，赵谦，曹玮．基于E-BP神经网络的科技奖励评价模型研究[J]．科技进步与对策，2011, 28(10):111-114.

WANG Ying, ZHAO Qian, CAO Wei. Based on E-BP neural network model for intelligent evaluation of science and technology award[J]. Science & Technology Progress and Policy, 2011, 28(10):111-114.(In Chinese)

[4]黄卫春,刘建林.基于云模型的科技奖励评审模型研究[J].计算机工程与科学, 2011, 33(11):149-153.

HUANG Wei-chun, LIU Jian-lin. Research on an assessment model of science and technology awards based on the cloud model [J]. Computer Engineering & Science,2011, 33(11):149-153.(In Chinese)

[5]王瑛，蒋晓东，张璐.基于改进的CRITIC法和云模型的科技奖励评价研究[J]. 湖南大学学报:自然科学版，2014,41(4):118-124.

WANG Ying, JIANG Xiao-dong, ZHANG Lu. Research on the evaluation of science and technological awards based on improved CRITIC method and cloud model[J]. Journal of Hunan University: Natural Sciences, 2014, 41(4): 118-124. (In Chinese)

[6]王瑛,王娜，肖薇.基于随机森林赋权法和改进的ELECTRE-Ⅲ方法的科技奖励评价研究[J]. 湖南大学学报:自然科学版，2015,42(3):140-144.

WANG Ying, WANG Na, XIAO Wei. Research on the evaluation of science and technology award based on random forest and improved ELECTRE-Ⅲ[J]. Journal of Hunan University: Natural Sciences,2015,42(3):140-144. (In Chinese)

[7]朱紫巍，朱永林.国内外科技管理评价方法的比较研究[J]. 经济研究导刊，2015(2):252-254.

ZHU Zi-wei, ZHU Yong-lin. A comparative study of science and technology management evaluation methods both at home and abroad[J]. Economic Research Guide, 2015(2):252-254.(In Chinese)

[8]王应明,傅国伟.运用无限方案多目标决策方法进行有限方案多目标决策[J]. 控制与决策, 1993(8):25-29.

WANG Ying-ming, FU Guo-wei. Using multiobjective decision making method to making decision for multiattributes[J]. Control and Decision, 1993(8):25-29 .(In Chinese)

[9]陈迎欣,魏薇.基于三重赋权和系统聚类分析法的全国空气污染实证分析[J]. 统计与决策，2015(11):100-103.

CHEN Ying-xin, WEI Wei. The empirical analysis of national air pollution based on the triple empowerment and system clustering analysis method[J]. Statistics and Decision, 2015(11):100-103.(In Chinese)

[10]郭亚军.一种新的动态综合评价方法[J]. 管理科学学报, 2002,5(2):59-63.

GUO Ya-jun. New theory and method of dynamic comprehensive evaluation[J]. Journal of Management Sciences in China,2002,5(2):95-63.(In Chinese)

[11]郭亚军.综合评价理论、方法及应用[M].北京：科学出版社，2007:111-129.

GUO Ya-jun. Comprehensive evaluation theory, methods and extensions[M].Beijing: Sciences Press, 2007:111-129.(In Chinese)

[12]薛会琴. 多属性决策中指标权重确定方法的研究[D].兰州：西北师范大学数学与信息科学学院，2008:12-14.

XUE Hui-qin.The research on the methods of index’s weight to be determined in the multiple attribute descion-making[D]. Lanzhou: College of Mathematics and Information Science, Northwest Normal University, 2008: 12-14.(In Chinese)

[13]齐培培.基于贝叶斯网络的水质污染评价及预测[D].武汉：武汉理工大学资源与环境工程学院，2009:12-17.

QI Pei-pei. Evaluation and prediction on water pollution based on Bayes network[D]. Wuhan: School of Resource and Environmental Engineering, Wuhan University of Technology, 2009:12-17.(In Chinese)

[14]廖杰,王文圣,丁晶.贝叶斯公式在河流水质综合评价中的应用[J].四川师范大学学报:自然科学版，2007,30(4):519-522.

LIAO Jie, WANG Wen-sheng, DING Jing. Comprehensive assessment of water quality on main rivers in Sichuan by Bayes method[J].Journal of Sichuan Normal University:Natural Science,2007,30(4):519-522.(In Chinese)

[15]廖杰,汪嘉杨,丁晶.基于改进贝叶斯模型的四川省主要河流水质评价[J].四川师范大学学报:自然科学版,2009,32(4):518-521.

LIAO Jie,WANG Jia-yang,DING Jing. Water quality assessment of main rivers in Sichuan based on improved Bayes model[J]. Journal of Sichuan Normal University: Natural Science, 2009, 32(4):518-521.(In Chinese)

[16]郝国杰.科技成果奖励评价指标体系及方法研究[D].长沙：湖南大学金融与统计学院，2009:11-19.

HAO Guo-jie. Science and technological achievements reward evaluation index system and method[D]. Changsha: College of Finance and Statistics, Hunan University, 2009:11-19.(In Chinese)

Evaluation of Science and Technological Achievements Based on Integrated Weight and Bayesian Network

WANG Ying†, LI Fei

(College of Finance and Statistics，Hunan Univ，Changsha，Hunan410079，China)

The clustering analysis method is used to transform the dynamic comprehensive evaluation of multiple experts into the static comprehensive evaluation problems. The scatter degree method is adopted to determine the weight of each index objectively, combined with the subjective weight, and the mathematical programming method is used for the index integration. Finally, Bayesian networks model is used to make a classification evaluation of 24 scientific and technological achievements, and give the probability measurement of each scientific and technological achievements awarded to a certain place and rank within each level. The empirical research suggests that most of Chinese scientific researches have achieved the fruitful results with high research values while lack of creativity and breakthroughs.

Bayesian networks; integrated weight; scatter degree method; clustering analysis

1674-2974(2016)07-0151-06

2015-11-29

国家自然科学基金资助项目(71340003),National Natural Science Foundation of China(71340003)；国家社会科学基金资助项目(14BTJ003)

王瑛(1964-)，女，湖南汉寿人，湖南大学副教授

†通讯联系人，E-mail:wangying31106@163.com

G311

A