基于DEA和AHP方法的北京大学科研人员绩效评价

经验人：唐 琳 刘鸿雁

基于DEA和AHP方法的北京大学科研人员绩效评价

经验人：唐 琳 刘鸿雁

本研究在文献分析的基础上，提炼科研绩效评价的指标体系，并结合北京大学城市与环境学院63名在职教师科研工作的现状，及专家访谈问卷，运用层次分析法确定指标体系中各项权重并计算教师产出得分。在此基础上，运用数据包络模型对学院的科研人员绩效进行评价研究，并提出改进措施。最终形成一个既满足北京大学当前的特点和发展方向，又适合科研活动自己规律的评价体系，促进北京大学的科研管理效率进一步提高，为建设世界一流大学添砖加瓦。

在科学研究工作中，科研的水平会受到科研管理的有效性所影响，而有效的科研绩效评价是科研管理的重要支持。科研绩效评价具有几项功能，包括监督性、调控性、导向性和反馈性（丁余微，2013），所以有效的科研绩效评价，能有效提高科研管理水平，从而进一步提高科学研究水平。

国外的科研绩效评价起步较早，发展较为成熟，以同行专家评价为基础。而评价的主体是由不相关的第三方完成。第三方机构主要面向像学校这类科研机构的科研评估，很少对个体的科研进行评估。英国早在上世纪 80 年代就开始了高校科研评价（Higher Education Funding Council for England，2002）。美国、荷兰、芬兰、日本等国也在积极进行高校科研评价的理论研究和实践，并且取得了一定的成果。国内的科研绩效评价工作起步比较晚，学者对科研绩效评价的研究主要分为两类，一是对科研绩效评价指标的选取和权重确定，而是评价方法研究（汪静等，2012；程云喜，2007；卢苇，2009；陈洪转等，2011；朱敏结，2003；吴杨，苏竣，2011；叶国荣，2009；符银丹，陈士俊，，陈卫东，2012）常见的定性分析方法有同行评议、维度测评、德尔菲法、权威决策、行政拍板等；在效率评价的实践中，常用的定量分析方法有 10 多种，其中DEA模型是评价科研绩效的最常用方法。

通过以上分析可知，发达国家对科学研究绩效评价的研究目前已经发展到了较为成熟的阶段，而我国此方面的研究起步较晚，尚未形成公认的评价方法，也无专业第三方评价机构。但我国科研体制和科研环境与国外不同，有自身特色，不能完全照搬国外科研绩效评价体系。因此，目前对于科研效绩评价仍处对探索和实践期，还待进一步深入研究。此外，目前科研绩效评价主要研究对象为科研机构，而针对科研人员个体的研究不足，本研究将以此作为突破点，以北京大学城市与环境学院的教职工近五年科研投入产出数据进行重点研究。

基于层次分析法的科研绩效评价

层次分析法是美国运筹学家萨迪教授在19世纪70年代提出的（徐兆勇，2009）。该方法通过把问题分解成各个因素，最终形成目标层、准则层和方案层三个层次指标体系。通过两两比较同一层次中的相对重要性，构建判断矩阵，根据最大特征根法，最终得到各个因素的权重。

构建科研绩效评价指标体系

针对科研人员个体的北京大学科研绩效评价体系的构建以建设世界一流大学为主要目标，依据北京大学当前的发展和学科建设的需要，由学术委员会专家讨论，设定相应的考核指标。选择指标包括一个目标、5个指标和15个因子（表1）。

表1　科研绩效评价指标体系

构建因素之间判断矩阵

为了对各个因素之间的重要性进行有效的衡量，本文设计专家问卷，请有经验的科研管理人员、科研专家对同一层次中各个因素重要性进行打分。从而克服了单个专家主观影响，提高研究的科学性。对于同一层次的因素间两两比较时标准的方法是采用九标度法，即根据相对重要性以1、2、3……9及其倒数表示（如9表示A比B绝对重要，1表示A与B相同重要，1/9表示B远比A重要等），构造比较判断矩阵。

针对科研人员绩效评价指标体系，按照专家打分的结果构建各因素之间的判断矩阵。由于篇幅所限，只列举部分判断矩阵（表2）

表2　因素之间的判断矩阵

判断矩阵的一致性检验

由于专家在填写问卷的时候，有可能会出现三个元素循环判断，违反了基本逻辑，因此需要对判断矩阵做一致性检验。

一致性指标CI=λmax-n/n-1，其中，n为同一层次下的指标个数，λmax为最大特征根

平均随机一致性指标RI为1-15阶正互反矩阵计算1000次得到的平均随机一致性指标。

一致性比例CR=CI/RI，当CR＜0.1时，判断矩阵通过一致性检验。

本文通过YAAHP计算得到各个层次的CR值（表3），可见CR均小于0.1，指标体系通过了一致性检验。

表3　不同层次的一致性比例

确定指标体系各因素权重

根据YAAHP软件得出的各个层次指标的相对权重，计算各个层次元素对于决策目标的最终权重，加权平均，进行总排序，得到总权重（表4）。

表4　科研人员绩效评价指标体系总权重

表5　科研人员产出得分

科研人员产出得分

根据以上层次分析法得出的指标体系和权重值，结合城市与环境学院63名在职教师近五年的各项投入产出指标数据，得到每位教师的科研产出总得分，并将其标准化为0～100之间的两位数后，得到表6数据。63位教师的平均得分为23.41，表明学院内部科研产出的差异较大。得分最高为42号教师，最主要原因是其每年都有参与重大科研项目，并且有较高的SCI文章产出，同时获得了了省部级以上奖励。得分最低的教师为50号，原因是其为新入职教师，之前的科研产出并不是以城市与环境学院名义取得，因此无法获得统计数据。得分在50分以上的8名教师囊括了城市与环境学院的院士、长江学者、一级教授。数据结合城市与环境学院的实际情况，显示出了很好的吻合度。下一步将进一步结合科研投入，分析以上教师的科研绩效水平。

基于数据包络法的科研效率评价

数据包络法原理

数据包络法（DEA）是由美国运筹学家Chames和Cooper等于1978年提出的。它以相对效率为基础，用于评价具有多投入产出的决策单元是否技术有效和规模有效。由于不受量纲影响，在避免主观因素、减少误差等方面具有重大优势（段永瑞，2006）。数据包络法的思路是把每一个评价单位作为一个决策单元（DMU），以各个决策单元的投入产出权重为变量进行计算，确定是否DEA有效（陆根书，刘蕾，2007）。

假设DMUi，i=1，2，3，……n，n表示决策单元数量，（xi，yi）表示决策单元的投入和产出。对于某个决策单元，判断其有效性的模型为：

表6　城环学院63名在职教师DEA计算结果

通过求解上述模型求解，得出最优解。若θ=1，S-，S+不全为0（均为0）时，DMU为弱有效（有效）；当则DMU为规模效益不变；当则 DMU为规模效益递减；当则DMU为规模效益递增。

北京大学城市与环境学院实例分析

通过上文层次分析法得出的指标体系，输出指标为5个：科研项目、发表文章、专著专利、获得奖励和人才培养，参考层次分析法得出的权重值，将输出指标归结为2类：科研成果产出（包括科研项目、发表文章、专注专利、获得奖励）和人才产出（本科、硕士、博士人才培养）。相应的，输入指标为2类：科研经费投入和人才投入（本科、硕士、博士人才投入）。

根据以上的各项指标加权平均计算方法和计分标准，输入北京大学城市与环境学院63名在职教师的投入产出数据，将其在DEAP软件中进行运算（表6）。

表6所给出的计算结果分为：技术效率、纯技术效率、规模效率。技术效率表示在规模报酬不变情况下的技术效率值；纯技术效率表示投入要素的使用效率；规模效率表示决策单元的投入产出是否达到最佳比例；规模报酬给出了该决策单元所处的生产阶段，drs表示规模报酬递减，irs表示规模报酬递增。

1.DEA有效。从表6可以看出，有8位教师（5，7，13，14，25，30，50，60）的技术效率、纯技术效率、规模效率均为1，达到了技术有效。结果表示在现有的科研投入条件下，这几位教师与其他教师相比，产出达到了最大值。而且，如果增加投入，他们的投入产出规模报酬也是不变的。结合这几位教师的纯科研产出得分情况，相对而言得分偏低，表明他们目前达到了自身平衡状态，但是未来还可以通过增加投入，调整科研管理水平，从而提升科研产出。

2.DEA无效，纯技术效率有效。表6所示，有9位教师（10，12，15，23，26，31，42，54，58）的纯技术效率为1，规模效率小于1，表示他们处于DEA无效但纯技术效率有效状态。这些教师的科研资源配置相对合理，科研水平较高，达到了纯技术效率有效。但是DEA无效的原因主要在于规模效率偏低，观察规模报酬结论，发现他们均处于规模报酬递减阶段，因此未来可以考虑适当减少科研投入以提高规模效率。结合他们的纯科研产出得分，这8位老师均超过了平均得分，科研能力成熟，科研投入力度大，科研产出也相对较高，但是目前正处于规模效率递减阶段，未来可以考虑调整科研管理水平，或者适当减少投入，以提升规模效率。

3.纯技术效率和规模效率均无效。其他46名教师都是DEA无效，纯技术效率也无效的状态。其原因是由于科研能力和统筹利用资源水平不足，或者投入规模不当导致的。其中26名教师处于规模报酬递增阶段，未来应考虑适当增加经费支持和人员投入，以达到最佳规模效率。相应的，对于规模效率递减的20名教师，则应适当减少投入，提高科研绩效。

结语与展望

将本文层次分析法和数据包络法相结合的运算结果与北京大学城市与环境学院63名在职教师的实际情况相比较后，发现运算结果与各个教师的实际科研情况大体一致，即在专家打分制定评价指标体系的基础上，层次分析法和数据包络法相结合，可以比较准确的反映北京大学城市与环境学院科研的实际问题。因此，我们认为通过方法的推广，基于层次分析法和数据包络法的评价方法是一种适用于北京大学的科研绩效评价方法，实现对科研人员个体的有效评价，有利于实现高水平科研管理，从而进一步提升北京大学科学研究水平，为北京大学建设一流大学贡献力量。

唐 琳 刘鸿雁

北京大学城市与环境学院

唐琳（1986-）女，籍贯江西，北京大学城市与环境学院科研秘书，助理研究员，博士在读，主要研究方向：科研管理；刘鸿雁（1968-）男，籍贯湖南，北京大学城市与环境学院副院长，教授，博士，主要研究方向：科研管理、生态学。

10.3969/j.issn.1001-8972.2015.18.044