APF组合分析法在非共识项目评价中的运用

西桂权 王冠宇

摘  要：非共识项目在促进科技创新方面的作用越来越突出，其评审、评价问题也变得更加重要。文章分析了非共识产生原因，介绍了非共识项目识别和度量方法;之后提出通过评议项目累计数、评议结果命中率和成功率来对同行评议专家进行评价，遴选出非共识项目评审专家;最后结合非共识项目自身特点，利用定性和定量方法建立了非共识项目评价指标体系，探讨了APF组合分析方法运用于非共识项目评价的可能性和具体步骤，以促进非共识项目发展。

关键词：非共识项目;非共识度;同行评议;APF评价方法

中图分类号：G311     文献标识码：A

Abstract：Non-consensus projects play an increasingly important role in promoting scientific and technological innovation.This paper analyzes the causes of non consensus，introduces the methods of identifying and measuring non-consensus project. Then it is proposed that peer review expert evaluation should be carried out by reviewing item cumulative count，dispersion rate，hit probability and success rate.The evaluation index system is established based on the characteristics of non-consensus projects.At last，this paper discusses the possibility and concrete steps of applying APF combinatorial analysis method to non-consensus project evaluation by combining complex qualitative and quantitative indicators.

Key words：Non-consensus project;Non-consensus degree;Peer review;APF evaluation method

非共識项目在促进科技创新方面发挥着越来越重要的作用。关于非共识项目的评审和评价已有学者进行了研究，主要包括以下几种方法：一是同行评议法，二是加权优序法，三是模糊综合评价法等。郝凤霞[1]等提出在同行评议中可根据项目特点选择一定数量的非共识项目进行复审，并在评审者与参评者间建立动态的反馈渠道，提高评审结果准确率。马晨华[2]分析了现有方法在跨学科项目评价中的缺陷，并提出了完善跨学科项目评审的方法。还有学者从定量角度进行了研究，形成以定性评价为主、定量数据为辅的非共识项目评审方法，如杨列勋等[3]提出用项目整体非共识和指标非共识度作为定量依据，用数理方法处理非共识项目专家打分结果 。

应用以上方法都可以对非共识项目做出评价，但是由于非共识项目与一般项目相比有其特殊性，每一种方法都存在着一定的缺陷，从而影响非共识项目立项评价结果的准确性、科学性及公平性。对于非共识项目的评价，单纯采用定性或定量的评价方法效果都不佳。基于非共识项目特点，目前比较适合的方法是采用专家评审与指标体系相结合的评价方法。为此，笔者提出利用APF组合评价法对非共识项目进行评价，形成以定性判断为主、定量数据为辅的针对非共识项目的评价方法，以促进非共识项目发展。

一、非共识项目的概念

从科学发展史看，重大创新在开始阶段往往由少数人首先提出，而多数人并不理解，从而形成非共识。非共识形成的根本原因是创新是一种探索性很强的活动，且具有一定风险性，但非共识创新一旦成功，将具有重要意义。在对非共识项目研究中，学者一般从同行评议和非共识项目的特点两方面来定义非共识项目。从同行评议角度定义非共识项目的专家如郝凤霞[1]、刘文波等[4]，他们认为非共识项目是指在采用同行评议时，由于评审专家对该项目选题方向、研究方法、可行性等存在较大争议，无法达成共识从而形成的项目。束义明[5]、张冠南等[6]专家从非共识项目特点出发，认为非共识项目是指由于其创新性强，研究内容超出了一般人认识水平，实现难度大且具有一定的风险性，对于是否支持立项存在一定争议的项目。然而实践表明，很多创新性强的非共识项目在取得成功后，对社会进步起到了很大促进作用，因此要有选择性地支持非共识项目发展。

二、非共识项目评议中的专家遴选

项目评审的主体是专家，对于科研项目进行评价最有发言权的是同行专家。在非共识项目立项评价中，尤其是对于交叉学科较强的非共识研究项目，能否选择出真正的同行评议专家至关重要。非共识项目形成与评审专家有着密切关系，非共识项目的评价也需要专家参与，因此选出合适的专家至关重要。对于非共识项目而言，其研究范围往往涉及多个学科领域，所以选出合适的评审专家非常重要。可以分以下几步：第一步要确定非共识项目涉及的学科范围;第二步要明确候选专家的研究领域，保证二者的相关匹配性;第三步初步筛选出可以参加评审的、水平较高的专家。非共识项目评价专家遴选的具体步骤如下[7-8]。

（一）判断候选专家研究学科范围及比重

对非共识项目进行评价时，尤其是涉及前沿交叉学科的非共识项目，首先要明确该项目研究领域涉及的学科范围及比重。假设某一非共识项目研究领域可能涉及的学科种类为a，b，c，…，n类。

1.申请人对项目所涉及的学科门类和研究内容较为熟悉，所以先由申请人对项目所涉及的学科知识和种类进行初步估计，设各科知识所占比重为：

（二）用主成分分析法确定指标个数

如图2所示，如果非共识项目评价指标有多个，但各指标价值大小不同，那么影响非共识项目的重要性也不同。统计学中的主成分分析法（PCA）是一种对于多元问题的数据处理方法，一般初始建立的评价指标之间往往具有一定的相关性，通过运用主成分分析法可以把相关性较强的指标转化为相互独立的指标，指标数量虽然减少了，但指标包含的信息并没有减少太多，评价结果更具有确定性。

（三）用层次分析法确定指标权重

非共识项目评价的各个指标权重不同，可以采用层次分析法（AHP）来确定不同指标权重的大小，该方法可以兼顾各位专家对评估指标的不同偏好，使评价结果更具有客观性。运用层次分析法包括建立递阶层次结构、构造判断矩阵等步骤。

（四）进行模糊综合评价

非共识项目评价涉及的影响因素较多，如项目本身因素、评审专家因素等，而各因素重要程度又不同，使评价过程变得复杂。模糊综合评价法作为一种简便而有效的评价与决策方法，利用模糊数学中的相关知识，确定评价对象所属等级，为正确决策提供相应依据。模糊综合评价方法的包括确定评价指标集合论域、确定评语集合论域、确定权重分配模糊向量、进行实际评判等步骤。

APF组合评价法涉及的部分数学运算可采用计算机设备解决，如主成分分析法可借助社会经济统计软件（如SPSS）中的因子分析法得到相应结果，大大提高了非共识项目评价的效率。通过以上各步骤，可以对所评审出的非共识项目进行评价，选出创新性较强、实际价值较高的项目予以资助支持。

五、小结

基于非共识项目特点，其遴选、评审和评价目前仍没有十分完美的方法。笔者只是对非共识项目的遴选机制设计、评价方法等做了初步理论探讨，供相关人员参考。今后将结合非共识项目评选、评价实际操作过程，深入研究如何识别创新、保护创新以及促进非共识创新项目发展。

参考文献：

[1]郝凤霞，刘静岩，陈忠.技术研发项目中同行专家评议产生非共识的原因分析[J].中国软科学，2004（12）：92-96.

[2]马晨华.论跨学科研究评估机制的建立[J].科技与经济，2015（01）：17-21.

[3]杨列勋，汪寿阳，席酉民.科学基金遴选中非共识研究项目的评估研究[J].科学学研究，2002（02）：185-188.

[4]劉文波，钮晓鸣.非共识项目的立项决策研究[J].上海管理科学，2017（04）：61-65.

[5]束义明，陈敬良.我国基础研究原始性创新能力的现状及提高对策[J].科技导报，2002（12）：3-6.

[6]张冠南.地方科研资助机构非共识现象研究[D].上海：华东师范大学，2015.

[7]周光中.基于D-S证据理论的科学基金立项评估问题研究[D].合肥：合肥工业大学，2009.

[8]王国彪，彭芳瑜.国家自然科学基金同行评议结果评价方法与专家遴选因素分析[J].中国科学基金，2008（06）：372-376.

[9]杨凤.基础研究项目立项评估模型研究[D].长春：吉林大学，2014.

[10]郑兴东，陆伟，贺宪民，等.基金项目同行评议中专家非共识性的度量研究[J].中华医学科研管理杂志，2005（03）：141-144.

[11]夏蓓丽.APF组合分析法在哲学社会科学评价中的运用[J].情报科学，2007（09）：1337-1342.

[12]王敬敏，施婷.改进APF组合分析法在电网信息化水平评价的运用[J].电力信息化，2011（09）：28-33.