优化“一带一路”国际科技合作项目评审专家人数的探究

贠 涛，张金倩楠，李姗姗，赵新力，2

（1.中国科学技术交流中心，北京 100045；2.清华大学中国科技政策研究中心，北京 100084）

1 研究背景

科技评价可以判断科学技术活动及其产出影响价值，是保证科技事业健康、可持续发展的重要手段［1］。具体到科研项目这一类科技活动，国际上通常应用同行评审作为确定项目立项的重要参考［2］。同行评审已经在科学活动中使用了三百多年［3］。1752年英格兰皇家学会为《哲学汇刊》成立专门的论文评审委员会标志着同行评审制度的诞生［4］，1937年在美国成立的国家癌症咨询委员会标志着同行评审制度在美国开始应用。如今，同行评审制度已在世界各国的各个领域普遍使用，也是当今科学界不可或缺的重要工具。

但是同行评审制度本身也存在不少问题，专家遴选制度和评议过程都有可能受经济利益、社会关系、竞争关系、个人偏好等因素影响而引发不公正的同行评审。孙平［5］、郭碧坚等［6］从同行评议制度的根源出发分析该制度的缺陷，并对影响该制度公正性的各种原因进行了探讨除此之外，评审专家的评审行为容易也受到项目申请者在科研领域业绩方面声望的影响［7］。为了维护同行评议和专家评审的科学、公正、公平、客观，许多研究者提出了各种解决方案。孟陶然等［8］分析了专家抽取不均衡性，并提出了提高抽取次数较少专家的抽中概率的方法。龚旭［9］论建模提出评分偏差模型用以计算异常评分偏差、科研项目争议性和专家评分惯性对异常评分进行预测。徐洪峰［10］提出了基于距离和相关系数的专家反评估模型用来衡量评审效果和水平，并基于云模型检测异常评分数据。靳健等人［11］构造了整数优化模型以高效地为多篇待审文稿推荐评审专家的方法，提高了评审契合度。

在国家重点研发计划项目评审的具体实践中，为了更好地维护评审结果的公正客观，项目管理机构一般会在国家科技专家库系统中随机抽取17 位专家，对特定组别的项目进行评审。在“一带一路”国际科技合作项目评审中同样也遵循这一规则。但是由于国际合作项目不下设课题，每个项目的经费体量较小，且领域分布较为分散（包括农业、医药健康、先进制造、资源、环境、材料等14个领域），导致评审分组较多但组内项目较少。因此，评审环节费用偏高、评审环节的投入产出比较低，给项目管理机构带来了较大负担，成为了项目评审立项管理环节中的一个难点。当前，尚未有针对科技项目评审专家人数设定的相关研究报道。

本文从“一带一路”国际科技合作项目评审实践出发，探究了在尽量不影响评审质量的前提下进一步精简评审专家人数的可能性。这一问题可通过分析减少若干评审专家后，项目得票排序的改变程度来回答。利用实际评审过程中评审专家对各项目的打分表，可以获得若干位评审专家所打分数在不计入最终评分的情况下，产生的新的项目排序序列。通过对比新的排序结果与实际的评审结果，对项目立项的影响将会分为两种情况：1.在两组立项序列项目相同，但顺序改变；2.相比于一组立项序列，另一组序列中出现若干立项项目的替换。

斯皮尔曼［12］等级相关系数常用来刻画变量间的单调相关的显著程度，可以利用两个变量以升序或者降序的元素排名大小作线性相关分析来反映两个变量之间联系的密切程度，应用于优先考虑数据次序的场景。在图像相关性分析方面，朱亚辉［13］使用斯皮尔曼等级相关系数对相似程度较高的评价指标进行了合理聚类；贾晓芬等［14］借助斯皮尔曼等级相关系数提高了彩色图像中噪点和边缘点的检测率与检测精度；张文耀［15］引入斯皮尔曼等级相关系数来度量网络的度相关，它与参数无关且适合大规模网络。

上述两种专家对项目立项结果的影响程度衡量场景与斯皮尔曼等级相关系数的适用场景十分一致。因此，本文选择斯皮尔曼等级相关系数来定量衡量评审专家数量对项目立项的影响程度，这在专家评审影响评价方面具有一定创新性。

2 分析方法

本文提出的方法力图衡量不同数量的专家组合对同行评审的影响，即i 位专家在特定项目评审规则下（国家重点研发计划项目评审规则）对立项结果产生的影响。在此研究背景下，最终根据评审专家对评审项目的评分和项目评审立项规则，可以获得某评审组的立项序列。项目序列指的是通过评审后，按照优先次序排序的有序项目对象。表1 中显示了本文中使用的符号及其定义。

表1 本文涉及的符号及定义

这里借助图1、图2 来阐述两种专家组合产生的影响。图1 与图2 左端的序列都是由原始专家评分数据集，根据立项评审规则r 产生的长度为6 的项目结果序列p(6)，而结果序列p(6)中的1 6 序号代表在整个项目排序中前6 位的项目。原始专家评分数据集中除去某j 位专家组合之后的专家评分数据集，根据立项评审规则r 产生的长度为i 的项目结果序列q(i,j)。如果q(i,j)中项目序列仍由p(i)中的项目集组成，只是项目之间的顺序发生了变化，即为这里定义的第一种序列影响。如图1 所示，右端的序列q(6,j)仍为p(6)中项目集组成，并且项目序号仍使用p(6)中的项目序号，只是项目之间的顺序发生了改变。如果q(i,j)中项目序列的项目集对比p(i)中的项目集发生了项目替换，即为这里定义的第二种序列影响。如图2 所示，右端的序列q(6,j)对比p(6)中项目集，出现了7 号项目替换p(6)中的6 号项目进入项目立项结果集。

图1 第一种专家组合对项目立项的影响

图2 第二种专家组合对项目立项的影响

这两种序列影响都可以在项目序列排名的基础上使用斯皮尔曼等级相关系数来定量衡量。斯皮尔曼等级相关系数的基本定义为：2个定序n维随机变量X和Y的排名之间的皮尔逊0 相关系数。随机变量的之间的斯皮尔曼等级相关系数可以表示为：

当获得一对项目立项序列，两组序列中对应项目元素的排名差值是可获取的，那么我们研究的在同行评审过程中的共谋行为就可以通过斯皮尔曼等级相关系数的定量数值进行衡量。对于第一种重复立项的项目的顺序产生序列影响，两组立项序列对应的项目集合是一样的，使用对应项目元素的差值根据公式2 进行衡量。对于第二种序列影响，相比于一组立项序列，另一组序列中存在新增的立项项目，所以两组立项序列对应的项目集合是不同的，这里采用一个新增项目或落选项目的最大索引的方法来切分获得最小有效序列长度。

例如图3，相比于p(6),在q(6,j)中新增的项目序号7，代表在原始的项目序列p 中排名第7 位的项目，也就是在p 中索引号为7，而相较于q(6,j)，p(6)中序号为6 的项目，在q 中将会被替换到第9 位，也就是索引号为9。就像图3 中选择7 和9 之间的较大值9 作为新增项目影响的序列长度值,如果选择所有q(i,j)中新增项目在序列p 中索引号最大值和p(i)中被替换项目在序列q 中索引号最大值之间的较大值，这个值就是对于第二种影响这一对项目序列中完整包含项目新增加和被替换情况的最小序列长度。然后利用等式2 进行计算。

图3 第二种专家组合影响的斯皮尔曼等级系数计算思路

本方法使用等系数加权来获得两种影响的平均值。按照以上分析方法思路，编写了“评议人组合影响评估算法”和“评议人影响相关系数”算法程序，应用于后续实证研究的大量数据计算。

3 评审数据分析

本文基于“十三五”期间5 批次国家重点研发计划“一带一路”国际合作项目评审工作，采用项目评审原始真实的专家打分数据对本文方法进行验证分析和探讨。表2 是一次项目评审产生的17 位评审专家对18 项评审项目的评分数据表，在表格中使用Ri代表17 位项目评审专家，Pj代表18 项评审项目。

表2 国家重点研发计划某评审组专家对组内项目的原始打分表

各个学科领域的同行评审活动都有各自的评审规则，而本文的实验依据同行评审中项目立项评审的规则r 如下：

（1）评审专家对参与评审的项目进行百分制打分，原则上单次评审专家数目为17 位；

（2）在评分数据中，评分75 及以上表示支持此项目，低于75 分表示不支持该项目。按照评审专家对项目的评分，对项目进行计票；

（3）对项目进行票数排序，同样票数以评分高低作为第二排序标准；

（4）立项项目所得赞成票须不少于评审专家数的一半。

首先，在如表2 所示的单个评分数据表基础上，对本文提出方法进行实验。在不同数量评审专家的全部组合情况下，评审专家组合的评分是否计入立项计算依据，得到相应情况下立项项目序列对，进而应用斯皮尔曼等级相关系数得到各个组合对应的影响值。图4 展示了在评审专家组合中专家人数分别为1，2，7，8 时，评审专家组合产生影响最大的前10%影响值（按照递减排名）。由于原始斯皮尔曼等级相关系数的取值范围为［-1,1］，当得到评审专家组合对应的越小，越接近于-1，代表该评审专家组合在项目评审中产生影响越大。左子图是1-4 位评审专家组合图像，右子图是5-8 位评审专家组合图像。结合两子图可以看到，各条曲线的图像趋势都是增长减缓的上升趋势，代表本i 位评审专家组合的影响递减排名中，评审专家组合影响越大，他们的值越小。通过两图对比可以看到，随着评审专家位数的增加，其图像总是在图的右下方延伸。在各人数组合同一位次，随着评审专家组合中人数增加，他们产生的影响值在变小，代表在项目评审中产生的影响在增大。

图4 排除不同数目评审专家打分后影响最大的前10%分布

我们将历年的评审数据进行了综合分析，图5展示的是在不同数目评审专家（1-8）组合下，随组合中评审专家人数增加，产生影响的平均值为减小趋势。影响的平均值从一位评审专家的0.43 下降到8 位评审专家的0.34。当排除掉的评审专家人数越多，与原项目评审结果的差异程度就越大。

图5 排除不同数目评审专家的影响平均值

另外，我们还考虑了如果某些专家在某些因素的影响下，对特定的项目看法趋于一致时对评审结果的影响。因此，这里将原方法中“某个评审专家组合的原始评分是否计入立项计算依据”，改动为使用统一分数值进行填充。在本实验的评分规则中75 分作为项目评价的分界点，评分小于75 分代表否认该项目，评分大于75 分代表支持该项目，故下面的实验中使用0 分，70 分，75 分，100 分来替换、填充评审专家组合的评分来探索组合影响区间特征。

如图6 所示，它展示了2 到7 位评审专家组合的变化曲线，左子图为表4 评分数据表进行评审专家组合分数填充替换之后得到的评分影响区间图像，右子图为另一份数据维度相同的评分数据表的相应图像。在左子图中，直到评审专家组合人数达到3位之后评分填充产生的影响开始出现明显变化，主要表现为0 分和70 分填充的影响值变大，代表评审专家组合影响变小，而75 分和100 分填充则出现影响值变小，即评审专家组合的影响变大的情况。

图6 不同评审专家组合分数填充情况下斯皮尔曼方法计算的影响值

而在右子图，在评审专家组合人数达到2 位之后，75 分和100 分填充曲线继续重合，呈现下降趋势，而对于0 分和70 分填充重合曲线，呈现上升趋势。右子图中，两对重合曲线的变化范围稍大于左子图中曲线，主要体现在0 分与70 分重合曲线影响值的持续升高。综合上图，随着组合中评审专家位数的增大，当使用大于等于75 分分数填充进行项目评审，评审专家组合的影响会逐步变大，而小于75 分的分数填充带来的评审专家组合影响会逐步变小。

4 结论

当前，在国家重点研发计划“一带一路”国际科技合作项目的评审阶段，每一组项目须由17 位专家审阅申报书并结合申报人答辩情况，各自独立作出立项与否的判断。国际合作项目为全领域覆盖征集，在评审答辩阶段往往分组较多，邀请的专家人数也较多。本文针对“一带一路”国际科技合作项目评审环节评审支出费用偏高，评审环节的投入产出比较低的问题，基于国际科技合作项目“十三五”项目评审历史打分数据，利用斯皮尔曼等级相关系数设计了影响系数的计算方法，衡量排除不同数量评审专家打分对“一带一路”国际科技合作项目评审结果影响，发现在专家评审人数依然有进一步优化的空间。图5 给出了排除掉不同数量专家评分后对评审结果的平均影响值，近似一条平滑的直线。从1 人影响值的0.43，下降至8 人影响值的0.34。结合图4 所展现的不同数目专家打分排除后对结果影响最大的前10%分布，本文认为在立项结果影响值不大的前提下，建议可进一步减少6 位答辩评审专家，以明显降低项目评审环节成本。

同时，本文也考虑到在特殊情形下，若干位专家可能对特定项目做出非基于专业判断的评价，因此探讨了在不同数目专家同时对某项目给出通过或者不通过分数时对评审结果的影响。发现专家均持肯定态度时对于评审结果的影响较大。因此，我们建议在评审过程中，应当尽量减少干扰专家评判项目的因素（比如将专家评审前公示优化为专家评审后公示），继续强化对评审专家行为的监督，畅通对“打招呼”行为的举报渠道，对于违规的评审专家进行严格的诚信记录和惩戒。我们希望通过此研究能够在项目管理的实践中进一步提高效率，并保证项目评审的公平公正。本研究可以为其它类别同行专家评审人数的优化提供参考。