预印本自组织同行评议中“论文-评议人匹配”规则的性能仿真

预印本是开放存取的主要实现方式之一。20世纪年代以来，信息技术不断普及、学术界竞争日益激烈，研究者希望论文尽快公开，保护发现优先权、商业学术出版机构定价过高等多种因素推动预印本快速发展[1]。目前预印本在学术出版中的论文储存与优先权确认功能已经得到充分证明，近年来预印本领域关注焦点是引入同行评议[2]。全球最大的多学科预印本数据库arXiv在2017年接受了 Heising-Simons Foundation约32万美元的资助，启动了“Next Generation arXiv or arXiv-NG”计划，其中一个备受关注的议题即为是否启动同行评议。

“预印本+同行评议”模式在多方面优越于“期刊+同行评议”模式，主要体现在“预印本+同行评议”模式是“以文评文”，而不是通过期刊影响因子“以刊评文”，从而消除了论文评价中的影响因子搭便车现象[3]，彻底解决了论文刊发滞后问题(由于期刊版面有限，很多论文被录用后需要等待数月甚至半年才能刊发，如《中文社会科学引文索引》(Chinese Social Science Citation Index，CSSCI)收录的期刊《统计与决策》的官网显示，其2017年5月录用的稿件要等到2018年10月才能刊发。而预印本同行评议一结束，即可正式发布稿件，不用等待版面)，消除了一篇稿件被多本期刊轮流审稿现象(一篇投稿往往不会一投即中，而是先后投多家期刊后，才被录用，而一本期刊审稿周期往往为1～2月甚至更长，这就导致稿件最终发表的滞后期较长，而预印本同行评议结束时，论文即可正式发表，稿件不用被反复轮流审稿)。

在CNKI期刊论文、学位论文数据库中使用“预印本+同行评议”进行摘要检索，得到的检索结果只有5条，其中只有1篇最相关文献[4]。英文文献方面，在WoS数据库中使用“pre-print+ peer review”为检索词，进行主题检索，得到57条结果，大部分为讨论预印本构建同行评议的必要性、可能性以及建议预印本采用社区同行评议模式。

关于预印本采用何种同行评议模式，目前最有代表性的观点是社区同行评议(Community Review或Reader Review)。社区评议的要点是作者向预印本数据库提交论文后，读者(主要是属于同一学科领域的注册研究者或者论文作者)自由评议，预印本后台程序根据某个规则将众多读者给出的评议信息整合为一个最终的评议结果[5]。社区评议的主要缺点是评议参与度高度分化，一部分论文可能很长一段时间内都无人问津，如果评议结果被主流学术界接受后，用于职称晋升、经费申请等现实利益场合，则可能出现大面积作弊行为，且不易控制。因此，社区评议不宜作为预印本的主要同行评议模式，只可以作为辅助、补充[6]。

文献[5]提出了预印本的自组织同行评议新模式，其基本思路是同一个领域的预印本注册者之间按照一套规则进行匹配后，互相评议彼此的论文。“论文-评议人匹配规则”对自组织同行评议的性能表现有决定性影响。由于同行评议实验成本较高，故先以仿真方法开展研究为宜[7]。文献[8]提出了4个“论文与评议人匹配规则”，仿真结果为规则4最佳。由于篇幅限制，本文暂不列出规则4的具体内容，读者可自行下载文献[8]细读。

规则4的规则设计及仿真主要有3个不足：一是没有考虑到一名评议人评议完一篇论文后，应有适当休息期，不能评完一篇马上又评第二篇；二是洛特卡定律的参数设定组合中，漏掉了约束条件“不同篇数论文作者所占百分比之和为1”，导致仿真中引入了很多不存在的参数组合；三是直接给定不同水平评议人对不同等级论文的评议正确率，主观性较大。

针对上述3点不足，本文提出了改进后的规则5。规则5对规则4的具体改进包括引入了评议人休息期、考虑了约束条件“不同篇数论文百分比之和为1”，排除了不满足该条件的不合理参数组合、通过控制评议人与被议论文间等级差确保评议质量，而不是直接给定不同水平评议人对不同等级论文的评议正确率。

本文主要提出了“论文-评议人”匹配规则的操作步骤，说明了仿真变量、仿真变量的取值范围与取值依据，给出了论文与评议人匹配规则、评议速度与评议效度的性能评价指标，讨论分析了仿真结果，总结了贡献，指出了需要进一步研究的问题。

1 规则5要点与性能评价指标

1.1 规则5要点

规则5的要点主要包括：评议人资格等级比被评论文等级最多低1个等级；有多个满足条件的评议人组合，优先匹配评议任务次数与已完成评议任务次数差最大者；如果还有多个组合，选择休息期累积时间最长的组合或随机选一个；如果没有满足条件的组合，等待下一轮匹配。

所谓“评议任务次数与已完成评议任务次数差最大”的含义是：假设一篇文章安排3个人评议，有两个评议人组合，分别是甲乙丙3人、 ABC3人。其中，甲提交系统5篇、乙提交3篇、 丙提交2篇，那么甲乙丙需要完成的评议任务即各自提交论文数量乘以3，因为每篇论文都需要3个人评议，分别是15、9、6次评议任务。假设甲、乙、丙分别评议了1篇，则甲乙丙组合还需要评议14+8+5即27次。类似地，ABC分别提交1、2、3篇论文，评议任务次数分别为3、6、9次，3人分别评议了1篇，则ABC还需要评议2+5+8即15篇。由于甲乙丙组合评议差27大于ABC的评议任务差15，故优先向甲乙丙组合分配等待评议的论文。

“评议人的评议等级比被评议论文等级最多低1个等级”意味着论文由和论文等级基本相当或更高等级的评议人进行评议，故能以较大概率确保评议质量。评议质量很难直接测度，间接测度更可行。该指标值低于70%意味着3个评议人中有两个评议人的资格等级比被评议论文低了两个等级，评议质量低的概率会很高。

1.2 匹配规则的性能评价指标

“论文-评议人”匹配规则的性能评价指标包括论文评议完成比例、单篇论文评议速度两个方面。评议完成比例是指一个仿真周期(365天)内各等级论文完成评议的比例，评议速度是指一个仿真周期(365天)内各等级论文的单篇论文评议时间的均值，每一篇论文以评议人中最晚完成时间计算。

评议质量的保证通过直接要求评议人资格等级满足一定条件实现，不必额外讨论。

2 规则5的性能仿真参数说明及取值

规则5的性能评价仿真变量以及各变量取值见表1，各变量取值的依据主要来自科学计量学的相关理论与规律以及部分客观数据。

表1 规则5的性能仿真变量与取值

论文总数量在论文作者中的分布情况按照广义洛特卡分布进行分配。1926年美国学者洛特卡提出“撰写x篇论文作者大约是写1篇论文科学家人数的1/x2”，后被推广为广义洛特卡规律，表达式为 F(x)=C/xn，F(x)是撰写 x 篇论文的作者占全部作者的百分比。考虑到不同学科研究人数差异、不同学科研究周期与论文产出数量差异以及学术传播途径差异等因素，n取值一般在1.2到3.8之间波动。

如果低质量论文数量较大，则洛特卡定律有效性下降。洛特卡提出该定律的时代，研究者数量很少、论文发表数量也少，与今天有很大不同。文献[14]对科学网博客发表的网络学术信息作者分布规律进行统计后发现，博文与作者分布不服从洛特卡定律，因为博文发表要求比正规论文低很多，但有基本质量要求的成果均与洛特卡定律吻合，如专利与作者关系，显然专利有基本质量要求[15]。文献[16]对 Emerald 数据库进行了研究，发现“论文-作者”分布同样符合洛特卡定律。

3 仿真结果

使用Python 3.4语言编程，程序在Windows环境中运行。本文没有推断统计进行数据分析，原因是仿真结果特征非常明显，描述统计分析已经足够。今后研究可以采用推断统计方法进行更细致的分析。程序运行100次，得到结果的均值，由于篇幅原因，没有列出全部结果。整理后的仿真结果见表2。

表2 规则5的性能仿真结果

仿真主要结果如下。

一年内评议完成比例方面，规则4中的1～5等级论文差异较大，4、5等级论文完成率均为95%，1、2、3等级论文的完成率均小于82%；规则5各等级论文的等级完成率则比较均衡，平均为92%。

评议速度方面，规则4的高等级论文评议速度比规则5快2周，规则5的低等级论文评议速度比规则4快1周，规则5的各等级论文评议速度均稳定在7周左右。

评议质量方面，规则4与规则5定义不同，但都要求评议人组合满足设定条件，故评议质量在各自定义下保持较高水平。

总的来说，规则5仿真性能表现比规则4更加均衡、稳定。需要说明的是，规则5的高等级论文评议速度慢于规则4的原因是规则4没有考虑评议人的休息期因素。另外，根据前面的假设，评议速度在46～90天之间的评议人占全部评议人的27%，几乎占三分之一，完全可以采取措施加快速度，将评议速度减少到30～45天。因此，本文建议，某一次没有按时完成评议的作者，其作为第一作者或者通讯作者提交预印本要求评议的论文、参与署名的论文在1个月内暂时不予评议，这样将会激励大部分作者按时完成评议。

从出版速度看，出版速度=评议速度+版面等待时间。规则5的评议速度平均为57天，预印本版面等待时间为0。国内学术期刊评议速度一般为2个月(60天)，稿件录用后2个月内刊发的期刊尤其核心期刊是罕见的，高影响因子期刊甚至可能录用半年后才有版面刊发。因此，“预印本+自组织同行评议”模式的出版速度比“期刊+同行评议”模式快。

4 结语

文献[5]首次提出了“预印本+自组织同行评议”模式，文献[8]提出了自组织同行评议中的4个“论文-评议人”匹配规则并进行了性能仿真。本文对文献[8]提出的规则4进行了3点改进，改进后的规则5考虑了评议人休息期等更加符合实际情况的内容，仿真结果表明规则5性能表现比规则4更加稳定、均衡，可用于预印本构建同行评议。

(致谢：Python仿真程序由桂林电子科技大学计算机与信息安全学院黄琦编写。)