开放评议与双盲评议在国际科技期刊质量控制中的价值

■常 唯 李自乐 王 成 郭宸孜 李耀彪马 健 王淑平 张 光 白雨虹

1)中国科学院长春光学精密机械与物理研究所，吉林长春东南湖大路3888号 130033 2)苏州生物医学工程技术研究所，苏州高新科技城科灵路88号 215163

1 引言

单盲评议一直是国际上科技期刊采用的比较主要的评议方式，但它在客观性、公平性、偏见等方面存在一些问题[1-2]，有些评议结果也可能存在错误[3]，评议过程中还可能存在欺骗行为[4]。为了减少这些问题，提高同行评议的客观性、公平性，国际科技期刊界一直在进行着各种尝试，尤其是在近20年来，其中的2种尝试是向着更透明(即：开放评议)和更加不透明(即：双盲评议)两个方向改变。双盲评议是相对比较传统的评审方式，但在国际科技期刊中的使用并不普遍，近年来有一些期刊做了这方面的尝试，而开放评议则是网络时代一种比较新的评议方式，近十余年，国际上有越来越多的期刊在向这种方式转变。本文主要介绍国际科技期刊在同行评议中对这两种方式的实践，他们实施这两种方式的初衷、具体做法，带来的一些积极或消极的影响，可能引发的新问题等，以期为国内科技期刊同行评议的改善提供一些参考与借鉴。

2 开放评议在国际科技期刊中的应用

2.1 开放评议的含义

开放评议出现在20世纪末，目前有越来越多的期刊在尝试这种评议方式。对于开放评议，还没有一个确切的、被普遍接受的定义，Nancy McCormack认为，它是一个作者和审稿人彼此不相互隐瞒身份的过程[5]；Adrian Mulligan等人则更进一步，认为不仅仅作者和审稿人彼此不相互隐瞒身份，同时他们的身份也向大众披露[6]。Mark Ware从与双盲评议的比较角度进行分析，认为开放评议指作者和审稿人彼此不相互隐瞒身份，有时也会向公众披露身份。但有时也指审稿人匿名但审稿意见公开的情形[7]。David Shotton则将其定义为一个完全透明的过程：稿件收稿后立即公布，接受评论，这些评论与正式同行评议结果一并决定稿件去留[8]。Ford对其进行了梳理，认为开放评议是作者和审稿人在稿件评审和发表过程中某个时刻彼此公开身份这样一种现象，并给出了它的8个特征[9]，其中5个特征是描述评议过程的，包括：评审意见是否署名；评审过程是否公开(审稿人和作者在评审过程中彼此知道身份，并可以互相讨论)；编辑是否控制评审过程；评议结果是否向大众公开；是否允许读者评议。另外3个是描述评议时间的，包括：出版前评议、出版中评议、出版后评议。

这些定义实际上体现了开放评议的发展历程。最初的开放评议是指评议双方互相公开身份，彼此透明。一些期刊也将审稿人身份向其他审稿人公开。随着网络的发展，越来越多实施开放评议的期刊将评议结果随同论文在网上出版，同时，一些期刊将论文置于所有读者的评议之下，允许读者对论文进行评议。不仅如此，一些期刊还发展了新的评议方式，即收稿后不对论文做传统的同行评议，而是在网上公开，接受读者评议，学者们将这种评议方式称之为出版后评议，与之对应的前面的评议形式(在稿件处理阶段进行开放评议)称之为出版前评议，这是根据评议发生时间的划分。而根据评议公开的程度，可以将其划分为受限开放评议(编辑部会邀请一些专家来评议稿件，只允许这部分人评议)、混合开放评议和完全开放评议(任何人都可以评议)。

总结国际科技期刊开放评议的实践，可以将之划分为2层含义和3个层次。2层含义是指：审稿人身份的透明性和审稿范围的透明性，后者指审稿意见和审稿权限开放的范围，即向哪个范围内的人开放，允许进行评议(但可能匿名)。3个层次包括，第1个层次：审稿人对作者公开身份；第2个层次，审稿意见在互联网上公开，向所有读者公开身份；第3个层次，评议候选人开放，即：所有人都可以对论文进行评议，公众评议结果对稿件去留有影响。

2.2 国际科技期刊开放评议的实践

（1）出版前开放评议

PLoSONE只实现了第1个层次的开放评议。其同行评议流程由编辑控制，编辑选择审稿人、根据审稿意见决定稿件去留，期刊同行评议政策中，缺省提供的选项是匿名评议，但它鼓励审稿人在审稿意见上署名，向作者公开身份。文章发表后，评审意见并不公开，读者可以评论文章，但评论结果对编辑部处理稿件没有影响。

PeeJ的开放评议前进了一步，但它是一种完全自愿式的[10]，审稿人是否公开身份由审稿人决定、作者是否愿意公开审稿历史由作者决定。稿件首先进行传统的单盲评议，但鼓励审稿人在评审意见上署名。若审稿人同意署名，则其个人页面中将能够反映出对其此次同行评议工作的感谢(即便稿件被退稿)。如果稿件录用，署名的审稿人会与该论文关联。作者可以自愿选择是否将整个同行评议过程与论文同时出版。如果选择，则所有稿件的修改稿、审稿意见、作者回应以及修订材料会集结成一个下载包提供给读者。

BMJ、BMC部分期刊实现了第2层次的开放评议。出版前，稿件经历传统同行评议过程，审稿人在审稿报告中署名。出版后，这些审稿意见作为出版前历史随同稿件一并发表。同时，发表的论文允许读者进行自由评论，但读者评论结果不影响编辑部对稿件的处理决定。

BMJ是较早进行开放评议尝试的期刊，在20世纪90年代末就进行了开放评议实验[11-13]，验证审稿人在得知要对作者、其他审稿人和读者公开身份(审稿意见)时，对审稿过程及审稿意见质量的影响，从实验结果分析，审稿人是否知道对作者公开身份对评议结果质量的影响微乎其微，对审稿费时基本没有影响，但拒审率会提高，而且审稿人更倾向于给出积极的评审结果(给出拒绝发表建议的比例较低)。审稿人是否知道对其他审稿人公开身份对审稿质量有一定的影响，审稿人是否知道对所有人(在互联网上公开审稿意见)公开身份对审稿质量的影响也非常小(既没有明显的改善，也没有明显的不利影响)，但审稿人花费的审稿时间相对较长，且拒审率会有所提高。从2014年秋季开始，BMJ要求审稿人署名，对所有研究论文和一部分学术论文在互联网上公开其出版前历史，包括作者提交的原始稿件、同行评议结果(审稿人意见和编辑部最终决定)和作者的回应[14]。

BMC系列期刊包含2个系列——生物学方面的期刊和医学方面的期刊。其中，所有生物学期刊采用传统的同行评议，而医学类期刊采用开放评议[15]。在这种方式下，审稿意见是署名的，作者知道审稿人是谁，如果稿件最终发表，读者可以看到这些审稿意见和作者的反馈。审稿意见作为“预出版历史”(pre-publication history)的一部分，随同文章一并出版(预出版历史包括稿件的所有版本以及编辑的评论)。

（2）出版后开放评议

F1000Research是使用出版后评议的典型案例，它的同行评议过程是作者自治的，没有编辑的参与和控制。由作者负责寻找合适的审稿人(专业对口、且可以提供无偏见的审稿意见)，然后由期刊工作人员代表作者邀请该审稿人审稿[16]，作者和审稿人应确保并声明没有利益冲突。稿件提交后，编辑部进行基本检查，通过后即可发表，一般在7天左右。发表后开始同行评议，评议聚焦于稿件的科学合理性，而不评论稿件的创新性和影响力。整个评议过程完全开放、透明，审稿人的姓名、机构、评审报告均会随同文章一并发表。

期刊为审稿人提供了3个选项：同意发表(Approved)、同意发表但有保留(Approved with Reservations)、不同意发表(Not Approved)。对于后两个选项，审稿人需提供相应的理由及给作者的修改意见和建议。作者根据审稿意见对文章进行修改，并可与审稿人进行公开讨论。作者对文章的多次修订以及相应的审稿意见将以不同的版本发表。

文章发表后会立即被Google Scholar收录。如果文章在同行评议中可以获得2个‘Approved’意见，或者一个‘Approved’意见和2个‘Approved with Reservations’意见，该文章可以被PubMed，PubMed Central， Europe PMC， Scopus， Chemical Abstract Service， British Library， CrossRef， DOAJ和 Embase收录(这个列表在不断增加)。一旦文章被收录，它的所有修改稿，相关数据集以及审稿意见都会被存储到PubMed Central[17]。如果文章收到2个或2个以上的‘Not Approved’意见，并且所有审稿意见全部是‘Not Approved’，没有其它2种意见，则文章会被从F1000Research平台上的缺省搜索中移除，但仍然保留在网站上，可以通过网址或doi号访问。

一些期刊对开放评议进行了进一步发展，达到了第3个层次。典型代表是欧洲地球科学联盟出版的一系列期刊，包括ACP(Atmospheric Chemistry and Physics)[18]、NPG(Nonlinear Processes in Geophysics)等。这些期刊的同行评议过程包括2个阶段：①由编辑对稿件进行初审，保证基本的科学和技术质量。②稿件在期刊讨论区发表，进入交互式讨论和公开评论阶段，为期8周。在这一阶段，编辑会邀请审稿人提供评论，这些审稿人可以署名，也可以选择匿名；同时，其他读者可以对稿件进行评论(这些评论必须署名)。之后，编辑根据这些评论对稿件做出决定。无论稿件是否最终发表，在讨论区发表的原始稿件、收到的各方评论以及作者的回应都将永久保存。而且，每一种期刊对应的讨论区是一种独立的期刊，拥有ISSN号和doi号，因此，这些讨论可以被检索和引用。与前面所述的开放评议相比，这种方式不仅使那些最终得以发表的论文评议者的工作得到了承认，对于那些被退稿稿件的评议者，其工作也得到了应有的承认。而且，退稿稿件经作者修改后可以转投其它期刊，一些期刊将这种发表在讨论区的稿件看作是预出版，并不认为是重复发表。同时，这种开放了的评议意见对后期投稿期刊审稿过程也是有帮助的。

（3）Nature的开放评议实验

开放评议并不都是成功的。Nature在2006年进行了4个月的开放评议实验[19-20]。对参与实验的稿件，在进行传统同行评议的同时，将稿件在网上公布，接受公开评论，公开评论要求评论者署名。当传统的同行评议完成时，公开评论过程结束，Nature收集所有公开评论，并从服务器上删除该稿件。

实验中，参与者甚少(只有约5%的被邀请稿件同意参与实验)。尽管编辑部通过多种方式(如email alert、highlight文章)宣传这些文章，文章得到的关注也很高，每周有约5600个html页面浏览量，以及基本相同的RSS种子。但是，读者的这种兴趣并未转化为评论源，文章获得的评论并不多，近一半(46%)的稿件未获得任何评论，收到评论的稿件中，每篇稿件收到约2.4份评论，这些评论大多数是一些通用性的评论，对编辑判断稿件质量基本没有帮助。

Nature的实验构建了一个单纯的开放评议环境，将稿件完全置于读者的视角下进行评议。编辑部对评议过程不做过多的干涉，不邀请特别的审稿人，作者的兴趣不高，不愿意把自己的稿件置于公众的评论之下，读者参与评论的热情也不高，得到的评论较少，有价值的更少。Nature根据对这个实验的总结，认为实施开放评议还不够成熟，因此决定暂不实施开放评议。

3 双盲评议在国际科技期刊中的实践

与开放评议相比，双盲评议走向了另一个极端。它将审稿人和作者的身份全部隐匿，目的是使审稿人在审稿时不受作者身份、性别、种族、学术地位、发文历史、所属机构等外在因素的影响，只专注于稿件内容，给出公平的评审意见。

双盲评议中最重要的是隐匿作者身份。这也是目前双盲评议受到质疑的主要原因。目前实施双盲评议的期刊，都要求作者来完成这项工作，但是，有些作者发现，这实际上十分困难[21]，在一些学科、尤其是小学科，审稿人很容易通过实验方法、设备或引文而推测出作者。互联网的高度发达更加剧了这一点。American Economic Review在2011年停止了双盲评议，原因在于搜索引擎的发展和广泛使用使得编辑部在维护作者匿名这方面的能力越来越差(越来越不容易保证作者的匿名)[22]。隐匿作者身份不仅仅对作者来说是困难的，它也增加了编辑部的负担，Journal of Adolescent Health在2009年终止了实施近20年的双盲评议，转为单盲评议[23]。因为他们觉得隐藏作者身份是一项复杂而费时的工作，而且双盲评议并未显示出非常优越的效果，告知审稿人稿件的起源和相关背景会有助于审稿人更高效的审稿，更好的识别出稿件中的欺诈、重复发表等问题和彼此的利益冲突[24]。

引入双盲评议的目的是消除同行评议中的偏见，Budden等人对Behavioral Ecology在实施双盲评议前后、以及其它5种一直实施单盲评议的相关期刊在同一时期作者性别比例变化进行了统计分析，发现双盲评议使女性为第一作者的论文比例有了显著增加[25]，但其他学者却对这一研究持批评态度，认为其方法并不合理，双盲评议并未显著改善女性作者的比例[26-30]。

尽管对双盲评议的争议一直很激烈，但一些大规模的读者调查[31-32]以及一些期刊做的小范围调查[33]都显示科学家对双盲评议的支持率最高，大多数科学家都喜欢或偏好这种同行评议方式。例如，Nature Geoscience在2012年的读者调查显示，约3/4的被调查者强烈建议或同意双盲评议是一个好的想法[34]。

鉴于双盲评议广受科技期刊主体——科学家的欢迎。2013年，Nature集团在Nature Geoscience、Nature Climate Change两种期刊中实施双盲评议实验，在投稿时向作者提供双盲评议的选项。虽然参与者不多(约15%的投稿者选择了这种方式)，与2012年作者调查中有约3/4的作者对双盲评议感兴趣这一数据有较大的出入[34]，但后期的随访调查显示科研人员对这种方式的热情很高，不选择参与这一实验的主要原因是实验要求作者必须确保稿件中不能显示作者的信息。很少有作者在论文写作之前或写作的早期就知道他们可以选择双盲评议。可以理解，对于那些不知道这一选项的作者，一旦稿件已经完成，他们不愿意为了选择双盲评议不得不修改稿件而延迟投稿时间[35]。

调查结果揭示了更多有关系统的批评。其中最重要的反对是双盲评议系统只有在强制实行时才会最有效，而不是像实验中那样作为一个选项。正如一个被调查者提出的：“那些可能从机构属性或个人声望中获益的作者将会选择单盲评议，并且继续从这种评议带来的歧视中获益”。编辑部表示在没有得到作者团体强有力的需求支持的前提下，不会使双盲评议成为一个强制性的方式。但是，随着越来越多的作者参与到目前的实验中，这种反对意见会变得不那么重要。

编辑部对该实验所做的后期随访调查显示，尽管被调查者对双盲评议的支持有一些偏差，但几乎所有被调查者都认为应该继续这一实验，因此，Nature集团在这两种期刊中继续提供双盲评议选项，不仅如此，2015年3月，Nature集团开始在Nature和Nature系列月刊中提供双盲评议的选项[36]。

2015年，International Journal of Primatology开始由单盲评议转变为双盲评议，与Nature集团不同的是，该刊将评议方式转换为双盲，而不是为作者提供一个双盲评议的选项。

目前，有越来越多的期刊在尝试这种评议方式，一些大型商业出版机构的期刊中也有一小部分实施了双盲评议，如 Elsevier的 Social Science&Medicine、 Health&Place、 Composite Structures等。Wiley的 Journal of Consumer Behaviour、Australian Accounting Review、Asia Pacific Journal of Human Resources、 Nursing Open、 International Journal of Tourism Research、Anthropology of Consciousness、Global Strategy Journal、Australian Journal of Public Administration、Dialectica 等。

对于双盲评议，无论是定义，还是操作，都基本没有争议。但对其效果，尤其对其是否如最初设想的那样可以减少性别歧视的争议还比较大。但有研究证实其在减少机构歧视等方面的无意识偏见中发挥了作用。

4 开放评议与双盲评议的特点与规律

目前有许多有关开放评议和双盲评议的讨论，开放评议和双盲评议都在一定程度上解决了单盲评议中存在的偏见、不公平的问题，但它们也带来了一些新问题。表1是对二者的归纳总结。

表1 开放评议与双盲评议的比较

5 结语

国际科技期刊在选择同行评议方式时，会充分考虑本刊的学科特点、定位，在改变评议方式时更加慎重，一般会经过广泛的读者调研和充分的实验验证，并且会随着期刊发展和环境变化不断进行调整。对于这些评议方式的效果目前还存在争议。从国际科技期刊开放评议的实践和实验来看，开放评议要达到评议效果，单纯依靠科学团队的自觉评议是很难获得足够的可以判断稿件质量的评议结果的，Nature集团的开放评议实验充分说明了这一点。而且，需要给审稿人工作足够的承认，才能推动审稿人更积极的参与评议工作。而双盲评议的实施中，来自各方的阻力较小，但由于科学研究的特点以及目前高度发达的网络使得真正实现双盲有一定困难。

无论是双盲评议，还是开放评议，都是出版领域向着更公平、客观的遴选和发表科研成果的一种尝试。同行评议是科学家的自律行为，需要科学家有正确的主观认识和良好的职业操守。无论是开放评议、还是双盲评议，都不可能解决所有问题，而是通过不同的形式帮助科学家实现自律。而且，任何一种同行评议的方式都不是完美无缺的。在解决了原有评议方式存在问题的同时，可能会带来一些新问题。例如，双盲评议在消除潜在偏见的同时，也限制了各种背景信息在帮助审稿人评估稿件方面发挥作用。因此，同行评议方式的选择需要依靠期刊自身的学科特点、学术定位来确定，并在实践中不断评估，对之进行适当的调整，才能更好的发挥同行评议的作用。

[1]Lee CJ，Sugimoto CR， Zhang G， et al.Bias in peer review[J].Journal of the American Society for Information Science and Technology，2013，64(1)：2-17.

[2]Cox D，Gleser L， Perlman M， et al.Report of the ad hoc committee of double-blind refereeing[J].Statistical Science，1993， 8(3)：310-317.

[3]BaxtWG，Waeckerle JF， Berlin JA， et al.Who reviews the reviewers？Feasibility of using a fictitiousmanuscript to evaluate peer reviewer performance[J].Annals of Emergency Medicine，1998，32(3)：310-317.

[4]Ferguson C，Marcus A，Oransky I.The peer-review scam[J].Nature，2014，515：480-482.

[5]M cCormack N.Peer review and legal publishing：what law librarians need to know about open， single-blind， and doubleblind review ing[J].Law Library Journal， 2009， 101(1)： 59-70.

[6]Mulligan A.Quality，certification and peer review[J].Information Services&Use，2008，28(3-4)：197-214.

[7]Ware M.Peer review：recent experience and future directions[J].New Review of Information Networking， 2011， 16(1)：23-53.

[8]Shotton D.The five stars of online journal articles-a framework for article evaluation[J/OL].D-Lib Magazine，2012， 18(1/2).doi：10.1045/january2012-shotton.http：//www.dlib.org/dlib/january12/shotton/01shotton.htm l.

[9]Ford E.Defining and characterizing open peer review：a review of the literature[J].Journal of Scholarly Publishing，2013，44(4)：311-326.

[10]Open access copyright policy[EB/OL].[2015-11-01].https：//peerj.com/about/policies-and-procedures/.

[11]van Rooyen S，Godlee F，Evans S，Black N，Sm ith R.Effect of open peer review on quality of reviews and on reviewers’recommendations： a random ised trial[J].BMJ， 1999， 318：23-27.

[12]van Rooyen S， Godlee F， Evans S， et al.Effect of blinding and unmasking on the quality of peer review：a randomised trial[J].JAMA，1998，280：234-237.

[13]van Rooyen S，Delamothe T， Evans SJW.Effect on peer review of telling reviewers that their signed reviews m ight be posted on the web： random ised controlled trial[J].BMJ，2010，341： c5729.

[14]Groves T，Loder E.Prepublication histories and open peer review at The BMJ[J].BMJ，2014，349： g5394.

[15]What is‘open peer review’， as operated by the medical journals in the BMC series？[EB/OL].[2015-10-30].http：//www.biomedcentral.com/authors/authorfaq/medical.

[16]Guidelines for referees[EB/OL].[2015-10-30].http：//f1000research.com/for-referees/guidelines.

[17]How itworks： indexing[EB/OL].[2015-10-30].http：//f1000research.com/about#section-box-4.

[18]Interactive public peer review[EB/OL].[2015-10-30].http：//www.atmospheric-chemistry-and-physics.net/peer_review/interactive_review_process.htm l.

[19]Overview： Nature’s peer review trial[J/OL].Nature， 2006：doi：10.1038/nature05535.http：//www.nature.com/nature/peerreview/debate/nature05535.htm l.

[20]Peer review and fraud[J].Nature，2006，444：971-972.

[21]Jensenius AR.Double blind peer review[EB/OL].[2015-10-30].http：//www.arj.no/2010/09/04/double-blind-peer-review/.

[22]Brown A.Double-blind under review[J].Nature Nanotechnology，2014，9：871-872.

[23]Journal of adolescent health：author information pack[EB/OL].[2015-11-1].https：//www.elsevier.com/journals/journal-of-adolescent-health/1054-139X？generatepdf=true.

[24]Berg TD，Irwin CE Jr.Blind no more[J].Journal of Adolescent Health，2009，45(1)：7.

[25]Budden AE， Tregenza T， Aarssen LW， Koricheva J， Leimu R，Lortie CJ.Double-blind review favours increased representation of female authors.Trends in Ecology and Evolution，2008，231：4-6.

[26]Webb TJ，O’Hara B， Freckleton RP.Does double-blind review benefit female authors？ Trends in Ecology and Evolution， 2008，237(7)：351-353.

[27]Engqvist L，Frommen JG.Double-blind peer review and gender publication bias.Animal Behaviour， 2008， 76： e1-e2.

[28]Hammerschmidt K，Reinhardt K， Rolff J.Does doubleblind review favor female authors？[J]Frontiers in Ecology and the Environment， 2008， 67： 354.

[29]Moss-Racusin CA，Dovidio JF， Brescoll VL， et al.Science faculty’s subtle gender biases favor male students[P].Proceedings of the National Academy of Sciences of the USA，2012，109(41)：16474-16479.

[30]Whittaker RJ.Journal review and gender equality：a critical comment on Budden et al.Trends in Ecology and Evolution，2008，23(9)：478-479.

[31]Peer review survey 2009：full report[EB/OL].[2015-10-29].http：//www.senseaboutscience.org/data/files/Peer_Review/Peer_Review_Survey_Final_3.pdf.

[32]Ware M， Monkman M.Peer review in scholarly journals：perspective of the scholarly community-an international study[EB/OL].[2015-10-29].http：//publishingresearchconsortium.com/index.php/112-prc-projects/research-reports/peer-review-inscholarly-journals-research-report/142-peer-review-in-scholarlyjournals-perspective-of-the-scholarly-community-an-internationalstudy.

[33]Moylan EC，Harold S， O’Neill C， et al.Open， single-blind，double-blind： which peer review process do you prefer？ BMC Pharmacology and Toxicology， 2014， 15： 55.

[35]Peer-review variations[J].Nature Geoscience 2014， 7：1.doi：10.1038/ngeo2059.

[36]Nature journals offer double-blind review.Nature， 2015，518：274.