■陈培颖 陈 倩 李 娜 李树军卢 炎 张 莹 杨 锐 贾守新 常 唯
1)《自动化学报》、International Journal of Automation and Computing期刊联合办公室,中国科学院自动化研究所,北京中关村东路95号100190 2)《电子与信息学报》编辑部,中国科学院电子学研究所,北京市海淀区北四环西路19号 100190 3)《微系统与纳米工程(英文)》编辑部,中国科学院电子学研究所,北京市海淀区北四环西路19号 100190 4)《液晶与显示》编辑部,中国科学院长春光学精密机械与物理研究所,吉林长春东南湖大路3888号 130033 5)Journal of Systems Science and Complexity编辑部,中国科学院数学与系统科学研究院,北京市海淀区中关村东路55号 100190 6)《中国光学》编辑部,中国科学院长春光学精密机械与物理研究所,吉林长春东南湖大路3888号 130033 7)清华大学出版社期刊中心,北京市海淀区双清路学研大厦B座B605D室 100084 8)《雷达学报》编辑部,中国科学院电子学研究所,北京市海淀区北四环西路19号 100190 9)Light:Science&Applications编辑部,中国科学院长春光学精密机械与物理研究所,吉林长春东南湖大路3888号 130033
同行评议机制是学术期刊显著特征之一,对于控制期刊的学术质量、规范学者的学术行为具有重要意义。具体而言,参与同行评议的主体之一,评审专家通过同行评议“过滤器”的作用,将不相关、微弱、误导甚至潜在的有害的内容去除,以提高论文内涵的清晰度、透明度、精确度及其实用性[1-2]。然而,目前的同行评议机制也暴露出一些问题[3-12],比如在评审过程中,评议者的主观因素可能影响评审结果,再比如评审者对被评审对象所涉及的知识内容的熟悉程度不同,而导致的评审结果与实际情况之间存在误差。另外,一些评议者由于利益冲突或竞争关系,可能给出不公平的评价结论,或故意拖延评审时间,导致创新性的科研成果不能及时发表,影响科研人员创新思想的首发权等。
尽管如此,同行评议所涉及到的两个主要主体:作者和评议者,都在很大程度上认可同行评议的存在及其积极作用,他们更多的是呼吁改进同行评议,而不是取代它。在 2009年,Sense About Science联合Elsevier公司完成了面向40000名科研人员的问卷调查,结果表明,只有15%的被调查者认为正式的同行评议应该被使用统计所取代[13]。大多数被调查者对同行评议及其带来的积极效果(控制质量、改善文章质量)持肯定态度。
文献[3-24]对于目前国内外科技期刊同行评议的现状也从不同角度做了各种探讨。但现有文献缺乏对国内外同行评议整体概况的调研和描述。为了解国内科技期刊同行评议的现状,准确把握作者、审稿人和期刊编辑对于同行评议的认识差异,深入探寻存在的问题,中国科学院自然科学期刊编辑研究会“同行评议可检验规范最佳实践指南研究”课题组通过问卷调查、文献分析、专家访谈等形式对国内外科技期刊同行评议现状进行了详细的考察和分析,提供了有利于改善我国科技期刊同行评议的可借鉴规范和指南。
本文重点介绍课题组对国内同行评议情况调研的部分结果,并分析问题产生原因,探讨改善国内学术期刊同行评议现状的建议和措施。关于国际科技期刊同行评议情况调研和科技期刊同行评议可检验规范最佳实践研究成果可参考课题成员组发表的其他相关文献。
为了准确、全面地了解学术期刊作者和评审专家对目前同行评议的看法和态度,课题组分别设计了面向作者和评审专家的调研问卷。问卷中涉及了调研对象的年龄、专业等个体信息以及作者和评审专家在面对同行评议时普遍关注的问题,包括对评审方式、评审结果、评审质量的认同度和满意度,以及国内外期刊同行评议的对比等。
由于学术期刊的学科分布差异较大,为了使分析结果具有一定代表性,本文以自动化领域为例,调研了该领域作者和评审专家对目前学术期刊同行评议的看法和态度。以《自动化学报》作者库和评审专家库为基础,分别向5056位作者和4201位评审专家发送了针对作者和针对评审专家的调研问卷,实际回收有效问卷分别为462份(作者)和526份(评审专家),回收率为9.14%和12.52%。
针对作者的调研问卷中,课题组设计了对目前同行评议现状的公平性和整体满意度的问题,调研结果如图1所示(0-9:0代表完全不公平(不满意),9代表完全公平(满意)),对同行评议公平性的平均分是6.56分,对同行评议整体满意度的平均分是6.59分。
作者反映的国内期刊同行评议中存在的问题主要包括以下6个方面:
Q1:评审周期太长;
Q2:评审过程不透明(不能确定评审专家是否有利益冲突或其他不适合评审的原因);
Q3:评审结果不具体、对改善稿件质量帮助不大;
Q4:评审结果不客观,没有准确反映稿件质量存在的问题;
Q5:审稿人故意推延评审时间;
Q6:审稿人剽窃作者的观点和研究成果。
图1 作者对同行评议的公平性和满意度的评价
针对以上同行评议中6个方面问题,被调研作者给出了国内外期刊的对比情况,如图2所示。从图2中可看出,作者认为国内外期刊同行评议过程中最突出问题均是审稿周期太长。而对于Q2-Q6这五个问题,作者认为相比国内期刊,国外期刊较少出现此类问题。为了进一步挖掘产生问题的原因,我们对作者群进行了以下深入调研。
图2 作者对目前国内外期刊同行评议中存在问题评价
(1)对于作者普遍最关心的Q1评审周期较长的问题,进一步调研显示多数作者认为合适的同行评议周期是30天(占43.52%),选择小于等于30天的作者占73.66%。在课题组向国内学术期刊编辑发出的调研问卷中,95.92%的国内期刊编辑部给与评审专家的评审期限小于等于30天,这与大多作者所期望的较一致。然而,实际经历评审周期天数小于等于30天的作者只有27.37%,而实际经历31~60天占30.78%,61~90天的占21.65%,90天以上的占20.20%。这说明目前同行评议时间被拖延的现象较为普遍。
为了找到原因,课题组调研了作者群和评审专家群的学历和年龄分布。从学历分布上看,作者中本科占2.6%、硕士占18.18%、博士占79.22%;评审专家中本科占3.8%、硕士占5.51%、博士占90.68%。无论是作者群还是评审专家群,正在攻读博士学位或已具有博士学位的人员占的比例最高。从年龄上看,评审专家平均年龄高于作者年龄,主要集中在30~39岁以及40~49岁这两个年龄段,以中青年为主(如图3所示),这个阶段正是研究人员学术生涯的成熟期,也是较繁忙的时期,容易拖延稿件评审周期,主要表现为以下三个方面:
a)同意审理稿件的评审专家由于工作繁忙没有按期上传评审意见。我们对评审专家在过去12个月中实际评审过的稿件数量和专家对审稿量的期望限额进行了统计和对比。统计结果显示:期望年审稿量小于15篇的评审专家占71.43%,而实际年审稿量小于15篇的评审专家只占65.02%,即有6.41%的专家认为审稿数量超过所能承受范围。
b)被约请专家拒审或拖延不回复是否同意审理。针对评审专家群的问卷调研结果中显示,76.43%的评审专家有过拒审经历,且拒审率在1%-10%之间的占50.63%。有过拒绝经历的评审专家中有45.39%的专家认为“太忙”是一个重要的原因(如表1所示)。遇到评审专家拒审或拖延不回复时,编辑部需要重新邀请审稿人,从而延长了评审周期中的送审流程。
图3 作者和评审专家的年龄分布
表1 国内评审专家拒绝审理稿件的原因
c)期刊出版单位缺乏催审(提醒)机制或催审不及。有专家反映因为没有收到稿件审理的提醒通知,而忘记审理稿件。尤其是在稿件评审周期过期后,如果系统或编辑不再通过邮件或电话提醒评审专家时,稿件就有可能石沉大海。
(2)关于Q2审稿过程不透明这一问题,被调研作者认为人情干扰(占35.28%)比利益冲突的影响(占22.29%)稍大些。目前,采用双盲评审是国内学术期刊常用的一种避免人情干扰的方法。在调研中,82.03%的作者支持双盲评审方式,8.01%作者支持单盲审评审方式,7.36%作者支持公开评审方式,而支持出版后评审方式的作者仅占2.6%。这说明,多数作者还是欢迎双盲评审方式的。然而在本项目课题组针对国内学术期刊编辑部的调研报告中则显示:采用双盲评审方式的国内学术期刊只占49.27%(单盲方式占46.65%,其余方式占4.08%)。
笔者认为,无论是哪种评审方式,同行评议的公平性和公正性问题都应引起编辑关注。中国科学院成都山地灾害与环境研究所研究员邱敦莲针对2015年BMC(BioMed Central)由于“同行评议”造假而撤稿的事件,在科学网博客发文历数了6种同行评审造假方式[25],其中提到了作者诚信度(如作者推荐专家信息的真伪性)、编辑诚信度等问题,给送审工作带来了一些借鉴。
(3)关于Q3-Q4提及的评审结果不具体、不客观,57.58%的被调研作者认为评审专家与被审稿件的专业契合度不够是主要原因。编委或编辑在邀请审稿人时,由于对评审专家研究领域了解不透彻,导致了被邀请的评议专家并不一定是该篇论文小领域的研究同行,进而导致同行评议结果可能是内容泛泛的,缺乏对稿件更有针对性的意见和建议。对评审专家的调研结果也显示了类似的问题:即有过拒审经历的评审专家中91.27%的专家是因为稿件内容与自己的研究领域不符而拒绝审理。因此,期刊出版单位需要寻找策略来改进编委(编辑)邀请评审专家的方法,以提高专业契合度。
此外,68.61%的被调研作者还认为同行评议是评议者的主观行为,评议者的个人喜好等多种因素会影响评议结果。期刊出版单位缺乏对同行评议结果进行检验的工具和机制(占39.39%),比如评价指标不具体、不易量化(占36.8%),且评价尺度不明确(占35.5%)。
为了深入了解同行评议的效果,课题组对论文作者进行了进一步的调研,并对比了国外期刊的情况。结果显示,87.66%的作者认为目前的同行评议结果对论文的改进有帮助,12.34%的作者认为没有帮助。其中,作者认为国内期刊同行评议的结果对论文的“结果与讨论部分”的改进贡献是最大的(占61.98%),其次是“方法部分”(占45.43%)和“语言表达”(占37.53%),如图4所示。相比国内情况,作者认为国外期刊的同行评议结果对论文的“结果与讨论部分”(占67.41%)和“语言表达”(占67.41%)贡献最大,其次是“方法部分”(占65.68%)和“图表等数据呈现”(占37.78%)。通过国内外期刊的同行评议结果对比,可看出存在较大不同的是:国外期刊比国内期刊更注重语言表达、方法部分和引言的问题。多数被调研人群反映,在评审意见上,国外期刊的评审意见详实、细致,而国内期刊的评审意见多简短,缺少实质性的建议。
图4 国内外期刊同行评议效果的对比
(4)对于Q5-Q6所反映的评审专家诚信问题,虽然这样的情况是极少数的(例如2011年出现的“付炜”论文剽窃事件),但也需要引起期刊出版单位的足够重视,依靠建立和规范学术不端行为的监督机制和处理流程来减少这类事件的发生。
针对评审专家,当被问及是否愿意为所有期刊审稿时,77.95%的评审专家视期刊而定,只有19.96%愿意为所有期刊审稿。当被问及愿意为期刊审稿的理由时,选择最多的三个理由是(如表2所示):(1)将被邀请审稿看作是对个人学术成就的认可和肯定(占69.2%);(2)增加了与同行交流的机会(占68.25%);(3)可以使自己成为学术团体中的一员(占42.02%)。表2的统计结果带给了我们一个启示:在同行评议过程中,期刊出版单位是否可以通过改进和提升服务来吸引评审专家愿意为期刊审稿。
表2 国内评审专家愿意为期刊审稿的理由
表3 面向审稿专家的关于审稿评估项的调研结果
对于评审专家在审稿时关注的不同问题和程度,表3以打分形式对调研结果进行了统计(0代表完全不关心,9代表关心程度最高)。调研发现,评审专家最关心的四个问题依次是:创新性,科学性,是否存在学术不端行为,先进性、研究内容的重要性。而评审专家对作者单位是否为该领域前沿机构是最不关注的。
参与调研的79.66%的专家为国外期刊评审过稿件,他们认为国内外期刊在评审过程中的差异主要表现为以下三点:
(1)评审标准
多数评审专家认为在为国内期刊和国外期刊做稿件评审工作时,采用的标准是一致的。但为国外期刊评审时,利益冲突较少,评审过程中不必考虑个人因素。而为国内期刊审稿时,有时必须考虑人际关系因素。尽管双盲评审方式避免了一些人情稿,但由于研究领域限定,有些情况下也能猜出稿件的来源。
在评审内容上,国外期刊对论文的原创性要求更为严格,注重创新,特别是实际应用的创新,对实验及实验结果分析的要求也更高一些。国内很多高水平期刊则偏重理论创新,对理论分析的要求更高一些,对研究背景和研究现状调研的要求相对较低,对实验完备性和实验对比的要求较低。
(2)评审流程
国外期刊多采用编委邀请审稿人的方式送审,稿件与评审专家专业契合度较高;而较多国内期刊由编辑部送审,出现稿件与评审专家研究领域不符的情况较多。国外期刊对稿件的审理更细致,可以经过几审后再确定录用还是拒稿,并给与作者多次修改的机会;而国内期刊的审稿流程较为简单,有的期刊不用评审专家复审就对论文作出最终决定。在稿件评审结束后,为国外期刊审稿的评审专家大多能够收到稿件最终审理决定和其他评审专家的意见。此外,多数国外期刊邀请的评审专家数较多,比如3-5人。
(3)评审周期
国外期刊对评审周期控制较为严格,一般在1个月内,且催审次数较多。而部分国内期刊对评审周期的要求较松,且有些期刊审稿平台缺乏对审稿人及时提醒的功能。
以上对作者和评审专家的问卷调研结果,一定程度反映了国内学术期刊同行评议的现状和问题。期刊出版单位作为维系同行评议制度的桥梁,应充分重视这些问题。这里,从期刊出版单位角度出发,探讨以下对策来改善国内学术期刊的同行评议过程:
(1)建立有效的评审专家筛选方式,提高稿件和评审专家的专业契合度
表1中显示了91.27%的评审专家认为稿件内容与自己的研究领域不符是最主要的拒审原因。因此,有必要提升编辑筛选评审专家的能力。目前,有些期刊的做法是,将负责邀请评审专家的编委(编辑)团队按照小学科分工,以缩小评审专家筛选难度和范围。或定期对因专业不符的拒审情况统计汇总,帮助送审编辑提高送审准确度。此外,还可采用人工筛选结合软件筛选(比如ScholarOne评审系统所提供的Review Locator功能)的方式,完成评审专家的约请,以减少人为误选概率。
(2)建立有效的沟通机制,提供更多的有利于同行交流的服务措施
针对国内作者和评审专家提出的评审周期过长的问题,编辑部应该建立有效的催审机制,比如利用在线评审平台,在评审周期到期之前及之后分阶段地向评审专家发送邮件、短信、或微信等提醒,对于没有按期审回的稿件,应尽快通知上一级编委(编辑)加送评审专家,以免延误审稿。此外,建立有效的评审周期绩效制度,以分别督促同行评议过程中每一环节(如送审、评审、终审等环节)的工作效率。
在稿件评审结束时,及时向每位评审专家发送最终评审结果和其他评审专家的评审意见,增加同研究领域专家学术交流的机会。特别是针对评审专家意见有冲突的稿件,上一级编委(编辑)要给与详细的终审说明,说明为什么倾向于其中几名评审专家的意见,而摒弃了其他评审专家的意见,让审稿专家感受到所做的工作被重视,激励评审专家继续认真、严谨地为期刊审稿。
(3)尊重评审专家的辛勤劳动,减轻评审专家的工作量
在一项3008位研究人员参与的同行评议调研中[26],29%专家认为目前的同行评议的工作量超额,由于投稿量不断上升,同时由于评审专家忙于科研,导致评审专家拒绝为期刊审理稿件的情况越来越多。在这种情况下,如何吸引评审专家为期刊完成审稿任务呢?笔者认为,首先要提升编委(编辑)在稿件初审时的处理效率,通过学术不端检测、论文结果初评、甚至论文内容创新度等初评,对稿件进行分类,质量不高的稿件直接退稿或退修,以减少送审稿件数量。比如《柳叶刀》的编辑在初审稿件时拒稿率达到80%,只有20%的稿件送至评审专家手中,大大减轻了评审专家的工作量。其次,建议退稿重投的作者将上一次的评审意见和修改说明一并提交,供评审专家参考,节约评审时间。
此外,诸如颁发聘任证书、评选优秀审稿人等奖励政策也有助于提高评审专家工作的积极性。
(4)尊重作者的申诉和反馈
从调研结果看,尽管编辑部在尽量避免利益冲突等问题,但目前国内期刊同行评议中还是不免出现人情干扰、审稿为他人替代(如表1)等现象,这种情况可能会导致审稿意见偏颇、不细致、理由不充分等问题。遇到这种评审结果,有些作者会直接向编辑部申诉。对于这样的申诉和反馈,编辑部要给与足够的重视,建立处理申诉稿件的流程,增加作者、编委、评审专家之间(有时需要匿名)对稿件态度的有效沟通,提升同行评议的公平性。
(5)帮助评审专家提高评审质量
期刊出版单位制定详细的评审细则以规范同行评议标准和尺度,并增加对评审专家的培训,如开设有关评审标准、评审意见范例、利益冲突的处理方式等培训,以提高评审专家的评审质量。
(6)开发检验同行评议结果的工具和机制
问卷调研中,39.39%的作者认为缺乏对同行评议结果进行检验的工具和机制。比如,文献[27]曾提出了一种基于社会团体的评议材料的评估方法(Community-based Assessment of Review Materials,CARMA),即当文章出版后,将文章的初稿、修改稿、同行评议的意见,以及作者对意见的回复、修改说明全部放在网上公布,让公众来打分评定。如何建立一套有效的对同行评议结果进行检验的工具和机制也是一个亟待讨论和解决的问题。
同行评议对于控制期刊的学术质量、规范学者的学术行为具有重要意义。但由于目前国内学术期刊的同行评议缺乏详实规范的工作准则和制度性建议,还存在若干问题亟待改善。本文作者配合课题组通过问卷调研方式总结目前了国内控制领域科技期刊同行评议的现状,包括同行评议制度的有效性、同行评议制度存在的主要问题等,并针对调研结果分析了改进措施。调研结果具有代表性,与课题组针对其他研究领域的科技期刊调研结果相似,期望给国内学术期刊工作者了解国内同行评议现状提供参考。
[1]Jeffweson T,Wager E, Davidoff F.Measuring the quality of editorial peer review[J].JAMA,2002,287(21): 2786-2790.
[2]Shahok K.Content and communication:how can peer review provide helpful feedback about thew riting?[J].BMCMedical Research Methodology,2008,31(8):3.
[3]巢乃鹏,胡菲.学术期刊的同行评议:基于审稿专家和作者的比较研究[J].中国科技期刊研究,2012,23(4):597-600.
[4]王志娟,法志强,郭洪波.科技期刊同行评议形式的不足与完善[J].中国科技期刊研究,2012,23(2):300-302.
[5]徐志英.科学文章同行评议研究进展[J].中国科技期刊研究,2012, 25(11):1355-1359.
[6]刘钊.浅议学术期刊同行评议的现状和完善[J].科技与出版,2012,12:105-108.
[7]张敏.同行评议制度与科技期刊编辑的角色[J].中国科技期刊研究,2014,25(11):1360-1368.
[8]接雅俐,唐震,陈汐敏,等.科技期刊同行评议审稿流程改革与初步成效[J].中国科技期刊研究,2013,24(5):988-990.
[9]徐刚珍.同行评议在科技期刊应用中存在的问题及对策[J].中国科技期刊研究,2009,20(4):696-698.
[10]吴文成.学术期刊出版中同行评议制度的不足及其改进[J].中国出版,2011(9):32-35.
[11]俞立平,潘云涛,武夷山.科技评价中同行评议与指标体系关系的研究——以《泰晤士报》世界大学排名为例[J].科学学研究, 2008,26(5):927-931,912.
[12]姚亚楠,杨克魁,甘章平,等.科技期刊同行评议发展趋势探索[J].价值工程,2011(32):14-15.
[13]Peer Review Survey 2009:Prelim inary Findings[EB/OL].http://www.senseaboutscience.org/data/files/Peer_Review/Peer_Review_Survey_2009.pdf.[2015-4-13].
[4]史鹏亮,吴晨.科技期刊典型的同行评议流程的比较[J].编辑学报,2011,23(Sup.1):143-146.
[15]安梅,于世美,汤梅,等.同行评议过程中审稿人的不同选择方式及审稿结果比较[J].编辑学报,2011,23(Sup.1):33-35.
[16]胡菲.高校科技期刊同行评议制度调查与分析[J].科技与出版,2012(9):117-119.
[17]李鹏,魏杰,闫娟.医学科技期刊几种同行评议模式的利弊分析[J].出版与印刷,2012(4):9-11.
[18]李政萍,郭欣.提高期刊同行评议环节的公开性、公正性及时效性[J].传播与版权,2014(2):51-52.
[19]何玉娟,廖叶华.学术期刊如何实现快速、准确送审[J].出版发行研究,2013(2):91-92.
[20]谭潇,段春波,于普林.Web3.0时代科技期刊同行评议的探索与尝试[J].编辑之友,2013(1):42-48.
[21]孙静,韩颖,张陈.科技期刊编辑应加强与审稿专家的交流[J].学报编辑论丛,2013:305-308.
[22]冯广清.社会团体举办学术期刊同行评议情况调查分析[J].社团管理研究,2011(11):47-49.
[23]Systems: An Open, Two-stage Peer-review Journal.Nature(2006)doi:10.1038/nature04988.[EB/OL].http://www.nature.com/nature/peerreview/debate/nature04988.htm l[2015-5-15].
[24]Elsevier Pilots PeerChoice in Chemical Physics Letters.[EB/OL].http://www.redorbit.com/news/business/1881910/elsevier_pilots_peerchoice_in_chemical_physics_letters/[2015-5-5].
[25]邱敦莲.学术期刊论文的“伪审稿现象”与学术不端[EB/OL].http://blog.sciencenet.cn/home.php? mod=space&uid=314423&do=blog&id=879303[2015-4-13].
[26]Adrian Mulligan, Research Director Elsevier: The Peer Review Landscape-What do Researchers Thin? [EB/OL].http://blog.alpsp.org/2013/11/the-peer-review-landscape-what-do.htm l[2015-4-13].
[27]Ran Carmi,Christof Koch.Improving peer review with CARMA.Learned Publishing,2007,20(3):173-176.