负责任同行评议:何谓、何以与何为

2022-10-11 08:31王贤文张光耀
中国科技期刊研究 2022年8期
关键词:建设性评议贡献

■王贤文 张光耀

1)大连理工大学科学学与科技管理研究所,辽宁省大连市凌工路2号 116024 2)大连理工大学WISE实验室,辽宁省大连市凌工路2号 116024

同行评议在现代学术交流中发挥着重要作用,一方面维护着科学研究的公正性,另一方面对于科学研究成果的质量控制起着重要的“守门人”作用。然而,在科研文献数量不断增长的情况下,同行评议面临的困境越发严峻[1]。

近年来,构建负责任的学术评价体系已经成为学术界的殷切期盼[2],同行评议也受到了国家层面的高度重视。2021年3月,国家自然科学基金委员会正式开始建立“负责任、讲信誉、计贡献”(以下简称“RCC”)评审机制[3],其中“负责任”既包括专家对科学基金资助工作的责任,即帮助科学基金择优遴选项目,也包括对申请人的责任,即对申请人完善研究设想和研究方案有所帮助。

同行评议作为学术发展的基石,需要清晰的责任界定。负责任同行评议在国际上已引起众多期刊编辑和科学学研究者的关注。已有学者在对科研诚信的讨论中关注科研人员的责任[4],但是科研诚信作为宏观层面的议题,研究者在对其进行研究时倾向于关注对负面行为的治理,比如学术不端治理、剽窃检测等[5];少有研究具体关注同行评议的特性,特别是同行评议中的科研责任问题。王飞等[6]在对出版伦理研究的综述中指出,在同行评议方面进一步深入研究是国内学者的未来研究方向之一。细化到同行评议层面,万志超等[7]曾关注同行评议中审稿意见造假现象;徐婷婷[8]调查了高校学报网站同行评议伦理规范,并指出在虚假信息的核查、独立评审的要求和异议申诉的流程等方面存在薄弱环节。然而,这些探讨仍然是从负面角度出发,着眼于防范学术不端,少有研究从正面角度出发强调同行评议的建设性。章诚等[9]从学术论文的出版周期视角关注了论文发表中的责任主体,但也没有对负责任同行评议展开诠释。

从国际上学者对待同行评议中“责任”的态度来看,如从ManagementInformationSystemsQuarterly(MISQ)历任主编撰写的关于同行评议的评论性文章中可以看出,对评审人的要求呈现从“有为”到“善为”的趋势:Zmud[10]指出出色的评审人应当做到3点,即在专业知识上及时地指出研究的弱点,明确研究的贡献,并指导作者提升研究质量;Saunders[11]强调评审的建设性;Straub[12]认为评审应注重思想的新颖性;Rai[13]的文章则让这些思考又上了一个层面,强调撰写良性(Virtuous)意见,旨在让作者从评审中受益,避免破坏性评审。

总体来看,国际学者已经在思考如何落实“负责任同行评议”,但国内少有学者对此展开讨论,因此,本研究旨在对“负责任同行评议”概念进行解构,阐释负责任同行评议的内涵以及负责任同行评议推行的重要性与迫切性,并对实践负责任同行评议的保障措施展开讨论。

1 何谓“负责任同行评议”

“责任”是科学家难以回避的问题。邹成效[14]曾指出在科技伦理学的视野下,责任是为了个人和社会的存在和发展、根据自然和社会的客观需要而存在,科技工作者及其团体应当做出有利于自然和社会的事,承担有害于自然和社会的后果。尽管“责任”因为环境的不同而有差异,但其实质是“应当”[14]。在同行评议背景下,负责任同行评议是指评审人基于自身的专业知识与伦理规范,基于成果的学术贡献和评审委托方的长期发展,做出对评审对象有建设性的评价。

“负责任同行评议”中的“责任”可根据责任的对象区分为:对学术共同体的责任、对委托方未来发展的责任和作为科研工作者本身的责任(图1)。其一是对包含论文作者在内的学术共同体的责任:评审人在评审中不仅要评估论文的学术贡献,指出研究中的问题,还要做出有建设性的评价,帮助作者提升论文质量,推进科学进步。其二是对评审委托方的责任:评审人受委托方(期刊、会议、组织或机构)委托,帮助遴选高质量的论文、申请书、成果等,其工作应当符合委托方的利益,遵从委托方的发展和建设理念。其三是科学工作者本身的责任:在科研工作中,科学家要勇于探索真理,客观、准确地完成研究活动。而评审人作为评审工作的主体,也应当基于自身的专业知识、伦理规范与契约精神,做出公正、客观、有建设性的评审。

图1 负责任同行评议的内涵

2 何以需要负责任同行评议

负责任同行评议的必要性体现在外在环境和内在价值两个方面:一方面,同行评议面临的困境迫切需要负责任同行评议来改善;另一方面,负责任同行评议对年轻学者发展、期刊建设以及评审人自身都有着重要意义。

2.1 同行评议面临的困境亟需负责任同行评议

从大量调查研究来看,同行评议在国内面临较多争议,这些争议往往与评审人有关,包括:评审人态度不端、评审拖延、压制创新[15];评审意见过于简单、缺少参考价值、缺少建设性意见[16];作者异议多,不认可评审意见[17]。此外,学术竞争冲突[18]与专家信息精度较低[19]等问题也是同行评议出现争议的原因。

同行评议争议背后的原因较为复杂,除委托代理问题、同行评议本身复杂度高之外,还常与评审人的责任缺失有关。在同行评议中,如果评审人不能以负责任的态度完成同行评议,在外部激励与约束机制相对较弱的情况下,就难以对评审对象进行客观的、有建设性的评价。正是在这一背景下,负责任同行评议的意义显得尤为重要。

2.2 科学发展需要负责任同行评议

负责任同行评议对年轻学者发展、期刊建设以及评审人自身有着重要意义。首先,负责任同行评议对于作者群体发展非常重要。学术界“不发表,就出局”的激烈竞争对学者造成了极大的压力。作者既希望自己的研究成果能得到学术界的承认,也希望有足够的成果来支持自己完成工作上的考核与晋升。进一步地,负责任同行评议能够起到对年轻学者的培养和引领作用。其次,负责任同行评议对于期刊建设非常重要,载文质量是期刊的立身之本。一方面,负责任同行评议直接关系到期刊的形象和口碑[12],而期刊的口碑在期刊评价中的重要性也越发凸显;另一方面,负责任同行评议能为期刊培养忠实的作者群[17],促使期刊获得高质量的来稿。从更大的层面来讲,同行评议的最终目的是实现学术进步,实行负责任同行评议才能真正实现探索科学发现的目的。最后,同行评议对于评审人自身非常重要。从功利的角度来看,评审人可以从同行评议中建立学术声望,和期刊建立良好的关系,而且有可能获得进入期刊编委会的机会;作为学术共同体的一员,评审人完成自己的评审工作、维护科学共同体的发展是其职责所在。

3 何为以实践负责任同行评议

就如何保障落实负责任同行评议,本节从负责任同行评议需要把学术贡献放在首位,负责任同行评议需要建设性评议而非纯粹的破坏性评议,负责任同行评议的落实需要循证评议,制度的完善助推负责任同行评议的实现4个方面展开讨论。在所有类型的同行评议中,论文同行评议是最为基础的、涉及面最广的,也是难度最大的一类。在接下来的讨论中,主要以论文同行评议为代表进行分析。

3.1 负责任同行评议需要把学术贡献放在首位

国际上现行的同行评议往往把论文的学术贡献(Contribution)作为首要考虑因素[20]。一篇好的论文的价值并不体现在它有着非常严谨的方法,而在于它改变了学术界看待某个现象的观点。而受该论文影响的学者,无疑会在引用这种开创性论文的过程中,进一步强化对该论文方法的使用。

MISQ前主编Straub指出,大量评审人只关注方法而忽略了idea(观点)的新颖性[12]。他提倡在排除“差方法”后,论文的质量首先反映在其idea的质量上,而不是方法(Methodology)的质量上。如果研究的想法足够吸引人或具有突破性,那么该研究使用的方法就不应该成为论文发表的阻碍。

Straub[12]总结了2种评审方式,如图2所示。图2中灰色区域表示录用情况,斜线区域表示拒稿情况。论文的idea水平被分为缺少新idea、扩展性的idea、好的idea、突破性的idea,论文的方法被分为强方法、好方法、可接受的方法、差方法。在评审方式1下,首先评估方法的优劣,如果无法达到“好方法”就拒稿;然后评估idea,如果无法达到“扩展性的idea”(即缺少新idea)就拒稿。在评审方式2下,首先评估idea的创新性,如果没有达到“好的idea”就拒稿;然后评估方法,如果没有达到“可接受的方法”就拒稿。评审方式1是当时学界主流的评审方式,评审方式2则是Straub提倡的评审方式。

图2 2种评审方式[12]

除此之外,在论文评审过程中,合理的评审顺序也很重要[13]。如果在第一轮评审中主要问题没有被发现,而在之后的评审中被指出,既会给编辑部和作者带来巨大的修改成本,也会给作者造成打击[13]。因此,一个优秀的评审人应当在初始的审理过程中区分问题主次,指出作者需要解决的主要问题[13]。

3.2 负责任同行评议需要建设性评议而非纯粹的破坏性评议

早在1975年,英国皇家学会科学信息委员会就曾提出,期刊不能因为一位评审人的负面意见就拒绝稿件[21]。MISQ的前主编Rai[13]曾以MISQ为例,解释了评审人在同行评议中的作用:评审人应着眼于论文的学术贡献和影响研究发表的主要问题,其心态应当是建设性的(Constructive),而不是破坏性(Destructive)的。MISQ 的另一位前主编Saunders进一步强调建设性的同行评议,Saunders将评审人分为两类:一类是帮助作者打磨手稿、提升研究质量的钻石切割师(Diamond Cutters);另一类则是阻拦有问题研究的守门人(Gatekeepers)。Saunders希望评审人是前者,能在评审过程中实现建设性评审。建设性评审遵循的前提是:没有论文是完美的。论文在研究设计、方法使用上都可能存在缺陷,但是有缺陷的研究仍然可能有着重要的贡献[11]。这一点也在国家自然科学基金委员会构建的RCC评审机制中得到了体现[3]。

必须承认的是,发现论文中的问题、为期刊起到质量把关的作用是评审人的重要职责。然而,评审的最终目的仍在于识别学术贡献、拓展学科的知识边界,而不是证明评审人有足够的能力拒稿[22]。在评审过程中,评审人容易陷入“破坏性”评审的思维模式,即把评审工作理解为寻找拒稿理由,而非帮助作者提升论文质量。这种心态往往可能导致新颖的研究被拒绝[12]。因此,以“建设性”的评审模式进行论文评审,有利于评审人更多地关注论文的潜力。Rai[13]特别强调了评审的“附加价值”,即评审人基于专业知识为作者提供改进的建议。Carpenter[23]也强调优秀的评审意见不仅能够识别出论文的不足,而且能够提供适当的方法建议来弥补这些不足。

3.3 负责任同行评议的落实需要循证评议

落实负责任同行评议,评审人一方面需要秉持道德意识,另一方面在评审过程中也需要循证观念的指导[24]。实际上,评审人并非一定是出于利益冲突拒稿,更可能是出于观点上的不一致,比如评审人在“择优”上的分歧大于“择差”,在识别“差”的研究时更容易达到意见一致[25]。

循证医学(Evidence-Based Medicine)思想强调将临床证据、医生的个人经验与患者的个人需求三者结合[26],而在做出判断的过程中,最重要的是证据。这一理念迅速被接受,并在公共管理领域产生巨大的影响。在循证医学中,证据按质量和可信度从低到高依次被归纳为5个等级,依次为医生的个人经验、无对照的治疗前后对比、设有对照组的分组研究、随机对照试验结果、系统文献综述(Systematic Review)或Meta分析(荟萃分析)。医生的个人经验被视为可信度最低的证据,只有在缺乏其他证据的情况下,才选择依据个人经验制定医疗决策。

反观同行评议,被遴选为评审人的学者固然已经在该领域有一定的学术造诣。然而,评审人和作者的专业往往难以完全匹配[27]。单纯强调自身经验的评议,更有可能产生非共识,甚至是有偏差的结果[28]。评审人应当基于当前获得的最充分的研究证据,结合自身的专业技能和评审经验,并且考虑作者的研究,将三者结合起来给出负责任的评审意见。Lee[29]提出评审人可以在评审中区分相关的知识是否属于他们的专业范围,以说明他们的专业知识是否可以支持他们有效地评估论文在学科知识体系中的贡献。对于评审人不擅长的部分,评审人自己也应指出,以免对编辑决策产生影响。

综上所述,同行评议中的“循证”是基于当前研究的最佳证据,结合评审人的专业技能和经验,做出符合科学共同体价值导向的评审决策。科学规范地使用证据来为评审决策提供支持,有利于克服评审意见符号化、观点化、模糊化。评审人在同行评议中应给出具体的、可执行的建议,模棱两可的意见没有参考价值[29]。比如评审人常会指出论文的“贡献不足”或“创新性不够”,这种评价可能过于主观。评审人应基于自己的专业知识和现有的文献,厘清稿件在现有文献中的定位,证明为什么稿件的学术贡献足以使其发表,或者贡献不足而不应该被发表。此外,评审人可能希望作者对论文进行修改,比如补充实验数据、增加参考文献等,那么评审人应该给出需要做这些修改的理由,并说明这些修改将如何提升研究的质量。如果稿件应该被拒绝,评审人应该提供科学、清晰、具有说服力的证据来证明为什么稿件中存在的问题严重到难以在下一轮的审理中解决[20]。

Rai[13]认为评审人基于坚实的理论基础和证据给出建议,而不是给出未经证实的模糊观点。评审人在评审过程中不会接受作者提出没有文献或事实支撑的观点,同样,评审人也有责任在对论文做出评审时遵循同样的标准,补充支持自己做出判断的证据,如提供支持其主张的原理或参考文献[30]。

3.4 制度的完善助推负责任同行评议的实现

负责任同行评议既是一种价值实践,也是一种价值选择,而价值选择的背后则是利益选择。推动完善负责任同行评议既需要评审人的负责,也需要从制度上解决同行评议中的激励机制不相容的问题。因此,本部分就同行评议中的激励机制、评议模式、评价机制展开讨论。

在发达国家,同行评议贡献有助于评审人建立良好的社会声誉,这种声誉有着重要的社会意义,有助于学者求职[29]。更重要的是,发达国家更倾向于在学术评价中考虑同行评议的贡献,研究人员可通过评审记录来证明他们在学术界的影响力[31]。近年来,随着新技术引入,评审人的学术贡献开始被科研管理系统认可,如Publons与昆士兰大学将评审贡献等同于研究成果进行认定,这在一定程度上激发了评审人的热情。昆士兰大学拥有大量优秀的评审人,这与其承认同行评议贡献有着很大的关系[32]。然而,这种方式在发展中国家尚未被普遍接受。大量发展中国家的学术评价仍然重点关注学者的发文量和参与的科研项目数量,特别是中国学者在同行评议中付出了大量时间和精力,但没有得到应有的回报[33]。如果仍然将评审人的工作视作一种“不求回报的贡献”,可能导致学者更倾向于将精力用在自己的学术研究和论文发表,而非同行评议上。相关实证研究也揭示了这一点,发达国家评审人撰写的评审意见明显要长于发展中国家的评审人撰写的评审意见[31]。

开放同行评议如今已成为实现对评审人的监督、提升同行评议质量的重要方式[33-34]。如今,国际知名期刊如BritishMedicalJournal、NatureCommunications,国内期刊如《心理学报》等也纷纷加入开放同行评议的队伍。开放同行评议在尊重作者和评审人意愿的基础上,向公众开放评审人身份,最终将评审人的建议、作者的修改及回复、同行评议的结果等信息最大化向公众开放[35]。一方面,开放同行评议增加了评审的曝光度,对评审人起到公众监督作用,从而使评审人更加认真地对待评审;另一方面,开放同行评议削弱了作者和评审人间的等级关系,促进了评审过程中的沟通,可以减少评审人的职权滥用现象。

评审人的评价机制也需要探索和建设。评审人的评价机制能够发挥评价“指挥棒”作用,从制度上让评审人的贡献得到认可,有助于实现对评审人的激励。评价机制包括评价指标的设计、评价方式和程序设计以及监督机制。评价指标应当基于对评审人贡献标准的认同,设计出有效的、可实际应用的指标。如Bianchi等[36]曾提出使用评审人的评审意见长度、评审速度和评审人与编辑意见的一致性来构建评审人评价指标。国内也有研究通过统计评审人给出的评审意见字数来反映评审人对待评审的认真程度[37]。在评价方式和程序设计上,需要讨论对评审人的评价由谁来管理以及如何管理。在制定监督机制时也需要讨论在学术评价中引入评审贡献后,如何防范和遏制评价过程中的不公现象。

4 结语

如今,破“唯SCI”已经引起了学术界的高度关注,促使学术界更加注重在中文期刊发表论文。相比以往,中文期刊的建设更加需要国内学者的负责任同行评议。因此,破“唯SCI”的“破”与国内同行评议的“立”应当共同展开。“破”是为了根除长年困扰学术评价的难题,“立”则是为了建立和完善未来的科研评价路径,为国内的学术发展和期刊建设创造积极的环境。因此,负责任同行评议对国内同行评议的良性发展有着重要意义。

本研究基于对负责任同行评议的阐释,对负责任同行评议的涵盖方面与保障措施进行探讨,为我国的同行评议建设实践提供参考和借鉴。本研究也存在一定的局限性:同行评议中的责任涉及多方,但考虑到该领域现有的研究进展,本研究重点关注了评审人的责任;本研究仅是规范层面的探讨,实证层面的检验有待进一步展开。

猜你喜欢
建设性评议贡献
强化述职评议 落实主体责任
也论昆曲的形成与梁辰鱼的贡献
古特雷斯联合国改革议程与中国的建设性角色*
如果被无端指责,该咋办
以建设性新闻理念推动广电媒体转型
2020:为打赢脱贫攻坚战贡献人大力量
人大代表要为决胜脱贫攻坚作出新贡献
人大“评议+询问”:助推漯河转轨发展“快车道”
某市委宣传部遴选公务员试题
言论