学术出版视角下科研成果可重复性保障机制研究

■陈序文 姚长青 雷 雪

中国科学技术信息研究所,北京市海淀区复兴路15号 100038

可重复性(Reproducibility)是科学实验的基本要求,是判断科研成果是否可靠的重要标准。现今科学界面临可重复性危机:2012年,Begley等[1]发现癌症领域只有11%的研究成果能够被复制;2015年,研究团体OSC(The Open Science Collaboration)重复100项刊登在心理学顶级期刊的研究,发现只有36%的实验结果得到重现[2]。随着开放科学的发展,可重复性危机日益引起多方关注。美国科学技术政策办公室(Office of Science and Technology Policy,OSTP)和国家科学技术委员会(National Science and Technology Council,NSTC)提出的开放科学定义[3],以及美国国家航空航天局(National Aeronautics and Space Administration,NASA)发布的《开源科学倡议》[4]中均将可重复性列为开放科学的原则和目标之一。

学术出版是学术交流中的重要环节,而出版机构是保障科研成果可重复性的重要责任主体。2016年,Nature对1576名研究人员进行了一项关于研究可重复性的在线简短问卷调查[5],大约90%的受访者认为科学界存在着可重复性危机,大约80%的受访者认为资助机构和出版商应该采取更多措施来提高研究成果的可重复性。开放科学中心(Center for Open Science,COS)于2015年推出了TOP准则(Transparency and Openness Promotion Guidelines),该准则成为目前学术出版界应对可重复性问题的总体原则,得到了包括Science、AmericanEconomicAssociation等在内的86种期刊的支持。基于TOP准则,出版机构开展了一系列创新实践,以保障科研成果的可重复性。

相较于国际上对科研成果可重复性保障的重视,目前国内对于可重复性危机的对策研究尚浅,主要探讨可重复性危机的产生原因以及未来的研究方向:刘传军等[6]基于心理学的不同理论,讨论了可重复性危机的未来研究方向;王阳等[7]从科学学的角度,研究了实行新型编辑制度来减少科技论文不可重复性的可行性。对于学术出版机构如何发挥作用、采取何种措施来应对可重复性危机的研究较少。

本文在开放科学背景下,从学术出版视角,以TOP准则为主线,从出版流程和出版导向两个维度,系统调研、梳理Elsevier、Springer Nature、Wiley等科技期刊出版商,美国经济协会(American Economic Association,AEA)等学/协会,以及国际医学编辑委员会 (International Committee of Medical Journal Editors,ICMJE)等国际组织颁布或实施的与可重复性保障相关的政策、指南与实践,比对国内不足现状,为我国出版机构应对可重复性危机提供借鉴。

1 科研成果可重复性的内涵

1.1 可重复性的定义

2014年6月,美国国立卫生研究院(National Institutes of Health,NIH)、Nature出版集团和Science期刊就研究结果的可重复性和严谨性问题进行联合研讨,指出科学的进步依赖于严谨的研究,即在实验设计、分析和解释方面的稳健和不偏不倚,以及在研究结果方面的可重复性[8]。2017年美国统计学会(American Statistical Association,ASA)起草的《对基金资助机构支持可重复性研究的建议》[9](Recommendations to Funding Agencies for Supporting Reproducible Research),以及2019年美国国家科学院(National Academy of Sciences,NAS)发布的报告《科学中的可重复性与可复制性》(Reproducibility and Replicability in Science)中,再次对可重复性的定义进行了更为准确的描述:可重复性是指使用相同的输入数据、计算步骤、方法、代码和分析条件获得一致的计算结果,也称为“计算再现性”。

综合以上表述,本研究认为科研成果的可重复性分为三个层次:一是研究数据来源可靠,研究数据包括但不限于原始或处理过的数据文件、软件、代码、模型、算法、材料等;二是研究过程透明,实验条件、环境和操作均满足相关规范要求或被广泛认可;三是基于上述研究数据和研究过程,得到一致的研究结果。

1.2 可重复性危机的成因

撤稿观察(Retraction Watch)数据库将论文撤稿原因分为102种,其中有27种原因会导致论文结果的不可重复:15种是由实验错误等导致的不可重复,12种是作者有目的地篡改伪造数据导致结果不可重复,即源自科研诚信问题。

科学研究的复杂性可能会导致可重复性危机。从实验过程来看,科学研究不断向复杂化、系统化方向发展,使得科研人员难以全面、精准地把握所涉及的实验材料、设备等客观条件,导致实验出错、不可重复。此外,实践中科学家的社会交互会给可重复性带来新问题,如大团队和中心化合作团体的研究结果具有更低的可重复性[10]。

科研成果评价体系和奖惩机制也会带来与科研诚信相关的可重复性问题。高质量期刊对科研人员来说是一种稀缺资源,在激烈的竞争环境中,论文作者为了取得更多的发表机会,往往出现过度追求严格符合研究假设的实验结果,这就会导致阳性或者样本量较多的研究结果比阴性或样本量较少的研究结果更容易发表的现象,即发表偏倚;还可能导致作者为迎合编辑对论文的故事性叙述偏好,在已知结果后进行假设,无意识筛选数据的现象,即HARKing。在当前通用的科研成果评价体系中,论文通常是科研能力和水平的重要考核因素,从某种程度上说,科研人员面临的发文压力也是可重复性危机的诱因之一。

1.3 保障科研成果可重复性的现实意义

(1)保证科学研究健康发展的基石。马克思主义科学观认为科学的前提是辩证唯物主义,即科学离不开客观世界规律,其观察的对象是“一个极其普遍的发展规律”。可重复性是自然科学研究的基本原则,是自然界客观规律的反映,保障科学的可重复性才能实事求是,还科学研究以本来面貌,保证科学研究健康发展。

(2)推进科研诚信建设的重要举措。近年来学术不端事件频发,我国对科研诚信治理高度重视。科研诚信建设需要追溯其因,才能提出针对性举措。《学术出版规范——期刊学术不端行为界定》[11]将伪造与篡改正式界定为学术不端行为,而伪造与篡改数据和图像也是科研成果不可重复的重要原因。国家自然科学基金委员会官网发布的《2022年查处的不端行为案件处理结果通报》[12]显示,半年内累计查处的77名学术不端者中相当一部分篡改伪造了论文数据。因此,采取措施来保障科研成果的可重复性,是推进科研诚信建设的重要举措。

(3)提升财政资金使用效益的必要手段。2018年,Piero教授团队关于心肌细胞可再生性的31篇论文被证实涉嫌伪造和篡改实验数据,导致论文成果无法再现,这对美国国家自然科学基金会在此研究的基础上资助的50多个项目造成了极大影响,造成了巨额的经济损失,同时也引发了巨大的学术甚至社会层面争议,公众对很多学术成果的可重复性产生了怀疑,导致科研群体的公信力下滑。因此,保障研究的可重复性,能够提前预防或者分辨出问题论文,避免科研经费的浪费,提高财政资金的经济效益,同时维护学术公信力,提高其社会效益。

2 国际科研成果出版流程中的可重复性保障机制

在出版流程维度,TOP准则针对研究数据及研究过程提出了5条相关原则:(1)引文标准(Citation Standards)——论文数据是规范的,可以应用于数据、代码和材料的引用;(2)数据透明化(Data Transparency)——倡议或要求论文所用数据被正确引用、披露,并存入目标数据仓储;(3)方法(代码)透明化[Analytic Methods (Code) Transparency]——倡议或要求论文所使用的方法(代码)被正确引用、披露,并存入目标数据仓储;(4)材料透明化(Research Materials Transparency)——倡议或要求论文所使用的研究材料被正确引用、披露,并存入目标数据仓储;(5)设计和分析透明化(Design and Analysis Transparency)——报告研究设计和分析的标准应最大限度地提高研究过程的透明度,并最大限度地减少方法报告含糊或不完整的可能性。学术出版机构应根据以上原则采取相关举措,保障科研成果可重复性。

2.1 出台期刊数据政策以保障研究数据的完整性与可靠性

数据是开展可重复性研究的基础。Springer Nature、Elsevier、Wiley、Taylor &Francis等出版商均已制定数据政策,以支持多种类型数据的汇交和存储,保证数据质量,使数据能够被科研人共享。

(1)保证研究数据完整性的政策。数据可用性声明作为一种作者声明机制,日益成为学术交流规范体系的一部分;代码可用性声明也逐步推进,可有效提升期刊论文的代码共享率。NeurIPS组委会于2019年发起再现性计划,鼓励论文作者提交代码(非强制),并取得显著成效:NeurIPS在2021年发布有关再现性计划的报告,有75%的被接收论文附带了代码[13]。BiometricalJournal强烈鼓励作者提交示例数据集、数据分析的源代码等作为在线出版的支撑信息[14],并由可重复研究编辑在接收手稿后进行审查,手稿中报告的结果必须与提交的软件代码产生的结果一致。学/协会也对研究数据汇交出台了相关政策,如2020年AEA通过了一项数据和代码可用性政策[15],强制作者提供数据代码的详细记录,并保证其他科研人员能够访问其提交的数据,以此提高AEA期刊论文支撑材料的可重复性和透明度。

(2)保证研究数据可靠性的政策。同行评审是保证研究数据质量的重要方法。科学数据的同行评审作为同行评议的一部分,要求审稿人对数据集的一致性和质量进行验证,以保证其真实可靠。在实践上,Springer Nature、Elsevier、Wiley均在其最高级别的数据政策中提出了同行评审的要求,并表示作者有义务提交审稿人所需要的所有数据,且Wiley进一步提出同行评审可能涉及重复性验证,以确保期刊文章中的声明是有效和可重复的。2020年,PLoS发布了对数据展开同行评审的快速指南,明确了审稿人在进行数据同行评审时需要确定的问题和评审维度。

2.2 倡导结构化报告以提升研究过程的透明度

研究过程的透明性原则要求论文作者清楚描述所做研究的条件、产出数据和实验步骤。由方法和结果报告不充分导致的科研成果无法重复的现象首次在检验神经科学领域发现,该问题提出后,相关国际组织提倡由编辑主导,指导作者撰写报告。如:ICMJE要求编辑指导论文作者提交论文方法部分的详细报告,并细化了医药领域的报告内容;科学编辑理事会(Council of Science Editors,CSE)强调编辑应该就出版前后可复制研究所需的做法,为作者制定明确的指南,确保方法和分析足够详细,以便读者判断研究设计的科学价值,并能够复制研究。这些倡议希望借助期刊编辑这一重要审阅主体,指导、监督并审核作者提交能够披露真实研究过程的研究报告,以保证后续科研人员能够顺利进行再现性实验。

实践中,Nature于2013年首先提出取消方法部分长度的限制等,并将其进一步演化成结构化报告。目前主流出版商集团都推出了各领域的结构化报告,以解决研究过程中的两大问题:一是在描述研究过程时过于笼统,没有遵循特定的结构。Cell提出的“STAR报告”以及ProceedingsoftheNationalAcademyofSciencesoftheUnitedStatesofAmerica(PNAS)提出的“MDAR报告”均针对此问题提出了解决方案,即要求作者按模块撰写研究流程。二是研究过程中的参数等详细数据不足。目前多数出版商对报告中需要详细提供的数据和方法进行了严格的规定,如:NIH对旗下医学期刊实验的重复次数、样本量等有要求,并且需要给审稿人提供明确的透明化报告;Wiley表示其不同领域的期刊具有不同专业需求的报告格式,并提倡作者严格按照格式提交报告。

2.3 推进开放评议和创新检测技术以检验研究结果的真实性

国际组织从同行评议模式和检测技术两个维度提出监督的倡议和举措。

(1)创新同行评议模式,能够提升论文评审过程的透明度,保障论文质量,提升科学研究的可重复性。开放同行评议涵盖三个层次的开放,即对审稿人身份、审查报告和审稿过程的开放。开放同行评议平台通常以论文为纽带,形成学术交流社区,让更多学者参与到论文评审中,将科研诚信的监督权扩大至科研共同体,在披露学术不端行为、提升科学研究的透明度和可重复性方面发挥了重要作用。如由NIH研发的第三方开放同行评议平台PubPeer揭露了日本细胞生物学家小保方晴子、诺贝尔生理学或医学奖得主Gregg L. Semenza等涉及的多起图片造假事件。

(2)图像筛查检测等技术能够识别图像篡改、复用等问题,检验研究结果的真实性。从技术角度识别出人为修改的图像或数据,是检验研究结果真实性的重要方法。2016年Elsevier成立了Humboldt-Elsevier高级数据和文本中心,旨在识别学术不端行为,并于2018年宣布创建“测试图片数据库”,以完善对篡改图片等事件的识别。国际科学技术与医学出版商协会(International Association of Scientific,Technical and Medical Publishers,STM)于2021年正式推出“STM Integrity Hub”服务,提供共享平台,对来源可疑的文件材料、图像修改和数据错误等情况进行追踪和审查,目前已经有数十家出版商加入。

3 国际科研成果出版导向中的可重复性保障机制

在出版导向维度,TOP准则针对研究结果和研究类型提出了3条相关原则:(1)研究预注册(Study Preregistration)——要求论文作者在研究论文发表前进行预注册,说明研究问题和假设,防止HARKing等现象发生;(2)分析计划预注册(Analysis Plan Preregistration)——表明实验的类型与方式,预防由研究偏倚导致的论文不可重复;(3)复制(Replication)——要求期刊鼓励复制研究,并针对其结果进行相关审查。上述原则为学术出版机构的导向调整和措施出台提供了方向。

3.1 建立注册报告制度以减轻对阴性结果的偏见

期刊对阳性结果的过度追求是论文作者篡改数据以获得想要结果、导致论文结果不可重复的动机之一。COS发起并支持了一种新型的投稿格式——注册报告,它代表了呈现验证性、假设驱动研究结果的理想工作流程。注册报告以及其独特的二次同行评议模式能够有效应对研究偏倚以及HARKing导致的可重复性危机。

(1)注册报告减少研究偏倚现象。注册报告允许作者在确定实验问题、方法之后,就将其提供给期刊以供同行评议,通过评议的研究就可以被“原则性接受”。这种将作者实验问题和方法而非研究结果作为论文录用决定性条件的投稿形式,能够有效减少由学术出版界对于精彩、新颖、阳性的结果的偏好所导致的研究偏倚现象,降低作者对于阴性结果能否发表的顾虑,从源头上弱化作者修改论文数据的动机。

(2)二次同行评议预防HARKing现象。研究报告的二次同行评议是指在作者确定问题和实验方法之后即进行一次同行评议,确定是否能够“原则性接受”;待完成研究后再次进行同行评议,确定是否最终接受。二次同行评议模式要求作者在得出结果之前进行一次同行评议,防止作者知晓结果后再反推进行假设,切断了HARKing现象的形成可能,保障了学术成果的可靠性。

2017年,EuropeanJournalofNeuroscience[16]等40多种期刊表示接收注册报告类型的文章;2023年2月,Nature介绍并宣布接收注册报告类型的文章,以促进科研成果严谨性和可重复性的提升[17]。根据COS的统计数据,超过300种期刊将注册报告出版模式作为常规提交选项,或作为单个特刊的一部分[18]。

3.2 鼓励再现性论文以对已发表成果进行验证

呼吁作者对已有结果的实验进行复制和再现性研究也是保障科研成果可重复性的有效举措。再现性研究是科学研究的重要组成部分,而出版偏倚现象导致了再现性研究不受欢迎。为了改变这种现状,美国心理学协会(American Psychological Association,APA)旗下期刊TheJournalofSocialPsychology出版了特刊,邀请科研人员对社会心理学方面的重要研究成果进行复制。目前,一些出版商也推出相关政策,强调再现性研究的重要性:Elsevier旗下期刊Heliyon等不定时推出重复性实验特刊;InformationSystems则推出专门的文章类型——再现性论文,设计了再现性问题的解决方案。

单独对已发表成果进行再现性实验并撰文发表被称为再现性论文,其对科研成果可重复性保障的重要作用如下:(1)再现性论文能够对已发表的科研成果进行验证,及时切断不可重复论文的广泛流行,减少因其后继利用带来的经济损失和不良社会影响;(2)再现性论文发展的基础在于原实验提供了足够详尽的数据资料。可见,再现性论文这一形式还能够加快论文关联数据的汇交进程以及详尽研究方法报告形式的推广。

3.3 加强培训以提升期刊编辑应对可重复性问题的能力

(1)加强编辑对于可重复性问题的认知,并明确编辑在可重复性保障方面的责任。欧洲科学院联盟(All European Academies Federation, ALLEA)于2023年6月更新了《欧洲科研诚信行为准则》[20],强调了科研组织或机构应当肩负的责任,即营造良好的科研环境和氛围,提高科研人员的诚信意识,保证论文的可重复性。ICMJE认为保证论文质量是期刊编辑的重要责任[21],而可重复性则是论文质量的重要评价指标;需要加强期刊编辑对于论文可重复性的认知,明确编辑主体在学术行为中需要承担的责任,使编辑能够在推进科研成果可重复中发挥应有的作用。

(2)规范编辑处理可重复性问题的操作。期刊编辑在学术出版流程中需针对可重复性问题采取相应规范性操作。美国国际开发署(U.S. Agency for International Development,USAID)提出的科研诚信政策中提到,需要完善督查流程,防止偏见、捏造、伪造、剽窃、外部干扰、审查以及程序和信息安全性不足,以确保科学的透明性和可重复性。国际出版伦理委员会(Committee on Publication Ethics,COPE)于2017年11月推出了新的最佳实践,并详细阐释了当编辑发现论文不可重复或作者存在相关学术诚信问题时需要联系的对象以及操作流程。COPE提出的编辑操作流程被Elsevier、Wiley等出版商采用,要求旗下期刊编辑遵守。

4 提升我国科研成果可重复性的对策建议

截至2023年6月,撤稿观察数据库中所属国为中国的被撤稿论文共计1.95万篇,其中大约1.1万篇因结果不可重复而被撤稿。亟待借鉴国外学术出版界对于科研成果可重复性的保障举措,结合我国相关体系建设的发展现状,采取相应措施来提升我国科研成果的可重复性。

4.1 推进开放科学进程,加快论文关联数据汇交

开放科学的核心在于通过科研成果的开放共享,提升科学研究的透明度与公信力。我国近些年大力推进的科技期刊论文关联数据汇交工作也是开放科学的重要举措之一。在基础设施建设方面,由中国科学院计算机网络信息中心2015年自主研发的科学数据银行(ScienceDB),现已成为Springer Nature、Elsevier、Taylor &Francis等国际知名出版商推荐的通用型数据存储库,可以为其旗下上万种科技期刊提供数据存储服务。在汇交政策方面,2018年4月,国务院办公厅发布的《科学数据管理办法》中提出,“主管部门和法人单位应积极推动科学数据出版和传播工作”;部分期刊如《中国科学数据》《全球变化数据学报》都出台了明确的数据政策。在业务实践推进方面,2023年1月中国科协科学技术创新部和中国科学院计算机网络信息中心联合举办科技期刊论文关联数据汇交工作专题培训会,鼓励作者在论文发表过程中提交支撑性研究数据。

目前国内要求论文数据汇交并提供明确汇交规范的科技期刊数量较少;同时,支撑科学数据汇交并得到国际大型学术期刊出版商认可的数据存储库数量也很少。虽然我国科技界和期刊界都在不断加深对科技期刊论文数据汇交的认识,但仍然存在诸多亟待解决的问题:科学数据量大且结构复杂,期刊在数据质量控制上缺乏技术规范和普遍做法;科研人员数据共享、引用的意识和动力欠缺等,仍需加快推进数据汇交工作的宣贯和开展。

4.2 关注业界前沿举措,推进学术出版模式创新

现阶段我国对学术出版模式的创新处于实践探索阶段。在同行评议模式方面,2014年起部分期刊如《心理学报》《中国科学数据》《情报科学》等率先试点,引入开放同行评议,推出公开评审意见,提供公众评论开放等功能。此外,论文发布后,出版后同行评议(Post-Publication Peer Review)能够实现对已发表论文的学术不端检测,这也是进一步验证科研成果可重复性的重要保障。如接收部分后印本、又提供开放评议功能的预印本平台ChinaXiv等,即可实现对已发表论文的开放后评议。在新型论文类型建立方面,我国对有关预注册报告的讨论尚处于构想和科普阶段:王阳等[22]提倡以注册报告这一新型论文类型解决可重复性危机;杨卫院士提出以开放科研基础设施牵引我国开放科学治理行动,指出要开放可重复研究基础设施,鼓励科研人员发布阴性研究结果[23]。

需要加大出版模式创新力度,鼓励发表新型论文,推进开放同行评议。我国科研人员对注册报告已有较高的关注度[24],但是尚未有国内期刊接收注册报告、再现性论文等论文类型,需要出台相关期刊政策加以推进。此外,应加快建设学术社区以促进学术交流,将开放同行评议融入国家科研论文和科技信息高端交流平台的建设中,构建深入的开放交流机制,促进开放同行评议快速发展。

4.3 完善科技评价体系,促进科研观念转变

我国传统的科技评价体系主要以文献计量为主,强调期刊影响力因子、论文发表数量等量化指标,缺乏对论文内容层面的反馈。完善科技评价体系能够更加科学、准确地评价科研成果质量,促使科研人员转变相关观念。

2020年3月,科技部发布的《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》(以下简称《若干措施》)提出了“唯论文”“SCI至上”的严重负面影响,并要求打出系列“组合拳”来破除四唯(唯论文、唯职称、唯学历、唯奖项),关注真实的科研成果[25]。在《若干措施》发布之后,各相关部门要进一步制定具体的措施、规则,以切实改善学术评价体系。如新疆科技厅和兵团科技局于2022年发布了《关于破除科技评价中“唯论文”不良导向的实施方案(试行)》,提出32项具体举措。

“破四唯”的落地实施,还需要推行代表作评价制度,注重标志性成果的质量、贡献、影响,扭转不科学的评价导向[26]。以科技大数据资源建设为基础,构建学者知识库,并利用文本挖掘技术做好代表作的关联分析工作,提升评价的科学性和准确性。通过完善科技评价体系,重塑科研人员的诚信观念,加强科研诚信建设,消减由出版导向导致的可重复性危机。

5 结语

以TOP准则为框架聚焦学术出版界,从出版流程与出版导向两个维度梳理分析国际科技期刊出版商、学/协会等利益主体面对可重复性危机时提出的保障措施及实践进展,并比对国内现状,为国内学术出版机构提出方向性的参考建议。从学术出版角度应对可重复性危机,还需要结合我国科技期刊所属学科领域、出版工作实践进行具体实施路径探析,这是后继的研究方向。