审稿人学术影响力与审稿期刊匹配分析:基于Publons计量学指标

2021-12-18 02:25雷燕
传播与版权 2021年12期

[摘要]研究采集Publons医学领域977种期刊及其3758名审稿人信息,选取h指数作为审稿人学术影响力指标,期刊影响因子和平均影响因子百分位数作为期刊排名指标,分析审稿人学术影响力与审稿期刊匹配特征。结果表明,h指数较高的审稿人审稿的期刊影响因子和平均影响因子百分位数更大、经验证审稿次数越多;但h指数较低的审稿人审稿次数与发表论文篇数之比更高。这表明学术影响力较大的审稿人更可能为影响因子较高、且学科领域内排名更靠前的期刊审稿,完成的经验证审稿次数更多;而学术影响力较小的审稿人参与审稿的积极性更高。本文建议英文医学期刊编辑应根据期刊质量和h指数匹配潜在审稿人;Q3、Q4区期刊和非SCI期刊可适当增加h指数≤5、尚处于学术生涯早期,但审稿经验丰富的国际审稿人,以增加审回率。

[关键词]Publons;英文科技期刊;国际化审稿;计量学指标;h指数

同行评议有两大核心功能,即质量控制和质量改进,对期刊遴选值得发表的研究成果和作者改进论文质量至关重要[1]。实行国际化同行评议是我国英文科技期刊“走出去”的必经之路[2-3]。然而,目前我国英文科技期刊的领域知晓度、认可度、期刊论文受关注度及期刊受众的国际化程度相对较低[4],邀请国外专家审稿面临审回率低、耗时长等难题。

在传统单盲、双盲同行评议模式下,审稿人信息仅在期刊编辑部和出版商内部可见,难以开展同行评议大样本的量化研究[5]。关于我国英文科技期刊国际化同行评议的研究可分为五类。一是介绍[6-10]国外审稿模式和同行评议动态,如郜书锴[6]分析了《自然》《科学》等刊采取的审稿新举措;刘丽萍、曾群等[9-10]总结了Publons审稿人认证平台的运营模式。二是报道期刊国际化审稿经验,如葛建平、徐诺、王俊麗等[11-13]分享了拓展与维护国际审稿专家库的方法;许平等[14]阐述了国际化审稿各环节注意事项、面临困难及提高审回率的举措。三是分享[15]调动国际审稿人积极性的策略。四是探讨[13,15,16]优化匹配国际审稿人的途径,如徐晓等提出基于职称、专业,发文数量、发文期刊级别和h指数选择审稿人。五是对Publons审稿人的实证研究[17-19],如黄颖等分析了Publons审稿人工作量的影响因素,徐英朔等[18]探讨了高质量审稿意见与审稿人个体特征的关系。

综上所述,以往研究对我国英文科技期刊国际化审稿中的一般问题进行了多角度探索,然而现有研究大多限于个案分析、问卷调查、经验分享或是对Publons审稿人特征的挖掘,较少从计量学角度分析审稿人与期刊的匹配关系。期刊作为同行评议的发起者,其很少成为研究对象,而不同层次期刊国际化审稿策略的实证研究则更少。

Publons(https://publons.com/about/home/)成立于2012年,2017年6月被科睿唯安收购,发展至今已成为全球超过3 000 000审稿人展示、跟踪个人科研影响力的综合平台。其利用丰富的审稿人数据可突破单种期刊或单个出版商限制,对同行评议开展大样本实证分析[5]。为此,本文收集了Publons平台医学领域近千种期刊及其审稿人信息,比较分析不同学术影响力的审稿人审稿期刊和审稿表现差异,旨在探索不同层次英文医学期刊的国际化审稿策略,为编辑应对邀请国际审稿人存在困难的问题提供实证参考,并对我国现有同行评议研究方法进行补充。

一、资料与方法

(一)数据来源

Publons个人用户通过添加发表论文和审稿记录,在个人主页展示与之相关的计量学指标。期刊主页可展示该刊简介、研究领域、经验证的审稿数量、过去12个月为该刊审稿次数最多的8位审稿人等信息。

Publons官方合作期刊的审稿人可通过类似步骤快捷上传、认证审稿记录。而为减少偏倚,本研究选择Publons官方合作期刊及其审稿人数据为研究样本,数据采集分为三步[19]。

一是打开Publons期刊检索页面,研究领域选择“医学”,并勾选“Publons官方合作期刊”按钮的参照文献[5]将期刊按过去“12个月经验证审稿次数”降序排列。排名1000以后的期刊过去12个月经验证审稿次数较少(均少于50次),因此研究选择前1000种期刊。

二是为收集最新数据,确保审稿人样本具有代表性,研究选择所选期刊在其Publons主页展示的过去12个月为该刊审稿次数最多的8位审稿人,预计8000名。

三是收集所选每位审稿人在其Publons个人主页公开展示的数据,包括h指数、经验证审稿次数、过去12个月经验证审稿次数、审稿次数与发表论文比。由于Publons允许用户隐藏信息,部分审稿人数据有缺项。

根据Publons说明[20],经验证审稿次数、h指数等计量学指标由Publons后台基于审稿人添加的已发表论文和Web of Science(WoS)核心合集的数据自动生成,即用户实际发表但未添加的论文及其被引频次不参与计算,部分指标可能比WoS核心合集的实际值小。各指标解释如下[20-21]。

(1)h指数:基于审稿人添加的已发表论文和WoS核心合集数据,Publons计算所得h指数。

(2)经验证审稿次数:审稿人完成并经Publons认证的总审稿次数。

(3)过去12个月经验证审稿次数:过去12个月内(2019年2月11日—17日至2020年2月11日—17日)审稿人完成并经Publons认证的全部审稿次数。

(4)审稿次数与发表论文比:审稿人审稿总次数(包括未经验证的审稿次数)与其添加的已发表论文篇数的比值。

其中,(1)反映审稿人学术影响力,值越大,影响力越大;(2)(3)(4)反映审稿人审稿活动特征,其中(2)(3)值越大,经验证审稿次数越多;(4)值越大,说明审稿占审稿人学术活动的比重越大,即其审稿积极性越高。

另外,本研究选择期刊影响因子(Impact Factor,即IF)和平均影响因子百分位数(Average Journal Impact Factor Percentile,即AJIFP)作为审稿期刊排名指标,原因如下。首先,IF是目前最常用的期刊排名指标;其次,本研究所选“医学”领域覆盖了59个具体学科[22],AJIFP作为标准化指标可用于跨学科期刊的排名比较。其中AJIFP值<25、25~50、50~75 和>75分别对应Q4、Q3、Q2和Q1区期刊。

所有期刊IF、AJIFP从Incites Journal CitationReports(JCR)获取。考虑本文采集的审稿记录完成于2020年2月数据采集之前,当时2019年的JCR尚未发布,因此参照文献[23],IF和AJIFP取2016—2018年的3年平均值,即2017、2018、2019年6月发布的数据,而被JCR收录2年的期刊取其2年平均值,3年中仅1年被JCR收录则取当年值,近3年均未被JCR收录的期刊则视作非SCI期刊。

综上所述,本研究所选样本覆盖了Publons医学领域所有审稿较活跃的期刊和审稿人,4项计量学指标能全面反映审稿人学术影响力、审稿期刊的质量和审稿活动特征,具有较好的代表性。本研究为系列研究的一部分,由于数据量庞大,数据采集耗时1周,时间为2020年2月11日—2月17日。

(二)分组依据

h指数被认为是科研人员学术影响力最重要的指标[24],也是医学期刊编辑通过检索数据库寻找审稿人最易获取的计量学指标。因此,本文将h指数作为审稿人学术影响力指标。

研究将入选审稿人按h指数第一(lower quartile)、第二(middle quartile)、第三(upper quartile)四分位数为界值分4组,即以h指数从小到大排列后的第25%(P25),第50%(P50),第75%(P75)的数值,将审稿人按照学术影响力从小到大分组,第一组h指数≤P25,P25<第二组h值≤P50,P50<第三组h值≤P75,第四组h值>P75,比较各组审稿人审稿期刊排名和审稿活动特征。

(三)统计分析

数据分析采用SPSS 26.0软件,经Shapiro-Wilk正态性检验,所有计量学指标均为非正态分布,用中位数(四分位间距)[P50(P25,P75)]表示,组间两两比较采用 Bonferroni校正法检验,变量与h指数的相关性采用斯皮尔曼(Spearman)秩相关检验。P<0.05为差异有统计学意义。

二、结果

(一)入选审稿人及审稿期刊的一般特征

剔除3种无效期刊数据,初步采集997种期刊,7976名审稿人。由于发表论文篇数为0的审稿人多项重要指标缺失,且Publons允许用户隐藏部分指标,设置审稿人纳入条件为发表论文篇数不为0,且h指数不为空白。

最终,纳入3758名审稿人和977种期刊(有至少1位审稿人被纳入分析),其中259种期刊为非SCI期刊。26.18%(984/3758)的审稿人审稿期刊为非SCI期刊,缺失审稿期刊IF、AJIFP,但因缺失少于样本量的30%,则不处理。

(二)审稿人分组情况

审稿人分为4组:第1组,h指数≤5;第2组,5<h指数≤11;第3组,11<h指数≤21;第4组,21<h指数≤214。4组审稿人计量学指标比较结果见表1。

(三)审稿期刊排名比较

如表1所示,1—4组审稿期刊影响因子中位数分别为1.99(1.39,2.72),2.28(1.60,3.14),2.53(1.84,3.56),3.00(2.12,4.37),各组间比较,差异均有统计学意义(P均<0.001)。第1组(h指数≤5)审稿期刊IF<2的审稿人占67.30%,而第4组(21<h指数≤214)只占39.73%;第1组审稿期刊IF>4的审稿人仅占5.45%,但第4组占23.33%,见表2。

1—4组审稿期刊的AJIFP中位数分别是49.25(30.02,68.71),54.68(35.80,72.16),59.50(40.86,79.59),67.79(47.32,83.50),组间两两比较,差异均有统计学意义(P均<0.001)。第1组(h指数≤5)为Q3、Q4区(即AJIFP<50)和非SCI期刊审稿的人占多数(67.09%);而第4组为Q1、Q2区期刊(即AJIFP大于50)审稿的人更多,占56.70%,见表3。

可见,h指数≤5的审稿人为IF<2的期刊、Q3、Q4区期刊和非SCI期刊审稿更多,而h指数>21的审稿人为IF>2的期刊和Q1、Q2区期刊审稿更多。

(四)审稿活动特征比较

经验证审稿次数是审稿人较长时间审稿活动的积累,而过去12个月经验证审稿次数则反映其审稿情况。1—4组审稿人经验证审稿次数、过去12个月经验证审稿次数均显著递增,各组间比较,其差异有统计学意义(P<0.001或0.05)。第1组大部分审稿人(57.7%)经验证审稿次数少于20次,第2—4组则大部分多于20次(分别占比63.10%,73.10%和81.40%)。第1组大部分过去12个月经验证审稿次数少于12次(67.80%),第2—4组则分别有53.80%,59.80%,68.70%的审稿人过去12个月经验证审稿次数多于12次。

然而,1—4组审稿次数与发表论文比呈逐渐递减趋势,且各组間比较差异均有统计学意义(P均<0.001)。第1组(h指数≤5)该比值中位数为1.5(0.67,3.24);而第4组(21<h指数≤214)中位数为0.44(0.14,1.08)。第1组该比值≥1,即审稿次数多于发表论文篇数的审稿人占73.70%,第4组则只占27.20%。

(五)相关性分析

斯皮尔曼秩相关性检验结果显示:h指数与审稿期刊IF、AJIFP、经验证审稿次数、过去12个月经验证审稿次数均为正相关,但和审稿次数与发表论文比负相关(P均<0.001),结果见表4。这说明审稿人h指数越大,审稿期刊IF越高,该刊在本学科领域期刊中排名更靠前,且长期和近一年的经验证审稿均次数更多,但审稿人审稿积极性更低。

三、讨论

本研究突破单盲、双盲同行评议模式下,审稿人信息仅对期刊编辑部和出版商可见的限制,采集了Publons医学领域大量期刊及其審稿人信息,揭示了现实中审稿人与审稿期刊匹配及其审稿活动特征,为今后我国同行评议研究提供了新思路。

h指数是体现科研人员学术影响力深度和广度的重要计量学指标[24-25]。医学期刊编辑在WoS和Scopus等数据库也可轻松获取科研人员h指数。因此,本研究结果对我国英文医学期刊国际化审稿具有较强的实践指导意义。

结果表明,学术影响力较大的审稿人,审稿期刊IF更高,且在本学科领域中排名更靠前,经验证审稿次数也更多,但学术影响力较小的审稿人审稿积极性更高。h指数≤5的审稿人为IF<2的期刊,Q3、Q4区和非SCI期刊审稿更多,而h指数>21的审稿人为IF>2的期刊和Q1、Q2区期刊审稿更多。

(一)学术影响力较大的审稿人更可能为排名靠前的期刊审稿

学术影响力较大的审稿人为排名靠前的期刊审稿更多,这与Ortega、Warne等的研究结果一致[21,26]。一方面,排名靠前的期刊对论文的新颖性、创新性要求更高,要求审稿人更注重论文的理论贡献程度、方法学验证和开创性内容[1],编辑需要邀请资深专家审稿。另一方面,成为优秀期刊审稿人被看作荣誉,与排名靠前的期刊编辑互动也被审稿人认为获益更多[26],且优秀期刊送审论文质量较好,审稿人更愿意审稿。

结果还显示,学术影响力较大的审稿人较长时间和近期一年的经验证审稿次数均更多,这可能和他们更受期刊编辑青睐,收到的审稿邀请较多有关。调查显示[27],30%的资深专家认为收到的审稿邀请过多。

当然,对论文的兴趣、期刊声誉、审稿回报等众多社会心理因素也会影响审稿人是否愿意审稿[28-31]。排除其他因素,编辑选择审稿人需综合考虑其学术影响力和可得性,根据期刊质量匹配审稿人。Q1、Q2区期刊或IF>2的医学期刊可尝试邀请h指数>21的审稿人,而非SCI期刊、IF<2或Q3、Q4区期刊邀请h指数≤5的审稿人,以增加审回率。

(二)学术影响力较低的审稿人参与审稿更积极

本研究结果表明,审稿人“审稿次数与发表论文比”随学术影响力上升而变小。原因分析如下。一是Publons“审稿次数与发表论文比”,计入的审稿次数与论文篇数为审稿人迄今完成的全部审稿和已发表的所有论文。审稿容易遗漏,论文却可回溯。因此,通常学术影响力较大的审稿人工作年限长,Publons这一比值有可能比实际值小。二是学术影响力较低的审稿人审稿积极性更高。Pomponi对Publons Top Reviewers的分析显示[5],总被引频次不高、论文产出较少的审稿人完成了大量审稿。对Publons医学领域审稿人的分析也显示[32],24.80%审稿人以第一作者发表论文数≤10篇,20%审稿人在WoS发表论文数篇为0;在250人中仅有59位审稿人学术生涯年限大于10年。由此可见,部分处于学术生涯早期的审稿人,其审稿次数远远超过发表论文篇数,审稿次数与发表论文篇数比值较高,审稿十分积极。

根据Rodríguez-Bravo的研究[33],处于学术生涯早期的科研人员比资深专家审稿更勤勉,发回审稿意见速度更快、内容更长。Glonti等[34]的调查也表明,高质量审稿意见很多来自学术生涯早期的科研人员。徐英朔的分析则显示[18],完成高质量审稿意见的数量与是否为高被引科学家之间没有显著的相关关系,但与完成的经验证审稿次数显著正相关。可见,尚处于学术生涯早期,但审稿经验丰富的审稿人可以成为优质审稿人。

(三)建议与小结

我国英文医学期刊编辑应根据期刊水平寻找潜在审稿人,以近期为本刊发回优秀审稿意见专家的平均h指数来确定一段时期邀请审稿人的大致标准,并根据期刊发展状况及时调整;Q3、Q4区期刊和非SCI期刊则可适当增加h指数≤5、尚处于学术生涯早期,但审稿经验丰富的国际审稿人,以增加审回率。

本研究存在一定局限性。如采集分析的计量学指标为Publons计算所得,可能比实际值小;另外,数据虽然客观,但是审稿人接受邀请并完成审稿的过程受诸多因素影响。今后笔者将纳入更多中国期刊样本并对审稿人的更多特征进行分析,以期为我国英文医学期刊实现国际化审稿提供策略建议。

[参考文献]

[1]Seeber M.How do journals of different rank instruct peer reviewers? Reviewer guidelines in the field of management[J].Scientometrics,2020(03):1387-1405.

[2]关琳琳,王长林,刘珍.英文学术期刊国际化同行评审的实践与思考:以《International Journal of Digital Earth》为例[J].编辑学报,2018(06):636-639.

[3]王晴,袁鹤.新形势下科技期刊发展路径:基于教育部、科技部印发的两文件的思考[J].编辑学报,2020(02):128-131.

[4]黄崑,陈哲,郝希嘉,等.我国英文科技期刊的国际声誉调查研究[J].科技与出版,2021(03):164-170.

[5]Pomponi F,D’ Amico B,Rye T.Who is likely peer-reviewing your papers? A partial insight into the world’s top reviewers[J].Publications,2019(01): 15.

[6]郜书锴.国际顶级期刊审稿新举措的观察与分析:基于《自然》与《科学》的案例报告[J].出版发行研究,2016(05):83-85.

[7]张以民.国际著名科技期刊审稿政策探讨:以《美国科学院院刊》(PNAS)為例[J].科技情报开发与经济,2011(02):135-136.

[8]常唯,曹会聪,曹金,等.国际科技期刊同行评议的实践与特点[J]. 中国科技期刊研究,2016(01):10-17.

[9]刘丽萍,刘春丽.Publons管理模式对我国同行评审制度的启示[J].中国科技期刊研究,2018(07):685-690.

[10]曾群.Publons对传统审稿模式的改变[J].科技与出版,2018(05):60-64.

[11]葛建平,徐晓,张丽辉,等.国际审稿专家库的拓展与维护给期刊发展的启示:以《中国航空学报》(英文版)为例[J].编辑学报,2015(05):485-487.

[12]徐诺,程利冬,苗秀芝,等.科技期刊调动审稿专家积极性的途径:以材料领域国际知名期刊为例[J].编辑学报,2016(S1):27-29.

[13]王俊丽,郭焕芳,郑爱莲.英文科技期刊遴选审稿专家的途径与原则:以《中国化学快报》为例[J].中国科技期刊研究,2015(04):351-354.

[14]许平,严慧,项磊,等.国内英文科技期刊国际化审稿实践的探讨:以Plasma Science and Technology为例[J].中国科技期刊研究,2017(04):312-319.

[15]张丹.论英文科技期刊优秀审稿人队伍的培养[J].编辑学报,2019(05):582-585.

[16]徐晓,孔琪颖,蔡斐.科技期刊编辑如何快速有效地邀请国际审稿专家[J].编辑学报,2011(S1):61-63.

[17]黄颖,吴其达,宗乾进,等.审稿人工作量的影响因素研究:基于对Publons Top Reviewers个体特征的实证分析[J].中国科技期刊研究,2019(09):956-961.

[18]徐英朔,程媛,宗乾进,等.高质量的审稿意见与审稿人个体特征的关系:基于对Publons Top Revie-wers的实证分析[J].中国科技期刊研究,2021(02):199-205.

[19]雷燕.英文科技期刊学术影响力与审稿人学术及审稿表现关系研究与启示:Publons医学领域期刊实证分析[J].中国科技期刊研究,2021(02):206-213.

[20]What is the metrics page on my profile? [EB/OL].(2021-10-02)[2021-10-02].https://publons.freshdesk.com/support/solutions/articles/12000081221-what-is-the-metrics-page-on-my-profile-).

[21]Ortega JL.Are peer-review activities related to reviewer bibliometric performance? A scientometric analysis of Publons[J].Scientometrics,2017(02): 947-962.

[22]Categories by Group,Journal Citation Reports[EB/OL].[2021-10-02].http://jcr-clarivate-com-s.webvpn.hainmc.edu.cn:8118/jcr/browse-categories.

[23]Gaston TE,Ounsworth F,Senders T,et al.Factors affecting journal submission numbers:Impact factor and peer review reputation[J].Learned Publishing,2020(02):154-162.

[24]Hirsch JE.An index to quantify an individual’ s scientific research output[J]. Proceedings of the National Academy of Sciences of the United States of America(PNAS),2005(46):16569-16572.

[25]刘德敏,徐永红,庞立,等.学术论文发表过程中的团队作用[J].科技与出版,2017(02):94-96.

[26]Warne V.Rewarding reviewers:sense or sensibility? A Wiley study explained[J]. Learned Publishing,2016(01):41-50.

[27]Peer Review Motivations Report 2020[EB/OL].[2021-10-02].https://ioppublishing.org/peer-review-survey-insights/.

[28]Willis M.Why do peer reviewers decline to review manuscripts? A study of reviewer invitation responses[J].Learned Publishing,2016(01):5-7.

[29]Tite L,Schroter S.Why do peer reviewers decline to review? A survey[J]. Journal of Epidemiology Community Health,2007(01):9-12.

[30]Gaston T,Smart P.What influences the regional diversity of reviewers:A study of medical and agricultural/biological sciences journals[J].Learned Publishing,2018(03):189-197.

[31]Albert AYK, Gow JL, Cobra A, et al. Is it becomingharder to secure reviewers for peer review? A test with data from five ecology journals[J].Research Integrity and Peer Review,2016(01):14.

[32]雷燕. Publons審稿人特征给我国英文医学期刊国际化审稿的启示[J]. 中国科技期刊研究,2020(09):1009-1016.

[33]Rodríguez-Bravo B, Nicholas D, Herman E, et al. Peer review:The experience and views of early career researchers[J].Learned Publishing,2017(04):269-277.

[34]Glonti K,Boutron I,Moher D,et al. Journal editors’ perspectives on the roles and tasks of peer reviewers in biomedical journals:a qualitative study[J].BMJ Open,2019(11):e033421.