同行评议参与者角色信息关联测度研究

■贺 颖 秦铭霞

天津师范大学管理学院，天津市西青区宾水道393号 300387

同行评议是科学评价过程中采用的最重要、最普遍的方式，在论文评审、基金遴选、职称评定、学术荣誉等科学评价活动中都被广泛采用。通过同行专家间的定性审核来保障发表成果的创新性、科学性和真实性。随着开放科学和开放数据等“开放”科学概念的提出，开放同行评议成为国外学术界近几年大力提倡的同行评议新模式。开放同行评议环境下更加重视对审稿人贡献的认可，公开审稿人姓名以及评审报告是对审稿人贡献认可的一种表现形式。

在此背景下，专注于同行评议的Publons平台迅速发展，为研究审稿人工作提供了新思路。Publons是2012年由Andrew Preston和Daniel Johnston共同创办的一个专门用来对审稿人贡献进行认证的平台，2017年被科睿唯安收购。Publons以第三方认证的方式记录审稿专家的审稿行为，加强了作者、期刊和审稿人之间的联系，使优秀审稿人获得学术界的公开认可，同时也加速了开放同行评议的发展。

国外对Publons的数据已有较多研究：如Raoult[1]利用Publons平台的审稿数据，分析科研人员应承担的审稿量；Pomponi等[2]统计了Publons中250位经验证审稿次数最多的审稿人的地理分布及计量学指标特征；Ortega[3]认为Publons中记录审稿人的审稿数量是审稿人在同行评议过程中所承担的工作量，是审稿人对学术共同体的贡献[4]。国内学者黄颖等[5]从Publons平台中获取审稿人的审稿行为数据进行研究，探索了审稿人工作量的影响因素；刘丽萍和刘春丽[6]分析Publons平台审稿人贡献的认可方式及评价标准，以提高我国对审稿人贡献的认可度，而且Publons的这些记录可以按学科类别统计审稿人的审稿数量，进而能够将审稿人的学术贡献显性化[7]；曾群[8]认为Publons模式为我国期刊审稿体制改革提出了新的思路，为探寻第三方审稿模式提供了借鉴；黄历[9]认为Publons可以使审稿人的劳动成果获得认可，有利于调动审稿人的审稿积极性，使更多的专家参加同行评议。

审稿人除了审稿工作，还有其本职的科研工作，有的审稿人同时还是期刊的编委会成员，承担学术编辑的工作。Publons数据能否展示出同行评议参与者不同工作状态及特征？不同工作状态之间的关联性如何？审稿人如何平衡不同工作状态，怎样达到高质量同行评议？ 本研究在理论方面根据社会学中角色理论，研究同行评议参与者的角色扮演与角色转换，以及测度不同角色信息关联与差距，通过角色建设来纠正和缩小角色差距，提高同行评议质量；在实践方面希冀利用Publons数据做实证分析，用数据拟合同行评议参与者角色信息关联模型，测度角色信息关联，为高质量同行评议提出对策与建议。

1 研究问题

1.1 相关概念——角色转换

角色(Role)源于戏剧，原意是指演员在戏剧舞台上根据剧本扮演的某个特定人物。1935年，符号互动论创始人米德将其引入社会心理学研究，使“角色”成为社会心理学重要概念之一。米德认为，每个人都是各自承担的各种角色的总和，而这些角色的要求和规范代表了社会对占有某个地位或承担某些责任的人的期望[10]。当某个社会成员具备了充当某种角色的条件，担任起该角色，并按这一角色的行为规范和要求去活动时，就开始了社会角色的扮演[11]。社会学家普遍认为角色扮演分为三个阶段：角色期待、角色领悟与角色实践。每一阶段由于认知上的差别，往往会产生偏差，这种偏差就是“角色差距”。为了纠正或缩小这种角色差距，就必须进行正确的“角色建设”。所谓角色建设，主要是指“角色规范建设，由社会确立符合社会期望的角色行为规范，并使之内化为社会成员认同的个体行为准则”[12]。在社会化的过程中个体要不断地扮演或转换各种角色，简单地说，就是新旧角色的转换、更替。角色转换是指个体因社会任务和职业生涯的变迁，从一个角色进入另一个角色的过程，其根本的变化是社会权利和义务的变化。在角色转换过程中，会出现角色差距和角色冲突，这需要角色建设来化解，因此，角色转换过程中角色建设尤为重要。

1.2 研究目标

同行评议参与者扮演着科研角色、评审角色和学术编辑角色，这三种角色的产生和存在是客观的，是同行评议发展的需要，因此需要客观地看待和理解所扮演角色的职能和期望。比如对于科研角色，会有科研专长、学术水准、创新意识等角色期望；对于评审角色，要求明晰评审工作的神圣职责，发挥科研专长，在评审中应做到公平、公正，守好学术界的大门；对于学术编辑角色，要求具备专业功底、选题策划与筹备组织能力等。

同行评议参与者的三种角色自身就有不同的期望、领悟和实践，这会产生角色差距，而三种角色之间的转换过程是从不同角色的退出与进入另一个角色的过程，这更会导致角色差距。本文利用实证法对Publons同行评议奖的数据进行分析，研究同行评议参与者在角色转换过程中的角色信息关联，测度角色之间的差距，研究高质量同行评议的角色建设问题，为提高同行评议质量提供理论依据与对策建议。

2 研究设计

2.1 研究思路

本研究基于所收集的数据和提取的指标，采用探索性因子分析法提取同行评议参与者所承担的角色，然后构建同行评议参与者角色转换假设模型，最后采用结构方程拟合和修正同行评议参与者不同角色之间的关联信息，以关联度的大小来测度角色之间的差距，说明不同角色建设的难易程度。

2.2 数据来源

Publons创立于2012年，致力于通过利用同行评议来加速科学发展。截至2021年2月，在Publons中注册的审稿人数量已超过290万。Publons作为全球最大的同行评议平台，在每年9月份的同行评议周都会颁布前一年的“Publons同行评议奖”，即评选出在22个“基本科学指标”(Essential Science Indicators，ESI)研究领域中评论排名前1%的审稿人。每年一次的Publons Top Reviewers评选，让审稿活动变得更有价值[13]，也有利于审稿人影响力的形成[14]。

本研究针对Top 1% in Each Field这一奖项中的交叉学科领域(Cross-Field)进行研究，原因如下：由于各学科性质迥异，不同学科同行评议参与者数量、层次各不相同，特定学科的研究结果对不同领域期刊的同行评议参与者的指导作用有限。交叉学科的审稿人是在不同ESI研究领域中进行多次审稿的专家，知识面广，审稿经验自然丰富，且具有较强的代表性。笔者从2019年Top 1% in Cross-Field网页(https://publons.com/awards/peer-review/2019/)，获取审稿人姓名、单位、研究领域数量等基本信息，然后依次获取该审稿人的审稿记录、论文发表记录等描述同行评议参与者角色特征信息的原始数据。基于网络爬取的3079条数据，并对原始数据进行处理，抽取出11个指标，如表1所示。

表1 抽取指标的具体说明

2.3 研究方法

2.3.1 因子分析

因子分析(Factor Analysis)法是指从研究指标相关矩阵内部的依赖关系出发，把一些信息重叠、具有错综复杂关系的变量归纳为少数几个不相关的综合因子的一种多元统计方法。基本思想是：根据相关性大小对变量进行分组，使得同组内的变量之间相关性较高，但不同组的变量不相关或相关性较低，每组变量代表一个基本结构，即公共因子。

2.3.2 结构方程

结构方程模型(Structural Equation Modeling，SEM)是建立在回归模型(Regression Model)的基础上，针对潜变量(Latent Variable)的理论模型检验统计方法。与传统统计方法相比，结构方程模型的优势在于：(1)进行探索性因素分析，完善变量结构的探讨，解决了相关、回归和路径分析等常用统计方法的不足；(2)允许自变量及因变量含测量误差，能同时处理变量内部之间错综复杂的结构关系，并建立变量间的关系，特别是因果关系，这是过去所有相关范式研究难于达到的技术高度。

3 实证分析

3.1 角色提取

使用因子分析法对收集的数据和提取的指标进行分析，提炼出同行评议参与者的角色特征。使用主成分分析法提取出4个公因子，并利用方差极大化旋转，使得4个提取出的公因子达到最佳可解释力度，如表2所示。

表2 角色提取与对应变量

从表2可以看出，总被引频次、平均每年被引、h指数、发文量、平均每年被引这5个指标描述的是同行评议参与者的学术科研能力，因此，将公因子1命名为科研角色(Researcher)，其特征根为3.70，贡献率为33.63%，皆为4个公因子中的最高值，说明对同行评议参与者科研能力和专业水准的要求是最基本、也是至关重要的，揭示出科研角色是其他角色扮演的基础。过去一年被认证评论和被认证评论这2个指标是描述同行评议参与者在审稿过程中所作贡献的量化结果，因此，将公因子2命名为评审角色(Reviewer)，特征值为1.71，贡献率为15.55%。审稿发文比这一指标描述的是同行评议参与者的审稿量与发文量的关系，因此，将公因子3命名为审稿对自身科研的影响(Influence)，特征值为1.21，贡献率为10.98%，此值较大，并足以自成一个公因子，说明审稿明显影响科研，但是正向影响还是负向影响，还需要进一步研究。担任期刊编委的数量、研究领域数量和被认证编辑记录这3个指标描述的是同行评议参与者的编辑职能，因此，将公因子4命名为编辑角色(Editor)，特征值为1.03，贡献率为9.39%。

3.2 假设模型

将最终形成的4个公因子作为4个潜在变量，并与对应的11个观测指标列表观察，见表3。

表3 潜在变量及其对应的观测变量

由以往的研究成果可知：(1)科研角色、评审角色及编辑角色三者之间具有一定联系，笔者假设三者之间具有相互促进的积极影响；(2)“审稿对自身科研的影响”与同行评议参与者所扮演的三个角色具有一定相关性。

因此笔者做出相应假设，如下：

H1: Researcher对Reviewer有显著的正向影响。

H2: Researcher对Editor有显著的正向影响。

H3: Researcher对Influence有显著的正向影响。

H4: Reviewer对Editor有显著的正向影响。

H5: Reviewer对Influence有显著的正向影响。

H6: Editor对Influence有显著的正向影响。

将同行评议中的4个角色和相应假设用图形结合，构建同行评议参与者角色关联假设模型，具体如图1所示。

图1 同行评议参与者角色信息关联假设模型

3.3 结果

将收集的数据导入假设模型，采用AMOS 23软件进行计算、绘图，得到同行评议参与者角色信息关联初始模型，经过不断调整修正，最终得到图2所示的同行评议参与者角色信息关联修正模型，其中e1～e11为相应的误差变量。

图2 同行评议参与者角色信息关联修正模型

3.4 分析

3.4.1 科研角色

“科研角色”对“评审角色”“编辑角色”和“审稿对自身科研的影响”3个变量都有显著性影响，关联系数分别为0.22、0.23、-0.08，说明假设H1、H2成立，假设H3不成立。其中，“科研角色”和“审稿对自身科研的影响”之间呈现负的弱相关，说明审稿工作会分散科研工作者的部分精力，对科研工作者的自身科研有微弱的负向影响。“科研角色”包括发文量、总被引频次、h指数、平均每项被引、平均每年被引，这些信息行为特征指标越高，表明科研工作者的学术能力越强，拥有较高学术能力的科研工作者对“编辑角色”和“评审角色”都有积极作用，会直接影响其在担任这些角色时所呈现的能力。

角色转换是从旧角色退出，进入新角色，不同角色的转换通常会存在一定的差距。为了纠正或缩小这种角色差距，通常会进行相应的“角色建设”，这就需要提前熟知每个角色的特点，弄清角色之间的异同，调整好心态，克服角色转换过程中产生的困难。同行评议参与者的“科研角色”在转换为“评审角色”和“编辑角色”时，其角色转换的关联系数分别是0.22和0.23，存在弱关联。关联系数的大小说明了进行角色转换的难易程度，关联度越弱，角色转换难度越大，越需要角色建设。比如，从“科研角色”转为“评审角色”时需要知道合格的评审者需要具备哪些素质，如何进行高质量同行评议；从“科研角色”转为“编辑角色”时，则需要有策划选题、组稿、组织开发、审校和质量控制能力。

3.4.2 评审角色

“评审角色”包括被认证评论和过去一年被认证评论，这两个角色信息特征指标越高，说明“评审角色”的经验越丰富。“评审角色”与“科研角色”“编辑角色”的关联系数为0.22和0.46，说明假设H4成立。

“评审角色”与“编辑角色”的角色关联度最大，两者有相互的积极作用，也印证了在同行评议中，评审者与学术编辑都对稿件具有质量控制的责任，对稿件评价的视角与观点较为相近，同时评审意见也左右着学术编辑的选择。评审者在同行评议中贡献越多，在学术圈内具有越高的权威，便越容易获得“学术编辑”这一角色。在“评审角色”向“编辑角色”转换的过程中，所需要的角色建设难度相对较低，需要提升项目组织实施、内容筹划、协调组织等能力。“评审角色”强调学术守门人的质量控制作用，而“科研角色”更强调学术自由与创新，因此由“评审角色”向“科研角色”转换时，角色建设更多地表现为学术自由与创新。同时，由于“评审角色”能接触到很多学术前沿和热点，因此也给“科研角色”更多研究视角和助力。

3.4.3 编辑角色

本文所说的“编辑角色”并非指期刊文字编辑，而是指学术编辑。学术编辑既是文稿涉及研究领域的专家，又具有专业的编辑技能，他们是期刊学术文稿的第一读者和编者，因此他们应是某学科的学者、专家及作者，才可能完成学术编辑的编稿任务[15]。学术编辑对判断和把握文章质量起到至关重要的作用，科技期刊的学术质量在很大程度上取决于学术编辑的综合素养[16]。学术编辑多重角色的素养是职业的要求和历练，学术编辑角色有时会与科研角色和评审角色重合，而评审角色本身有时又与科研角色重合，因此，相对于科研角色和评审角色，学术编辑角色更关注学术的宏观层面及不同学术观点的交锋点和展现。

“编辑角色”由被认证编辑记录、研究领域数量、担任期刊编委的数量这三个角色信息特征指标构成，其特征值比其他两个角色的特征值要低。“编辑角色”与“审稿对自身科研的影响”的相关系数为0，说明二者没有相关性，因此假设H6不成立。“编辑角色”对“评审角色”的关联系数为0.46，是三个角色关联信息中相关性最强的，说明担任过“编辑角色”的审稿人，其评审视角、内容及格式会更为规范，从学术编辑到评审者的角色建设难度相对较低，学术编辑对稿件进行初审，其工作性质偏重学科资源策划、内容筹备等组织工作，而评审者更偏重稿件内容的学术质量把控。“编辑角色”所具有的学科资源规划、内容筹划、校审等工作能力，以及经常接触学术前沿和热点，对“科研角色”具有积极的促进作用。从“编辑角色”向“科研角色”转换时，角色建设更多地表现为从学科内容宏观筹划转为细分领域内的微观研究。

3.4.4 评审对科研的影响

来自“审稿发文比”这一特征指标的潜在变量“审稿对自身对科研的影响”，与“科研角色”的关联系数为-0.08，呈微弱负相关，与“评审角色”的关联系数为0.10，呈微弱正相关，说明假设H5成立。“审稿发文比”中评审数量与发文量成反比关系，揭示了并非评审数量越多，越有利于科研工作，这是因为评审工作需要花费很多时间和精力，因此，在科研人员时间和精力有限的情况下，评审数量应控制在一定范围内，才能起到“评审角色”与“科研角色”相互促进的双赢作用。

4 结论与展望

4.1 结论

4.1.1 鼓励学者参与审稿，根据精力适当审稿

目前，已有越来越多的学者积极地参与到国际审稿活动中，但还有大部分学者更注重论文发表、课题申请等科研活动，鲜少参与到审稿工作中。针对这种现象，应该采取一些激励措施让更多的学者参与审稿，比如宣传审稿为学者带来的学术益处、给予审稿人一定的经济和荣誉奖励等。审稿可使学者接触更多该专业的学术前沿成果，了解更多学术热点，扩展自身知识领域，提升自己的科研能力，同时，也为同行评议工作减轻负担，提高同行评议的工作效率。因此，建议学者根据自身的科研能力、时间安排，承担适当的评审工作，并协调好科研与评审之间的关系，做到彼此兼顾、共促双赢。

4.1.2 鼓励扮演不同学术角色，促进自身科研水平提升

作为学者，不应局限于学术研究，也应多在学术研究领域承担不同角色，体会不同角色间的异同。学者承担评审工作与学术编辑工作，不仅可以了解学术前沿、增加与同行交流的机会，还有助于自身论文写作水平的提升。促进学者对审稿和学术编辑角色的认识和实践，为学术研究积累经验，为学术界作出贡献，同时也进一步提高自身科研水平，形成良性循环，逐步构建高质量同行评议体系，推动学科领域快速向前发展。

4.1.3 鼓励审稿经验共享，提高学者审稿水平

许多学者不参与审稿的原因除了忙于自己的学术研究，也有不少学者是因为不知道如何审稿。尤其是青年学者，他们是未来科研的中坚力量，有更充沛的精力专注于评审工作，但大多数青年学者没有审稿经验，不知如何入手。对此，Publons提供了一些网络课程，教授如何审稿。但笔者认为网络课程只是一个模板，在审稿过程中会遇到各种各样的问题，对于新手的年轻审稿工作者并不完全适合。因此，应鼓励广大有经验的优秀审稿工作者或学术编辑分享自己的经验。前人审稿经验的分享，对后人审稿经验的积累与提升大有裨益。

4.2 展望

本文获取Publons平台2019年Global Peer Review Awards Top 1% in Cross-Field的审稿人行为特征数据，利用AMOS 23软件拟合相应的结构方程模型，并进行同行评议参与者角色信息关联测量，为角色转换和角色建设提供理论依据。由于时间和人力有限，本研究存在一定的局限性：(1)只选取了2019年Global Peer Review Awards Top 1% in Cross-Field的审稿人的特征信息作为数据源，研究对象范围有限；(2)网络爬取数据中，有一小部分学者数据不完善。本文从宏观角度进行同行评议参与者角色转换过程中角色信息关联的测度研究，今后将从微观角度对同行评议参与者角色扮演中的期望、领悟、实践阶段进行角色差距和建设研究，以实现高质量同行评议的目标。