胡绍君 秦新国
(1.徐州工程学院管理工程学院 徐州 221018;2.南京大学信息管理学院 南京 210023)
学术期刊评价方法研究是学术评价的一项重要内容。长期以来,学界一直在完善评价期刊的方法体系,尝试找到最优评价模式,当前常见的评价方法主要有以下三种:以定性评价为主的同行评价、以定量评价为主的文献计量以及由两者结合的混合法。2021年6月,中共中央宣传部、教育部、科技部联合印发了《关于推动学术期刊繁荣发展的意见》,其中明确指出要“改进完善学术期刊评价体系,以内容质量评价为中心,坚持分类评价和多元评价,完善同行评价、定性评价,防止过度使用基于‘影响因子’等指标的定量评价方法评价学术期刊特别是哲学社会科学期刊[1]”。理论上,同行评价应该是最可靠的方法[2],但人们在感知期刊质量的过程中会受到各种外部和自身因素影响,干扰其对期刊质量的准确感知,影响客观评价。因此,有必要对这些因素开展系统化的研究。
部分学者已经认识到一些因素对期刊质量同行评价的影响,并对此开展了实证工作。包括:a.曝光效应。人们对期刊的熟悉程度增强了其对期刊质量的认知[3],所以受访者对期刊熟悉度与质量感知之间存在很强相关性[4]。与不太熟悉的期刊相比,熟悉的期刊使受访者形成了有利的认知情感联系,因此会得到更高评价。b.势利效应。部分受访者评价期刊时可能倾向于高估他们发表论文的期刊,以提高或维护自己的声誉与地位,这种现象被称为“期刊势利效应”[5],并在后续的研究中得到验证[6]。c.顺序效应。包括首因效应和近因效应。Serenko证实期刊排名调查中存在着顺序效应,受访者会高估位于调查列表开头的期刊,而低估位于末尾的期刊[7]。d.刻板印象。在评价期刊时,受访者容易形成“评价惯性”,导致一旦某本期刊被列入高质量或低质量期刊列表,就很有可能继续出现在后续的或其他机构的类似列表中[8]。e.领域相关性。多数领域的受访者对他们感兴趣的本领域期刊存在偏爱现象[9],但国内学者刘宇采用单因素方差分析检验发现,受访者对图书情报学期刊学术地位的打分值没有显著受到学科偏爱的影响[10]。此外,不同地域、不同学历、不同学术阶层、不同学术经验的受访者对期刊评价可能也会不同。而且,期刊的一些特征也会影响期刊质量感知,产生心理暗示或晕轮效应,从而出现评价偏差,如期刊主办机构、创办年限、发文量、录用率等[11]。上述研究为深入剖析期刊质量同行评价方法提供了新的视野,但其中对影响因素的研究都是孤立的,往往只关注某一因素,而忽视其他因素,缺乏在同一框架下对不同因素的综合权衡,导致在评价时对影响因素的控制中顾此失彼,此消彼长,不断产生新的“短板”。同时,鉴于国内外受访者在学术环境、学科风气以及认知等方面存在差异,也有必要针对影响国内研究人员评价期刊质量的因素进行专门分析。因此,本文将以其他学者研究成果和认知心理学相关理论为基础,统筹考虑期刊质量同行评价中的各类因素的直接和间接影响,构建理论模型,开展实证分析。
在对国内外现有文献进行系统梳理的基础上,作者对25位研究人员开展了半结构化访谈。受访者采用非概率抽样方法分批邀请,以高校教师和博士生为主要群体,他们近三年均在中文学术期刊上有过丰富发文经历,对本学科的中文期刊质量有一定了解,属于各领域的活跃研究人员,有7位曾参与国内各类评价机构组织的期刊评价活动,样本有较强的典型性和代表性。访谈围绕三个问题进行:a.结合以往的投稿或期刊评价经历,您觉得哪些方面的因素会影响您对一本期刊质量的评价?b.您觉得这些影响因素之间有何关系?c.哪个(些)因素对您判断期刊质量起主要影响作用?每次访谈持续15~30分钟,经受访者许可,访谈过程进行了录音。
将转录整理后的访谈资料与文献摘录资料合并,运用扎根理论方法,借助Nvivo11.0软件辅助编码,并开展理论饱和度检验,构建期刊质量同行评价的影响因素模型框架。严格遵循扎根理论三段程序编码学派的三级编码方法,即开放式编码、主轴编码和选择性编码。为保证编码质量和内部一致性,两位作者一起编码,在认真审读材料并经过编码训练后,两人先进行了试编码,对结果进行比对并协商一致后,分别在Nvivo11.0软件正式编码。最后,为保证信效度,通过Nvivo11.0软件中的“编码比较”功能,衡量了两位编码者编码的一致程度,结果表明一致性良好。
1.1.1开放式编码
开放式编码是将访谈资料概念化和范畴化的过程。在逐字逐句阅读资料后,通过“贴标签”来正确反映原始资料内容,形成自由节点,然后不断归纳概括,共得到58个初始概念,经过进一步归纳,识别出刻板印象、投射效应等19个范畴,篇幅所限,表1仅列出对资料开放式编码的部分结果。
表1 开放式编码结果表(部分)
1.1.2主轴编码
主轴编码的主要任务是在开放式编码的基础上构建主范畴。对开放式编码形成的19个范畴进行分析比较后,发现它们之间的有机联系。经进一步归纳概括,最终形成5个主范畴:个体认知偏差、评价行为偏差、外部环境影响、信息交流障碍和评价结果偏差。部分主轴编码结果及各范畴的具体内涵如表2所示。
表2 主轴编码结果表(部分)
续表2 主轴编码结果表(部分)
1.1.3选择性编码
选择性编码是在上文主轴编码的基础上,对获得的编码信息(主范畴)开展进一步整合归纳,同时统筹处理各类范畴之间关系的过程。在这个阶段,我们从主轴编码产生的主范畴中提炼了“核心范畴”,以描绘的“故事线”为中心,分析主范畴间关系,为构建初步的理论框架打基础。
1.1.4饱和度检验
在对主要文本资料扎根分析的后期,不再出现新的构念信息。随后,对预留做饱和检验资料中获得的原始语句经过开放编码、主轴编码以及选择性编码分析后,也未发现新的有价值信息,对主范畴关系也没有起影响作用的新结构出现,故可以认为本研究编码资料已经达到理论饱和。
作者将通过扎根分析得到的期刊质量同行评价影响因素与文献分析中得到的因素进行了比较,并请两位专家帮助把关,发现通过扎根分析获得的期刊质量同行评价影响因素(主范畴)总体上涵盖了期刊质量同行评价的外部和人为因素,也包含了文献资料中曾出现那些影响因素。由此,通过本部分的研究,既验证了文献中学者的研究成果,又对本文理论抽样的饱和度进行了检验,保证了本文影响因素提取的全面性。
1.2.1直接作用假设
a.外部环境影响对个体认知偏差的直接作用。人是社会性的,环境是他们成长的外部依赖。环境可以制约人的心理和行为,并对其产生一定的导向作用,这种影响有积极的,也有消极的,潜移默化地影响了他对世界、对事物、对他人的认知,极易产生认知方面的偏差。陆伟等认为,在人们信息交互的过程中,其认知范畴或概念体系会持续地被他所处的社会环境所影响,这其中既有社会习俗和偏好方面的影响,也有依附于.不同地域的集体认知结构等方面的影响[12]。个体要得到发展就需要不断调节自我认知和行为,改善自己适应周围环境的能力,从而创造良好的生存和发展环境,所以外部环境对个体的认知偏差有着直接的影响作用。Serenko等的研究发现,领域学术权威表达的观点可能会影响其他学者对期刊质量的认知,尤其是对那些刚步入学术的研究生和初级教员。基于此,可以推断,外部环境影响越强,其对受访者个体认知偏差的影响就越大,因此可提出以下假设:
H1:外部环境影响对个体认知偏差有正向影响。
b.外部环境影响对评价行为偏差的直接作用。认知心理学理论认为,个体决策行为的产生是一个系统化的复杂信息处理过程,在这一过程中,外部的人际关系、社会环境和信息环境将会对其决策的信息源、决策依据和决策结果产生较大影响。况且,不同个体的认知能力和思维水平有着很大的差距,对外界环境的敏感程度也并不相同,这就很容易在评价决策时产生不同类型的偏差。Park等发现,人们的评价行为也可能受到来自同行的行为信息影响,甚至是支配[13]。Derrick等在研究英国评审专家对研究成果的评价时发现,评审人易受到外部环境和政治因素的影响,他们的评价决策通常会更多考虑这些因素,而不是直接利用其掌握的专业知识,这将导致他们的评价行为产生偏差[14]。在访谈中,受访者008也指出某本期刊“属于CSSCI和北大核心以及中信所期刊评价体系中的核心期刊,很大程度上就会影响我对它的评判”,这种外部机构评级很容易影响受访者对期刊质量的感知,产生评价偏差。基于此,可以推断,外部环境影响越强,其对受访者评价行为偏差的影响就越大,因此可提出以下假设:
H2:外部环境影响对评价行为偏差有正向影响。
c.外部环境影响对评价结果偏差的直接作用。作为一项社会性活动,任何评价都不可能绝对摆脱外部环境的影响,尤其在评价结果与利益相关联的时候。吴建南等以实验法探讨了利益相关性在评价活动中的影响作用,认为相比而言,那些与评价对象的利益相关性越小的评价主体所得出的评价结果更为客观一些。而根据前文分析,利益相关性是外部环境影响的重要组成部分。Ma等的研究也发现,如果一个学者因为遵守现行评价体系的“游戏规则”而获得奖励,他(她)不会想要改变现状。相反,他(她)会去尽力维护或加强现有标准的使用。仲伟民指出,基于师承、同学以及利益交换而形成的“人情”,往往直接会影响到评价的结果[15]。受访者018也指出“跟朋友、导师或一些知名学者交流时,他们对这个刊的评价,也会影响到我的评价。”基于此,可以推断,外部环境影响越强,其对评价结果偏差的影响就越大,因此可提出以下假设:
H3:外部环境影响对评价结果偏差有正向影响。
d.信息交流障碍对个体认知偏差的直接作用。受访者对期刊质量的感知和期刊实际表现间的不对称性是认知偏差产生的主要原因,而产生这种不对称性的根本原因就在于信息交流的障碍。如果受访者很少与期刊有过信息交流时,就会难以把握期刊的真实情况,出现理解性错误。而且,这种不对称性会伴随着受访者的学术经历、投稿、阅读经历和对特定期刊的熟悉程度而不断变化,产生不同程度的认知偏差,而且这种偏差会伴随信息交流障碍的增大而增大。信息交流障碍对个体认知偏差的影响在访谈中也有体现。受访者008在访谈中指出“主办机构的影响力也会存在,某期刊的主办机构如果是国家级机构,总会让人感觉质量稍微强一点”。可见,信息交流障碍产生的信息不对称性会使受访者对期刊的质量认知或感知产生偏差,而随着交流的不断深入,受访者对期刊的了解会加深,信息交流的影响障碍会逐步减少,这种认知的偏差也会减少。据此,可提出以下假设:
H4:信息交流障碍对个体认知偏差有正向影响。
e.信息交流障碍对评价行为偏差的直接作用。由于期刊用户(读者、作者、审稿人等)和期刊编辑部间缺乏有效的沟通渠道,极易产生信息交流不充分的问题。读者和作者群体是最广泛的期刊用户,除了阅读期刊所刊发文章和向期刊投稿的经历,他们接触期刊的机会很少,对期刊的稿件筛选机制、录稿标准、质量控制等并不了解。如很多研究人员会按照录用率高低来确定期刊质量,但录用率明显会受到一些因素的影响,如期刊发表的频率,每期发表的文章数量等,而且期刊的录用率也相对难以核实。这使得一些评价人员使用此类指标可能更多地依赖于印象而不是事实,这种信息障碍必然对评价行为产生直接的影响。在其他条件相似的情况下,信息交流畅通或让期刊用户接触的有利信息越多的期刊获得的正面评价可能会越多,反之,则会获得更多的负面或较低评价。基于此,可以推断,信息交流障碍越强,其对受访者评价行为偏差的影响就越大,而且这种影响是直接的,因此可提出以下假设:
H5:信息交流障碍对评价行为偏差有正向影响。
f.信息交流障碍对评价结果偏差的直接作用。信息交流是评价过程中的重要环节,如果信息交流不畅,必然直接影响评价结果。Serenko认为,期刊评价领域中专家调查方法的应用比较有利于每年发表更多文章的期刊,因为会让受访者有更多机会熟悉该期刊。Rogers等的研究指出,在一些跨学科领域,部分专家可能不熟悉某些期刊,因此他们对期刊的排名更有可能被扭曲。基于此,可以推断,信息交流障碍越强,其对评价结果偏差的影响就越大,因此可提出以下假设:
H6:信息交流障碍对评价结果偏差有正向影响。
g.个体认知偏差对评价行为偏差的直接作用。人们在认知方面产生的偏差会对行为产生影响,继而出现偏差,且行为偏差会随着认知偏差的增强而增强,二者存在正相关的关系。只要个体认知偏差存在,受访者的评价决策行为就容易产生一些非理性或不客观的现象,即评价行为偏差。李鹏认为,认知偏差会导致出现行为偏差,从而影响用户对服务质量的评价[16]。严贝妮等的研究发现,在情报分析中,个体认知偏差对行为偏差具有典型的正相关关系[17]。基于此,可以推断,受访者个体认知偏差越强,其对评价行为偏差的影响就越大,因此可提出以下假设:
H7:个体认知偏差对评价行为偏差有正向影响。
h.个体认知偏差对评价结果偏差的直接作用。认知偏差之所以会对期刊质量同行评价造成影响,主要是由于期刊质量同行评价本身就是受访者对期刊质量的感知,是一种主观心理活动的结果,而人的主观因素必然会对评价结果造成影响。Simon的“有限理性”概念指出,尽管一个人做出了理性的选择,但他可能缺乏重要的信息来帮助定义一个问题或确定相关的标准,时间和成本等因素同样限制了其可用信息的数量和质量,这些因素解释了为什么人们无法假设出一个完全理性的模型,因为其理性受到认知限制。基于此,可以推断,受访者的个体认知偏差越强,其对评价结果偏差的影响就越大,因此可提出以下假设:
H8:个体认知偏差对评价结果偏差有正向影响。
i.评价行为偏差对评价结果偏差的直接作用。Tu等的研究发现在特定期刊上发表过论文的受访者比其他受访者更有可能给该期刊打高分,即容易高估期刊质量。此前一些早期的研究也表明,尽管活跃的金融研究人员并不偏向于高估他们发文的期刊的质量,但他们偏向于低估他们没有发表的期刊的质量,同样情况在会计研究人员中也被发现。不管是高估还是低估期刊质量,都表明受访者对期刊质量的评价产生了结果偏差,而且这种偏差容易随着行为偏差的增加而增加。郑金洲也认为,人们的评价行为往往直接影响着评价结果的信度与效度[18]。基于此,可以推断,受访者的评价行为偏差越强,其对评价结果偏差的影响就越大,因此可提出以下假设:
H9:评价行为偏差对评价结果偏差有正向影响。
1.2.2中介作用假设
人们在认知方面的一系列偏差决定了行为方面的偏差,而行为方面偏差的聚集将影响评价结果,所以,评价结果往往是评价者们各种认知或行为的汇集。以认知、行为和结果等变量构成了一个有机的体系,认知偏差和行为偏差二者任何一个变量发生变化,都会使整个体系发生变化。严贝妮在研究中发现,认知偏差不仅直接影响行为偏差,还会通过行为偏差间接影响到情报分析结果[17]。期刊质量同行评价也是一个心理建构的过程,根据S-O-R理论,刺激、机体和反应三组变量本身就存在典型的中介作用关系,受访者正是在受到外部环境或信息交流的刺激后,通过机体个体认知偏差的中介作用,产生了评价行为或结果偏差的反应,同时,评价行为偏差虽然属于受访者反应变量,但也会发生中介作用,导致评价结果偏差。在访谈中,模型中的部分中介关系也得到了体现。如有受访者指出,“这本期刊每期发文数量比较多,会让人觉得它的学术审核机制不是那么严密,产生不太好的印象,对我来说,是不会给它打高分的”。这其中就有一个间接作用的过程,受访者由于看到某期刊发文数量比较多,而产生了该刊学术审核机制不是太严密的认知,最终影响对期刊的质量评价。事实上,虽然对于大多数偏见是否确实会引起次优判断尚无明确结论,但认知模式往往支配着人们的行为,而行为又决定着得到的结果。这其中,不管是个体认知偏差还是评价行为偏差都起到了重要的中介作用。基于此,可以推断,受访者的个体认知偏差和评价行为偏差在各组关系中起到了典型的中介作用,因此可提出以下假设:
H10:评价行为偏差在个体认知偏差与评价结果偏差的关系中具有中介作用。
H11:个体认知偏差在外部环境影响与评价行为偏差的关系中具有中介作用。
H12:个体认知偏差在信息交流障碍与评价行为偏差的关系中具有中介作用。
H13:个体认知偏差和评价行为偏差在外部环境影响与评价结果偏差的关系中具有中介作用。
H14:个体认知偏差和评价行为偏差在信息交流障碍与评价结果偏差的关系中具有中介作用。
S-O-R(Stimulus-Organism-Response)理论模型,又称“刺激-机体-反应”模型,该模型指出,个体易受到外界环境的影响,以其心理认知活动为中介,从而影响他的后续行为反应。衡量评价结果的重要指标就是考察得到的评价结果值与真实值之间的偶然偏差,这个偏差越小,说明评价的效果越好。所以可以评价结果偏差作为因变量,融入S-O-R模型,构建期刊质量同行评价影响因素的结构模型,如图1所示。该模型与S-O-R模型基本吻合,评价过程中的信息交流和外部环境因素,即刺激,评价者在受到外界刺激后,获取和理解期刊评价信息时会产生一系列想法,伴随个体认知偏差,主观感知与态度可能发生转变,这个中介状态即机体。在上述情况下,评价者的感知与态度转变会产生评价行为偏差,最终影响到评价结果,这一过程即反应。
图1 各影响因素间作用机制图
期刊质量同行评价影响因素模型中共包括外部环境影响、信息交流障碍、个体认知偏差、评价行为偏差和评价结果偏差五个潜变量,其中前四者是自变量,评价结果偏差是因变量。外部环境影响包括利益冲突、他人影响和人情关系三个子变量;信息交流障碍包括期刊特征、沟通交流和熟悉程度三个子变量;个体认知偏差主要包括刻板印象、晕轮效应和投射效应三个子变量;评价行为偏差包括顺序偏差、势利效应、曝光效应和锚定效应四个子变量;评价结果偏差包括创新性、规范性、专业性、重要性、影响力、吸引力六个子变量。综合各因素的关系假设,各变量间的关系包括9组直接作用假设,同时假设个体认知偏差和评价行为偏差在模型中发挥了中介作用。构建的期刊质量同行评价影响因素结构模型见图2。
图2 期刊质量同行评价的影响因素结构模型
由于模型中的各影响因素均为潜变量,数据无法直接测得,需要运用结构方程模型,构建测量模型,以弥补传统统计学方法的不足。结构方程模型(Structural Equation Modeling,简称SEM)是用于测试理论模型中观察变量与潜变量之间直接或间接关系假设的一种多变量统计方法,可以解决多元共线性问题,除了传统的显著性检验和可解释方差,它还可测试模型拟合度,估计变量残差,对复杂的变量关系提供变量及路径关系的图形化表达等。在前文构建的期刊质量同行评价影响因素模型及各变量关系假设的基础上,开发量表,设计问卷,收集调查数据,开展实证研究。量表在一定范围内开展了预测试,项目分析和信效度检验后,对个别题项进行了调整。正式量表(见表3)中所有潜
表3 正式量表的测量题项列表
变量的测量题项都采用5级量表,所采用的问卷主要由4部分构成:引导语、筛选题项、量表题项以及受访者信息采集题项。
问卷采用线上线下相结合的方式收集,共计获得719项有效样本(见表4)。
表4 正式问卷样本情况统计表
描述性统计分析主要了解各观测变量数据的分布情况,包括样本的数量、最小值、最大值、平均值、标准差、偏度和峰度几项指标,719个样本中,受访者对观测变量(题项)的打分均介于1至5分之间,各变量得分均值从3.71分到4.14分,标准差在0.639和1.037之间,总体分布较为合理。数据正态分布检验方面,所有观测变量获得数据的偏度系数绝对值都小于2,低于正态分布参考值3,峰度系数的绝对值都小于7,低于正态分布的参考值8,表明数据符合正态分布。因此,本文在后续数据处理时可以采用极大似然估计法开展结构方程模型的统计分析工作。
a.信度分析。采用Cronbach’sα指标对观测变量数据开展信度检验。运用SPSS24.0 软件的可靠性分析模块对全部观测变量的数据进行内部一致性检验,检验结果发现,各潜变量的整体Cronbach’sα值均大于0.8,表明数据具有很好的信度,可靠性比较高。
b.效度检验。继续对观测变量数据开展效度检验。收敛效度检验的是各个观测指标是否能反映同一个因素。具体的操作主要是用结构方程模型来做测量模型的验证性因子分析(CFA),计算组合信度、平均变异抽取量(AVE)等。
首先进行验证性因子分析,以外部环境影响、信息交流障碍、个体认知偏差、评价行为偏差和评价结果偏差五个因子作为潜变量,各题项数据作为观测变量,一起构造验证性因子分析模型。验证性因子分析模型是结构方程模型的特例,其拟合估计要求与结构方程模型相同。模型的卡方自由度比为2.981,小于3,GFI、AGFI、NFI、RFI、IFI、CFI等指标值均大于0.9,RMSEA=0.053<0.08,RMR=0.027<0.05,可见,CFA模型的整体拟合度良好。而且,每个题项对应因子的标准化因子载荷均大于或接近0.7。各潜变量的组合信度均大于0.8,平均变异抽取量(AVE)均大于0.5。
综合以上因子分析结果,可以认为该量表获取数据的各观测变量可以有效测量潜变量,量表的收敛效度较好。随后,验证量表的区别效度。发现测量模型中各个潜变量间的平均变异抽取量(AVE)的平方根均大于该潜变量与其他潜变量的相关系数,说明研究问卷具有良好的区别效度。
根据前文期刊质量同行评价影响因素作用机制的理论模型和关系假设,本研究构建如图3所示的结构方程模型,并通过正式问卷数据验证该模型各变量间的直接作用和中介作用关系假设。
将样本数据导入Amos24.0软件,对模型进行拟合计算,求解出外部环境影响、信息交流障碍、个体认知偏差、评价行为偏差和评价结果偏差5个潜变量间的路径系数,同时计算各潜变量与对应的观测变量间的载荷系数。最初求解的结果并不显著,可能由于路径设置或某些误差项间存在相关关系,根据软件提供的Modification Indices建议,修正了模型,使其更有解释力和现实意义。
2.4.1模型拟合结果
经过修正后,结构方程模型的各项拟合指标如表5所示。
从表5中数据可以看出,模型的卡方自由度比为2.981,小于3,GFI、AGFI、NFI、RFI、IFI、CFI等指标值均大于0.9,RMSEA=0.053<0.08,RMR=0.027<0.05,模型的整体拟合度良好,表明本文构建的期刊质量同行评价模型得到了实证数据支撑。模型中各变量的拟合路径结果见图4。
图4 结构方程模型拟合路径结果图
表5 结构方程模型最终拟合结果
图中各潜变量间的路径系数代表了一个变量对另一变量的影响程度。如评价行为偏差对评价结果偏差
的标准化路径系数是0.62,表示评价行为偏差对评价结果偏差有较强的直接影响。而外部环境影响和信息交流障碍除直接影响外,还通过个体认知偏差和评价行为偏差的间接作用对评价结果偏差产生影响。根据“总效应=直接效应+间接效应”的原则,它们对评价结果偏差的影响也会更大。潜变量与观测变量间的载荷系数表示了各观测变量对潜变量的解释程度。模型检验结果见表6。
表6 结构方程模型检验结果
2.4.2直接作用检验结果
如表6所示,外部环境影响对个体认知偏差直接作用的标准化路径系数是0.386,P<0.001,C.R.(t值)为8.153,绝对值大于1.96,表明外部环境影响对个体认知偏差有统计学意义的显著正向影响,故接受原假设,假设H1成立;外部环境影响对评价行为偏差直接作用的标准化路径系数是0.289,P<0.001,C.R.(t值)为5.349,绝对值大于1.96,表明外部环境影响对评价行为偏差有统计学意义的显著正向影响,故接受原假设,假设H2成立;外部环境影响对评价结果偏差直接作用的标准化路径系数是0.234,P<0.001,C.R.(t值)为4.965,绝对值大于1.96,表明外部环境影响对评价结果偏差有统计学意义的显著正向影响,故接受原假设,假设H3成立;信息交流障碍对个体认知偏差直接作用的标准化路径系数是0.342,P<0.001,C.R.(t值)为7.057,绝对值大于1.96,表明信息交流障碍对个体认知偏差有统计学意义的显著正向影响,故接受原假设,假设H4成立;信息交流障碍对评价行为偏差直接作用的标准化路径系数是0.298,P<0.001,C.R.(t值)为5.468,绝对值大于1.96,表明信息交流障碍对评价行为偏差有统计学意义的显著正向影响,故接受原假设,假设H5成立;信息交流障碍对评价结果偏差直接作用的标准化路径系数是0.114,P=0.013<0.05,C.R.(t值)为2.494,绝对值大于1.96,表明信息交流障碍对评价结果偏差有统计学意义的显著正向影响,故接受原假设,假设H6成立;个体认知偏差对评价行为偏差直接作用的标准化路径系数是0.152,P=0.002< 0.01,C.R.(t值)为3.090,绝对值大于1.96,表明个体认知偏差对评价行为偏差有统计学意义的显著正向影响,故接受原假设,假设H7成立;个体认知偏差对评价结果偏差直接作用的标准化路径系数是0.608,P<0.001,C.R.(t值)为12.102,绝对值大于1.96,表明个体认知偏差对评价结果偏差有统计学意义的显著正向影响,故接受原假设,假设H8成立;评价行为偏差对评价结果偏差直接作用的标准化路径系数是0.621,P<0.001,C.R.(t值)为11.769,绝对值大于1.96,表明评价行为偏差对评价结果偏差有统计学意义的显著正向影响,故接受原假设,假设H9成立。
2.4.3中介作用检验结果
检验中介效应曾经比较流行采用Baron和Kenny的逐步法开展,但近几年陆续有学者反对采用此种方法,认为其有欠缺。相比而言,更多学者建议采用比较科学的Bootstrap法直接检验系数的乘积[19]。Bootstrap法在样本能代表总体的情况下,从样本中重复取样检验,可以有多套取样方案,常见的是有放回的重复取样,这样可以产生很多类似于总体的Bootstrap样本。在Amos24.0中用Bootstrap方法检验中介作用,设置2000次抽样,将矫正偏差的置信区间法(Bias-corrected confidence intervals)的置信水平设置为95%,将百分位置信区间法(Percentile confidence intervals)的置信水平也设置为95%,运行计算后,得到表7结果。
表7 中介效应检验结果表
分析表中数据可以发现,在“个体认知偏差→评价行为偏差→评价结果偏差”这一中介路径中,标准化间接效应系数0.089,Bias-Corrected 95% CI的低值和高值区间为[0.028~0.191],Percentile95% CI的低值和高值区间也为[0.028~0.190],均不包含0,Bias-Corrected 95% CI和Percentile95% CI的P值均小于0.001,表明评价行为偏差在个体认知偏差对评价结果偏差影响过程中的中介效应存在,接受原假设,故假设H10成立。
在“外部环境影响→个体认知偏差→评价行为偏差”这一中介路径中,标准化间接效应系数0.070,Bias-Corrected 95% CI的低值和高值区间为[0.025~0.143],Percentile95% CI的低值和高值区间为[0.023~0.137],均不包含0,Bias-Corrected 95% CI和Percentile95% CI的P值均小于0.001,表明个体认知偏差在外部环境影响对评价行为偏差影响中的中介效应存在,接受原假设,故假设H11成立。
在“信息交流障碍→个体认知偏差→评价行为偏差”这一中介路径中,标准化间接效应系数0.064,Bias-Corrected 95% CI的低值和高值区间为[0.020~0.132],Percentile95% CI的低值和高值区间为[0.019~0.131],均不包含0,Bias-Corrected 95% CI和Percentile95% CI的P值均小于0.001,表明个体认知偏差在信息交流障碍对评价行为偏差影响中的中介效应存在,接受原假设,故假设H12成立。
在“外部环境影响→个体认知偏差→评价行为偏差→评价结果偏差”这一中介路径中,标准化间接效应系数0.329,Bias-Corrected 95% CI的低值和高值区间为[0.230~0.431],Percentile95% CI的低值和高值区间为[0.227~0.424],均不包含0,Bias-Corrected 95% CI和Percentile95% CI的P值均小于0.001,表明个体认知偏差和评价行为偏差在外部环境影响对评价结果偏差的影响过程中的共同中介效应存在,接受原假设,故假设H13成立。
在“信息交流障碍→个体认知偏差→评价行为偏差→评价结果偏差”这一中介路径中,标准化间接效应系数0.326,Bias-Corrected 95% CI的低值和高值区间为[0.230-0.418],Percentile95% CI的低值和高值区间为[0.230-0.418],均不包含0,Bias-Corrected 95% CI和Percentile95% CI的P值均小于0.001,表明个体认知偏差和评价行为偏差在信息交流障碍对评价结果偏差的影响过程中的共同中介效应存在,接受原假设,故假设H14成立。
a.外部环境对评价结果偏差的影响。外部环境对评价结果偏差的影响可通过四条路径实现,这四条路径的直接和间接作用假设均得到了数据验证。包括外部环境对评价结果偏差的直接影响(0.23)、外部环境通过个体认知偏差的中介作用对评价结果偏差的间接影响(0.238)、外部环境通过评价行为偏差的中介作用对评价结果偏差的间接影响(0.180)以及外部环境通过个体认知偏差和评价行为偏差的共同中介作用对评价结果偏差的间接影响(0.036),根据“总效应=直接效应+间接效应”的原则,外部环境对评价结果偏差的整体影响系数为0.684,说明外部环境影响对期刊质量同行评价结果的影响程度比较强。
b.信息交流障碍对评价结果偏差的影响。信息交流障碍对评价结果偏差的影响同样是通过四条路径实现的,这四条路径的直接和间接作用假设也均得到了数据验证。包括信息交流障碍对评价结果偏差的直接影响(0.11)、信息交流障碍通过个体认知偏差的中介作用对评价结果偏差的间接影响(0.207)、信息交流障碍通过评价行为偏差的中介作用对评价结果偏差的间接影响(0.186)以及信息交流障碍通过个体认知偏差和评价行为偏差的共同中介作用对评价结果偏差的间接影响(0.032),信息交流障碍对评价结果偏差的整体影响系数为0.535,说明信息交流障碍对期刊质量同行评价结果有一定的影响。
c.个体认知偏差对评价结果偏差的影响。作为内生潜变量的个体认知偏差对评价结果偏差的影响是通过两条路径实现的,一条是对评价结果偏差的直接作用路径,另一条是通过评价行为偏差中介的间接作用路径,这两条路径的直接和间接作用假设也均得到了数据验证。个体认知偏差对评价结果偏差的直接路径系数为0.61,个体认知偏差通过评价行为偏差的中介作用对评价结果偏差的间接影响路径系数为0.093,个体认知偏差对评价结果偏差的整体影响系数为0.703。与其他因素相比,个体认知偏差对期刊质量同行评价结果的影响程度相对较大。
d.评价行为偏差对评价结果偏差的影响。同样作为内生潜变量的评价行为偏差对评价结果偏差的影响仅是通过直接作用路径实现的,系数为0.62,这条路径的直接作用假设也得到了数据验证,说明评价行为偏差对期刊质量同行评价结果的影响程度也比较强。
根据“总效应=直接效应+间接效应”的原则,期刊质量同行评价各影响因素对期刊评价结果偏差的影响路径系数为该因素的直接作用与间接作用系数之和,即外部环境影响对评价结果偏差的总影响系数为0.684(0.23+0.39*0.61+0.29*0.62+0.39*0.15*0.62);信息交流障碍对评价结果偏差的总影响系数为0.535(0.11+0.34*0.61+0.3*0.62+0.34*0.15*0.62);个体认知偏差对评价结果偏差的总影响系数为0.703(0.61+0.15*0.62);评价行为偏差对评价结果偏差的总影响系数为0.62。可见,个体认知偏差对评价结果偏差的影响最大,其次是外界环境影响和评价行为偏差,信息交流障碍的影响相对较小。
a.采取措施控制各种外部和人为因素对同行评价的影响。研究发现,期刊同行评价结果受外部环境、信息交流、认知偏差、行为偏差等多因素的直接和间接影响,期刊评价活动的组织者应全面关注这些因素,特别是关注有较强影响作用的个体认知偏差和外部环境影响两类因素,采取措施阻断外部环境和信息交流对受访者的不利影响,帮助受访者调整不合理的认知偏差,努力纠正评价行为偏差。受访者刻板印象、投射效应、晕轮效应等认知偏差通过直接与间接作用路径对评价结果偏差具有显著正向影响作用,因此通过适当采取措施规避这些因素对评价结果的影响,能够大幅降低期刊质量同行评价的结果偏差。比如,国家出台的反对“唯论文”和禁止奖励论文等政策,会降低机构期刊分级目录对受访者的影响程度,这对减弱外部环境对期刊同行评价的影响是有利的。
b.完善期刊质量同行评价的制度体系建设。应科学设计流程,加强过程监督,促进评价程序的公开、透明和数据的开放。近十多年,由于受量化评价思维的影响,我国期刊评价界尚缺乏对人文社会科学学术期刊的质化评价体系和制度框架的设计,建议学界和出版界在此方面进行深入探讨和研究,吸收多方参与,完善流程设计,加强过程控制和监督。一方面,要不断完善同行评价方法本身的操作规范设计[20],努力减少外部学术评价政策环境、人情关系、利益关系等对期刊评价的影响;另一方面,要加强期刊和评价工作的宣传,使更多学者了解期刊,了解期刊评价,客观认知评价结果,努力减少信息交流对期刊质量同行评价的影响程度。另外,还要加强评价保障和监督机制建设,适时对参与评价人员开展元评价工作,对评价人员表现进行评价,甄别那些不认真评价、不客观评价或打感情分、人情分的评价者,营造公平公正的评价氛围。
c.推动期刊评价结果的多维度呈现。期刊评价的最终目标不应做简单的期刊分级和期刊排行榜,而应根据不同目的,对不同类型期刊,按照不同维度综合呈现,出具不加权汇总得分的期刊“诊断报告”。评价结果的多维度发布既有利于期刊用户更全面了解期刊,根据自身的投稿和阅读需求选择合适期刊,也有利于学术期刊找准定位,对标一流,寻找差距,补齐短板,实现多元化发展,避免“千刊一面”的同质化现象以及一些浮躁、投机和功利行为。
d.提升学术共同体参与期刊评价的积极性。2019年7月,《关于深化改革 培育世界一流科技期刊的意见》出台后,部分领域正在中国科协的统一部署下,陆续组织学者或学术机构开展高质量科技期刊分级目录的遴选和发布工作。虽然可能产生“唯高质量刊”的风险,但这毕竟是学术共同体参与期刊评价的良好开端,今后应继续出台措施,鼓励更多领域,特别是人文社科领域学者和学术团体参与期刊同行评价,真正实现期刊发展与学术共同体发展的有机融合。