开放获取期刊学术影响力评价指标体系研究*

孙萌月 赵志耘 高芳 贾晓峰 李梦薇

（中国科学技术信息研究所，北京 100038）

自20世纪70年代末开放获取运动兴起以来，开放获取已经由先前的倡议阶段转变为如今的实践阶段。受“OA2020”和“S计划”的大力推动，当下开放获取已呈现前所未有的蓬勃发展之势。2020年新型冠状病毒肺炎疫情的突发，更使得科技信息资源的开放与共享成为世界各国遏制疫情、共同促进科学研究和保障公共卫生安全的关键[1]，在一定程度上促进了开放获取的发展。全球各界普遍把创办开放获取期刊作为推动开放获取的重要举措。2020年9月，由中国科学技术协会发表的《中国科技期刊发展蓝皮书（2020）》显示，2016—2019年，中国作者在金色OA与混合OA上发表论文数量增加101.7%，其增速约是中国作者发表论文总量增速的1.5倍。截至2021年7月，权威开放获取数据库——开放获取期刊目录（Directory of Open Access Journals，DOAJ）共收录了全球16 450种开放获取期刊，其中来自印度尼西亚的期刊占11.09%、来自英国的期刊占10.81%，来自美国的期刊占5.65%，而来自我国的期刊只占1.03%[2]，说明我国期刊的开放程度较弱，且质量较低，这与我国以影响因子为核心的传统学术评估体系有一定关联。开放获取期刊作为一种新的学术成果交流与传播模式，需要一套符合当前开放获取运动特点与趋势的多元评价指标体系，对开放获取期刊学术影响力进行科学评价。

目前国内外有关开放获取期刊学术影响力评价的研究，前期主要集中在对开放获取期刊的学术质量进行评价，较少关注开放获取期刊的自身属性，后期则偏向于评价开放获取期刊带来的社会关注，削弱了开放获取期刊学术质量的重要性，对开放获取期刊的全面协调可持续发展极其不利。基于此，本文尝试解析开放获取期刊学术影响力的理论内涵，结合传统期刊评价指标和开放获取期刊的特征，以及社会公众在社交网络平台的影响，构建一套开放获取期刊学术影响力的综合评价指标体系，最后选取样本期刊对该评价指标体系的合理性和科学性进行验证。

1 相关研究

伴随着开放获取运动在学术共同体、图书馆联盟以及大型学术出版商等各利益相关方的不断推进下蓬勃发展，学界对开放获取期刊也展开了不少相关研究。其中关于开放获取期刊学术影响力的评价，国内外学者分别从不同视角出发，针对不同阶段，利用各种评价方法展开研究。

从评价维度来看，一类是从期刊的角度出发。例如：李亚芳[3]基于开放获取期刊的出版流程，从期刊论文撰写、编辑审稿、论文发表、用户使用4个方面对开放获取期刊的质量进行评价；李姗姗[4]从期刊来源、期刊被引、期刊网络因素3个角度对开放获取期刊的质量进行评价研究；Vundavalli等[5]从期刊被收录情况、获奖情况，以及是否为核心期刊来评价期刊的质量。另一类是从学术交流的角度出发。例如：周金娉[6]和吴帆[7]针对学术交流过程图谱中的主体角色，从期刊自身、作者、读者、论文、机构、网络、网站等方面构建开放获取期刊学术影响力评价体系；赵蓉英等[8-9]按照米哈伊洛夫科学交流理论中的正式交流和非正式交流，把学术期刊影响力分解为原生影响力和次生影响力两个层面进行评价研究。

从评价方法来看，国内外针对开放获取期刊学术影响力的评价方法主要有3种：以文献计量学为基础的引文分析评价法，以网络计量学为基础的链接分析评价法，以Altmetrics理论为基础的社交网络评价法。引文分析评价法主要是借助数学和统计学原理，通过对期刊被引用频次的研究达到评价期刊学术水平的目的。如赵铁汉等[10]、韩鹏鸣[11]、路世玲[12]、Polat等[13]都基于引文分析的方法对开放获取期刊的学术质量进行评价。链接分析评价法主要利用网页间的链接关系收集网站中网页的链接频率，依据一定的算法计算网页的等级值，界定网页内容的质量与重要程度。如Vaughan等[14]、袁顺波等[15]、Solomon等[16]等利用链接分析法对开放获取期刊的网络影响力进行评价。社交网络评价法主要通过对期刊文献层面的数据进行统计获得学术论文在社交网络平台上被提到、标引、收藏、引用的次数，从而对其学术影响力进行评价。如陈铭[17]、郝若扬[18]、赵蓉英等[19]基于Altmetrics理论的社交网络评价法对开放获取期刊的社会影响力进行评估。

综上所述，由于评价维度和评价方法的不同，国内外学者构建的开放获取期刊学术影响力的评价体系各有侧重，大部分研究更偏重期刊的学术质量水平，这与传统期刊评价体系的影响密不可分。随着互联网技术的快速发展，学术成果的在线交流和社会传播日益广泛，也有部分学者针对Altmetrics指标对开放获取期刊学术影响力进行评价研究，由于Altmetrics理论还在发展中，并且只是反映用户对期刊文献的关注度，不能真实反映期刊的学术质量，所以单独用来评价学术期刊有失偏颇。总的来说，很少有学者考虑开放获取期刊的“开放”属性（期刊开放程度）而提出开放获取期刊学术影响力评价体系框架。因此，本文认为，从开放获取期刊学术影响力的概念出发，充分考虑开放获取期刊的开放属性，以及开放获取期刊借助社交网络平台对社会公众产生的社会影响，构建一套多元的开放获取期刊学术影响力评价指标体系非常必要。

2 开放获取期刊学术影响力评价指标体系构建

2.1 开放获取期刊的特征

与传统学术期刊相比，开放获取期刊强调自由、免费、开放、共享的理念，具有以下较为明显的特征：在学术传播和交流方式上，用户借助互联网就能免费获得文献，减少了获取学术信息的阻碍，并且用户之间可以进行简单直接的交互，减少了学术交流的时滞性；在学术文献的使用权限上，用户只要是在遵守许可协议的前提下，出于合法目的使用并保证文献的完整性，就可以对文献进行任何操作，不受任何法律和经济的限制；在学术文献质量方面，开放获取期刊遵守严格的同行评议机制，文献内容格式规范，在一定程度上可以有效控制质量水平；在版权所有方面，开放获取期刊的版权属于作者，极大维护了创作者的权益，在共享和传播文献时也更加方便；在付费方式上，开放获取期刊实行“作者付费发表，读者免费获取”的运营手段，为快速传播科研成果创造了前提条件。

2.2 开放获取期刊的学术影响力

学术影响力是期刊质量发展的根基和生命力的保障，反映期刊向社会传播知识的本质，能够直接体现期刊在相关学科领域的学术地位、国际影响力，以及受众对期刊的认可程度。期刊学术影响力的大小不仅对科研人员的投稿取向产生影响，而且对期刊的管理、编辑、发行、出版等环节产生非常重要的导向作用。尽管学术界对期刊学术影响力的研究比较丰富，但是很少有学者明确提出开放获取期刊学术影响力的定义。周金娉[6]从学术交流过程的角度，界定开放获取期刊学术影响力是测度开放获取期刊在某个时期内的引证次数，并且通过创新、社会、传播等影响范围反映开放获取期刊在相关研究领域活动的影响深度和接受广度。但这种界定类似于传统期刊的学术影响力，并没有体现出开放获取期刊免费获取、付费发表、文献使用权限等方面的特性。

本文将开放获取期刊学术影响力界定为：在某一段时期内，发表在开放获取期刊上的学术论文被学术界认可、引用并进行知识再创造，从而有可能实现其学术价值和应用价值的程度，以及被社会公众关注和传播的范围。与已有相关研究相比，本文中的开放获取期刊学术影响力强调的是开放获取期刊广义的学术影响力，涵盖期刊产生的影响深度和影响广度。

本研究设置学术水平和期刊声誉两个维度来评价期刊的影响深度。鉴于国际上普遍把期刊被引的次数作为衡量期刊学术水平的基础，而期刊发表的学术论文中国际学者所占的比例以及受基金资助的比例能够反映期刊的国际学术交流水平和期刊等级的重要性，故选取影响因子、CiteScore值、被引半衰期、H指数、被引频次极差、基金论文比6个指标作为评价期刊学术质量的指标，选取国际论文比和国际编委构成比作为期刊国际化水平的评价指标。通常期刊发表学术论文的作者所在研究机构比较权威，其学术论文会有一定的保障，对期刊声誉也能起到很好的维护作用，而期刊所属出版机构拥有较好的声誉，其旗下所属的期刊的声誉也能有一定保证，并且期刊的学术规范化和标准化也是维护期刊良好信誉的关键，故选取SJR指数、研究机构声望和出版机构权威性3个指标评价期刊的声望。此外，国际出版伦理委员会（Committee on Publication Ethics，COPE）在《期刊编辑行为准则》和《最佳实践指南》中比较全面地涵盖了同行评审流程、质量控制机制、学术诚信和学术不端行为等内容，对于评价期刊声誉具有重要的参考价值，故选取是否为COPE会员作为期刊信誉的评价指标。

本研究设置传播力度和受关注度两个维度来评价期刊的影响广度。期刊的市场规模在一定程度上能够影响其对自身的宣传力度，发表在期刊上的学术论文作者和机构的数量能够潜在影响期刊传播范围的大小，期刊发表论文的速度代表期刊学术成果能被传播的速度，而期刊开放的程度代表了学术论文能够被用户自由免费共享与获取的程度，更能凸显期刊被传播范围的大小。文章处理费（Article Processing Charges，APC）的合理性和经济性能够反映作者对刊物的可接受度，从而影响期刊被选择传播的可能性，故本文选取研究机构数、APC水平和作者篇均合著量3个指标代表期刊能被用户潜在传播的范围，选取开放获取年限、开放使用许可、金色开放份额比3个指标代表期刊能被潜在开放传播的程度，选取出版周期和市场占有率2个指标代表期刊能被潜在传播的速度和能力。开放获取期刊大多拥有自身的官方网站，网站每天的用户访问量越多，以及网站越权威越能代表期刊受欢迎的程度。伴随着学术交流的社交网络化，大量的学术成果在社交网络平台上被阅读、下载、保存、讨论、推荐，给期刊带来了不小的影响。AAS值是期刊论文在新闻媒体、博客、社交网站、学术论坛、在线文献管理系统（不包含Mendeley）等社交平台上被提及次数的加权求和值，代表社会公众对学术期刊的综合关注度；Mendeley的用户主要是科研人员，其读者数代表期刊学术论文在学术界的受关注情况；PR（PageRank）是谷歌进行网页排名的一种算法，PR值越大，代表其网站越受欢迎。因此选取PR值和日均IP访问量2个指标评价用户对期刊网站的关注程度，选取AAS值和Mendeley读者数评价用户在社交网络平台对期刊的社会关注程度。他引率反映了期刊对外部产生的影响力，以及向其他学科扩散的走向，可以衡量期刊对外学术交流的范围，故选取他引率评价学术期刊被外部关注的程度。

2.3 开放获取期刊学术影响力评价指标体系

在上述研究的基础上，本文最终构建开放获取期刊学术影响力评价指标体系（见图1），具体包括学术水平、期刊声誉、传播力度、受关注度4个一级指标和影响因子、CiteScore值、SJR值、研究机构声望、作者篇均合著量、他引率等25个二级指标。其中，主要针对开放获取期刊特征的指标有COPE会员、开放获取年限、金色开放份额比、开放使用许可、APC水平。

图1 开放获取期刊学术影响力评价指标体系

开放获取期刊学术影响力评价指标体系是一个多层次的综合评价体系，在对开放获取期刊学术影响力的评价中，各指标之间存在内在的联系，不同的指标从不同的角度反映开放获取期刊的学术影响力大小。影响开放获取期刊学术影响力的因素有很多，具有一定的层次性和复杂性。因此，本研究选择层次分析法对开放获取期刊学术影响力的评价指标进行赋权，并采取专家问卷调查法，按照Saaty评分标度法对任意两个评价指标进行重要性对比，得到各指标的重要性权数。为了保证指标权重的科学合理和有效性，问卷的发放对象限定为从事期刊评价研究和开放获取方面研究的相关领域专家以及期刊编辑部的编委，共发放了20份问卷，回收问卷14份，其中4位是做科技期刊评价研究的领域专家，6位是做开放获取相关研究的专家，4位是期刊编辑部的编委。

借助yaahp软件对专家所构造的判断矩阵分别进行一致性检验，检验通过后得到各专家赋予的指标权重值，进行数学平均化后得到各指标的最终权重值（见表1）。

表1 开放获取期刊学术影响力指标权重

不同的评分者对同一指标的评定等级通常不一样，这时产生的误差主要是由于评分者的差异，当评分者人数超过2时，测量评价结果的可信度则需要借助肯德尔和谐系数进行检验，而肯德尔和谐系数作为对多个等级变量的相关性进行测度的一种相关统计量[20]，是测量评分者信度检验的一种方法。本文利用肯德尔和谐系数对14位专家的各个指标权重值设定进行一致性检验，得出专家协调系数Wa值为0.442，卡方值为74.223。通过查询卡方界值表，自由度为24时，大于卡方临界值，p值为0.000（p＜0.05），具备统计学意义，可以认为专家们的指标权重值具有一致性，其间的判断协调性较好，一定程度上能够说明本文指标权重设定的合理性和科学性。

3 实例验证

3.1 数据来源与处理

本文选取医学领域的10种开放获取期刊作为实证对象，为保证评价结果的准确性和客观性，评价指标数据需要人工进行多渠道的收集核对，参考以往研究并经过反复验证，最终确定各指标的数据来源（见表2），数据收集时间为2021年4月。

表2 评价指标数据来源

开放获取期刊学术影响力评价指标体系是一个综合评价体系，各指标度量单位不一致，指标数据差距过大，不具备可比性，所以在进行数据分析前，需要对指标原始数据进行标准化处理，消除数据自身量纲不同产生的误差。由于正向指标和负向指标数据代表不同的含义，正向指标数据值越大影响力越大，负向指标数据值越低影响力越大，所以，对其进行数据标准化处理时需要采用不同的算法。

3.2 评价结果一致性分析

经上述数据处理标准化后，与各指标权重值进行加权处理计算，得到综合值（见表3），由于目前学术界判断期刊好坏的标准普遍依据影响因子的高低，故将本文指标体系评价出来的期刊的综合指数值排序与JCR中期刊的影响因子排序进行对比分析。结果发现，表3中的期刊排序发生了一定的变动，其中“0”表示在本文的评价结果中期刊的排序结果与影响因子排序一样，“-”代表在本文的评价结果中期刊的排序结果相比单独的影响因子排序下降，其他则代表上升。可以看出，综合值排名比较靠前的期刊既存在影响因子较高的情况，又存在影响因子较低的情况，影响因子排序靠前的期刊也存在综合值较低的情况。这表明开放获取期刊学术影响力的多元评价指标体系评价的结果与影响因子评价的结果既保有一致性，也存在差异性。造成这种变化的原因是因为本文的评价体系中加入了反映社会公众传播影响因素和开放获取期刊开放属性等指标，这也说明多元评价指标体系相比于单一的影响因子更加全面、科学。

表3 开放获取期刊学术影响力评价结果

为了进一步验证本评价指标体系的合理性和科学性，本文运用肯德尔相关系数来检验本评价综合值与影响因子的相关关系，探究不同评价结果的一致性。

借助SPSS软件计算得到10种医学样本刊的综合排序与影响因子排序的肯德尔相关系数，综合排序与影响因子排序的相关系数值为0.600，并且在0.05级别显著相关，表明虽然本评价指标体系评价出来的结果和影响因子有所变动，但在评价开放获取期刊学术影响力时还是存在一定的一致性，一定程度上能够说明本研究构建的指标评价体系存在合理性和科学性。

4 结论

本研究针对开放获取期刊相较于传统学术期刊所具有的特性，从学术水平、期刊声誉、传播力度、受关注度4个维度界定开放获取期刊的学术影响力，同时结合传统期刊评价指标构建了一套包含4个一级指标和25个二级指标的多元评价指标体系，并选取了医学领域的10种开放获取期刊对构建的评价指标体系进行实例验证。主要研究结论如下。

（1）以往对开放获取期刊学术影响力的评价研究更偏向其学术质量水平，或者只单独评价期刊的社会影响，这样的评价结果有失偏颇，而开放获取期刊本身是期刊的一种新型模式，有些传统期刊指标用来评价其学术影响力同样适用，但开放获取期刊还拥有不同于传统学术期刊的独特属性，因此需要加入新的评价指标。此外，受到社交网络化的影响，社会公众借助社交网络平台进行科研学术信息的在线交流和传播，为期刊文献带来学术影响和社会影响，所以从理论上来说，本研究依据开放获取期刊学术影响力的概念内涵所构建的多元评价指标体系较为全面和完善。

（2）验证了评价指标体系的合理性，通过对实证结果进行一致性分析，本研究构建的评价指标体系由于加入了能够反映开放获取期刊开放属性的指标和社交网络指标，与传统影响因子单独评价的结果相比有所变动，但在一定程度上还存在一致性，说明本文构建的开放获取期刊学术影响力的多元评价指标体系相对来说具有一定的合理性和科学性。

本研究在对开放获取期刊学术影响力的评价指标进行梳理时，参考前人相关研究中的评价指标，而对开放获取期刊学术影响力产生影响的因素有很多，不能保证全覆盖，并且在筛选和确定评价指标时，更多考虑的是评价实践中指标的可操作性以及指标数据的可获取性问题，如期刊是否开放同行评审和期刊论文数据是否开放共享等因素并未考虑进来，随着开放获取期刊的进一步成熟和标准化、规范化发展，未来还需要对评价指标体系逐步完善。此外，本研究选取的评价指标具有普遍性，所以理论上构建的评价指标体系有一定的普适性，但由于时间问题，这里只选取了某一学科领域的样本期刊进行验证，后续还需要选取多个学科以及综合学科领域的期刊进行进一步检验。