学术期刊的跨学科评价指标JIPR8及其应用

■刘雪立 申 蓝 王 燕 孟 君 魏雅慧 郑成铭 董建军 范艳芬 方红玲 李常艳 单卫华 盛丽娜 杨 博 周二强

1)新乡医学院期刊社，河南省新乡市金穗大道601号 4530032)新乡医学院管理学院，河南省新乡市金穗大道601号 453003

近年来，国内外对期刊影响因子的讨论和争论愈演愈烈，赞成者有之，批判者有之。赞成者认为，影响因子提供了一个比较客观的评价标准，尽管它不完美，但依然无法被替代[1]。澳大利亚的Bradshaw等[2]也指出，无论你喜欢还是厌恶，用文献计量学指标评价学术期刊及相关研究绩效，它就在那里；无论正确与否，学术组织评价申请人业绩、学者选择期刊投稿、学术期刊选择出版公司合作，它都无所不在。最近，Tregoning[3]在Nature发表的述评文章中指出：“如果不用影响因子，你将如何评价我？”著名的科学计量学家Bornmann等[4]认为影响因子不应该被遗弃。批判的声音主要集中在影响因子的滥用和误用[5-7]。影响因子滥用和误用的根源在于其设计中存在的诸多缺陷[8]，如计算影响因子所用的引证时间窗口(2年)过短[9-10]；分子采用所有类型文献的被引频次，而分母仅仅统计研究论文和综述论文的数量[11]；期刊论文的被引频次均呈现偏态分布，无法用平均数指标(影响因子就是平均数指标)表征其总体分布[8]；影响因子的计算未考虑学科标准化，无法应用于学术期刊的跨学科评价[12]等。

为了实现学术期刊的跨学科评价，美国汤森路透2009年开始对JCR 2003年以来各年度收录的期刊进行分区(Q1、Q2、Q3和Q4)[13]，初步实现了简单的跨学科期刊评价。2015年的InCites JCR中又推出一个新的期刊评价指标：影响因子百分位(Journal Impact Factor Percentile，JIFP)[14]，创建了一个完全定量的期刊跨学科评价指标。早在1992年，Sen[15]就提出了影响因子标准化问题，而Pudovkin等[16]认为其效果并不理想，在此基础上，他们提出了排序标准化影响因子(Rank-Normalized Impact Factor，rnIF)，其设计原理和上述影响因子百分位极其相似。除了Moed[17]提出的来源标准化篇均影响力(Source Normalized Impact per Paper，SNIP)，几乎所有的学科标准化影响力评价指标均为位置指标，且多用来评价论文，如Bornmann等[18]提出的百分位数排序位置(Percentile Rank Position，PRP)，Leydesdorff等[19]建立的集合影响力指标(Integrated Impact Indicator，I3), Vinkler[20]提出的平均PRP(Mean Percentage Rank Position，mPRP)。后来学者们开始研究将位置指标应用于期刊评价，如期刊I3[21]、学科标准化影响因子(Field-Normalized Impact Factors，FNIF)[22]、期刊PRP指数[23]和国内学者张学梅等[24]提出的改进的PRP指数(PRPHG)等。

在前期研究[25]的基础上，对2017年版InCites JCR收录期刊进行JIPR8(Journal Index of Percentile Ranking with 8 Classifications)的计算，以JCR数据库中的全部期刊作为研究对象进一步论证JIPR8的跨学科期刊评价效果，并采用该学科标准化指标对JCR中不同国家、不同出版语言的期刊进行实证研究，客观评价SCI数据库中我国中英文科技期刊的学术影响力。

1 研究对象与方法

1.1 研究对象

研究对象为2017年版JCR收录的177个学科全部期刊及其2012—2016年间发表的可被引文献，包括研究论文(Article)和综述论文(Review)两类。

1.2 研究方法

1.2.1 数据获取与处理

数据来源于Web of Science的SCIE数据库，按照JCR提供的学科分类，检索各学科2012—2016年发表的全部文献。通过数据库“精炼”功能，仅保留研究论文和综述论文。对检索到的某学科文献按研究论文和综述论文分别创建引文报告，导出为Excel文件，每篇论文明确标注文献类型(Article和Review)。将二者合并为一个完整的Excel文件，包含以下数据：文题、来源期刊名称、出版年、文献类型、累计被引频次(每篇文献自发表年度到2017年的被引频次总和)。

1.2.2 论文PR8赋值

(1) 综述文献被引频次的标准化。通常情况下，评论性(综述性)期刊影响因子普遍偏高[26]，这是因为综述论文的被引频次明显高于研究论文。为了避免综述论文影响力被高估，需要对综述论文的被引频次进行标准化处理。综述论文被引频次标准化的具体方法为

Si=Ci/k(1)

式中：Si为某学科第i篇综述论文的标准化被引频次；k为标准化系数，表示该学科综述论文的篇均被引频次除以该学科研究论文的篇均被引频次；Ci为该学科第i篇综述论文的实际被引频次。

(2) 论文PR8赋值方法。每个学科均按照研究论文和综述论文的被引频次降序排列，排名在前0.01%(top 0.01%)论文赋值为100分，(top 0.01%，top 0.1%]论文赋值为80分，(top 0.1%，top 1%]、(top 1%，top 5%]、(top 5%，top 10%]、(top 10%，top 25%]、(top 25%，top 50%]和最后50%分别赋值60、50、40、30、20、10分。论文赋值过程中应把握的原则和方法见文献[25]。

1.2.3 期刊的JIPR8计算方法

JIPR8是指5年时间窗口内(本研究为2012—2016年)发表的可被引文献被引频次的PR8赋值总分与该时间窗口内可被引文献数的比值，可表示为

(2)

式中：Pi为某期刊第i篇论文的PR8赋值；M为该期刊5年时间窗口内发表的可被引文献数。

1.2.4 对比指标的选择

1.2.5 统计分析方法

采用SPSS 18软件进行统计分析。各指标的正态性分布采用Kolmogorov-Smirnov检验，指标的相关性分析采用Spearman相关检验，各指标在4个分区期刊的差异程度采用Kruskal-Wallis检验。检验水准：α=0.05。

2 结果

2.1 JIPR8的分布特征

2017年版JCR中SCI收录的期刊共9015种，本研究共获取8969种期刊的JIPR8，另有46种期刊没有JIPR8，这些期刊多为2017年收录，缺乏2012—2016年的有效数据。JIPR8最大者为NatureReviewsDrugDiscovery(JIPR8为55.009)。备受关注的3大权威期刊Nature、Science和Cell的JIPR8分别为45.941、43.727和47.476，排在第17、25和11位。8969种期刊的平均JIPR8为15.467，中位JIPR8为14.852。排名前30的期刊全部为Q1期刊，排名最靠前的Q2期刊是JournalofEngineeringEducation，JIPR8排名第306。JIPR8排名前1000的期刊中只有11种Q2期刊，其余全部是Q1期刊，JIPR8与期刊分区具有较高的一致性。JIPR8排名前30的期刊及其主要影响力指标见表1。2017年影响因子排在第1位的CA-ACancerJournalforClinicians的JIPR8没有进入前30(排在第36位)，影响因子排名第2的国际权威医学期刊NewEnglandJournalofMedicine(NEJM)的JIPR8仅排在第137位，远远低于其影响因子排序。究其原因，NEJM除了发表一些具有极高被引频次的论文外，其零被引论文明显多于JournaloftheAmericanMedicalAssociation(JAMA)和TheLancet。由此可见，JIPR8较好地矫正了个别异常高被引论文对期刊影响因子畸形拉升的缺陷，如CancerJournalforClinicians2012年影响因子高达153.459，而如此高的影响因子主要由2篇文章《2010年癌症统计》和《全球癌症统计》贡献(贡献率为70.9%)[28]。

表1 JIPR8排名前30的期刊及其主要评价指标

注：①一些期刊因被划分为不同学科会有不同的JIPR8，本研究给出的JIPR8为各期刊JIPR8的最大值；②JCR中的JIFP是指某期刊在各学科JIFP的平均值，即平均JIFP(aJIFP)。

2.2 跨学科与学科内JIPR8与其他期刊评价指标的相关度比较

理想的跨学科学术期刊评价指标首先必须是理想的同学科期刊评价指标。从JIPR8与其他JCR期刊评价指标的相关度来看，JIPR8具备这一特征。笔者选择了15个规模相对较大的、集合被引半衰期有明显差异的学科，统计分析各学科中JIPR8与其他指标(包括TC、IF、IF5、EF、AIS、aJIFP)的相关度，并与不区分学科的8969种期刊其他指标相关度进行比较(表2)。表2显示，15个学科中有14个学科期刊的JIPR8与IF5相关系数最高，与IF的相关系数次之，只有物理学(Physics)期刊的JIPR8与IF相关系数最高，与IF5的相关系数次之。JIPR8与IF5相关系数最高，主要是因为二者的引证时间窗口(5年)一致。然而，在177个学科的8969种期刊中，JIPR8与aJIFP(跨学科期刊评价指标)的相关系数最大。因此认为，JIPR8具有较好的跨学科评价效果。

表2 跨学科与学科内JIPR8与其他期刊评价指标的相关度比较

2.3 JIPR8和其他指标的学科差异比较

期刊IF、TC等引证指标无法应用于期刊的跨学科评价，主要原因是不同学科论文TC和期刊IF差异太大。用不同学科期刊评价指标的变异系数和Kolmogorov-Smirnov检验结果(Z值)表征其在不同学科期刊之间的差异程度。在JCR所有学科期刊中，哪个指标变异系数和Z值越小，说明哪个指标学科差异越小，跨学科期刊评价效果相对较好。为了说明JIPR8的跨学科评价效果，把JCR中177个学科8969种期刊作为一个整体，计算了JIPR8和其他几个评价指标的变异系数，结果见表3。与选取的JCR中7个最重要的期刊评价指标比较，JIPR8的变异系数和Z值都是最小的，说明JIPR8的学科差异最小，跨学科评价效果最好。

表3 JIPR8和其他指标的变异系数和Kolmogorov-Smirnov检验结果

2.4 JIPR8对4个分区期刊的区分度和同一分区内的稳定性比较

根据期刊IF，JCR数据库将期刊分为4个区，即Q1、Q2、Q3和Q4，每个分区的期刊数相等，各占25%。期刊分区给出了各期刊在学科内影响力的相对位置，跳出了长期以来在期刊评价中直接比较不同学科影响因子的误区。期刊分区是为了实现期刊的跨学科评价。理论上讲，不同分区期刊影响力有明显差异，4个分区期刊指标差异越大越好(区分度高)，而同一分区的期刊影响力比较接近，指标的差异越小越好。基于这一考虑，笔者采用多个独立样本的Kruskal-Wallis检验比较各指标在不同分区期刊之间的差异(表4)，同时计算了JCR中4个分区期刊各指标的变异系数，以比较同一分区内各指标的变异程度(表5)。Kruskal-Wallis检验结果显示，aJIFP和JIPR8两个指标的χ2最大，说明这两个指标在不同分区期刊之间的差异最大，对各分区期刊评价的区分度最好。由表5可知，各分区期刊中变异系数最小的2个指标是aJIFP和JIPR8，aJIFP在Q1和Q2区期刊变异系数最小，JIPR8在Q3和Q4区期刊变异系数最小。由于期刊的分区是根据影响因子大小划分的，而aJIFP完全按照期刊影响因子在学科内的排序转换而来，所以，以期刊影响因子分区来论证各指标的跨学科评价效果，aJIFP可能会被高估，刘雪立等[29]已经详细论证了该指标在学术期刊跨学科评价中的局限性。JIPR8的跨学科评价效果值得肯定。

表4 各指标Kruskal-Wallis检验统计量

表5 不同分区期刊JIPR8和其他指标的变异系数

2.5 全球主要国家期刊JIPR8比较

不同国家科技发展水平差异巨大，而且学科结构各不相同，例如：美国在绝大多数学科领域处于领先地位；我国的材料科学全球领先，而在空间科学、免疫学、精神病学和心理学等领域研究比较薄弱；德国、英国、法国的空间科学较为领先。由于各个国家学科结构的差异，传统的期刊引证指标未作学科标准化处理，无法在国家之间直接进行比较。而JIPR8是在严格的学科标准化基础上建立的，具有很好的跨学科期刊评价效果，因此，比较各国家期刊的JIPR8，能够较为客观地评价各个国家科技期刊的总体水平。表6给出了全球20个主要国家的SCI收录期刊JIPR8统计学特征值。由表6可知，JIPR8平均值排在前3位的国家依次是丹麦、荷兰和英国，美国仅排在第4位。JIPR8最大值和最小值都集中在英国和美国，这两个国家的JIPR8变异系数较大，期刊数量最多(共4857种，占总数的54.2%)。因此认为，这两个国家的高水平期刊很多，“垃圾期刊”也不少。相比之下，荷兰的期刊表现极为突出，SCI收录期刊数量仅次于美国和英国，排在全球第3位，期刊JIPR8平均值排在第2位，是绝对的期刊强国。丹麦的JIPR8平均值全球第一，其变异系数在20个国家中是最小的，说明丹麦的SCI收录期刊质量相对较为均衡。但其期刊总数过少，仅69种，很难称得上“期刊强国”。

我国有JIPR8的期刊共192种，JIPR8最高的期刊是《真菌多样性》(FungalDiversity)，其后是Light：Science&Applications、MolecularPlant、CellResearch和NanoResearch，JIPR8分别为39.788、38.026、30.081、28.320和26.432。我国192种期刊JIPR8的平均值为12.993，全球排名第9位，亚洲排名第一。日本期刊JIPR8的最大值为26.145，韩国期刊JIPR8最大值为24.791，均低于我国排名第5的NanoResearch。这说明我国科技期刊不但数量持续增加，质量和影响力也在不断提高，已成为亚洲期刊强国。近年来，我国科学技术飞速发展，科研水平不断提高，对我国科技期刊的国际化水平及国际影响力的提升起到了重要的支撑作用，这也与中国科学技术协会、财政部、教育部、原国家新闻出版广电总局、中国科学院和中国工程院六部委于2013年11月以来持续开展的“中国科技期刊国际影响力提升计划”[30-31]不无关系。

2.6 不同出版语言期刊JIPR8比较

本研究获取JIPR8指数的SCI收录期刊共8969种，涉及出版语言25种，有12种出版语言的期刊数超过10种(表7)。其中：英文期刊达7863种(87.7%)；多种语言出版的期刊733种(8.2%)；德语期刊78种(0.9%)；中文期刊21种，排在第7位。14种荷兰语期刊的JIPR8平均值为17.867，排在第1位，其次是英语和多语言期刊(其实多语言不属于出版语言，多语言期刊也是以英语为主的期刊)。21种中文期刊的JIPR8平均值为8.557，排在第4位，在非英语出版语言期刊中仅次于荷兰语。综合考虑表6和表7结果，笔者认为，经过近年来的不断努力，我国科技期刊的国际影响力和国际化水平在全球范围内处于较为领先地位，在亚洲已经超越了日本，排在第1位。

表6 全球主要国家SCI收录期刊JIPR8统计学特征值比较

表7 不同出版语言期刊JIPR8统计学特征值比较

3 结论

3.1 JIPR8是一个非常理想的学术期刊跨学科评价指标

本研究计算了SCI收录的所有期刊(排除2017年后入选者)的JIPR8，从多个方面论证了JIPR8的跨学科评价效果。结果显示，JIPR8是一个非常理想的学术期刊跨学科评价指标，主要表现在以下方面：

(1) JIPR8与影响因子等传统的期刊影响力评价指标(包括aJIFP)相比，该指标的学科差异最小，使不同学科期刊之间具有较好的可比性；

(2) 在同一学科期刊中影响因子与aJIFP的相关度最高，而对177个学科所有期刊进行统计分析时，JIPR8与跨学科评价指标aJIPF的相关度最高；

(3) 4个分区期刊之间和同一分区内各指标的集中度和离散度比较显示，JIPR8对不同分区期刊的区分度和在同一分区期刊的稳定性均非常理想。

3.2 我国已经成为世界科技期刊强国，亚洲排名第1

JIPR8是基于学科标准化建立的跨学科期刊评价指标，最大限度地消除了不同国家学科结构的差异导致的期刊影响力的差异，能够较为客观地对各个国家科技期刊学术水平和影响力进行比较。我国科技期刊平均JIPR8排在全球第9位，排名靠前的均为欧美发达国家。在亚洲，我国科技期刊平均JIPR8高于韩国和日本，这一结果充分说明，我国已经成为世界科技期刊强国，亚洲排名第1。

3.3 中文SCI收录期刊与其他非英语语种SCI收录期刊相比具有明显优势

整体来讲，英语期刊国际影响力的领导地位无法动摇，以英语为主的多语言期刊表现十分突出。荷兰期刊整体表现非常抢眼，从而带动荷兰语期刊影响力的快速提升。尽管荷兰语期刊平均JIPR8排在第1位，但由于期刊数量(14种)过少，实际统计意义有限。除了英语和以英语为主的多语言期刊外，中文SCI收录期刊JIPR8的平均值(8.557)仅次于荷兰语期刊，明显高于日语期刊(6.568)。其他几大欧系语言(法语、西班牙语、德语、意大利语)的SCI收录期刊表现一般。中文SCI收录期刊与其他非英语语种的SCI收录期刊相比具有明显优势，这更加坚定了我们办好中文科技期刊的信心和决心。

4 结语

JIPR8是基于论文被引频次、经学科标准化处理、按照影响因子的计算规则创建的期刊评价指标，纳入的文献类型仅包括研究论文和综述论文(矫正了影响因子计算公式的分子、分母范围不统一问题)，引证时间窗口设置为5年，论文被引频次采用5年累计计数，几乎矫正了影响因子各方面的设计缺陷。本研究结果显示，JIPR8具有较好的跨学科期刊评价效果。因此，与影响因子及传统期刊评价指标相比，能直接比较不同学科、不同国家、不同出版语言期刊的JIPR8具有相对合理性。JIPR8应用研究显示，我国科技期刊JIPR8处于国际领先、亚洲第1，客观反映了近年来我国科技期刊的进步和发展。