期刊CiteScore评价研究

■杨毓丽 高 健 秦 奋

大连理工大学图书馆,大连市甘井子区凌工路2号 116024

2016年12月8日，荷兰著名出版商Elsevier推出期刊评价体系CiteScore，该指标与影响因子(IF)类似，但其基于Elsevier自有科学文献数据库Scopus收录期刊。该评价体系包含8个指标：CiteScore、引用追踪、引用百分位、引用四分位数、CiteScore排名、引用数、文献数量和引用比例。CiteScore发布后，学术界将其视为IF的挑战对手。目前，国内外已有文献对CiteScore和IF进行对比分析，比较两者在期刊收录范围、计算方法、影响力排名分区等方面的差异，例如，van Noorden[1]比较了高IF期刊在CiteScore中的表现，结果表明Nature，Science等期刊的CitesScore值偏低，如果按照CiteScore统计方法，一些期刊编辑部有可能会减少非研究性文献类型，从而获得更高的CiteScore值；肖仙桃等[2]重点评价中国科技期刊在2个评价体系中的表现；叶艳等[3]分析了经济管理学类期刊IF和CiteScore指数的异同；刘雪立等[4]统计了8个学科期刊CiteScore和IF的相关性；Teixeira等[5]分析了CiteScore和IF在期刊收录范围、相互覆盖程度的特征；Erfanmanesh等[6]利用CiteScore，SJR和SNIP中位数分析了102个国家发文总量和引用数的相关性，结果表明国家发文总量和引用数与CiteScore，SJR和SNIP密切相关；Kim等[7]介绍了CiteScore统计方式与其他期刊影响因子的不同；Elliott[8]认为SCImago或CiteScore基于3年时间窗口，更能反映半衰期较长的临床医学期刊的影响力；Yan等[9]分学科计算了开放获取期刊和非开放获取期刊在CiteScore的分区情况，结果表明，社会科学中非开放获取期刊具有更高的CiteScore值，而在生物化学和医学领域，开放获取期刊具有较高CiteScore值。本文在上述研究基础上，通过建立CiteScore值与IF回归模型，分析两者的相关性，并利用R语言，进一步调用residuals()命令，获得CiteScore和IF残差，并对残差进行排序，抽取CiteScore和IF残差较大的10种期刊与CiteScore和IF残差较小的5种期刊，通过提出被引比率速率指数来考察不同类型文献在不同时间窗口被引比率的变化规律，以期为期刊影响因子评价提供新的参考依据。

1 研究方法与数据来源

1.1 数据来源

本研究的IF数据来源于科睿唯安的Web of Science(WoS)数据库，选取了2016年版《期刊引证报告》(JCR)数据。CiteScore数据来源于Scopus数据库，Scopus数据库收录期刊数量为22000多种，其中11000多种期刊没有影响因子但有CiteScore值。而一些被SCI收录、影响因子不错的期刊未被Scopus收录，如期刊AstrophysicalJournalofSupplementSeries,ACSCentralScience等。CiteScore和IF比较情况见表1。

表1 CiteScore和IF的比较

注: IF2是指引证时间窗口为2年的期刊IF，IF5是指引证时间窗口为5年的期刊IF。

1.2 研究步骤

步骤1：从Scopus检索平台下载2012—2016年各收录期刊的CiteScore数据。

步骤2：从WoS检索平台下载2012—2016年各期刊的IF2和IF5。

步骤3：为了解期刊IF的数据分布特点，统计2014—2016年CiteScore和IF的最大值、最小值、平均值、中位数和标准差。中位数与平均值的比值以及标准差一定程度上说明数据分布的偏态情况，对称分布的中位数与平均值比值为1，偏离1越远说明数据偏倚越大。

步骤4:将数据导入*.csv文件。在R语言程序中读取*.csv 文件，通过调用cor()、fitlm<-lm()以及summary(fitlm)3个函数，分别建立2012—2016年CiteScore和IF2、IF5的线性回归模型，以考察CiteScore指标和IF之间是否具有相关性。

步骤5:为了确保期刊CiteScore在学术界的透明度，Scopus数据库提供收录期刊过去3年发表论文的原始记录链接入口。为考察CiteScore和IF的异同，通过调用residuals()命令，获得CiteScore和IF残差，并对残差进行排序，从中抽取CiteScore和IF残差较大的10种期刊(5种期刊的CiteScore高于IF，5种期刊的CiteScore低于IF)与Citescore和IF残差较小的5种期刊为样本进行分析(表2)。

表2 CiteScore和IF残差较大的10种期刊和残差较小的5种期刊的评价指标

1.3 CiteScore文献类型和引证窗口的计算

CiteScore引证时间窗口选择3年，这是IF2和IF5的折中，还是最佳的引证时间窗口？不同类型的文献影响力是否一致？为此，本研究对抽取的15种期刊进行线性回归分析，通过对文献类型和引证时间窗口进行拆分，可得到CiteScore的计算公式：

(1)

为考察不同类型文献的被引速率是否在3年达到峰值，笔者采用文献[10]的被引速率：

(2)

式中v为论文被引速率，Ci为论文在第i年的被引频次，Cn为论文在第n年的被引频次。这一指数被广泛用于考察不同文献类型、不同学科期刊IF老化速率的研究，如用于发现“睡美人”文献和“王子”文献[11-12]等。本研究在此概念基础上，进一步提出被引比率速率指数：

(3)

式中σ为文献被引比率速率，ωi为第i年被引用论文占全部论文的比例，ωn为第n年被引用论文占全部论文的比例。本研究通过被引比率速率指数考察不同类型文献在不同时间窗口被引比率的变化规律。

2 结果与分析

2.1 CiteScore排名

2016年所有期刊CiteScore排名中，CiteScore指数前10位的期刊分别属于医学、化学、材料和天文学学科(表3)。同时这10种期刊都不是开放获取期刊，说明开放获取并不是期刊具有高影响力的必要条件。通过检索这10种期刊IF排名情况，发现除Ca-ACancerJournalforClinicians的IF2(187.04)和IF5(160.239)排名均高居头名外，其余样本期刊的CiteScore和IF排名差异较大。例如MaterialsScienceandEngineering:R和ProgressinMaterialsScience的IF均排在20多位，PhysiologicalReviews和ProgressinPolymerScience的IF均排在30多位。这10种期刊的IF2和IF5排名均相同。而在CiteScore统计下，IF排名靠前的期刊如Science、Nature和Cell在CiteScore排名中分别位于54、67和19位，其他学科的顶级学术期刊如TheNewEnglandJournalofMedicine，TheLancet在CiteScore评价体系中排名差强人意。这一排名方式有可能使科研人员对于CiteScore评价方法的公正性和客观性产生质疑。

对于CiteScore值高于IF值的原因，CiteScore在使用说明中提出了以下两个影响因素：(1)CiteScore基于Scopus数据库，由于Scopus数据库收录范围大于WoS数据库，因此Scopus收录期刊数量较多，带来引用的可能较大；(2)由于CiteScore统计分母包括社论、技术通信、来信、通告、读者来信、科学讯息观察、报告等文献，因此许多综合类期刊的CiteScore值低于IF值，但对于只发表研究论文和综述论文的期刊，其CiteScore值高于IF值[13]。尽管不同期刊有不同的引用峰度，但相较于IF2，3年的引证时间窗口可以使期刊捕捉更多引文信息，从而能够累积更多被引频次，这也是CiteScore值高于IF值的主要原因之一。Scopus认为:信件的引用对学术界的影响力与一篇研究论文的引用对学术界的影响力相同；同时分子和分母之间文献类型一致性可简化期刊评价指标的计算，降低文献计量的操作难度。在进行文献类型分类时，Scopus将所有信件、评论等与研究类论文一视同仁，这一做法尚值得商榷。

表3 2016年CiteScore排名前10期刊的评价指标

2.2 CiteScore和IF的取值范围

从IF取值范围来看，2014—2016年样本期刊的IF2和IF5均高于CiteScore。其中，2016年IF2的最大值为187.04，2016年IF5的最大值为160.24，比CiteScore值大一倍。2014—2016年IF平均值、中位数、标准差均远高于CiteScore值，这表明IF数据离散程度较高，而CiteScore数据相对集中(表4)。

表4 CiteScore和IF取值范围统计结果

2.3 CiteScore和IF的线性回归结果

本研究通过分析CiteScore和IF的相关性，发现2012—2016年所有样本期刊的CiteScore和IF呈线性相关，R-squared取值范围为[0.7973，0.8076]，显著性水平均小于0．01，2012—2016年相关系数r略有差异，但变化不大，其中CiteScore和IF5的相关系数均高于CiteScore和IF2的相关系数(表5)。

表5 2012—2016年Citescore和IF的线性回归结果

注：*为显著性标记;***表明显著性水平小于0.01。

在对回归模型进行显著性检验后，本研究进一步进行残差分析以检验模型的正确性。本研究用R语言par(mfrow=c(1,4))和plot()函数生成4种用于残差诊断的图形(图1)，查看残差是否服从正态分布。以2016年CiteScore和IF线性回归残差为例，图1(a)为残差和拟合值模型，残差和拟合值之间数据点均匀分布在y=0两侧，呈现随机分布；图1(b)为残差的Q-Q plot模型，数据点按对角线排列，呈正态分布；图1(c)为标准化残差平方根和拟合值，数据点均匀分布在y=0两侧，红色线呈现平稳的变化趋势且没有明显的形状特征；图1(d)为标准化残差和杠杆值，没有出现红色等高线，说明数据中没有特别影响回归结果的异常点，残差基本符合假设条件。

图1 残差诊断的图形。(a)残差和拟合值模型；(b)残差的Q-Q plot模型；(c)标准化残差平方根和拟合值；(d)标准化残差和杠杆值

2.4 CiteScore文献类型和引证窗口的计量分析结果

通过对不同文献类型，不同时间窗口的CiteScore值、被引速率和被引比率速率的统计结果进行分析。

(1)收录文献类型不同是造成10种样本期刊CiteScore和IF残差较大的原因之一。以NatureReviews、TheLancet、Nature、Science4种期刊为例(图2)，2015年NatureReviews的研究论文、会议论文、综述论文、注释、信件、编者按、调查和其他类型文献的发文数分别占总发文数的12.14%、0%、19.62%、45.79%、3.27%、0%、14.95%、4.2%。TheLancet以上文献类型分别占总发文数的19.75%、0.08%、5.5%、28.56%、26%、11%、3.73%、4.32%。上述期刊发表大量除研究论文、会议论文、综述论文以外的其他类型文献，导致其CiteScore值明显低于IF。

(2)对于发文量较少的期刊，Scopus收录范围较广，被引频次较高，造成CiteScore明显高于 IF。以期刊ChemicalReviews和IEEECommunicationsSurveysandTutorials为例，2016年这两种期刊的发文量分别为37篇和208篇，由于这两种期刊主要发表研究论文、会议论文和综述论文，因此根据CiteScore和IF计算公式，二者分母值相同，Scopus数据库被引频次较高，因此这两种期刊CiteScore值明显高于IF，二者的残差较大。而CommunicationsinAlgebra、JournalofComputationalandAppliedMathematics、JournalofOrganometallicChemistry、ThinSolidFilms、JournalofSeaResearch这5种期刊尽管也只刊发研究论文、综述论文等文献类型，但由于发文数量较多，例如2016年ThinSolidFilms的发文量为1533篇，收录文献类型的差异对CiteScore值整体影响较小，因此CiteScore和IF残差较小。

图2 2011—2015年不同类型文献发文数统计。(a)Nature Reviews Drug Discovery；(b)The Lancet； (c)Nature；(d)Science

图3 不同期刊5年被引速率统计。(a)Cell；(b)Chemical Society Reviews；(c)Chemical Reviews；(d)Communication in Algebra

(3)从图3可以看出，所有期刊在2～5年的被引速率均未达到高峰，呈现被引速率递减状态。15种样本期刊中，Science的会议类文献在4年后达到峰值61.72%，5年后被引速率为58.42%，呈现递减；Cell的编者按文献在3年后达到高峰50%，随后2年被引速率分别递减为41.67%和40.00%；其他13种期刊各种类型文献都随引证时间窗口延长，其被引速率逐渐增大。这说明2年、3年和5年均不是上述期刊的最佳引证时间窗口，这可能是因为残差较大的期刊如TheLancet、ProgressinMaterialsScience、ChemicalSocietyReviews、ChemicalReviews的影响因子都较高，在行业中具有较大的影响力，引用半衰期较长，如Nature，Science的引用半衰期均大于10年；而残差较小的期刊所在学科引用较慢，如CommunicationsinAlgebra、JournalofComputational和AppliedMathematics是数学类期刊，新的理论发表后往往需要等待若干年才可能引发关注。本研究的统计结果也从另一个方面印证了Gonzalez等[14]的结论：“不同学科的引证窗口存在不一致，即使同一学科不同期刊的引证窗口也存在不一致现象，因此无论是2年还是5年，对于单个学科或者期刊来说，都不是引证窗口的最佳选择，针对具体期刊的引证窗口进行分析或许是最优选择”。

(4)从图4被引比率速率增长值来看，除化学类期刊外，各收录期刊均在1～3年内保持快速增长，达到峰值，从第4年起，期刊被引比率速率呈现递减。对于化学类期刊如ChemicalReviews、ChemicalSocietyReviews，文献第1年的被引比率即达100%，在随后的第2年和第3年一直呈现快速增长态势，随后逐年递减。从文献类型看，综述类文献的被引比率较其他类型高，信件、编者按、调查类文献的被引比率较低，注释类文献的被引比率最低。从被引比率速率值来看，IF较高的期刊如Science被引比率值也较高，同时学科也对被引比率速率值有影响，数学类期刊如CommunicationsinAlgebra、JournalofComputationalandAppliedMathematics较低，而化学类期刊JournalofOrganometallicChemistry被引比率速率值较高。由上述数据分析可看出，相比2年和5年时间窗口，3年的引证窗口更能捕捉15种期刊大多数文章的文献价值。同时，相对于综述论文和研究论文的高被引比率，CiteScore统计的其他类型文献的被引比率比较低。因此，如果CiteScore能对不同类型文献进行加权，比如研究论文和综述论文计算为1分，注释、信件、编者按等文献类型根据被引速率和被引比率进行加权百分比计入评价，那么CiteScore的评价将会更客观。

图4 不同期刊5年被引比率速率统计。(a)Science；(b)Communication in Algebra；(c)Chemical Society Reviews；(d)Chemical Reviews

3 讨论

3.1 不宜比较跨学科期刊的影响力

同IF一样，使用CiteScore无法比较不同学科领域期刊的影响力，对此CiteScore也作了说明：“不应使用CiteScore在不同学科领域中进行比较，该指标不是领域标准化度量指标”[8]。但同时也指出：“使用CiteScore百分比排名可比较具有相同CiteScore值的不同学科期刊”[8]。然而通过对CiteScore引证报告的数据进行分析发现，由于Scopus数据库收录期刊数量众多，并且CiteScore取值小数点后二位，因此该报告中存在大量CiteScore值相同，百分比排名相同，分区相同的期刊，例如CellStructureandFunction、EricssonReview等8种期刊分属7个学科，但是CiteScore值均为1.33，Quartile均为2区，Percentile均为62，从而难以通过百分比排名对期刊进行评价区分。相比之下，IF在加菲尔德的坚持下，在产生之初便采用小数点后三位，加菲尔德在论文“The history and meaning of the journal impact factor”中特别指出：“这样做可以尽量避免影响因子相同的情况，尽管读者并不在意如JAMA的影响因子是24.8还是24.831”[15]。

3.2 期刊收录计算存在的问题

笔者在分析数据时发现，CiteScore统计存在一些问题：例如FoodandEnergySecurity共被Scopus检索1篇论文，这篇论文却有9次引用，因此，CiteScore影响因子达到9，位于学科期刊的1区。同样CerebellumandAtaxias共被Scopus检索1篇论文，被引6次，影响因子为6，位于学科期刊1区；TranslationalEndocrinologyandMetabolism被Scopus检索1篇论文，被引3次，影响因子为3，位于学科期刊2区。其他还有NanoLIFE被Scopus检索2篇论文，CiteScore影响因子为1.5，位于学科期刊2区。这些只发表1篇或2篇论文的期刊却位于学科期刊1区和2区，这对其他发文较多、引用滞后从而导致CiteScore值较低的期刊有失偏颇。Elsevier未来可采用定量筛选方式对期刊发文设置遴选标准，例如按出版频率计算各出版频率发文数量的置信区间，区间之外的刊物不予打分。比如月刊，假如一年只收录20篇文章，就排除在CiteScore评价范围之外。采用更为严谨的评价筛选方式能够增强CiteScore作为期刊评价指标的公信力。

3.3 期刊收录学科的错误

在2016年发布的2015年版CiteScore期刊类目表中，植物科学专业期刊AnnualReviewofPlantBiology被归入 General Medicine学科，信息计量学期刊Scientometrics被归入法学学科，社会学专业期刊Mobilization被归入Transportation学科。尽管Elsevier对上述错误进行了修正，且在2017年期刊引证报告中将上述期刊归入合适类目，但仍有其他期刊类目不合适，如2017年CiteScore引证报告中AccountabiliyinResearch的学科类目归于Library and Information Sciences和Education General Medicine学科，根据该期刊介绍，其主要发表生物医学研究的同行评议论文，很显然，将其归于图书馆信息类目并不合适，该期刊在IF数据库中归于Medical Ethics学科，无疑更为恰当。

4 结语

CiteScore的期刊涵盖数量较多，2016年涵盖的期刊数量达22618种，是WoS数据库的两倍。CiteScore 2015年涵盖的期刊为22209种，2014年21504种，2013年20796种，每年都新增几百种期刊。与WoS相比，Scopus收录更多中文期刊，一旦CiteScore被广泛接受，将为中文期刊评价提供新的视野。然而从期刊评价来看，CiteScore将所有类型的文献纳入计量范围的做法值得商榷。统计结果表明，研究论文、综述论文的被引比率明显高于其他类型的论文，注释类文献的被引比率最低，如将其与研究论文、综述论文等同计算引用率，无疑有失偏颇。另外，CiteScore的引证窗口为3年，从被引比率速率增长值来看，除化学类期刊外，各期刊确实在前3年内保持快速增长，并达到峰值，从第4年起，期刊被引比率速率呈现递减。然而本研究的统计样本只选择了残差较大的10种期刊和残差较小的5种期刊，样本量较小。3年的引证窗口是否为最佳选择，3年是否足以捕捉大多数学科的引文高峰，都是未来CiteScore评价需进一步探讨的问题。

[1] van Noorden R. Controversial impact factor gets a heavyweight rival[J].Nature,2016,540(7633):325-326.

[2] 肖仙桃,曲建升,王玏,等. CiteScore与JCR期刊评估指标的比较分析[J]. 中国科技期刊研究,2017,28(10):954-958.

[3] 叶艳,张李义.基于CiteScore指数与影响因子的期刊评价研究——以经济管理领域期刊为例[J]. 情报科学,2017(7):126-131.

[4] 刘雪立,任胜利,程维红,等. 不同学科期刊CiteScore与影响因子的比较研究[J]. 中国科技期刊研究,2017,28(9):837-841.

[5] Teixeira D S J A,Memon A R. CiteScore:A cite for sore eyes,or a valuable,transparent metric?[J].Scientometrics,2017,111(1):1-4

[6] Erfanmanesh M,Tahira M,Abrizah A. The publication success of 102 nations in Scopus and the performance of their Scopus-indexed journals[J].PublishingResearchQuarterly,2017,33(1):1-12

[7] Kim K, Chung Y. Overview of journal metrics[J].ScienceEditing,2018,5(1):16-20.

[8] Elliott D B. What is the most appropriate citation metric for a clinical journal?[J].Ophthalmic&PhysiologicalOptics,2018,38(1):1-5.

[9] Yan E,Li K. Which domains do open-access journals do best in? A 5-year longitudinal study[J].JournaloftheAssociationforInformationScience&Technology,2018,2(1):1-19

[10] Wang J. Citation time window choice for research impact evaluation[J].Scientometrics,2013,94(3):851-872.

[11] Lachance C,Larivière V. On the citation lifecycle of papers with delayed recognition[J].JournalofInformetrics,2014,8(4):863-872.

[12] 杜建,武夷山.基于被引速率指标识别睡美人文献及其“王子”——以2014年诺贝尔化学奖得主 Stefan Hell的睡美人文献为例[J]. 情报学报,2015(5):508-521.

[13] Elsevier. CiteScore metrics FAQs[EB/OL]. [2017-09-21]. http://supportcontent.elsevier.com/RightNow%20Next%20Gen/Scopus/Files/5221_CiteScore_FAQ.pdf.

[14] González M I D,González P D. Do fixed citation windows affect the impact maturation rates of scientific journals?[J].InvestigaciónBibliotecológica:Archivonomía,BibliotecológicaeInformación,2016,30(68):73-89.

[15] Garfield E. The history and meaning of the journal impact factor[J].TheJournaloftheAmericanMedicalAssociation,2006,295(1):90.