基于动态权重的百分位数指标在期刊评价实践中的应用研究

■舒 予 胡 静 魏丽敏 张雅晴 张黎俐

四川大学图书馆，四川省成都市一环路南一段24号 610065

期刊学术影响力的评价问题在国内外科研绩效评价工作中占据了重要的地位，Garfield[1]提出的影响因子是评价期刊的一个重要的指标。但是在科研评奖、职称评定、学科资源优化配置等工作中，均涉及对不同学科的学术成果进行横向比较的问题，由于不同学科的发文数量和引用规律存在明显的区别，因此单纯依靠影响因子并不能将属于不同学科的期刊学术绩效纳入到同一个尺度进行横向比较。例如《期刊引证报告》(JournalCitationReport，JCR)数据库中土木工程学科排名第1的期刊的影响因子为5.475，但具有相同影响因子的期刊在细胞生物学学科中只能排在第45位。因此，跨学科的期刊评价成为期刊评价研究领域的一个重要课题。跨学科期刊评价的目标是构建学科标准化的期刊评价指标来消除期刊间的学科差异，目前基于学科标准化指标的方法已经有大量研究成果，并且已被广泛应用于期刊的评价之中，例如以Scopus数据库的来源标准化篇均影响力(Source Normalized Impact per Paper，SNIP)指标为代表的基准值方法[2-7]，这类方法以数值评价期刊，引入期刊所在学科所有论文的引文期望值作为相对基准值，用期刊的实际引文数值除以该基准值，从而校正由于学科不同带来的引文差异，这种处理方式十分类似于Opthof等[8]提出的MNCS指标以及InCites的CNCI指标。但是由于论文集合的被引频次往往呈现偏态分布，因此部分学者认为不能使用期望值进行跨学科比较[9]，于是在跨学科期刊评价中也常以排序作为比较期刊影响力的依据，例如JCR数据库提供的期刊分区和影响因子百分位等指标均取决于期刊的影响因子在学科内的排序。此外，许多学者借鉴Bornmann等[10]提出的百分位数(Percentiles Rank Scores，PRS)来评测期刊的学术影响力；Leydesdorff[11]设计了I3指标，将各百分位论文的数量和百分位等级结合起来，兼顾了论文的质量和数量;Vinkler[12]采用被引频次百分位数位置(Percentage Rank Position,PRP)指数来比较期刊的影响力；汪莉[13]设计基于文献密度分布的载文数量权重，利用PRS建立基于被引频次分布的PRC指标；刘雪立等[14]选取8个百分位等级，按照论文被引频次所处的PRS等级进行赋值，建立期刊PR8指数。舒予等[15]提出了一种基于动态权重的PRS指标，该指标同时利用论文被引频次和论文被引频次分布两个因素，从“量”和“序”两个角度对论文的学术影响力进行综合评价，从而提高评价结果的准确性和区分度。本研究将PRS指标用于跨学科期刊学术影响力的评价，希望能够为期刊评价提供一种新的思路。

1 基于动态权重的PRS计算方法

引入相对基准值来消除学科引用差异：

(1)

式中C为研究实体(即一组特定的论文集合，可以是机构、学科、学者或者期刊的论文集合)的实际篇均被引频次，在此基础上引入一个参考论文集合，e为该参考论文集合的篇均被引频次，通过将e作为参考基准值平衡不同学科的引文差异。

相对基准值的方法受到了Bornmann等[10]的质疑，他们认为由于参考集合中论文的被引频次呈非正态分布，因此应当使用被引频次分布对论文的学术影响力进行度量。他们提出将论文按照被引频次分为若干百分位区间，再对各百分位区间的论文比例进行线性加权，其PRS可表示为

(2)

式中p(xi)为进入第i个百分位区间的论文比例，xi为各百分位区间对应的系数，K为设定的百分位区间的个数。PRS本质上是一种线性加权的概率密度算子，基于高被引论文的价值高于低被引论文这一认识，PRS对高百分位区间赋予了相对更高的权重。

显然，上述2种方法的目的均是设计一种标准化指标计算框架来消除学科不同带来的引文差异性，但是解决的思路有所不同。相对基准值的方法是引入修正系数来消除学科差异性，该修正系数取决于选取的参考论文集合，但是由于参考论文集合中论文被引频次呈偏态分布，因此该方法不能完全体现论文集合学术影响力的真实情况。例如在2010年发表的分别来自化学学科和数学学科的2篇论文，按照相对基准值计算方法修正后的篇均被引频次均为2.1，但是前者的PRS约为85%(即排在化学学科85%的论文之前)，后者的PRS约为89%，二者的PRS存在一定的差异。而PRS是以排序评价对象，是论文集合被引频次排序的体现，不受被引频次具体数值的影响，但是PRS认为同处于一个百分位区间的论文价值相同，忽略了实际上同一个百分位区间的论文在学术影响力上依然存在差异。例如2010年发表的2篇临床医学论文，一篇被引频次为1396，另一篇为546，这2篇论文同属于临床医学前1%的百分位区间，但是显然两者的学术影响力不相同。在提出基于动态权重的PRS时，一个基本的想法是在PRS的计算框架基础上，对各百分位区间对应的权重系数进行动态调整，使得权重系数不仅反映各百分位区间的价值，还与在此百分位区间内的论文与参考论文集合的平均水平有关。定义动态权重的百分位数(Dynamic Weight Percentile Rank Score，DPRS)为

(3)

(4)

式中ci为待评价的论文集合在第i个百分位区间中的篇均被引频次，ei为参考论文集合在第i个百分位区间的篇均被引频次。

与PRS相比，DPRS的权重系数根据各百分位区间中的论文实际表现进行了动态调整，作出这一调整的依据是：当待评价论文集合在某一百分位区间的表现高于该百分位区间的期望值(即参考论文集合在该百分位区间中的篇均被引频次)时，原有的权重应该适当提高，用以“奖励”该区间表现出色的论文，反之权重系数应当下降，以此“惩罚”该区间表现不佳的论文。例如，某一百分位区间对应的权重系数为3，而当待评价论文集合在该百分位区间的论文平均被引频次与期望值之比为1.5时，显然待评价论文集合在该百分位区间的表现优于期望值，于是可以认为论文集合在这一百分位区间的良好表现使得这一部分的论文对论文集合的整体学术影响力的贡献应当高于预先设置的权重系数3，于是将权重系数调整为31.5，即5.20。

2 数据获取与处理方法

2.1 评价对象的选择

在JCR数据库公布的2017年版期刊目录中，按照Web of Science的学科分类方法，分别选取来自Astronomy & Astrophysics、Cell Biology、Energy & Fuels、Nanoscience & Nanotechnology和Telecommunications共5个学科的期刊。从学科被引用的情况分析，2012—2016年这5个学科全球范围内论文的篇均被引频次最大值为19.3，最小值为8.28，说明5个学科在引用习惯上存在明显差别。因此有必要对这5个学科进行跨学科期刊评价的实证研究。在这5个学科的期刊中排除缺少5年影响因子和SNIP指标的期刊，选取共计397种期刊作为评价对象。

2.2 数据获取

在JCR数据库中获取397种期刊在2017年的5年影响因子、期刊平均百分位；在Scopus数据库中获取397种期刊的SNIP；在InCites数据库的期刊模块限定年份2012—2016年，获取397种期刊在这5年内的论文数量、论文被引频次、被引率和篇均被引频次。

在InCites数据库的研究方向模块，分别选择Astronomy & Astrophysics、Cell Biology、Energy & Fuels、Nanoscience & Nanotechnology和Telecommunications 5个学科，限定年份为2012—2016年，限定文献类型为Article和Review，下载这5个学科的全部论文列表，列表中包含论文的标题、来源出版物、被引频次等信息，这样便得到了PRS和DPRS计算时所需的参考论文集合以及集合中每一篇论文的被引频次，再通过Python编程将各学科的论文分配到各期刊下，获得每种期刊下的所有论文列表，得到各评价对象(即各期刊)的论文集合以及集合中每一篇论文的被引频次。

2.3 PRS和DPRS的计算

以Cell Biology下的CellReports为例，对PRS和DPRS进行计算。2012—2016年Cell Biology学科共计发表154914篇论文，设定top1%、95%～99%、90%～<95%、75%～<90%、50%～<75%和50%以下共6个百分位区间，该学科的论文进入到各百分位区间需要满足的被引频次条件见表1。

表1 2012—2016年Cell Biology学科论文进入各百分位区间时被引频次需要满足的条件

接下来分别计算CellReports的PRS和DPRS。

(1)CellReports在2012—2016年共计发表3252篇论文，根据表1提供的百分位区间阈值，可以得到CellReports进入到top1%、95%～99%、90%～<95%、75%～<90%、50%～<75%和50%以下6个百分位区间的论文数量分别为21、180、305、787、1000和959篇，于是各百分位区间的论文比例分别为0.65%、5.54%、9.38%、24.20%、30.75%和29.49%。

PRS是对各百分位区间的论文比例进行线性加权，因此CellReports的PRS为fPRSCR=6×0.0065+5×0.0554+4×0.0938+3×0.2420+2×0.3075+1×0.2949=2.32。

(2) 由第1节关于DPRS的介绍可知，DPRS指标的计算需要评价对象论文集合和参考论文集合在各百分位区间的篇均被引频次的比值。期刊CellReports和Cell Biology学科所有论文在各百分位区间的篇均被引频次见表2。

表2 Cell Reports和Cell Biology学科所有论文在各百分位区间的篇均被引频次

根据(4)式可以计算CellReports的论文在各百分位区间调整后的权重系数，分别为

因此CellReports的DPRS为

fDPRSCR=3.78×0.0065+4.77×0.0544+3.95×

0.0938+3×0.2420+2.02×0.3075+1×0.2949=2.30。

按照上述方法可以得到397种期刊的PRS和DPRS指标值。

3 结果分析

3.1 各指标相关性分析

首先利用SPSS软件对比PRS、DPRS、5年影响因子、平均百分位等指标之间的相关性，统计结果见表3，由于篇幅限制，没有给出所有的统计结果，仅展示各指标之间的相关性系数。

表3 期刊在各指标上的相关性分析

注：**表示在0.01水平(双侧)上显著相关，*表示在0.05水平(双侧)上显著相关。

(1) 由表3可知，PRS和DPRS 2个指标与篇均被引频次相关性较强，相关性系数分别为0.892和0.928，但是与论文数量、被引频次、被引率这3个指标相关性较弱，表明PRS和DPRS主要侧重从期刊的学术质量这一单一维度评价期刊，并不能反映期刊在研究规模、学术传播度，以及研究成果的利用率等方面的情况，与h指数、g指数、p指数等可以从多个角度同时描述期刊学术水平的综合性指标有所不同。此外，除了5年影响因子指标之外，与篇均被引频次这一指标相关性最高的指标为PRS和DPRS，表明PRS和DPRS相比其他指标能够更好地描述期刊在“质量”这一维度的特征。

(2) PRS和DPRS 2个指标均与5年影响因子高度相关，相关性系数分别为0.889和0.925，表明PRS和DPRS与5年影响因子具有高度一致的内涵，在期刊评价的实践中可以与5年影响因子这一指标结合使用，互为补充。

(3) 在上述指标中，SNIP和平均百分位是2个相对指标，SNIP是通过基准值设计的标准化指标，平均百分位是依据期刊影响因子在本学科期刊中的排序设计的标准化指标。由表3可知，PRS、DPRS 2个指标与SNIP、平均百分位2个指标也高度相关，PRS与SNIP、平均百分位指标的相关性系数分别为0.823和0.795，DPRS与SNIP、平均百分位指标的相关性系数分别为0.858和0.751。这一结果表明PRS和DPRS 2个指标确实具有和SNIP、平均百分位相类似的性质，即它们是相对性指标，消除了不同学科之间由于引用习惯不同带来的引文差异性，可以用于跨学科期刊的评价。

3.2 DPRS指标性质的进一步分析

为进一步分析DPRS的性质，表4给出了Cell Biology学科中部分期刊的PRS、DPRS、5年影响因子和篇均被引频次指标值，并且按照DPRS指标的大小从高到低进行排序。

表4 Cell Biology学科中13种期刊的4个指标值

3.2.1 DPRS能够更好地描述期刊整体层面的学术影响力

由表4可知，PlantCell和Genes&Development2种期刊在DPRS和PRS 2个指标上的排序关系均为前者高于后者，但是篇均被引频次的排序关系却相反。从2种期刊的论文在各百分位区间的比例分布可知(表5)，Genes&Development论文在top1%和50%以下2个百分位区间的论文比例高于PlantCell，而其余4个百分位区间的比例都低于PlantCell，即高、低被引频次2个区域的论文比例高而中等被引频次的论文比例低的“两头大、中间小”，显然Genes&Development由于高被引论文比例较高，因此使得其篇均被引频次高于高被引论文比例较低的PlantCell，这同时也说明期刊的篇均被引频次容易受到高被引论文集合的影响，而PRS和DPRS却能够综合期刊论文在各个百分位区间的分布情况，从整体层面反映期刊的学术影响力。

表5 Plant Cell和Genes & Development的论文在各百分位区间的比例分布

3.2.2 DPRS可以揭示成果成熟、处于稳定发展状态的期刊

由表4可知，MolecularCell和ScienceTranslationalMedicine的PRS、DPRS和篇均被引频次3个指标的排序关系均为前者高于后者，但是2种期刊5年影响因子指标值的排序关系相反。从2种期刊2012—2016年的篇均引文数量(图1)不难发现，ScienceTranslationalMedicine从2015年开始，篇均引文数量的增长率明显加快，并且2016年的篇均引文数量高于MolecularCell。由5年影响因子的计算方式可知，ScienceTranslationalMedicine的5年影响因子高于MolecularCell，而从2012—2017年的累积引文数量分析，MolecularCell则高于ScienceTranslationalMedicine。这说明，PRS、DPRS更侧重从期刊论文在一个时间段累积的关注度方面描述期刊，可以用于评价刊载研究成果较为成熟、处于稳定发展状态的期刊，而5年影响因子(包括影响因子)更侧重从期刊在近期的受关注度方面描述期刊，可用于评价刊载新兴研究成果、处于快速成长状态的期刊。

图1 Molecular Cell和Science Translational Medicine在2012—2016年的篇均引文数量

需要说明的是，造成PRS、DPRS、篇均被引频次这3个指标与5年影响因子(或影响因子)差异较大的根本原因并非指标在计算机制上的不同，而在于数据集选取的差异，计算PRS、DPRS、篇均被引频次3个指标所需要的是2012年至今的累积引文数量，而计算5年影响因子(或影响因子)所需要的是论文在2017年的引文数量，如果在计算PRS、DPRS、篇均被引频次时选取的引文集也限制在2017年，那么得到的结果与5年影响因子(或影响因子)至少在内涵上可以保持一致。

3.2.3 DPRS能够有效综合期刊在各百分位区间的“量”与“质”的信息

表6 Journal of Cell Biology和Trends in Molecular Medicine在各百分位区间的表现

再以Genes&Development和CellResearch2种期刊为例进一步对比DPRS和PRS。2种期刊在各百分位区间的表现见表7。虽然CellResearch的PRS高于Genes&Development，但是Genes&Development在top1%、95%～99%、75%～<90%、50%～<75%这4个百分位区间上的篇均被引频次表现都高于CellResearch，根据DPRS指标的计算方式，Genes&Development的论文在这4个百分位区间对应的权重系数都高于CellResearch。于是在论文比例较低的top1%、75%～<90%、50%～<75%这3个区间，Genes&Development可以凭借较高的权重系数“弥补”在相应区间论文比例偏低的劣势，而在论文比例较高的95%～99%这一区间，Genes&Development更是可以凭借较高的权重系数“扩大”论文比例的优势，从而使得DPRS高于CellResearch。从上述分析还可以发现，与PRS相比，DPRS能够将期刊论文集合在各百分位区间上的“相对数量”和“相对质量”结合起来，从而更加充分地展现期刊学术影响力的细节，具有更高的精准度和区分度。

表7 Genes & Development和Cell Research在各百分位区间的表现

4 结论

DPRS是在PRS计算框架上进行的扩展，根据期刊论文集合在各百分位区间上的实际表现与预期表现的比较结果，对权重系数进行动态调整，将“相对数量”和“相对质量”两方面的信息有效综合起来。将DPRS用于期刊学术影响力的评价，实证研究结果表明DPRS能够实现跨学科期刊的评价，与现有的标准化指标相比，可以更精准地揭示期刊学术影响力的细节。

同时也需要注意，DPRS的计算需要期刊论文所属学科在各百分位区间的篇均被引频次，这就要求获取到该学科中每一篇论文的被引频次，因此数据获取存在一定的难度，同时指标计算也较为复杂。在后续的工作中，须在保证指标区分度和精准度的前提下寻求简化计算量的方法。