网络环境下评价科学论文影响力的补充计量学研究与探讨

，

(沈阳农业大学图书馆，辽宁 沈阳 110866)

多年来，在利用期刊影响因子被引次数、同行评议等指标对论文进行补充计量评价时，我们发现，由于评价时滞过长，评价内容较陈旧及其引文分析固有缺点的限制，使得传统文献计量学方法出现了一定程度的局限性。在这种背景下，补充计量学悄然崛起，为学术论文影响力的评价提供了一个新的视角。本文以Mendeley平台中的论文为样本，利用Altmetric.com网络提供的API的9项特征指标构建补充计量学论文影响力评价模型，就我国补充计量学的应用研究做进一步的探讨。

1 补充计量学及国内研究现状

文献补充计量起源于20世纪初，英文名为Altmetrics，它并不是代替原有计量学的方法，而是结合原来的评价体系进行补充新的评价指标，其计量理论和方法广泛应用于自然和人文科学，为情报分析、绩效评估和学术机构组织、学术质量提供重要的参考价值。补充计量学也可称为“基于社交网络的科学计量学”，它将开放存取平台和多种学术社交网络作为引文网络，是基于Web2.0科学交流平台上各学术类型使用与评价的计量，主要包括知名度、热点、合作注释、标签密度等评价指标。在文献计量数据库当中，文献的主题信息包含了机构名称、作者、期刊来源、发表时间、文章链接、被引量与下载量等文献评价指标，这些都是作为学术影响力的动态指标，其评价结果将提高作者及其单位在国内外的学术地位，推进国际间的学术交流起着重要的作用。

目前，国内外学者对补充计量学的研究已经从概念探讨到实证研究阶段，例如刘春丽和LI Xuemei等人研究了Mendeley(读者数)与Citelike(引用指标)的相关关系，结果表明两者与论文被引量的相关性显著。林德明以Nature作为数据样本，采用文献计量法建立单篇论文的影响因子贡献率和绝对标准距离的测度指标，并利用回归分析研究其分布特征。盛丽娜研究了近5年影响因子和期刊特征因子作为期刊影响力评价指标，以了解各位置指标对期刊的评价效力。袁玉花等人探讨了Altmetric相关分析工具及实现意义，同时指出了在Altmetric补充计量指标的优势和其局限性。

综上所述，目前国内在补充计量学上研究方式上存在一些问题：首先研究仅限于单个指标或较少指标与论文被引量相关性的研究，分析结果较为零散，各指标之间没有形成关联，在评价论文影响力时也缺少有力的依据，难以满足科学化、系统化、标准化的文献计量与综合分析需求。其次，也没有建立补充计量指标的评价模型，没有详细说明补充计量指标对论文影响力是否有效。因此，本文利用文献数据类聚的方法，对补充计量学进行深入的研究。

2 资料来源

本文通过收集Mendeley平台中的论文作为数据来源，在检索框中输入农学，发表年限选择2015年，文献类型选择期刊，共检索到论文 4 500 篇，从中选择被引量排名前10位的论文，结果见表1。同时，利用Altmetric.com网络提供的API获取论文标题、期刊名称及各相关评价指标，包括facebook、redditers、news、blogs、plnners、google、video、citelike、F1000(世界知名专家对论文的评定)等9项指标。

序号题名期刊名被引量1Irrigation，aproductivetoolforfoodsecurity-areviewSOILANDPLANTSCIENCE13202PotentialapplicationofnaturalphenolicantimicrobialsEdiblefilmtechnologya⁃gainstbacterialplantpathogensFOODHYDROCOLLOIDS11033Assessingcarbonandwaterdynamicsofno-tillandconventionaltillagecroppingsystemsintheinlandPacificNorthwestUSusingtheeddycovariancemethodAGRICULTURALANDFORESTMETEOROLOGY5874StrengtheningAgronomyResearchforFoodSecurityandEnvironmentQualityENVIRONMENTALSCIENCE&TECHNOLOGY4995ProximalNAVIderivedphenologyimprovesin-seasonpredictionsofwheatquantityandqualityAGRICULTURALANDFORESTMETEOROLOGY4556Practicalimprovementsinsoilredoxpotential(Eh)measurementforcharacteriza⁃tionofsoilproperties ApplicationforcomparisonofconventionalandconservationagriculturecroppingsystemsANALYTICACHIMICAACTA4247EX-anteanalysisofopportunitiesforthesustainableintensificationofmaizepro⁃ductioninMozambiqueAGRICULTURALSYSTEMS3158Variationofagronomicandqualitativetraitsandlocaladaptationofmountainland⁃racesofwinterryefromValVenostaGENETICRESOURCESANDCROPEVOLUTION2149Assessingon-farmproductivityofMiscanthuscropsbycombiningsoilmapping，yieldmodelingandremotesensingBIOMASS&BIOENERGY18610Thesoilqualityconceptasaframeworktoassessmanagementpracticesinvulnera⁃bleagroecosystems：AcaseStudyinMediterraneanvineyardsECOLOGICALINDICATORS78

3 研究内容与方法

3.1 相关性分析与评价指标的选取

根据期刊论文被引量的相关统计数据，并对各区间的数据进行拟合，结果显示，被引量在0—5次论文篇数为 1 820，引量在11—15次论文篇数为 1 750，被引量在21—25次论文篇数为 1 250，很显然，被引量的增加与论文篇数之间呈圆滑曲线递减的趋势。结果见图1。

利用SPSS19.0 K-S检验方法，本文对这9个相关指标与论文的被引量进行单因子相关性分析，结果见表2。对分析数据进行正态检验，如果数据显著水平<0.05则表明数据不服从正态分布，反之异然。

图1 被引量与论文量相关统计图

对比项目facebookredditersnewsblogsplnnersgoogleradiocitelikeF1000均值27 5022 3221 580 320 58733 2422 1011 142 31标准差32 43254 33121 09745 43237 34612 56930 43212 33441 234K-S检验21 23123 11223 44315 87913 46529 01115 97623 34421 556渐近显著性0 010 020 00 010 030 00 00 10 03

据显示其数据均小于0.05，表明数据不服从正态分布。对于不服从正态分布的数据，可以采取Spearman的方法来描述变量之间的关联程度，检验各项指标的相关性。通过分析，由表3可以看出google的因子对论文影响力是最大的，facebook、redditers、news对论文的影响力是较为分散的，因此不考虑这几项因子。

相关系数facebookredditersnewsblogsplnnersgoogleradiocitelikeF1000facebook10 340∗0 185∗∗0 106∗∗0 019∗∗0 019∗∗0 231∗∗0 121∗∗0 219∗∗redditers10 109∗0 214∗∗0 125∗∗0 123∗∗0 153∗0 117∗∗0 306∗∗news10 324∗∗0 207∗∗0 189∗∗0 198∗0 069∗∗0 014∗∗blogs1-0 314∗∗0 216∗∗0 135∗0 178∗∗0 209∗∗plnners10 112∗∗0 149∗∗0 312∗∗0 106∗∗google10 202∗∗0 196∗∗0 304∗∗radio10 108∗∗0 190∗∗citelike10 203∗∗F10001

3.2 主成分影响因子的确立

主成分分析方法，可以实现对不同指标变量进行分组，找出主成分因子中起主要作用的变量。本文通过上述采集的数据，过滤去news、facebook、redditers指标数，对F1000、blogs、plnners、google、radio、citelike进行主成分分析，找出评价论文影响力的主要因子。在主成分分析过程中，分析特征值须大于1，根据SPSS数据处理，得出图2特征碎石图数据，

由图2显示，在特征值大于1的成分数有3个，因此主成分数量为3。为了确定样本是否可进行主成分分析，首先要对样本进行KMO-Bartlett检验，当KOM值越接近于1，就越适合进行主成分分析，如表4可知，主成分因子为0.701，大于0.5(正常情况下，主成分因子小于0.5则不适合主成分分析)。

图2 特征值碎石图

检验数据Bartlett球形度检验近似卡方7510 124 df24Sig 000KMO度量值0 701

3.3 主成分评价模型的构建

在SPSS里面采用Oblimin方法得到表5，从表5看出，主成分1与citelike(引用指标)的相关系数最高，主要反应的是引用指标对论文被引量影响最大，主成分2与google(网络平台)的相关系数最高，是社交网络对论文被引量的影响最大，而主成分3与F1000(专家对论文评定)的相关性最高。

指标成分123blogsO 2340 1420 015plnners0 4130 0510 013google0 7450 7860 216radio0 1340 0790 109citelike0 8670 1810 205F10000 1540 2100 543

经过主成分分析得到3个主成分因子，最后得到如下评价模型方程式：

F=0.478F1+0.324F2+0.322F3

3.4 F值与论文被引量的相关性分析

为了验证补充计量指标对论文被引量之间的相关关系，选择F值排名靠前的论文，并在选取的论文中寻找高被引论文，即F值排名前1%的100篇文章中，高被引论文有70篇，占96%，平均被引次数为176次；F值排名前5%的387篇论文中，高被引论文有300篇，占论文总数的82%，F值与论文被引量的关系见图3，与图1的图形曲线相近，说明补充计量评价模型可以用来描述论文的影响力。

图3 F值—论文量统计分析

4 结果与分析

4.1 系数的一致性分析

为了进一步检测主成分评价模型与引用指标之间的相关性，利用SPSS软件肯德尔和谐系数计算，说明在评价论文影响力时，完全能够表征论文的影响力，这表明补充计量在评价论文影响力是完全可行的。同时，在分析结果上可以看出，高被引的论文主要集中在微博的传播上，这说明随着信息技术的发展及网络环境的简便、快捷，大部分读者对论文的感知更倾向于网络平台和高水平的专家对论文的评定，网络的传播手段也是提高论文影响力的必要条件和手段。

4.2 指标的相关性

在本文的研究中，其结果表明在选取的9个补充计量指标中，其中blogs、plnners、google、radio、citelike、F1000指标对论文的影响力具有一定的相关性，在这6个指标中进行主成分分析，并建立评价论文影响力相关模型，结果表明在主成分分析中，完全可以作为评价论文影响的力，主成分分析评价模式能够较好地捕捉到高被引论文，并且图3与图1图形曲线相近，在当前学术交流模式下，学者更愿意对学术价值高的论文进行分享、推荐，使之在社交网络、学术平台广泛传播、引起大众人的关注。随着社交网络的普及和发展，这种相互作用将越发明显，论文的社会影响力将成为论文影响力的重要构成部分。

需要证明的是，学术交流的环境下，作者、单位等已不是产生论文影响力的主要因素，评价论文影响力要结合引用指标和补充计量指标进行评价，在平台上可以进行浏览、下载回复等多项学术互动综合权衡论文的影响力，这些网络工具及提供的API将扩大科学计量研究的视野，提升论文评价的时效性。目前，网络环境涌现出各种开放存取平台和学术社交网站，对平台中的数据不同的引用指标对评价论文影响力每年都会发生不同的变化，因此需要对研究领域进行明确的限定，同时需要开发多形式的网络过滤管理工具以帮助专家与学者遴选出重要的学术论文成果，以确保补充计量指标在评价过程中的可行性、准确性。

[1]王 睿.浅议补充计量学[J].科技情报开发与经济，2014(8)：121—123.

[2]刘春丽.Web 2.0环境下的科学计量学：选择性计量学[J].图书情报工作，2012(14)：52—56.

[3]刘春丽.不同类型选择性计量指标评价论文相关性研究——基于Mendeley、F1000和Google三种学术社交网络工具[J].情报学报，2013(2)：206—212.

[4]LI Xuemei.Validating online reference managers for scholarlyImpact measurement[J].Scientometrics，2012(2)：461—467.

[5]林德明.单篇学术论文对影响因子的贡献率研究——基于Nature的定量分析[J].中国科技期刊研究，2016(4)：1305—1309.

[6]盛丽娜.影响因子百分位与h指数、累积h指数对期刊的评价效力分析[J].中国科技期刊研究，2017(2)：166—170.

[2]袁玉花.SCI收录高校论文的文献计量分析[J].农业网络信息，2012(3)：76—79.