科学评价视角下文献使用比较研究

匡登辉

摘要：[目的/意义]对比分析相同主题的不同类型科学文献的使用行为，利用用户学术行为数据全面测评学术论文影响力。[方法/过程]基于Web of Science数据库中学术论文使用次数，分析比较不同学科文献的使用差异。从文献使用入手，收集2013-2017年3D打印领域的论文数据，以化学、工程文献为对比分析对象，从论文的学科视角分析使用次数与被引频次之间的相关性，分析高使用与高引用（Top 10%）论文的重合文献，探测文献使用差异，并进行独立样本T检验。[结果/结论]U1与被引次数成微弱正相关，U2与被引次数显著性相关;两学科的科学论文在使用上存在统计学意义上的显著差异，可能原因是不同学科学者的文献使用行为不同。此外，文献类型对使用次数有影响，综述类文献信息量较为丰富，从而可以获得更多的使用、引用。

关键词：文献;使用差异;使用次数;被引频次;科学评价

DOI：10.3969/j.issn.1008-0821.2019.04.014

〔中图分类号〕G250252〔文献标识码〕A〔文章编号〕1008-0821（2019）04-0115-10

Comparative study on the usage of Research Papers

from the Perspective of Scientific Assessment

——Empirical Analysis Based on Usage Count

Kuang Denghui

（Library，Nankai University，Tianjin 300071，China）

Abstract：[Purpose/Significance]In order to evaluate the influence of academic papers comprehensively，the paper compared and analyzed the usage behavior of different types of scientific papers on the same topic with the users academic behavior data.Based on usage count of scientific papers in the Web of Science，this paper analyzed the usage differences of different disciplinary literature.[Method/Process]We collected“3D printing”paper data（2013-2017），with Chemistry，Engineering for comparative analysis，from the perspective of the discipline of the papers to analyze the correlation between the usage count and citation count，analysis the coincidence of literature of the top10% highly used and the top10% highly cited in this paper，to detect the differences of two types of literature，and with the independent sample T test.[Result/Conclusion]U1 was slightly correlated with citation counts;U2 was significantly correlated with citation counts;there were statistically significant differences in the usage of the two types of scientific papers，the possible reason was that different disciplinary scholars had different literature usage behavior.In addition，the literature type influences usage count，and information of review was abundant，thus review could get more usage and citation.

Key words：papers;usage differences;usage count;citation count;scientific assessment

引文分析为核心的文献计量学蓬勃发展，如Dr Garfield创立的科学引文索引，至今在计量界地位很难撼动。被引频次反映论文的学术影响力，因其较好的反映论文质量而成为科研评价中最重要、最常用的指标。但引文分析有滞后性和马太效应，不可避免受到学者的批判。相对于被引频次，论文的使用数据包括下载次數等具有较强的时效性，Garfield E在1994年提出了采用网络下载量代替引文数据解决引文分析的滞后性问题[1]，因此，基于对文献的使用来考量科学论文的影响成为一个新的研究方向。

2015年9月，Web of Science（WoS）平台推出了一类针对单篇文献并反映其受关注程度的新数据：Usage Count（使用次数，下文简称UC），更直观地了解WoS用户最感兴趣的研究。UC包括3部分用户行为数据：1）通过点击链接而阅读了全文的次数;2）将文章数据下载到EndNote或其他文献管理软件中的次数;3）将数据保存到文件中的次数。这可以帮助用户找到那些刚刚发表或该领域文献被引频次总体偏少而造成的较少引用的相关有用文章。可以看出，UC表征的用户学术行为数据更基础，是底层的文献使用数据。

本文拟围绕3D打印这个研究主题，对WoS类别归为化学、工程学的科学文献为实证分析对象，系统地研究学术文献使用数据UC和被引频次的相关性以及不同类型文献的使用差异，尝试進行文献使用数据UC的应用探索，全面评价学术影响力。

1文献回顾

文献使用数据引起计量界的关注，是以开始对下载数据的研究为标志的。2005年，Moed H F以Elsevier的电子期刊Tetrahedron Letters为样本，研究期刊下载量与引文量的关系[2];同年，Bollen J等人利用引文量和下载量生成了期刊关系网络，通过一系列社会网络中心性指标确定这些网络的期刊影响排名，并与期刊影响因子进行比较[3];Guerrero-Bote V P等、Jahandideh S等、Subotic S等分别利用ScienceDirect平台、Scopus数据库，就期刊和论文两个不同层面，研究下载量与引文量的相关性[4-6];Davis P等对1997-2005年在4种数学期刊上发表的2 765篇文章的分析表明，存放在arXiv平均比未存放的文章的引用多35%，存放于arXiv的文章在发布后的最近两年内，在数据库商网站上的下载量减少23%[7]。国内，陆伟等以图情领域的19本期刊53 243篇文献为数据源，利用CNKI引文数据库，对文献下载频次与被引频次进行相关性研究，探讨用下载频次预测被引频次的可行性[8]。这些研究将使用数据局限于某些期刊样本的下载量，其实随着学术文献的爆炸式增长，学者的阅读习惯较多地转至阅读题录信息，因此，将题录导出至文献管理软件成为常态，这类使用数据具有较强的测度价值，可以帮助用户找到那些刚刚发表或该领域文献被引频次总体偏少而造成较少引用的相关有用文章。

WoS适时推出的UC全新、非引用计量指标，该计数反映某篇论文满足用户信息需求的次数，具体是访问全文或对记录进行保存的次数。与详情页的点击量相比，UC反映用户的兴趣意图更加直接;与全文数据库的下载量相比，UC传递的信息内容更广，数据更广泛;与学术搜索引擎的点击、下载相比，WoS的信息内容质量更好，UC的用户数据质量更高。目前，对它的研究已经开始。Markusova V等利用UC对比传统的计量指标，对俄罗斯的科学产出进行分析，发现期刊水平的引用与UC相关性较弱[9];Wang X等分析UC，探讨科学网络学术文章的使用模式[10];赵星探索性地研究了UC的测度特征，发现其具有测评区分度与敏感性，但也有笼统性、可伪性和封闭性之局限[11];赵蓉英等基于被引频次和使用次数，比较中美图书情报学领域国际学术论文影响力[12];丁佐奇、付中静则对论文使用次数和被引频次的相关性进行分析[13-14];Liang G Q等人则认为UC可以作为侦测研究前沿的指标[15]，Zhao S X等发现基金资助论文与使用次数存在正相关关系[16]，Chi P S等分析合作者数量以及研究主题对UC可能的影响[17]，梁国强等探讨高质量论文引文影响力指标（被引次数）和传播速度指标（UC）在论文、期刊、学科、时间水平的分布特征[18]。综上所述，虽然目前对UC的研究已经有一些，但多是从中观和宏观层面对学术对象的分析，研究人员对基于主题的UC的研究关注不够。研究主题是知识的浓缩文本，本文从微观层面入手，着重以3D打印为研究主题，以其相关的科技文献为研究对象，对其关联关系进行深层次的细化分析，以期为3D打印技术的科技创新发展提供情报支持。

2数据来源与处理

本文选取Web of Science平台作为数据源，以3D打印为研究主题的研究论文为分析对象。数据采集步骤：1）从WoS平台下的Science Citation Index Expanded（SCI-EXPANDED）引文库中进行检索，检索式为“（3D Printing）or（3-D Printing）or（3-Dimensional Printing）or（Three-Dimensional Printing）”，将出版年份限定为“2013-2017”检索，全记录格式下载题录数据，全部数据下载时间为2018年1月3日，最终获得7 268篇论文的引用和使用数据，同时保留WC（WoS类别）作为学科分类参考，Engineering文献1 660篇，占总数据量的22839%，Chemistry文献911篇，占总数据量的12534%，余下WoS类别为98种，这些类别的文献，平均值仅占总体的066%，且部分类别下文献数量不足10篇，因此，选取Engineering和Chemistry两个相对较大的样本作为代表性样本进行分析以获取坚实的结论。引文数据需要至少2～3年的时间积累才稳定，引文数据WoS平台提供两类：TC则是来自WoS核心集范围内的被引频次，Z9是来自WoS所有数据库总的被引频次，Z9≥TC，TC属于Z9的子集;使用数据（UC）WoS平台提供两类：U1（数据下载之前180天内该记录的全文得到访问，或是对记录进行保存的次数）和U2（2013年2月1日至数据下载时，该记录的全文得到访问，或是对记录进行保存的次数）[19]。

数据统计采用IBM SPSS 250，作图工具采用Tableau 105。具体研究路径如图1所示。

21描述性统计分析及正态分布检验

对样本数据的描述性统计，可以了解文献被引次数和使用次数总体的情况。为选择合适的相关性检验方法，需要对样本进行正态性检验。本文采用常用的K-S单样本正态性检验。表1输出了检验变量的参数，包括平均数、最大值与最小值、标准差、K-S检验的Z值、双侧检验的显著性水平。

表1可见，对于3D打印研究，Engineering与Chemistry均有零引用、零使用的文献。从使用次数的平均值来看，Chemistry文献的使用次数约是Engineering文献使用次数的2倍。两学科均为U2远大于U1，说明数据下载之前180天内某条记录的使用次数较少，对于文献使用量的积累，在U1所处的时间段之前。从引文看，Chemistry文献、Engineering文献的TC、Z9引文均值相差不大。在统计学意义上，使用次数和引文的数值特征不同，各有特点。Engineering文献短期使用量U1最高来自2017年的发表在“COMPOSITES PART B-ENGINEERING”的综述文章，众所周知，综述类文章为读者勾勒出一幅本研究领域的全景图，占有大量素材，经过综合分析、归纳整理、使本领域研究现状更精练、更有层次、更富逻辑，可以使读者快速把握本领域发展规律、发展趋势，因而虽然发表时间不长，但使用次数较高。如该文详细概述了聚合物复合材料的3D打印技术，3D打印复合材料部件的性能，以及它们在生物医学、电子和航空航天工程领域的潜在应用，介绍了常见的3D打印技术，如熔融沉积建模，选择性激光烧结，喷墨3D打印，立体平版印刷和3D绘图;Engineering文献长期使用量U2最高来自2014年的发表在“BIOMATERIALS”的研究论文，报道了制造高活力3D印刷大孔明胶甲基丙烯酰胺构建体的系统方法。

Chemistry文献短期使用量U1最高来自2016年的发表在“ADVANCED MATERIALS”的综述文章，该文全面地、系统地、深入地論述自愈水凝胶的研究进展，对综述的内容进行综合、分析、评价，很有参考价值，因而短期内获得较多的使用;Chemistry文献长期使用量U2最高来自2016年的发表在“ADVANCED MATERIALS”的综述文章，主要报道了可穿戴传感器技术的材料和器件的最新进展。从非参数检验结果来看，两类文献被引次数、UC的K-S检验Z统计值分别为0299、0252、0334、0335、0282、0255、0343、0343，渐进显著性水平均为0000<001。拒绝文献被引次数、UC正态分布的假设。所以，对UC与被引频次的相关性分析应采用Spearman相关检验[20]。

22Spearman相关分析

运用相关分析可以来计算变量间是否存在相关关系。相关关系指的是变量间存在着密切的关系，却不能由一个变量的数值精确地求解另一个变量。

从总体上看，被引频次与UC相关系数r均在0和1之间，即表示上述变量两两之间存在着正相关关系。根据相关系数r数值的大小，将相关程度分为0

TC与Z9高度相关不足为奇，但无论Engineering还是Chemistry，TC与U2、Z9与U2均显著性相关，且TC与U2、Z9与U2的相关性系数均大于U1与U2的相关性系数。

23不同类型文献使用差异性分析

231检验变量的描述性统计

表3分别呈现了分组变量的简单描述性统计量，包括参与检验数据的个案数（N）、均值、标准差、均值的标准误。表3是对Engineering与Chemistry文献使用量的简单描述性统计。从表中可以看出，文献使用量（U1）、（U2）样本容量不同，其中Engineering文献的样本量N=1660，Chemistry文献的样本量N=911，此外，文献的U1和U2的均值、标准差、均值的标准误也分别进行统计。从总体来看，Chemistry文献的使用量的均值大约为Engineering文献的2倍。

232不同类型文献使用量散点图

使用Tableau对两类文献使用量进行散点图。图中，橙色的为Chemistry文献使用量，蓝色的为Engineering文献使用量。通过对比图2、图3可以看出，Engineering文献使用量较多集中在第一象限的左下角，且U2比U1的集中趋势更显著，U2的峰值比U1的峰值，数量多。而Chemistry文献的使用量则分布相对比较均匀，U1较多聚集在均值（19）附近，峰值比较稀疏，U2较多聚集在均值（75）上下，峰值较U1，数量增多。

232方差齐性检验

独立样本T检验结果报表（见表4～5），包括方差齐性检验的F值和概率，T检验的t值、自由度df和检验的概率，均值的差值，标准误差值和差值的95%置信区间。下面以表4为例，对Engineering文献和Chemistry文献短期使用U1进行独立样本T检验。

SPSS采用Levene检验法来检验两组数据的方差是否同质。Levene检验不受数据分布类型的限制，样本含量N可不相等。在本研究中，Engineering文献、Chemistry文献样本量不同。

根据Levene法的F值检验结果可判断方差同质性，即若F值检验的显著性p≤005，则两组方差不同质，那么在平均数差异T检验中应假设方差不相等;若F值检验的显著性p>005，则两组方差同质，那么在平均数差异T检验中应假设方差相等。在方差齐性和方差不齐性两种情况下检验方法不同。

如表4所示，表格中“方差方程的Levene检验”下呈现的检验方差齐性的F值（151249）和显著性概率p（0000），因为p<005，则拒绝虚无假设，说明两组数据的平均数之间存在显著差异，即Engineering文献、Chemistry文献量样本的方差不同质。所以独立样本T检验皆参照“不假定等方差”所对应的一行数据。

233两独立样本T检验

两独立样本T检验的值t=8513，自由度df=1184，双侧检验显著性概率p=0000<005，因此，拒绝虚无假设，即两个样本所代表的总体的平均数不相同。也就是本研究所选取的3D打印主题的研究文献中，Engineering文献与Chemistry文献所代表的总体的平均数不同。

均值差值=10009为两个组的平均数之差，说明样本中化学学科的文献使用U1比工程学科的文献高10009，这种差异是显著的，标准误差值=1176。95%置信区间是（7702，12316），临界置信水平为0000，远小于5%，说明Engineering文献与Chemistry文献在短期使用U1存在显著的统计学差异。

如表5所示，同样的分析过程适用于U2，两类文献在长期使用U2存在显著的统计学差异。也就是用户对Engineering文献与Chemistry文献的使用不同。

综上分析可知，两类学术文献的使用上具有显著差异，这可能与两者的学科特点有密切的关系。化学属于基础学科，其文献资源时效长，老文献依旧具有参考价值;标引文献主题内容方式的多样性，导致文献索引使用的多样性[22]。工程学科偏向于工程技术应用，要求从业者具有独立从事工程设计、工程实施，工程研究、工程开发等能力，他们比较关注解决工程技术问题的新思想、新方法、新进展和新文献。

完整的知识创新流程一般是解决科研上的重大问题，发表成果，其后发表的论文，必定是在前一篇论文研究的基础上，研究工作又往前推进一步，科研领域知识创新与學科发展存在着大量链状的相继传承模式。这种学术传承，在很大程度上反映研究者对文献的使用、引用情况。如果从文献使用的角度来看知识创新流程，对科学论文的使用行为包括浏览、下载、阅读、标注、存储等[23]，其中的浏览使用，包括对导入至文献管理软件的题录信息的浏览，只有小部分的用户会在浏览、阅读后，在其后来发表的论文才有可能对使用过的论文进行引用，新论文经同行评审后发表，开始新一轮的知识创新循环。

根据祝娜等对3D打印主题及主题词的深入分析发现，模型不再是热点，研究者开始对实物打印的探索[24]。据王灿友等、陈燕和对国内外3D打印的研究分析，目前集中于两个方面：一是注重对于制造过程的工艺改进，属于应用研究;二则是根据应用领域特点进行针对性的研究，比如材料的改进、生物工程技术的改进等，应用研究是主流，基础研究偏少[25-26]。

24高使用与高引用文献的对比分析

以TC、U2为例，分析不同类型文献高使用（TOP 10%）与高引用（TOP 10%）情况。

Engineering文献，高使用与高引用的重合文献87篇，4759%的高被引论文（或高U2论文）未被高使用，占Engineering高使用和高引用文献的3551%。巧合的是应用研究文献被使用次数最高的（U2=511）是2014年发表于BIOMATERIALS的研究论文，同时被引次数（TC）也是最高的，为182次。

Chemistry文献，高使用与高引用的重合文献56篇，3846%的高被引论文（或高U2论文）未被高使用，占Chemistry高使用和高引用文献的4444%。被引频次（TC=359）最高的论文是2014年发表于ADVANCED MATERIALS的研究论文，使用次数（U2）为644，可能和引文时间窗口较长有一定关系。被使用次数最高的（U2=775）是2016年发表于ADVANCED MATERIALS的综述，被引次数（TC）为70次，说明该论文被大量使用，但是引用却较少，可能被引高峰尚未出现。经典综述文献是对阅读、收集的权威、经典的材料，加以归纳、总结，做出评价，引出重要结论的论文，让后来的研究者节省很多读文献的时间，方便读者用一种高屋建瓴的大视角来读文献，受到研究者的广泛重视和欢迎，因而使用次数较多，但是引用次数还受到文献质量的调节，文献类型的不同反映科学交流模式的差异[27]。根据表5的数据，高使用与高引用文献中，Chemistry文献的篇均使用次数、篇均被引次数均为Engineering文献的2倍多，可见，相同主题的高品质文献，即使WoS类别不同，对引文和使用的影响基本一致。用户点击、下载、浏览了相应的文献后，衡量科研成果的质量后，才能决定该文献是否被引用。

3结论与结语

科研评价活动依赖于合理规范的评价指标和机制，更呼唤与科研特点相适应的评价方法。如Leydesdorff L等提出对于论文的引用，需区分长期引用和短期引用，他们认为短期引用说明被引论文处于研究前沿、研究热点，反映选题的先进性和合理性，长期引用则说明了被引论文的学术影响力和原创性，反映学术的传承与传播，实际上，长期引用说的是学术传承[28]。论文的引用，比较规范、标准化，只有被引用被看作“真正”的使用，而论文的下载阅读，或者保存至文献管理软件，则被当作非正式“潜在”的使用。Gorraiz W G也认为被引用是论文的事实使用行为，而使用次数是一种潜在的引用行为，表现为论文的被下载和被阅读[29]。论文的引用与使用，均属于论文的外在表现指标，受时间累积效应的影响，是学术影响力的不同侧面和不同阶段。其中引用标志着学术领域内的认可与积累，属于对文献的深层次使用，使用则表征用户对本领域知识的关注和兴趣，属于前端的、浅表的文献利用。

本文选取了在3D打印领域的WoS学术论文，探索科研人员对其使用的差异。1）U1与被引次数成微弱正相关，U2与被引次数显著性相关。使用次数能看出本领域内科研人员的选择，直接反映用户对论文“感兴趣”的情况，用户的信息需求不同，因此，表现出来的信息行为可能是点击指向出版商处全文的链接，可能是将题录信息保存至文献管理软件，也可能是将文献下载保存，因而使用次数记录的是读者的基础使用信息，但使用并不意味着后续的引用，如教学需要对3D打印信息的了解和展示等。此外，还可能由于引用行为和引用动机的不同，有些引用并没有下载的过程，可能的原因是阅读纸质期刊或直接引用其他论文的参考文献，也可能因为文章的题名和摘要吸引了读者，读者并没有下载，就直接进行了引用。使用次数捕捉了学术研究生态中用户尝试获取学术全文的动作，也包括将论文保存到Endnote（单机版或网络版）的操作，受到不同机构获取全文限制的影响，有些用户止步于此，并不能获取全文。U1表征的是用户对文献的短期关注，U2则代表用户对文献的长期关注，从两者测度的时间跨度可以看出不同。2）经独立样本T检验，相同主题的化学、工程学科的学术论文在使用上，存在统计学意义的显著差异性。也就是不同学科学者的文献使用行为不同。化学学者可能偏重于使用文献，在后续研究发文过程中，引用使用过的文献;工程学者则可能偏重于通过文献了解科技信息，在后续的科研发文中，不一定引用使用过的文献。今后的研究可循用户使用文献的行为动机展开。本文不足之处在于使用次数数据“颗粒度”大，由用户不同信息使用行为数据组成，无法区分出下载、保存至文献管理软件或保存到文件等具体使用行为，此外，可能对论文引用的时间窗口考虑不足，不同年份的文献，引用次数与发表时间有一定的累积效应。较新发表的论文，引用高峰可能尚未到来。

因为使用次数存在“笼统性”，无法区分差异是由于下载阅读全文还是由于保存题录信息造成的。新近发表的论文，时间窗口较短，没有被引用或者引用量较少很正常，但高质量、创新性强的论文，短时间内得到较多的受众关注，较多地被使用，也在一定程度上反映了学术影响力，弥补了引文的滞后性。但科学评价应当综合全面，因此，这种“提前”的科学评价指标——使用次数（UC）需要与其他不同来源、异构的计量指标组合来评价科学成果，构建多维学术测评体系。

参考文献

[1]Garfield E.How Can Impact Factors Be Improved？[J].British Medical Journal，1996，313（7054）：411.

[2]Moed H F.Statistical Relationships Between Downloads and Citations at the Level of Individual Documents Within a Single Journal[J].Journal of the Association for Information Science and Technology，2005，56（10）：1088-1097.

[3]Bollen J，Van de Sompel H，Smith J A，et al.Toward Alternative Metrics of Journal Impact：A Comparison of Download and Citation Data[J].Information Processing & Management，2005，41（6）：1419-1440.

[4]Guerrero-Bote V P，Moya-Anegón F.Relationship Between Downloads and Citations at Journal and Paper Levels，and the Influence of Language[J].Scientometrics，2014，101（2）：1043-1065.

[5]Jahandideh S，Abdolmaleki P，Asadabadi E B.Prediction of Future Citations of a Research Paper from Number of Its Internet Downloads[J].Medical Hypotheses，2007，69（2）：458-459.

[6]Subotic S，Mukherjee B.Short and Amusing：The Relationship Between Title Characteristics Downloads，and Citations in Psychology Articles[J].Journal of Information Science，2014，40（1）：115-124.

[7]Davis P，Fromerth M.Does the arXiv Lead to Higher Citations and Reduced Publisher Downloads for Mathematics Articles？[J].Scientometrics，2007，71（2）：203-215.

[8]陆伟，钱坤，唐祥彬.文献下载频次与被引频次的相关性研究——以图书情报领域为例[J].情报科学，2016，34（1）：3-8.

[9]Markusova V，Bogorov V，Libkind A.Usage Metrics vs Classical Metrics：Analysis of Russias Research Output[J].Scientometrics，2018，114（2）：593-603.

[10]Wang X，Fang Z，Sun X.Usage Patterns of Scholarly Articles on Web of Science：A Study on Web of Science Usage Count[J].Scientometrics，2016，109（2）：917-926.

[11]趙星.学术文献用量级数据Usage的测度特性研究[J].中国图书馆学报，2017，43（3）：44-57.

[12]赵蓉英，魏绪秋.中美图书情报学领域国际学术论文影响力比较——基于被引频次和使用次数[J].情报理论与实践，2018，41（1）：139-145.

[13]丁佐奇.基于Web of Science的论文使用次数和被引频次的相关性分析[J].中国科技期刊研究，2017，28（12）：1166-1170.

[14]付中静.WoS数据库收录论文文献级别用量指标与被引频次的相关性[J].中国科技期刊研究，2017，28（1）：68-73.

[15]Liang G Q，Hou H Y，Hu Z G，et al.Usage Count：A New Indicator to Detect Research Fronts[J].Journal of Data and Information Science，2017，2（1）：89-104.

[16]Zhao S X，Lou W，Tan A M，et al.Do Funded Papers Attract More Usage？[J].Scientometrics，2018，115（1）：153-168.

[17]Chi P S，Glnzel W.An Empirical Investigation of the Associations Among Usage，Scientific Collaboration and Citation Impact[J].Scientometrics，2017，112（1）：403-412.

[18]梁国强，侯海燕，任佩丽，等.高质量论文使用次数与被引次数相关性的特征分析[J].情报杂志，2018，37（4）：147-153.

[19]科睿唯安.使用次数[EB/OL].https：//images.webofknowledge.com/WOK48B3/help/zh_CN/WOK/hp_usage_score.html，2018-04-09.

[20]迈克·塞沃尔.链接分析：信息科学的研究方法[M].孙建军，译.南京：东南大学出版社，2009：34.

[21]卢冶飞，孙忠宝.应用统计学（第2 版）[M].北京：清华大学出版社，2015：36-48.

[22]冯白云，林佳.化学及相关学科信息源：信息检索，分析与管理[M].北京：清华大学出版社有限公司，2003.

[23]Brody T，Harnad S，Carr L.Earlier Web Usage Statistics as Predictors of Later Citation Impact[J].Journal of the American Society for Information Science and Technology，2006，57（8）：1060-1072.

[24]祝娜，王芳.基于主题关联的知识演化路径识别研究—以3D打印领域为例[J].图书情报工作，2016，60（5）：101-109.

[25]王灿友，苏秦.基于文献分析的3D打印技术的演化及发展前沿[J].情报杂志，2015，34（9）：72-77，71.

[26]陈燕和.中国的3D打印研究（1993-2014）——基于文献计量学的分析[J].现代情报，2015，35（6）：86-89.

[27]谢娟，龚凯乐，成颖，等.使用數据与引用数据间的补充或替代关系探讨[J].情报学报，2018，37（5）：486-494.

[28]Leydesdorff L，Bornmann L，Comins J A，et al.Citations：Indicators of Quality？The Impact Fallacy[J].Frontiers in Research Metrics and Analytics，2016，1：Article 1.

[29]Gorraiz W G.Usage Metrics Versus Altmetrics：Confusing Terminology？[J].Scientometrics，2015（102）：2161-2164.

（责任编辑：陈媛）