Altmetrics应用于科技期刊评价的问题与优化路径

■黄笑炎 张业安

1)上海体育学院传媒与艺术学院，上海市杨浦区清源环路650号 2004382)上海体育学院期刊中心，上海市杨浦区清源环路650号 200438

自20世纪60年代以来，以引文指标为核心的学术论文评价体系是国内外学术评价领域最常用的一种评价方法。然而，越来越多的学者和机构发现该评价体系存在诸多问题，如：盲目追求研究成果数量而忽视研究质量的现象爆发[1]；引文指标反映学术论文的被引用情况，其只能体现学术主体部分学术成果的学术影响力，缺乏全面性及对学术论文社会影响力的综合评价等[2]。近年来，在国内以影响因子为核心的引文评价方式的应用已延伸至论文质量评价和研究者业绩评价等领域，甚至被应用于学术职务任命、科研人员职称晋升、研究计划的基金资助和其他研究计划的资金支持评价等层面[3-4]。同时，由于在科技期刊评价中影响因子的权重不断提升，通过自引、互引等方式人为操纵影响因子分值的做法已不鲜见。这些学术不端行为的出现，不仅影响科技期刊的良性发展，更是客观评价学术和科技进步的严重阻碍。

随着网络技术、计算机通信技术的快速发展，媒介融合趋势越发明显，其在改变人们生活方式的同时，也对出版方式产生革命性影响。在技术层面，以影响因子为主导的引文评价方法已不能全面反映研究成果的影响力和传播效果，急需引入契合数字化、网络化出版特征的多元评价指标及方法，以对科技期刊的影响力进行客观、综合评价。在此背景下，Altmetrics应运而生。国内外的相关研究主要涉及Altmetrics的提出背景、内涵及价值[5-8]，Altmetrics的评价指标[9-12]、数据源及评价指标研究工具[13-15],Altmetrics应用效果的实证测量[16-18]等方面。然而，综述国内外相关研究发现，鲜有将Altmetrics运用于科技期刊评价的相关研究，特别是将Altmetrics运用于科技期刊评价的问题研究。因此，本研究拟在对Altmetrics运用于科技期刊评价的优势进行解析的基础上，揭示其间存在的现实问题，提出其在科技期刊评价实践中的优化路径，为在媒介融合环境下客观、科学评估科技期刊影响力提供参考。

在应用Altmetrics指标对科技期刊进行评价之前，必须明确科技期刊的本质属性及其核心载体。笔者认为，科技期刊的本质属性是交流与展示科技成果，其核心载体是学术论文；而要对科技期刊的质量和影响力进行评价，必须先对其内容的核心载体——学术论文进行评价。无论是在传统媒介环境还是在新媒体环境下，科学的科技期刊评价方案都应是：在对学术论文进行评价的基础上，再对论文的合集——期刊进行评价，“评文”是“评刊”的基础。因此，本研究在对Altmetrics应用于科技期刊评价的分析中，均以分析其在学术论文评价中的应用为前提。

1 Altmetrics应用于科技期刊评价的优势与问题

1.1 Altmetrics概览

Altmetrics最早由Priem于2010年在其Twitter上提出，随后Priem等发表“Altmetrics: A Manifesto”一文，正式提出Altmetrics一词，将其定义为基于网络工具和环境的活动学术影响力的测量研究，目的是评价社交网络中论文等文本的交流、使用和开放情况[19]。Altmetrics一经提出，在国外即引发关于其内涵、价值、指标、数据源、策略、工具等的学术讨论，取得较多研究成果。相较之下，国内对于Altmetrics的研究起步较晚，最早由刘春丽于2012年7月将Altmetrics术语正式引入国内[20]。之后，国内学者开始运用Altmetrics对学术影响力、机构知识库、图书馆服务、科研评价、社交网络、社交影响力、开放获取(Open Access，OA)、科学交流等进行研究，取得一定成果。笔者认为，Altmetrics是基于开放的社交网络，通过各种工具、学术社交网络平台、文件管理系统(包括相关研究资料的下载、参考、浏览、评论和转发信息)，对信息进行聚类分析、计算和测量，以便充分、及时地反映科研成果影响力的科学评估方法。

1.2 Altmetrics应用于科技期刊评价的优势

1.2.1 信息源的丰富性

Altmetrics拥有海量的信息源，除了正式发表的期刊论文外，还包括免费获取的非OA论文、会议论文、博客、代码、软件、研究数据集、课件和演示文稿等资源。除了广阔的信息源外，Altmetrics的数据来源亦十分丰富，包括传统数据库、社交网络、科研数据存储库等，例如Drynd、Figshare、GitHub、PLoS、ALMs、SlideShare、Facebook、Google+、LinkedIn、Reddit、Twitter、PubMed、Scopus、Science、Seeker、Wikipedia、Mendeley、Zotero、CiteULike等[21]。随着研究者对新媒体文献获取偏好的流行，丰富的信息源可促使评价结果趋于客观公正，从而突破传统科技期刊评价“以引文为主”“以刊评文”等弊端，以多元的评价信息源和数据源实现对科技期刊内容及其影响力的客观评价。

1.2.2 覆盖面的广阔性

如果一篇论文被引用，可能表明该论文有一定的影响力，但这种引用影响力的内涵相对狭窄[22]。正如影响因子的局限性，高影响因子期刊刊登的论文并不能与高质量论文划等号。同样，如果某篇论文未被其他论文引用，但其在社交网络或其他平台上被广泛阅读、讨论、转发，并给学者提供了研究思路和启发，则该论文的现实影响力就不能被否定。Altmetrics可以对论文在更大范围内产生的社会影响和对除学术专家以外的人产生的影响进行测量，即其可在较大范围内反映科研成果的影响力。同时，社交网络的应用广泛性和公共传播特征使得应用Altmetrics方法衡量论文的社会和经济影响成为可能，从而实现对科技期刊影响力更现实、更综合的评价。

1.2.3 评价过程的透明性

期刊评价的绝对公平、公正是不现实的，但通过提升评价过程的透明度，使得期刊评价达到相对公平、公正是可以实现的。正如南京大学的朱剑编审所言：学术评价权力回归学术共同体的过程必然是学术民主重建的过程，必须要把评价权力置于有效的民主监督之下，使其成为“透明的评价”[23]。Altmetrics可利用互联网信息技术在社交媒体上对论文进行集体公开评议，并利用互动式公开讨论，借助公众力量甄别论文优劣，增强评价的透明度，缩短高质量论文的出版时滞[24]；同时，其利用论文在社交媒体上的网络影响力指标，将数据反馈速度从几年缩短到几天，并通过应用程序编程接口(Application Programming Interface，API)和其他方式免费访问开放数据，打破了传统引文数据库封闭和不透明的弊端，为提升科技期刊评价的效率和公平性奠定基础。

1.2.4 评价指标的多元性

Altmetrics评价工具以论文水平指标(Article Level Metrics)的研发为基础，打破了传统引用指标的局限性(如过长的时滞、片面的影响力及不明确的引用动机)[25]。多元性的评价指标完善了论文和期刊评价体系，例如，Altmetrics工具Plum X将单篇论文计量指标归为5大类: 使用(Usage)、捕获(Captures)、提及(Mentions)、社交媒体(Social Media)和引用(Citations)。多元指标从不同角度揭示论文被阅读、讨论、保存、推荐和引用的程度，使得对学术论文和科技期刊影响力的评价更全面、客观。

1.2.5 评价结果的实时性

在传统的以引文为主要指标的科技期刊评价体系中，论文从产生、非正式交流，到正式出版，需要经过1～5年才可能达到引用高峰；而基于Altmetrics的聚合工具(如Plum X)，可通过对各类型科学成果的监测，实现从科学思想到科学成果影响力的及时发现与揭示，学术论文在网络上发表后即可被查看、下载，并在各社交网络中进行讨论、推荐、标签或引用。Altmetrics的测量数据来自于网络，通过实时获取用户在网络上留下的使用、捕获、提及、社交媒体和引用等方面的数据，并进行实时计算，计量的时效可以缩短到以天为单位。因此，学术论文公开后即可动态、定量测定其影响力，克服了传统评价方法受时滞约束的弊端，实时性优势明显[19]。

1.3 Altmetrics应用于科技期刊评价存在的现实问题

1.3.1 评价指标体系有待统一和学术转化

现有的评价指标体基于不同的Altmetrics工具设计，不同的研究机构存在不同的跟踪和监控数据源。目前，缺乏统一所有数据源的评价指标体系。如果评价指标不统一，对论文和期刊的评价结果将是不公平、不科学的。同时，不同指标有不同程度的影响力，须根据指标的层级设置相应的权重。然而，现有评价指标的权重是基于不同的Altmetrics工具设置的，其是否可作为学术论文的评价指标及相应的权重设置还有待深入研究，这些指标与传统引文指标的关系也缺乏相应的实证研究。如何将Altmetrics评价指标进行统一和学术转化是亟待学界和业界研究的重要课题。

1.3.2 对学术成果社会影响力的反映高于学术影响力

Altmetrics是对传统科学计量学(如文献计量学、科学计量学、信息计量学、网络计量学)的继承和补充，利用补充性指标和引用指标共同评价研究对象[26](如论文、数据集、程序段等)，其评价结果主要是对研究对象在开放平台的使用情况以及读者在社交媒体中交流状况的反映。评价结果是研究对象学术影响力和社会影响力的综合反映，且其对于社会影响力的反映甚至高于学术影响力[27]。Haustein等[28]经过对大样本的研究发现，Twitter提及量不能有效反映学术影响力的主要原因在于，Twitter的用户群体、情境以及引文的转化率等受到限制。Altmetric.com的创始人Euan表示，对Haustein等的研究结论并不意外，他认为Altmetrics指标反映的是学术论文在网络上的关注度和知名度[29]。Altmetrics测量指标更多地反映学术成果的社会影响力，对于学术论文和期刊学术影响力的评价还需要将Altmetrics指标与同行评议、传统评价指标等相结合。

1.3.3 对社交媒体中的情绪表达无法精准测量

对于Altmetrics指标能否反映学术成果的学术影响力，学者得到的研究结果并不一致。例如：Thelwall等[30]分析了3位被调查者对270篇来自不同出版物的学术论文的情绪表达，结果显示，被调查者的大多数与学术论文相关的推文通常会描述文章的标题或论文的重大发现；Shema等[12]使用了与Thelwall等[30]类似的方法，对391篇学术论文的博客提及量进行内容分析，发现最普遍的情绪表达是客观的，帖子主要集中在讨论或解释研究成果；而Costas等[31]的研究发现，推文内容与学术论文成果之间的相关性较低，推文内容的非学术性情绪表达比例较高。在评价和精确测量社交媒体对学术成果的情绪表达方面，Altmetrics工具仍未给出很好的解决办法。

1.3.4 不同类型数据的通用评估模型有待建立

Altmetrics评价数据来源具有广泛的覆盖面，除了正式发表的论文外，还包括OA论文、会议论文、博客、代码、软件、研究数据集、课件和演示文稿等资源。期刊出版发行后，学术论文因线上、线下渠道有不同的文本载体，不同类型的Altmetrics指标(使用、捕获、提及、社交媒体及引用等指标)在较大范围内对不同文本载体的学术论文进行评价。在认定评价数据来源范围时即存在如下问题：是针对主流学术成果建立评估模型，还是针对所有学术成果建立评估模型？另外，由于各学科的学者群体及其社会关注度等存在较大差异，因此，Altmetrics对不同学科学术成果的评价差异较大。例如，Costas等[31]研究发现，相比于其他学科(医学和生命科学、数学和计算机科学、自然科学和工程科学等)，社会科学和人文学科的学术成果表现出更活跃的Altmetrics活动，使用、社交媒体、捕获、引用等指标的分值相对较高，因此，与传统的引文指标评价一样，在利用Altmetrics评价学术论文和科技期刊时，不同学科的论文和期刊评价结果缺乏可比性。

1.3.5 本土化的Altmetrics评价体系亟待建立

基于中国国情，多数中国人无法使用Twitter、Facebook、Google+等社交媒体，国内读者多使用腾讯QQ、微信、微博等本土化社交工具。加之国内的数据库如中国知网、万方等并不在Altmetrics数据来源范围内，使得利用目前的Altmetrics工具对国内学术论文和科技期刊进行评价时，存在数据失真现象。因此，将本土化的社交工具、数据库等纳入Altmetrics评价体系，形成本土化的Altmetrics评价工具和模型具有一定的紧迫性和现实意义。

2 应用Altmetrics评价科技期刊的优化路径

目前应用Altmetrics评价科技期刊时，主要基于国内外大型数据库和评价机构仍将以影响因子为主导的被引指标作为期刊评价的核心指标，以及“诸多单位唯影响因子论赏”“一些科研工作者唯影响因子发文”“部分学术期刊唯影响因子办刊”风气渐涨的现实，在新媒体传播环境下，引文主导的评价方式已难以实现对单篇论文和期刊影响力进行全面和有效评估。因此，在应用Altmetrics评价科技期刊的实践中，应将数字化、网络化传播中的出版工具或方式与科技期刊评价的核心内容有机结合，根据期刊内容(单篇论文)在社交网站中的使用、捕获、提及、社交媒体传播、引用等Altmetrics数据进行聚类分析，并结合同行定性评议，在获取单篇论文影响力评价数据的基础上，对一定时间段内期刊发表论文的评价数据进行汇总，进而实现对科技期刊的有效评价。在具体操作层面，应从以下几个方面优化Altmetrics在科技期刊评价中的应用效果。

2.1 评价指标与数据的统一与规范

不同评价工具会采用不同的数据源和评价指标，且不同的评价工具制定的计算方式、设置分值不一致，这就可能造成不同数据库或平台中相同论文存在不同的评价结果。一篇论文有时会发布在多个网站上，具有不同的标识符。例如，论文发布在PubMed Central上会有一个PubMed Central ID，而发布者网站上的原始文章会有DOI号，这样一篇论文的影响力会被分散；而在博客或新闻报道中提及的文献一般不会附加链接和出处，这样被提及的论文就无法与数据库中的论文进行匹配，论文的影响力也会受到影响[32]。因此，如同Altmetrics的概念、内涵需要统一一样，其评估指标也亟待规范，建立统一机制；在被引数据统计方面，应规范论文引用格式，建立引文数据核实机制等，从而确保标准一致，在对论文进行统一且规范的Altmetrics指标评价前提下，进而对期刊进行评价。

2.2 Altmetrics与传统引文评价方式相结合

应用Altmetrics评价指标对期刊进行评价时，各项指标(使用影响力、捕获影响力、社交媒体影响力等)更偏重于对期刊论文社会影响力的快速反映，而弱化了对其学术影响力的评价。因此，应将传统的引文评价方式与Altmetrics评价方式相结合，将传统引文指标引入Altmetrics指标体系并赋予其合理的权重，形成融合Altmetrics和传统引文评价方式二者优势的、适合媒介融合现实背景的新型科技期刊评价指标体系及其相应的评价工具，实现对科技期刊学术影响力和社会影响力的综合科学评价。然而，实现二者的有机结合，需要大量的实证研究和数据支撑，且建立的新型科技期刊评价指标体系及工具需要在评价实践中进行不断改进与优化。

2.3 传播力定量计量与内容定性分析相结合

在Altmetrics的社交媒体指标中，读者分享、评论时的情绪表达是Altmetrics工具暂时无法测量的，它仅仅对表达数据进行记录，是学术成果传播力的定量记载。在社交媒体中的引用数据是论文和期刊评价中的重要指标，在现实中，读者对于论文的社交媒体引用可能出于正向情绪、中立情绪和负向情绪，如果不加分析而简单进行定量记录，显然无法得出科学的评价结果，因此，对读者的分享与评论行为的情绪进行定性分析尤为重要。基于此，开发针对读者分享与评论的情感分析工具，进而得出关于论文内容的定性分析结果，不仅有利于反映论文和科技期刊的综合影响力，更是对其学术质量的定性反映。

2.4 构建通用化的Altmetrics评估模型

Altmetrics指标具有广阔的覆盖面，其通过检测网络上所有科研相关活动数据，以其聚合效果全面反映科学活动的影响力，涵盖论文层面计量(Article-Level Metrics)、科研成果计量(Eurekometrics)、科研发现计量(Erevnametrics)、科学计量学2.0(Scientometrics 2.0)[25]。在网络环境下，这些数据更易于被使用、捕获、提及、社交媒体传播及引用[33]。因此，在构建评估模型时，应充分兼顾传统学术成果与新型学术成果的特性，在有针对性地梳理传统学术成果和新型学术成果评价指标的基础上，结合同行评议，建立涵盖适用不同载体学术论文的评估体系，构建整合的通用化评估模型[33]，实现对不同载体、不同学科领域内科技期刊及其成果的有效评估。

2.5 加快Altmetrics评价的本土化进程

基于中国多数人无法使用Twitter、Facebook、Google+等社交网络，而使用腾讯QQ、微信、微博等本土化社交工具的社会现实，完全利用国外Altmetrics工具评价国内学术论文和期刊的影响力，显然有所欠缺。基于此，自2014年4月起，中国主流社交媒体新浪微博被列入Altmetric.com数据源列表[34]。新浪微博科技成果的转载和转发记录成为Altmetric.com实时追踪的数据。在这些数据的帮助下，我们可以看到中国微博用户在网络科学传播过程中的科学关注特征[35]。然而，这显然不能满足国内科技期刊利用Altmetrics进行学术评价的需要。我国研究人员应借鉴国外Altmetrics工具的相关框架和原理，开发适应于我国社交媒体的Altmetrics工具和评价方法，将其与我国社交网络用户习惯和科技期刊评价现状相结合，为在网络环境中科学评价我国的科技期刊及学术论文提供新思路。

3 结语

基于出版方式变革的现实背景和以引文为主导的传统科技期刊评价面临的瓶颈，分析Altmetrics在科技期刊评价中具有信息源的丰富性、覆盖面的广阔性、评价过程的透明性、评价指标的多元性、评价结果的实时性等优势。然而，其在评价指标体系的统一、对学术成果学术影响力的反映、对社交媒体情绪表达的测量、本土化评价体系的建立等方面还存在诸多亟待解决的问题。因此，随着在线科研活跃度的不断提升，Altmetrics方法应与传统科技期刊评价方法相结合，引入多元化的替代计量指标，构建整合的通用评估模型，开发适用于我国社交媒体的替代计量工具和评价方法。本研究对Altmetrics运用于论文与科技期刊评价的优势、问题及优化路径仅进行了宏观梳理，为进一步促进Altmetrics在科技期刊评价中的实践应用，后续研究建议将Altmetrics指标与传统引文评价指标相结合，设计本土化评估模型，并在我国科技期刊影响力评价实践中进行检验与修订，实现评价研究成果的转化与应用。