基于网络信息计量的纯电子期刊评价体系构建及实证研究*

张　洋，何雯，伦惠莲（中山大学资讯管理学院，广州 510006）

基于网络信息计量的纯电子期刊评价体系构建及实证研究*

目前对于纯电子期刊的评价研究较多采用定性分析方法，缺乏定量评价手段。因此，建立一个符合当前网络环境与期刊发展状况的期刊评价体系可以进一步提高纯电子期刊评价的科学性与有效性，同时推动其发展建设。本研究首先通过对传统期刊评价方法、指标与体系的分析研究及总结，针对当前的新型网络环境特性，引入网络数据作为评价数据源，结合传统指标与新型网络计量指标，构建了一个将定性、定量指标相结合的纯电子期刊评价体系。然后，选取12种纯电子期刊作为样本进行实证研究，利用丰富且客观的原始数据，检验评价体系的效果。研究结果表明，运用综合性的评价指标体系，能够在纯电子期刊评价中取得较好的评价结果。网络信息计量指标与Altmetrics指标在纯电子期刊的评价中具有良好的表现。网络信息计量理论与方法在网络时代的科学评价工作中将发挥重要作用。

纯电子期刊；期刊评价；网络信息计量学；补充计量学

随着信息技术的快速发展，互联网已经成为现代社会生活与工作中不可缺少的重要组成部分，影响并改变着各行各业的发展与进步。作为记载、传播和积累科技信息的载体，学术期刊的发展亦受到互联网的深刻影响与积极推动，纯电子期刊应运而生并逐渐受到重视。与此同时，学术研究网络化进程在持续地加速，网络学术博客与社区的兴起与逐步普及、Altmetrics研究的逐渐升温［1］皆为期刊评价创造了新的环境与条件。探讨如何利用网络信息对纯电子期刊科学地进行评价与筛选的问题，对于期刊评价与建设工作的高效开展以及学术环境的健康发展具有十分重要的意义。本研究正是基于上述背景所提出。

1 文献回顾

纯电子期刊是网络电子期刊的一种。“网络电子期刊”一词最早出现于1980年。第一种实际出版的网络电子期刊是1990年创刊于美国休斯敦大学图书馆的The Public-Access Computer System Review。从出版形式来看，网络电子期刊可以分为具有印刷版的网络电子期刊和没有印刷版的网络电子期刊。前者是指与印刷版期刊同时出版并提供网上服务的数字化期刊。后者即纯电子期刊，是借助互联网络，完全以数字电子化形式审稿、组稿、出版、制作、发布，并以互联网络为传输工具，定期或不定期连续出版，每期均附有编号或日期标识的连续性电子出版物［2］。纯电子期刊充分利用网络技术与条件，从根本上改变了学术期刊的出版与流通方式，与传统期刊有着本质的区别。这种新型的期刊种类，将逐渐成为十分重要的信息资源，是最有发展前景的期刊形式。

期刊评价常使用以引文分析法为主的定量测定方法与以专家评审或同行评议为主的定性分析方法相结合的方法进行评价。在期刊的定量评价方面，以“期刊影响因子”为代表的各种定量指标被广泛采用。例如，《期刊引证报告》（Journal Citation Reports，JCR）评价体系的定量指标主要包括即时指数、总被引次数、发文数、影响因子、被引半衰期。《中文核心期刊要目总览》2011年版的9个评价指标（被摘量、被索量、影响因子、被引量、被摘率、他引量、被国内外重要检索工具收录、Web下载量、基金论文比）［3］均为定量测定的期刊评价指标。在期刊的定性评价方面，主要侧重专家鉴定与评审。例如，《科学引文索引》（Science Citation Index，SCI）在定性方面要求刊物必须具备以下条件：刊物的国际性（包括读者、作者、审者等）；国际化的论文评审；国际化的编委会；严格的出版时效性；符合国际上的编辑出版规范；语言上，要求每篇论文都应有正式的英文标题和文摘，非英文的参考文献应当译成英文版［4］。《中文核心期刊要目总览》2004年版除7项定量评价指标外，增强了专家定性评审的力度，共选聘1871位评审专家参加核心期刊的评审［5］。《中国人文社会科学核心期刊要览》和《中文社会科学引文索引》（Chinese Social Sciences Citation Index，CSSCI）的评价指标皆包括专家鉴定与评审［6］。在构建评价体系与综合模型时，研究者们多采用综合指数评价法，即选用多种类型指标，然后利用层次分析法来进行权重确定，从而建立指数模型，得到综合指数及排序，能够比较好地反映学术期刊的质量、水平［7］。

网络电子期刊评价研究的成果为纯电子期刊评价研究带来了深远的影响。美国博林格林州立大学图书馆从网络电子期刊的出版发行商的权威性、全文检索功能、能否被索引及是否具有其他获得方式、有无网站为依托和期刊主题等方面对网络电子期刊进行评价［8］。马里兰大学图书馆的Foudy和McManus提出了基于馆藏角度的网络期刊评价标准［9］。中国台湾的郭丽芳针对网络电子期刊归纳了权威性、参考性、时效性、易读性、检索性、许可协议、馆藏相关性、他处可得性等11项评价指标［10］。武汉大学的邱均平与安璐结合电子版期刊的特点，在印刷版期刊评价指标的基础上提出了一个学术期刊综合影响力评价框架体系，其中包括含有基本评价、编辑水平、出版水平三大板块的定性评价，讨论了以印刷版期刊、期刊网站和期刊数据库为评价对象的应用［4］。de Souza R F等将科学在线电子图书馆收录的6种巴西牙科电子期刊作为研究对象，进行了定量与定性方法相结合的评价研究［11］。

纯电子期刊的评价目前主要沿用传统的期刊评价方法和手段进行，较多使用定性评价方法［12］，主要采用综合性的评价指标体系。Quinn提出了纯电子期刊是否可以进入学术研究主流关键取决于其是否被有影响力的数据库所索引的观点，并从使用者角度对纯电子期刊提出了13条评价标准［13］。阮建海在综合考虑纯电子期刊自身特点的基础上，借鉴纸本期刊的相关评价标准从五个方面对纯电子期刊进行评价，这五个方面包括版式设计、内容结构、编辑标准、内容质量和传播质量［14］。秦金聚从基本质量评价、内容质量评价、传播质量评价三个方面为纯电子期刊建立了13个评价指标，它们分别是编校性、权威性、稳定性、规范性、连续性、适用性、参考性、易用性、检索性、时效性、访问量、使用许可、订阅发行［15］。谢新洲等对网络电子期刊发展现状及所面临主要问题进行了深入分析，针对纯电子期刊特征进行剖析，并从促进电子期刊发展网络化的角度提出一个以定性指标为主的体系［16］。

在网络环境下进行期刊评价研究，仅采用传统的期刊评价方法已经不能满足其需求。网络环境下计量学的研究成果为期刊评价提供了新的方法和工具。诞生于20世纪90年代的“网络信息计量学（Webometrics）”借鉴了传统计量学的分析方法，针对网络信息展开定量分析［17］。经过近20年的发展，Webometrics已经有了丰富的成果积累，在评价领域得到广泛的应用［18］。近年来，伴随着Web2.0的发展与社交媒体的普及，新的计量学科“Altmetrics”迅速兴起，为新型网络环境下的评价研究带来了新的方法与工具。Altmetrics是“Alternative Metrics”的缩写［19］，国内有学者将其翻译为“选择性计量学［20］”“替代计量学［1］”或“补充计量学［21］”。目前，网络已经成为学术信息的重要来源，Webometrics和Altmetrics可以帮助我们充分地利用网络数据进行更全面的期刊评价。

综上所述，当前的纯电子期刊的评价以定性方法居多，缺乏定量方法对期刊进行更客观全面的评价［22］。同时，纯电子期刊与网络环境密不可分，在对其进行定量评价的时候应该充分考虑网络信息中可用的数据，对评价指标进行具有针对性的设计。本研究在前期成果的基础上，运用网络信息计量学和Altmetrics的相关联理论与前沿方法，充分利用网络平台上的有效数据，引入多种信息计量指标，力图构建适用于纯电子期刊的、定量指标与定性指标相结合的综合评价体系。

2 评价体系构建

本研究所构建的纯电子期刊评价体系如图1所示。共有25个具体指标，包括16个定量指标和9个定性指标。该体系由三个一级指标构成，分别为“期刊出版质量”“期刊学术质量”与“期刊平台质量”。“期刊平台质量”是针对纯电子期刊的出版特性设立的［23］。纯电子期刊的出版与流通过程完全在网络环境中进行，承载该期刊的平台对于期刊自身有着十分重要的地位。因此，本研究将期刊平台质量作为影响期刊质量的重要因素。除了网站性能指标外，还运用网络信息计量方法设置了相应的定量评价指标，测定期刊平台的网络影响力。此外，针对网络化的学术环境，在评价“期刊学术质量”时，借鉴Altmetrics的相关成果，在评价体系中加入了三个稳定性、可获取性较好的Altmetrics指标——“读者量”“社交网络被引量”和“Altmetric分值”作为电子期刊的网络影响力指数，以更全面地反映期刊在网络环境中的影响力。

图1　本研究所构建的纯电子期刊评价体系

2.1 期刊出版质量

期刊出版质量是十分关键的期刊质量影响因素，会对读者产生很大的影响作用。纯电子期刊出版质量是指期刊在出版发行的过程中涉及的相关要素问题，具体可从编校性、规范性和时效性三个方面进行评价。

（1）编校性

编校性包括编校质量和版式设计两个方面，前者考察期刊的编辑和校订质量，包括错别字、排版等质量问题，后者考察期刊封面与内容设计的美观、方便等质量问题。

（2）规范性

规范性包括正式刊号、格式规范和工作流程规范三个方面，分别考察期刊是否拥有正式的ISSN编号标志其正式发行、期刊格式与发行出版等是否规范、期刊的运作流程等是否规范。

（3）时效性

时效性包括论文平均发表周期和期刊出版周期两个方面，分别考察论文从投稿到发表的平均周期的长短以及期刊每期出版发行的周期的长短。

2.2 期刊学术质量

期刊学术质量的评价是期刊评价最核心的部分。纯电子期刊学术质量包括综合利用、外部使用以及网络影响力三个方面。其中，本研究在传统期刊评价指标的基础上，引入了基于网络数据的Altmetrics定量评价指标，作为对以往期刊评价体系的补充。

（1）综合利用指数

综合利用指数主要反映了期刊在被传播与利用的过程中形成的影响力，包括特征因子（Eigenfactor）、期刊声望指数（SCImago Journal Rank，SJR）与国际著名数据库收录情况三种指标。其中，特征因子与期刊声望指数皆是新型的期刊评价指标，它们的计算皆参考了PageRank算法，在测量引文数量的同时考察引文的质量。国际著名数据库收录情况是指期刊被国际较有影响力的数据库收录的情况，这些数据库包括SCI、Scopus和Google Scholar。纯电子期刊是否可以进入学术研究主流的一个关键因素是其是否被有影响力的数据库所索引［13］，因此在评价过程中对数据库收录情况进行统计是十分必要的。

（2）外部使用指数

外部使用指数主要从引用的不同角度反映期刊的影响力，包括影响因子、即年指标、总被引频次、被引半衰期和H指数五种指标。这些指标均在传统的期刊评价中具有广泛的认可与应用。

（3）网络影响力指数

网络影响力指数包括三种Altmetrics指标，是旨在利用网络数据反映学术成果全面影响力的在线新型计量指标。这三种Altmetrics指标包括篇均读者量、篇均社交网络被引量和篇均Altmetric分值，具有较好的可操作性以及在Altmetrics领域中较大的影响力。篇均读者量即在一系列社交媒体中期刊的文献读者量平均值。篇均社交网络被引量即在一系列社交媒体中期刊的文献社交网络被引量平均值。篇均Altmetric分值即利用期刊的文献在一系列社交媒体中的数据，使用互动的相关指数通过计算得到的分值平均值。需要说明的是，读者量、社交网络被引量和Altmetric分值目前主要应用于测定单篇论文的影响力。本研究首次将这三种指标引入到期刊评价当中，并采用篇均值来测定期刊的影响力。

2.3 期刊平台质量

期刊平台质量是指纯电子期刊的发布平台的性能与综合影响力。作为学术信息的一种集合，纯电子期刊可被看作网络信息资源中的一种，期刊网站是其重要的组织形式。因此，对纯电子期刊进行评价时，应当考虑对其网站进行评价［24］。本研究中的期刊平台质量主要以期刊网站为评价对象，考虑其性能指标与网络影响力指标。

（1）性能指标

性能指标包括网站独立性、网站稳定性、网站中链接准确性和检索入口数四种指标。网站独立性即网站运营是否稳定可靠、保证正常访问与使用等。网站稳定性即网站是否独立运营，不依附于其他机构、网站等。网站中链接准确性即网站内部链接是否准确指向目标，保证用户使用效率等。检索入口数即网站的检索切入口数量，影响用户能否又快又好地检索到目标。

（2）网络影响力

网络影响力包括外部链入数、网站出链数和网络影响因子三种重要的网络信息计量指标。外部链入数即外部链接到该网站的链接数量。网站出链数即该网站链接到其他网站的链接数量。网络影响因子即某纯电子期刊网站被其他网站所链接的网页数目除以该网站的网页总数，其计算方法为：网络影响因子=某网站的入链数/该网站的网页总数［25］。经实证研究发现，网络影响因子、外部链入数等网络信息计量指标可以被应用到以网站为评价对象的网络信息资源评价当中［26］。

3 确定权重

3.1 确定方法

在上文所构建的纯电子期刊评价指标体系中，各项评价指标重要程度各有差异。面对这种多目标、多准则的复杂决策问题时，可用每个指标的权重系数来反映不同指标的相对重要性，越重要的指标相对权重系数就越大。本文选用层次分析法（Analytic Hierarchy Process，AHP）进行指标权重的确定。层次分析法的基本原理是把复杂系统分解成目标、准则、方案等层次，在此基础上按照一定标度将人的主观判断量化，进行分析与决策。运用层次分析法构建评价体系的基本步骤分别为：确定评价指标体系、建立层次结构模型、构造判断矩阵、层次总排序。

3.2 确定过程

3.2.1 专家确定

在综合考虑期刊评价领域特点与专家权重需求的基础上，本研究选取了四类专家作为调查对象。第一类为图书情报领域权威期刊的编委专家，来自于《中国图书馆学报》和《情报学报》；第二类为高校图情档学科的教授，工作单位均在2013年中国高校图情档学科综合评估中排名前五；第三类为期刊评价实践领域专家，这些专家均拥有丰富的科学评价工作经验；第四类为期刊评价研究领域的高产作者。其中，多位专家身兼编委、教授、作者等职务，具有深远的影响力。本研究的专家调查以问卷调查的形式进行，通过电子邮件发放问卷。本研究的问卷共分两轮发放，时间分别为2015年1月21日与1月27日，最终回收有效问卷42份。

3.2.2 数据处理

本研究使用层次分析法软件yaahp v9.2作为辅助计算工具。该免费软件专用于层次分析计算，是目前使用最广泛的层次分析法软件之一，可用于指标权重的计算和一致性检验。

经过分析计算各专家意见后，得到的各纯电子期刊评价指标的权重汇总如表1。

表1　纯电子期刊评价指标体系及指标权重

3.3 指标权重分析

一级指标“期刊出版质量”、“期刊学术质量”和“期刊平台质量”的权重分别为0.2308、0.5838和0.1854。从中可以明确地看到，在纯电子期刊评价过程中，期刊的学术质量仍然是最被评价者们所看重的。这表明，无论是以何种出版方式出版的学术期刊，期刊学术质量作为期刊的最核心价值与最核心竞争力，对期刊质量水平的高低有着非常直接的影响。与此同时，期刊平台质量占了18.54％的权重。这表明，期刊平台质量对纯电子期刊的影响是不可忽视的，这一点受到了专家们的广泛认可。期刊平台质量应当被纳入纯电子期刊的评价当中，这也是纯电子期刊与印刷型期刊之间明显的不同之处。

二级指标的权重分配情况如图2所示。在三个一级指标下，权重最大的二级指标分别为期刊出版质量中的“规范性”、期刊学术质量中的“综合利用指数”以及期刊平台质量中的“性能指标”。

图2　二级指标权重分配情况

在期刊出版质量中，“规范性”（0.0824）与“时效性”（0.0811）权重较大，“编校性”（0.0673）权重较小，同时低于其他所有二级指标。相对来说，期刊出版的规范性与工作流程更受重视。

在期刊学术质量中，“外部使用指数”（0.2226）与“综合利用指数”（0.225）的权重较大且相互接近。“外部使用指数”包括期刊评价的5种经典指标，这5种指标已被广泛地认可与应用，因此获得了较大的权重。“综合利用指数”包括新型评价指标，高权重反映了专家对这些指标的认可，说明这些指标可以被应用到期刊评价体系中以更全面地反映期刊的学术质量。“网络影响力指数”包含3种基于网络数据的Altmetrics指标，相对于传统的引文指标，其科学性与被认可程度都在不断地发展。从权重中我们应当认识到，利用Altmetrics指标进行期刊评价虽然尚未成熟，但对于纯电子期刊评价来说，这种类型的新型网络计量指标具有不可忽视的重要作用。

在期刊平台质量中，“性能指标”的权重占总权重的60％，说明对于期刊平台质量，平台的性能是最重要的影响因素。此外，运用网络信息计量方法计算得到的期刊平台网络影响力在纯电子期刊的评价中也具有一定的应用价值。虽然“期刊平台质量”在整个体系中并没有占最主要权重，但考虑到网络环境的发展以及纯电子期刊的特性，其发展潜力较为可观。

从指标的权重分配情况中我们可以发现，一方面，基于网络信息计量学和Altmetrics的网络指标在期刊评价中已经受到普遍的认可，有着显著的权重比例；另一方面，专家们对这些网络指标的使用效果仍存在疑虑，网络指标在权重上仍处于弱势地位。

4 实证研究

4.1 研究样本选取

本研究选取了Scopus和SCI同时收录的并且仍在发行的12种纯电子期刊作为实证样本（见表2），进行分析与研究。影响样本选择的因素主要包括：该期刊是否有且仅有由国际ISO标准协会颁布的电子版国际标准连续出版物编号（Electronic International Standard Serial Number，E-ISSN）、期刊已出版年限、评价指标数据可获得性等。

表2　实证样本列表

4.2 研究工具

本研究主要运用R v3.1.3进行Altmetrics数据的抓取、打印与统计。R是一种自由软件编程语言与操作环境，主要用于统计分析、绘图、数据挖掘，是目前重要的数据统计分析工具之一。

4.3 数据收集

在数据收集过程中，根据指标性质的不同，将研究所用的原始数据分为定性指标数据和定量指标数据两部分，分别进行收集。

4.3.1 定性数据收集

在本研究所构建的评价体系中，定性评价指标包括“期刊出版质量”的“编校性”和“规范性”指标，以及“期刊平台质量”的“性能指标”。

定性数据的收集主要通过编码员编码调查法与专家评分法两种方法。本研究所涉及的定性指标中，部分指标含义明确，主观性较小，比较容易量化，因此对该部分指标采用编码员编码的方式收集数据。对于涉及内容较为专业且主观性较强的部分指标，采用向相关领域专家发放调查问卷的方式获取数据。

4.3.2 定量数据收集

在本研究所构建的评价体系中，定量评价指标包括“期刊学术质量”的全部指标，以及“期刊出版质量”和“期刊平台质量”的部分指标。综合网络信息计量学和Altmetrics的相关研究成果，各指标原始数据的收集来源及方法确定如表3所示。

表3　定量指标数据收集来源及方法

4.4 数据处理

本研究中存在多种来源不同的评价数据，如影响因子、总被引频次、被引半衰期、SJR、各项Altmetrics指标等。由于其数据单位相差较大，应当将数据单位统一，使实证数据得以顺利计算。综合国内外相关研究的经验，以及期刊评价机构的计算方法，在进行异常值处理后，本研究对数据进行了直线型无量纲化处理。对于编码数据，按照满分100分进行同比例扩大，如“0-1”编码中分值扩大为0和100，“0-5”编码中分值扩大为0、20、40、60、80和100。对于定量数据，以一个指标的数据作为一组，找出该组数据中的最大值，将该组的每一个数据均除以这个最大值，然后按照满分100分进行线性扩大，得到最终的指标分值。以影响因子为例，本研究样本的影响因子中，最大值为8.476，则这个最大值对应期刊的影响因子得分为100，其余期刊的得分均为期刊影响因子值除以8.476乘以100。例如，若某期刊影响因子值为6.221，则其影响因子得分为73.4。

4.5 评价结果分析

对问卷数据、编码数据和定量评价数据进行处理，得到每种期刊三级指标的具体得分。通过加权与加和计算，依次得到每种期刊二级指标、一级指标和总体的得分。设定期刊总得分为N，N的计算公式为：

其中，Ni表示三级指标得分，Wi表示三级指标权重，i表示三级指标序号。

通过数据的统计与汇总，得到样本中12种纯电子期刊的排名及分数情况，如表4所示。

表4　样本期刊总分排名及一级指标得分情况表

续表

4.5.1 总排名及一级指标分析

从表4中可以看到，总分排名第一的期刊是Light：Science and Applications，该期刊由著名的Nature Publishing Group出版，2013年影响因子高达8.476。总分排名第二的期刊是Biotechnology for Biofuels，2013年影响因子为6.221。对比这两种期刊的总分与一级指标得分，排名第二的期刊在出版质量与学术质量方面的得分皆高于排名第一的期刊，而排名第一的期刊之所以能获得总分第一，很大程度上得益于平台质量得分的贡献。再对比排名第三和第四的期刊，情况则恰好相反，平台质量得分较高的期刊总分不一定较高。

表5　总分及一级指标得分的变异系数与相关系数

表5是期刊总分及一级指标得分的变异系数与相关系数情况。对比三个一级指标得分与影响因子的Spearman相关系数，“期刊学术质量”的相关系数最大，这是由本研究构建的评价体系决定的，同时表明纯电子期刊的学术质量占据决定性的主导地位。“期刊平台质量”与影响因子的Spearman相关系数仅为0.007，两者呈现极低的相关程度，表明期刊平台质量与期刊学术质量之间的关联小，因此可以从另一个角度反映期刊的质量水平。将期刊平台质量纳入期刊评价体系中可以更全面地考察期刊的综合质量水平。

对比三个一级指标得分的变异系数，“期刊出版质量”的变异系数最低，区分度低。期刊出版质量水平主要通过定性指标来反映，定性指标所能提供的区分度低，这表明定量评价方法对纯电子期刊的评价是不能缺少的，应当被充分地应用。“期刊学术质量”的变异系数为0.392，远高于其他两个一级指标，对期刊具有最高的区分度。这再次表明纯电子期刊学术质量对于期刊总体质量水平的重要性。“期刊平台质量”的区分度同样显著，这表明纯电子期刊的质量水平在很大程度上会受到其发布平台的影响。

4.5.2 二级指标分析

在对一级指标得分情况进行分析后，下面深入分析各个一级指标下各项二级指标得分的情况。

期刊出版质量得分情况如表6所示。通过比较期刊出版质量的三个二级指标得分可以明显发现，由定性指标构成的“编校性”和“规范性”得分差异非常小，得分的变异系数十分低。相比之下，由定量指标构成的“时效性”得分则存在很明显的差异。这表明，在纯电子期刊的评价中，相比定性指标，定量指标具有更好的区分度，因此评价体系的构建应当坚持定性与定量相结合的原则。此外，“时效性”得分与总分的Spearman相关系数为0.723，两者之间的相关程度较高。这表明，对于纯电子期刊来说，其时效性与期刊的总体质量水平存在较高的相关性，纯电子期刊在出版的过程中应当注意提高自身的时效性。

期刊学术质量得分情况如表8所示。“外部使用指数”与“网络影响力指数”均为期刊学术质量贡献了较高的区分度。“外部使用指数”由传统引文指标构成，从它的得分情况来看，我们发现影响因子依然是最重要的传统引文指标，引文指标在纯电子期刊的评价中仍然占据十分重要的地位。“网络影响力指数”由Altmetrics指标构成，具有最高的变异系数，表明它具有最显著的区分度。同时，“网络影响力指数”与影响因子的Spearman相关系数较高，与总分的Spearman相关系数最高。这表明，期刊的网络影响力与期刊的学术质量相关程度较高，综合质量水平高的期刊具有较大的网络影响力。然而，从它的得分情况我们发现，得分最高的期刊Biotechnology for Biofuels在学术质量得分中排名第一，在总分中排名第二。这表明，在网络中最受欢迎的纯电子期刊未必具有最高的综合质量水平。再看总分中排名第一的期刊Light： Science and Applications，它在“网络影响力指数”中排名第2。这表明，具有最高质量水平的期刊同样未必能在网络中具有最大的影响力。

表6　期刊出版质量二级指标得分

表7　期刊出版质量及其二级指标得分的变异系数与相关系数

表8　期刊学术质量二级指标得分

表9　期刊学术质量及其二级指标得分的变异系数与相关系数

期刊平台质量得分情况如表10所示。对比两个二级指标，“性能指标”的变异系数十分低，同时与影响因子呈现微弱的负相关关系。这表明，在纯电子期刊的评价中，对平台性能的测量结果几乎没有区分度，平台性能与期刊的学术质量几乎没有关联。使用网络信息计量方法测定的“网络影响力”具有较高的变异系数，与影响因子和总分皆呈低度正相关。这表明纯电子期刊的出版平台虽然在性能上没有太大的差别，但在网络影响力上存在明显的差异，这正是期刊平台质量和期刊质量相关的主要原因。

表10　期刊平台质量二级指标得分

表11　期刊平台质量及其二级指标得分的变异系数与相关系数

表12　Altmetrics指标（网络影响力指数三级指标）得分

4.5.3 网络指标分析

在本研究所构建的纯电子期刊评价指标体系中，基于网络数据的若干计量指标体现了其独特的存在意义。Altmetrics指标与Webometrics指标均在新型网络环境下的纯电子期刊评价中展现了良好的有效性。

（1）Altmetircs指标

期刊学术质量中“网络影响力指数”的三级指标包含篇均读者量、篇均社交网络被引量和篇均Altmetric分值三种Altmetrics指标。对比这三种指标，“篇均读者量”的权重最高，同时变异系数最大，为1.078。这表明，在“网络影响力指数”中，“篇均读者量”这一指标的贡献最大，对期刊的网络影响力指数区分度最高。“篇均社交网络被引量”与“篇均Altmetric分值”同样具有较高的变异系数。这表明，不同的Altmetrics指标可以在不同程度上有效地对期刊的网络影响力进行区分。

将三种指标分别与期刊影响因子进行Spearman相关性分析，结果如表13所示。经计算，“篇均读者量”与“篇均Altmetric分值”皆与影响因子呈现显著的相关性，前者的相关系数高达0.914，而“篇均社交网络被引量”与影响因子间仅呈现微弱的相关性，相关系数为0.095。这表明，学术质量高的纯电子期刊在学术社交网络中可获得更多的关注，然而，它在社交网络中并不一定具有相应的影响力。换言之，纯电子期刊在社交网络中的影响力与在学术社交网络中的影响力具有较大的差异。我们可以将社交网络视作一种新的、有效的数据源，利用期刊在社交网络中的数据从不同的角度更全面地测量期刊的影响力。

将三种指标分别与期刊总分进行Spearman相关性分析，结果如表13所示。“篇均社交网络被引量”与总分呈现低度相关，这表明综合质量水平高的期刊在社交网络中同样不一定具有高的影响力，因此利用社交网络数据进行纯电子期刊的评价可以反映不同于学术影响力的期刊影响力。“篇均Altmetric分值”是一个综合性的指标，利用特定的算法对多源的网络数据进行计算，得到最终的得分。“篇均Altmetric分值”与总分呈现高度相关，远高于“篇均读者量”。这表明，利用网络数据对纯电子期刊进行评价时，直接采用网络数据作为评价指标相对来说是不够科学的，应当采用计量方法对指标进行改进，同时综合考虑多种数据源与指标，以更全面地对期刊进行评价。

表13　Altmetrics指标（网络影响力指数三级指标）得分的变异系数与相关系数

表14　Webometrics指标（网络影响力三级指标）得分

（2）Webometrics指标

期刊平台质量中“网络影响力”的三级指标包括外部链入数、网站出链数和网络影响因子三种Webometrics指标。三种指标皆具有较高的变异系数，这表明它们对期刊平台的网络影响力具有很好的区分度。三种指标与期刊影响因子的Spearman相关系数较低，呈现微弱的相关关系。这表明，纯电子期刊的平台质量与期刊自身的学术质量没有必然的联系。这为我们更全面地考察纯电子期刊的质量提供了一个全新的角度。同时也反映出，网络环境下的学术影响力有更丰富的内涵和表现渠道。

表15　Webometrics指标（网络影响力三级指标）得分的变异系数与相关系数

5 结论与讨论

本研究针对网络环境，在国内外期刊评价研究成果的基础上，充分运用网络信息计量的相关理论与前沿方法，为纯电子期刊的综合质量评价构建了一个较为完整、基于多源网络信息的评价体系，并进行了实证研究。

通过本次研究，我们发现，无论期刊载体的形式如何发展与变化，学术质量仍然是期刊的根本。在纯电子期刊的评价中，期刊学术质量仍然是最重要且最受到重视的指标。但与传统期刊不同的是，在纯电子期刊的评价中，期刊平台的重要性不能忽视，期刊平台的质量对期刊的综合质量水平有着显著的影响，这为我们提供了一个新的角度来有效地评测纯电子期刊的质量水平。对于纯电子期刊这种基于网络的新型期刊形式，应当采用多种网络数据源和指标对其进行定性与定量相结合的综合性评价。包括Webometrics指标与Altmetrics指标在内的各种网络计量指标对纯电子期刊具有明显的辨识度。反之，许多在传统期刊评价中十分重要的评价指标，例如“出版质量”，对于纯电子期刊而言则失去了评价效果。

目前，网络计量指标在纯电子期刊的评价体系中所占权重还不高。这表明网络计量指标在期刊评价中的应用仍在起步阶段，其价值已经得到一定程度的认可，但尚未被广泛地接受。此外，在期刊评价中使用网络指标时，网络数据的获取仍然是一个难题，这在很大程度上限制了相关工作的开展。随着相关研究和实践工作的发展，期待会有更多的工具、平台和专业服务出现。

总之，本研究为纯电子期刊评价提供了新的切实可行的思路和方法，对纯电子期刊的发展有一定指导意义。同时，探讨了网络计量指标在评价工作中的价值和应用方法，丰富了网络环境下的科学评价方法体系，为新时期开展期刊评价和科研评价工作提出了新的思路。

［1］ 邱均平，余厚强.替代计量学的提出过程与研究进展［J］.图书情报工作，2013（19）：5-12.

［2］ 阮建海.纯网络杂志研究［D］.武汉：武汉大学信息管理学院，2003.

［3］ 朱强，蔡蓉华，何峻.中文核心期刊要目总览（2011年版）［M］.北京：北京大学出版社，2011.

［4］ 李丽，张凤莲.科学评价科技期刊［J］.科技与出版，2005（3）：14-15.

［5］ 谢新洲.科技期刊竞争力评价［M］.北京：华夏出版社，2013：68.

［6］ 赖茂生，屈鹏，赵康.论期刊评价的起源和核心要素［J］.重庆大学学报（社会科学版），2009（3）：67-72.

［7］ 邱均平，文庭孝，等.评价学理论·方法·实践［M］.北京：科学出版社，2010.

［8］ Van Fleet D D， McWilliams A， Siegel D S. A Theoretical and Empirical Analysis of Journal Rankings： The Case of Formal Lists ［J］. Journal of Management， 2000， 26（5）： 839-861.

［9］ Foudy G， McManus M. Using a decision grid process to build consensus in electronic resources cancellation decisions ［J］. The Journal of Academic Librarianship， 2005， 31（6）： 533-538.

［10］ 郭丽芳.网路电子期刊评估之研究［J］.大学图书馆，1997，1（3）：56-81.

［11］ de Souza R F， Chaves C D A L， Nasser M， et al. A quantitative and qualitative evaluation of reports of clinical trials published in six Brazilian dental journals indexed in the Scientific Electronic Library Online （SciELO） ［J］. Journal of Applied Oral Science， 2010， 18（2）：104-109.

［12］ 张赟，幸娅.国内外纯网络电子期刊的比较分析［J］.图书馆学刊，2011（1）：133-136.

［13］ Quinn. Mainstreaming electronic journals through improved indexing： prospects for the social sciences ［J］. Serials Review， 1999，25（2）： 23-34.

［14］ 阮建海.纯网络杂志质量控制探讨［J］.图书情报知识，2004（1）：2-6.

［15］ 秦金聚.纯网络电子期刊质量评价研究［J］.情报探索，2007（8）：13-16.

［16］ 谢新洲，万猛，柯贤能.网络期刊的发展及其评价研究［J］.出版科学，2009（1）：22-28.

［17］ Thelwall M. Bibliometrics to Webometrics ［J］. Journal of Information Science， 2008， 34（4）： 605-621.

［18］ 邱均平，张洋.网络信息计量学的应用研究［J］.图书情报工作，2007，51（9）：16-19.

［19］ 崔宇红.从文献计量学到Altmetrics：基于社会网络的学术影响力评价研究［J］.情报理论与实践，2013（12）：17-20.

［20］ 刘春丽.Web 2.0环境下的科学计量学：选择性计量学［J］.图书情报工作，2012（14）：52-56.

［21］ 由庆斌，汤珊红.补充计量学及应用前景［J］.情报理论与实践，2013 （12）：6-10.

［22］ 陈嘉伟，邵嘉亮.近年来我国科技期刊的主要评价体系综述［J］.中国科技期刊研究，2010（3）：265-270.

［23］ 李若溪，游中胜，田海江，等.我国学术期刊的网站建设现状调查与网络期刊进化趋势分析［J］.中国科技期刊研究，2013（6）：1049-1056.

［24］ 张洋，张磊.网络信息资源评价研究综述［J］.中国图书馆学报，2010（5）：75-89.

［25］ 张洋.网络影响因子研究综述［J］.中国图书馆学报，2010（1）：63-79.

［26］ 张洋，弋云.应用网络信息计量指标测定我国图书情报学核心网站的实证研究［J］.图书情报知识，2011（1）：82-87.

伦惠莲，女，1992年生，中山大学资讯管理学院硕士研究生。

Research of Evaluation System for Electronic Journals Based on Webometrics

ZHANG Yang， HE YiWen， LUN HuiLian
（School of Information Management， Sun Yat-Sen Univ.， Guangzhou 510006， China）

Previous studies for electronic journals mostly used qualitative methods， lacking in quantitative methods. Therefore， to establish an evaluation system for electronic journals， which conforms to the Internet and the development of journals， will further enhance the scientificity and effectiveness of journal evaluation， and meanwhile contribute to its construction and development. This paper firstly analyzes and summarizes the traditional evaluation methods， indicators and systems for academic journals. Further， this paper builds an evaluation system for electronic journals with qualitative and quantitative indicators under the new Internet environment，which considers the data from the Internet as one of the data sources for evaluation and combines the traditional indicators with new ones from the Internet.12 electronic journals are selected as samples to test the effects of the evaluation system with rich and objective raw data. The results show that the comprehensive evaluating indicator system is effective for achieving better evaluation results for electronic journals. The theories and methods of Webometrics will play an important role in the scientific evaluation in the Internet era.

Electronic Journals； Journal Evaluation； Webometrics； Altmetrics

G350

10.3772/j.issn.1673-2286.2016.2.002

* 本研究得到国家社科基金项目“新型网络环境下学术期刊影响力的计量分析与评价研究”（编号：14BTQ067）和教育部科技发展中心网络时代的科技论文快速共享专项研究（编号：2013121）资助。

张洋，男，1975年生，博士，中山大学资讯管理学院副院长、教授、硕士生导师，研究方向：科学计量学、网络信息计量学、科学评价，E-mail：zhyang2@mail.sysu.edu.cn。

2015-12-16）