开放存取期刊学术质量“全评价”体系研究＊——以“中国科技论文在线优秀期刊”为例

叶继元 陈 铭

（南京大学信息管理学院 江苏南京 210093）

1 问题的提出

开放存取（或开放获取，Open Access，OA）是一种学术信息共享的自由理念，学术信息可以无障碍地自由传播，任何人可以在任何时间和地点、不受经济状况的影响，平等免费的获取和使用学术信息。开放存取是国际科技界、学术界、出版界、信息传播界为推动科研成果，利用因特网自由传播而发起的运动，以此促进科学信息的广泛传播、促进学术信息的交流与出版、提升科学研究的公共利用程度、保障科学信息的长期保存，降低科学文化传播的成本，达到文献资源的免费共享。

开放存取期刊创新理念的优点是显而易见的。首先近年来学术期刊的订阅费急剧上涨，昂贵的使用费用把许多人阻挡在科研成果门外，严重阻碍了科研成果的推广应用。而只要能上网任何人都可以即时、免费、不受任何限制地通过互联网获取开放存取期刊中的论文，因此能大幅度地降低读者获取学术信息的成本，有助于图书馆利用有限的资金，最大限度的满足各类读者的知识需求。其次，开放存取出版模式能缩短出版时滞和出版过程，大大节约浪费在排版、印刷和订购上的时间，提高信息交流速度，使得最新的科学研究成果可以及时公开，有助于科研活动在全球范围及时共享。再次，现代信息技术的发展，可以使网络上的信息不像纸质文本一样会遭受意外损害，从而保证了开放存取期刊的长期保存。这些优势都使开放存取期刊越来越受到学术界的关注。

开放存取期刊是近几年来异军突起的研究领域。其概念最早于2001年12月初在布达佩斯由美国开放学会研究所(OSI)召集的一次小型而有活力的会议上被提出。开放存取期刊的发展日益受科研人员、出版机构、图书馆员以及政策制定者的关注。其发展已成为世界性的潮流，前景日趋明朗，并逐渐从自然科学领域渗透到社会科学和人文科学的各个领域。开放存取期刊正处于不断发展和壮大阶段，其数量一直在稳步增加，内容覆盖众多学科，所覆盖的学科范围突破自然科学领域，涉及社会科学和人文科学领域，并呈上升趋势。地域覆盖面广，形成了全球化的发展趋势。并开始得到传统的文摘索引服务商的认可并成为其收录的对象，收录量迅速增加。

为了结合开放存取期刊的自身特点对开放存取期刊的质量进行客观系统的评价，有必要提出针对开放存取期刊的质量评价方法和指标体系，并将评价理论应用于实践。从而可以促进开放存取期刊的使用，为向用户自主选择优质的开放存取资源提供系统、完善的参照依据，增加开放存取期刊在学术界的影响力，更好地发挥其学术价值。

2 相关研究评述

国外在涉及开放存取期刊质量研究的文献中，主要集中在利用引文分析法评价开放存取期刊论文的研究、网络计量学探索，以及评价模型构建的研究三方面。

在对开放存取期刊论文的质量评价研究上，2004年4月，ISI（美国科技信息研究所）发布了开放存取期刊引证分析报告，对比分析了SCI（科学引文索引）中190种开放存取期刊与其他8600余种期刊的被引用情况。McVeigh M E采用百分位数排序方法，分析了ISI的WOS中239种开放存取期刊在所有类目和医学、生命科学、物理数学与工程、化学4个学科类目的百分位数排序。Lawrence.S对119 924篇公开发表的计算机科学方面的会议论文调查发现，开放存取论文的平均被引次数为7.03次/篇，非开放存取论文的平均被引次数2.74次/篇，相差 2.6 倍。Antelman研究了数学、电子和工程学、政治科学和哲学中开放存取论文的被引用情况，利用ISI的引用数据比较了开放存取期刊论文和非开放存取论文的平均引用数和引用率。Harnad等比较了同一种期刊开放存取论文与非开放存取论文的学术影响力，以电子工程和数学学科的期刊为例，发现开放存取论文的平均被引频次普遍比非开放存取论文高。YaSar Tonta对科学、社会科学、艺术、人类学学科中开放存取期刊的学术影响力进行了比较，发现开放存取期刊论文的学术影响力在不同的学科中是不同的。

在对开放存取期刊的网络计量学探索上，国外学者从网络工具、网络计量方面对开放存取期刊的质量评价进行了探索。Martin Richardson研究了开放存取对生命科学期刊的下载、引文和用户态度的影响。Turk，N将被引频次作为评价开放存取期刊引文影响的指标，且进一步研究了LIS论文的URL引用动机。Vaughan等对科学与社会科学类学科中开放存取期刊基于网络的链接指标间的关联展开了研究，发现两者间有重要的关联，提出了将网络链接指标用于开放存取期刊学术影响力评价的想法。Leslie Chan根据开放存取期刊在网上的电子文本出版形式，提出了采用新评价方法网络计量指标的构想，如点击量、下载量、链接量和引文指标。 Philipp Mayr构建了开放存取期刊的网络实验性指标，认为有必要建立新的可以与引文指标相抗衡的指标用于开放存取期刊的评价。在基于网络使用指标的重要性的条件下，从搜索引擎(search engine access)、直接路径(direct access)和背部路径(backlink access)三方面构建了开放存取期刊评价指标。且发现网络使用指标是促进开放存取研究成果可以被接受和使用的重要途径。

在对开放存取期刊评价模型构建的研究上，Mark J.McCabe等从读者、投稿作者、期刊三方面构建了期刊评价模型，从投稿作者获益度、论文随机质量、编辑审稿的能力几个指标建立了开放存取期刊质量评价模型，发现高质量、追求利益最大化的期刊可以接受开放存取这种模式，期刊质量和开放存取模式之间没有必然的联系，开放存取期刊向作者收取费用并不会降低编辑标准。

随着开放存取出版发展模式的日渐成熟，国内学者对开放存取期刊的质量研究也日益增多。研究主要从传统评价方法和结合电子期刊特征的创新评价方法两方面展开。

在采用传统学术期刊评价的方法上，傅蓉从开放存取期刊质量控制的角度对开放存取期刊质量进行了研究，以BMC（生物医学期刊出版中心，BioMed Central)和PloS（美国科学公共图书馆，Public Library of Science)为例，发现严谨的评审机制可以保证开放存取期刊的质量。潘琳也从开放存取期刊的质量控制手段分析了开放存取期刊的质量。通过查询2006年2月的《乌利希国际期刊指南》，从开放存取期刊被世界著名检索工具SCI等收录的角度进行统计分析，发现开放存取期刊已开始得到传统的文摘索引服务商的重视和认可。阎雅娜也利用“网络版乌利希国际期刊指南”，从质量控制和被著名数据库收录的角度对开放存取期刊的学术影响力进行研究，发现部分开放存取期刊的学术水平较高，已经达到传统期刊的学术水平标准。王学勤也从引文角度对开放存取期刊的学术影响力进行了研究，利用2004JCR的数据，对工程学、数学、医学以及生命科学类各学科中的开放存取期刊按影响因子的大小进行排位。马景娣也利用SSCI和JCR，从引文分析的角度进行了研究，收集了9种社会科学领域中的开放存取期刊的被引用情况和各项影响力指标(包括被引频次、影响因子、即年指数、被引半衰期等)。刘海霞等也从引文角度和被ISI收录的角度，对2002～2005年的开放存取期刊质量进行了评价，发现开放存取期刊的被引用率和影响因子在不断提高，并且往往超过同类的传统期刊。

开放存取期刊的网络传播特性，使其不仅具备了传统期刊的特性，还具备了电子期刊的特性，因此国内很多学者也开始结合其新特性创新地展开了新的综合评价方法和模型构建的研究，也有对数据库评价和纳入信息系统检索界面进行评价的研究。刘辉从开放存取期刊数据库的角度对开放存取期刊进行质量评价，将DOAJ(开放存取期刊目录，Directory of Open Access Journals)，Highwire Press ，PubMed Central，BioMed Central四个代表性数据库与付费数据库Elsevier SDOS相比较，分别从学科分布、检索特性、影响因子对其进行了评价分析。张红芹等根据开放存取期刊的利用现状提出了结合开放存取期刊的网络属性等自身特点来对开放存取期刊质量进行系统的评价。陶雯等就同行评议法、引文分析法、网络计量学方法以及综合评价法在开放存取期刊中的应用进行了探讨，认为具有传统印刷型期刊和电子期刊双重属性的开放存取期刊采用综合评价法进行评价是可行的。但该文没有更进一步深入建立具体评价指标体系和模型。还有学者从经济学角度建立评价模型，如刘海霞等探讨了双边市场理论在开放存取期刊质量评价研究中的应用，提供了期刊质量评价的一个简单模型，用此模型来分析期刊质量与采取开放存取模式可能性之间的关系。

另外国内学者也开始研究开放存取期刊质量评价方法、指标体系和模型的构建，陈铭的博士毕业论文建立了一个完整的对开放存取期刊进行评价的指标体系，并采取统计意义的生物和生命科学的开放存取期刊样本进行分析，为开放存取期刊的评价工作做了进一步的推动。

2012年10月22～24日首个“中国开放获取推介周”活动在北京举行，国内外同行交流了开放获取的现状与经验，对国内期刊界掌握国际开放获取期刊的发展趋势，了解国际开放获取出版的机制和政策，为国内开放获取出版的发展提供了借鉴。

3 开放存取期刊学术质量评价的概念与意义

从实践意义上讲，学术信息的开放存取促使学术成果能更快、更广泛、更自由的传播及更经常地得到引用，从而解决传统学术期刊带来的交流危机；学术信息和成果的无障碍交流更好地推动了知识的创新和人类智力资源的传播，进而推动学术信息的交流和传播。对开放存取期刊的研究是当前的迫切需要，具有强烈的现实意义。对开放存取期刊学术质量的评价研究可以帮助图书馆和科研人员有效地利用开放存取期刊。期刊的质量也是学术期刊赖以生存的基础，而质量的提高是一个长期的过程。对开放存取期刊学术质量的评价可以帮助我国的期刊社或图书出版机构更好地创办优秀的开放存取期刊，形成自己期刊的竞争优势。从而还可以促进学术界对开放存取研究的进程，对促进学术信息的交流和开发利用有重要意义，推动了我国信息化的发展和社会发展的全面进步。

从理论层面看，开放存取运动是继承与延伸自由传播科学成果的运动，是对传统学术信息传播模式的创新和发展，丰富了信息传播理论。作为一种全新的出版模式，开放存取表达了网络环境下科学信息无障碍流动的理想目标和美好愿望。基于学术信息共享的理念，开放存取消除了获取文献的费用障碍，促使学术成果能更自由、广泛的传播。开放存取理论出现的时间还较短，很多内容还有进一步研究的空间，通过对开放存取期刊学术质量评价的研究可以丰富开放存取的理论，同时也为期刊的评价等研究活动提供一些新的视角。

4 “中国科技论文在线优秀期刊”评价的分析

中国科技论文在线是经教育部批准，由教育部科技发展中心主办，针对科研人员普遍反映的论文发表困难，学术交流渠道窄，不利于新的科学思想及时有效地交流，不利于科研成果快速转化为现实生产力等问题而创建的科技论文网站。它利用现代信息技术手段，免去传统的评审、修改、编辑和印刷等程序，给科研人员提供了一个方便、快捷的交流平台，它能提供及时发表成果和新观点，从而使新成果得到及时推广，科研创新思想得到及时交流，同时又可在论文库中进行论文的免费检索和下载。中国科技论文在线具有快速发表、版权保护、形式灵活、投稿快捷、查阅方便等特点。

“中国科技论文在线优秀期刊”可以看成是“中国科技论文在线”的一个栏目，也是中国科技论文在线对开放存取期刊进行评价的一次尝试。“中国科技论文在线优秀期刊”建立了二级评价指标体系，一级指标分别是期刊质量、期刊入本网情况和其他指标三种，权重分别赋予了50%、37%和13%。一级指标期刊质量下建立了学术质量和本网站下载量两个二级指标；期刊入本网下建立了期刊完整性的二级指标；其他指标下建立了期刊编委的国际化程度、报送期刊的及时程度、2003年以前的数据、是否提供电子版这四个二级指标（见表1）。

这个评价指标体系具备简约、独立和可量化操作性的特点。从期刊的学术影响力、网络传播能力等方面很好地对开放存取期刊进行了评价。但是这个指标体系还不够完整、全面，要全面反映开放存取期刊各方面的特征尚需探讨。如对于学术质量这一项，只选取了影响因子和他引率，尽管这两个指标与期刊的学术影响力有正相关性，但却不完全等同于学术影响力，更不等同于学术质量。又如该评价指标体系没有能够把开放存取期刊作为电子期刊的网络属性充分反映出来。因此，为了更好评价开放存取期刊的质量，“全评价”体系及其方法可以提供参考。

5 “全评价”体系及其在开放存取期刊上的应用

叶继元教授突破“二元”对立的思维定势，从新的视角，有创意地提出了形式评价、内容评价和效用评价“三位一体”的新概念组合，对学术评价进行了更加合理地阐释。“所谓形式评价是指评价主体对评价客体内含知识的外部特征的评价，它既包含同行的定性评价，也包含定量评价”。“所谓内容评价是指评价主体对评价客体内含知识的本身特征的评价，由同行专家通过直接观察、阅读、讨论来进行”。“所谓效用评价是指实践、时间、历史对评价客体实际作用、价值的验证或最终评价”。然后又在此基础上提出:“合理的评价体系应由评价主体、客体、目的、标准及指标、方法和制度六大要素组成”。叶继元教授的“全评价”体系已经过很多实证检验，其论述被各文摘期刊、光明日报、中国社会科学报等转载，被同行多次引用，2011年11月在教育部举办的 “中国高校哲学社会科学发展论坛2011”上，应邀做了题为《基于质量与创新测度的人文社会科学“全评价”体系及其应用》的主旨报告，说明该成果在学术界、科研管理界等具有较大影响。根据“全评价”体系的理论依据，可以把其运用在开放存取期刊的评价中，以便科学合理地分析开放存取期刊的评价主体、客体、目的、标准及指标、方法和制度，从而真正掌握开放存取期刊评价的根本所在。

5.1 评价主体和客体

开放存取期刊评价的主体可以是期刊主办单位，也可以是使用期刊的用户，但即便主办单位是评价的主体，也应从用户使用期刊的角度出发来展开评价活动，从而才能更真实地反映出用户需求。评价的客体就是开放存取期刊本身，它具有期刊的特征，也具有电子资源的特征。

5.2 评价目的

开放存取期刊的评价目的就是对开放存取期刊的学术质量进行检测，对开放存取期刊的功能、价值及其发挥作用和对用户需求满足程度的评估，并反馈各种信息，以帮助图书馆和科研人员鉴别哪些是优秀的开放存取期刊，并有效地利用开放存取期刊。同时帮助我国的期刊社或图书出版机构更好地构建优秀的开放存取期刊，形成自己期刊的竞争优势。

表1 “中国科技论文在线优秀期刊”评价指标体系

5.3 评价标准和评价指标

评价的标准依赖于评价目的。首先明确开放存取期刊是一种期刊，它具有和期刊同样的属性，它的评价标准是以其编校质量和学术影响力为最高标准。但开放存取期刊还是一种在网络上传播的电子期刊，在进行评价时需要注重从网络属性来进行评价。

其次，全评价体系中的形式评价、内容评价和效用评价可以是一种评价标准。开放存取期刊的形式评价，就是对开放存取期刊所表现出来的外部特征的评价，主要包括对开放存取期刊所展现出的生产能力、学术影响力、网络传播力等情况进行评价，包括开放存取期刊的载文量/年、发稿时滞、篇均引文数、著录规范、总被引频次、影响因子、即年指数、影响广度、被引半衰期、期刊h指数、出版周期、检索入口数目、访问量/年、开放的程度、被重要数据库收录、网络影响因子等。开放存取期刊的内容评价就是对开放存取期刊内容的完整性、权威性、新颖性、学术性、可靠性和可获得性等内容质量进行评价，这大多是一些定性的指标，是对开放存取期刊所富含论文内容的逻辑性、合理性、价值等的直接评价。开放存取期刊的效用评价就是读者在阅读过开放存取期刊一段时间后，对读者产生作用的评价，可以准确地反映出读者对使用开放存取期刊后的满意程度。

评价指标是评价标准的细化。每一评价指标都是对于评价客体某个属性或某些属性的概括。根据开放存取期刊的形式、内容和效用评价的分析，可以把里面的每一概念进行细化，从而对开放存取期刊的所有属性进行概括。有些属性有明确的含义是可以量化的，但有些目前很难量化，就只能利用一些程度词来进行定性描述。根据这些细化的指标就可以构建开放存取期刊评价的指标体系。

5.4 评价方法和评价制度

（1）用户评议法。在评价开放存取期刊的过程中，读者最有发言权。在效用评价中，可以采用问卷调查的方式，选择一个指标体系告知读者，让读者按照指标对其质量的高低、影响的深远以及对自身产生了哪方面的作用等进行评价。在评价过程中，读者一般采用定性评价。这种评价方法简单易行，适合于较为简单事物的评价。

（2）综合评议法。综合评议法是层次分析法与模糊综合评价法的结合，主要体现在将开放存取期刊形式评价的指标体系分成递阶层次结构，运用层次分析法确定各指标的权重，然后分层次进行模糊综合评价，最后综合出总的评价结果。

评价制度是为了保证评价活动进行、要求有关人员共同遵守的规程。对开放存取期刊的评价严格遵循了学术大环境下制定的监督制度、评价对象申诉制度、评价结果公示制度、反馈制度、评价结果共享制度等，可以充分保障评价活动围绕评价目的正常进行。

6 开放存取期刊学术质量“全评价”的体系构建

6.1 开放存取期刊形式评价指标体系

根据评价指标的设立原则和开放存取期刊本身的特征，笔者拟从形式评价的角度出发，从以下几个方面来考虑指标体系的设立。首先开放存取期刊是一种期刊，所以在评价指标上的选取应借鉴期刊的评价指标。如基于发文的指标载文量、基金论文比、学科论文比、论文平均参考文献、高被引论文数等；基于引文的指标如期刊的总被引频次、学科总被引、他被引率、自引率等；还有是基于发文和引文两个因素而形成的复合指标，如影响因子、影响广度、半衰期、即年指数等。其次由于开放存取期刊是以网络和计算机为存储介质的一种特殊出版理念下的电子期刊，因此开放存取期刊不同于传统期刊的网络共享特性在其质量评价中不容忽视。经过分析，电子期刊的利用率指标（下载量、Web即年下载率）、链接分析指标（外部链接数、网络影响因子）、期刊网站性能指标（网站的稳定性、网页的传输速率等）都是可以适合作为在网络载体下的电子形式的开放存取期刊评价的指标来利用的。因此笔者拟将开放存取期刊评价指标体系划分成三层，3个一级指标，16个二级指标的体系结构（见表2）。

6.2 开放存取期刊的内容评价

而对于开放存取期刊的内容评价是不适合严格地用定量化的指标来设定的。对于开放存取期刊是否具有完整性、权威性、新颖性、学术性、可靠性等质量，是无法用一个个指标和一串串数字来表示。开放存取期刊的质量究竟如何，只能由期刊所属那个学科的专家通过仔细浏览并认真阅读后才能给出判断。这是一种很费时费力的评价，但是却比较精细和可靠。通过让各学科的专家阅读开放存取期刊中的论文后，给出这个期刊一个总体的定性评价，可以采用调查问卷的方法，让专家对期刊给予一个等级评分。评价拟可采用表3的形式。

6.3 开放存取期刊的效用评价

对于开放存取期刊的效用评价也不适合用定量化的指标来设定。读者在使用开放存取期刊一段时间后，对读者产生作用的评价，是评定期刊对读者所产生的影响程度，可以采用向读者发放调查问卷的形式来了解读者的感受。评价拟可采用表4的形式。

表2 开放存取期刊形式评价指标及其内涵

表3 开放存取期刊内容评价调查问卷

表4 开放存取期刊效用评价调查问卷

7 结语

本文在“全评价”理论的指导下，针对开放存取期刊的特点，构建了开放存取期刊学术质量形式评价、内容评价和效用评价的指标体系。指标既能够全面概括影响开放存取期刊评价的各个主要因素,且易于获得,为以后应用数学模型来进行开放存取期刊质量的“全评价”实证奠定了基础。

［1］McVeigh M E.Open Access Journals in the ISI Citation Databases:Analysis of lmpact Factors and Citation Patterns A citation study from Thomson Scientific［EB/OL］.［2009-08-05］.http://www.idinet.com/media/presentrep/essayspdf/open access citations.pdf.

［2］Lawrence S.Free online availability substantially increase papers impact［J］.Nature,2001，411(6837):521-521.

［3］K Antelman，Do Open-Access Articles Have a Greater Research Impact ［J］.College& Research Libraries，2004,65(5):372-382.

［4］Harnad S，Brody T.Comparing the Impact of Open Access(OA)vs.NomrOA Articles in the Same Journals［J］.D:Lib.Magazine,2004,10(6)1.

［5］aSar Tonta，Yurdagülünal ，UmutAl.The Research Impact of Open Access Journal Articles:Proceedings of the Conference on Electronic Publishing Vienna［C］.Austria,2007.

［6］MARTIN Richardson.Accessing the Impact of Open Access:Preliminary Findings from Oxford University Press［EB/OL］.［2008-08-31］.http://www.oxfordjournals.org/news/oa_report.pdf.

［7］Turk，N.citation impact of Open Access journals［J］.New Library World，2008，109(1/2):65-74.

［8］Liwen Vaughan,Debora Shaw.Web Citation Data for Impact Assessment:a Comparison of Four Science Disciplines［J］.Journal of the American Society for Information Science&Technology,2005,56(10):1075-1087.

［9］Leslie Chan.Study of the Feasibility of Open-access Publishing for Journals Funded by SSHRC ［EB/OL］.［2007-05-22］.http://opcit.eprints.org/oacitation-biblio.html.

［10］Philipp Mayr.Constructing Experimental Indicators for Open Access Documents［J］.Research Evaluation,2006,15(2):127-132.

［11］Mark J McCabe ，Christopher M Snyder.a Model of A-cademic Journal Quality With Applications to Openaccess journals［EB/OL］.［2008-03-11］.www.lib.utk.edu/news/scholcomm/archives/2004/11.

［12］傅蓉.开放存取期刊及其影响分析［J］.图书馆论坛，2007,27(4):122-125.

［13］潘琳.开放存取期刊的来源、分布与质量分析研究［J］.山东图书馆季刊，2006，(2):104-108.

［14］阎雅娜，聂兰渤.利用网络版乌利希期刊指南分析OA期刊［J］ .现代情报,2007,(10):170-172.

［15］王学勤，韩仰东.开放访问期刊学术影响力的分析与评价［J］.现代情报，2006，(8):33-36.

［16］马景娣.社会科学开放访问期刊及其学术影响力研究［J］.情报资料工作，2005，(2):47-49.

［17］刘海霞等.开放存取期刊的质量评价研究［J］.图书馆杂志，2006，(25):23-27.

［18］刘辉.开放获取期刊数据库的评价［J］.大学图书馆学报，2007，(1):11.

［19］张红芹，黄水清.OA期刊质量评价指标体系初探［J］.情报杂志,2007,(3):124-126.

［20］陶雯等.开放存取期刊质量评价方法研究［J］.图书情报工作，2006，(10):72-75.

［21］刘海霞等.开放存取期刊质量的双边市场模型研究［J］.情报杂志，2007，(6):118-121.

［22］陈铭.开放存取期刊评价研究［D］.南京:南京大学信息管理学院,2010.

［23］孙莉薇.开放获取:中国正在与世界同行［N］.图书馆报，2012-11-02（A08）.

［24］叶继元.人文社会科学评价体系探讨［J］.南京大学学报（哲学·人文科学·社会科学版）,2010,47(1):97-110.

［25］叶继元.基于质量与创新测度的人文社会科学“全评价”体系及其应用［N］.光明日报，2011-11-25（14）.