NSTL国外开放资源评价实践*

颜蕴，续玉红，刘敏娟，石瑾，丁遒劲，尹高磊

（1. 中国农业科学院农业信息研究所，北京 100081；2. 中国科学技术信息研究所，北京 100038；3. 中国科学院文献情报中心，北京 100190）

NSTL国外开放资源评价实践*

颜蕴1，续玉红1，刘敏娟1，石瑾1，丁遒劲2，尹高磊3

（1. 中国农业科学院农业信息研究所，北京 100081；2. 中国科学技术信息研究所，北京 100038；3. 中国科学院文献情报中心，北京 100190）

在介绍国内外开放获取资源评价研究进展和工作实践的基础上，依据国家科技图书文献中心（NSTL）开放获取资源建设的目标和需求，提出开放获取期刊、会议录、科技报告、图书、学位论文、课件等资源评价指标的设定。介绍了NSTL开放获取资源评价原则、框架、工作流程及规范控制要点，最后对开放获取资源评价实践进行了讨论。

开放资源；质量；影响力；开放性；评价

1　引言

随着学术出版和交流模式的开放步伐不断加快，开放获取期刊等开放资源的数量持续稳步增长。有数据表明，开放获取期刊的数量已超过2万种，DOAJ收录的期刊达10400多种［1］，DOAB收录的图书已有3275种［2］，而且开放学术资源种类越来越多样化，涉及期刊、机构知识库、会议论文、学位论文、图书、研究报告等众多类型。

虽然开放资源的数量及种类越来越多，但质量却良莠不齐。2013年10月《科学》（Science）发表了一份卧底调查，发现许多开放出版期刊缺乏严格的论文质量审查［3］；美国科罗拉多大学图书馆馆员Jeffry Beal调查并揭发了众多的欺诈型开放获取出版社及期刊，这类期刊假借开放出版名义为收取论文处理费而采用多种欺诈手段故意放松质量控制，编列虚假的编委会，恶意模仿知名期刊刊名和网站内容结构等［4］。开放资源除了质量差异较大，其使用权限及数据可再利用性方面也存在很大的不同。正是由于开放资源质量、使用权限及数据可再利用性等方面存在的极大差别，且目前没有公认的遴选标准，为科研人员使用以及图书馆的资源建设带来较大困难，极大的限制了开放资源的整合及利用。

本文基于NSTL国外开放资源建设工作的具体实践，对6种类型国外开放资源的遴选指标及评价方法进行调研和分析，设计了开放资源质量评价指标，为NSTL国外开放资源建设的质量和服务能力提供基础保障。

2　开放资源评价调研

开放资源主要指信息资源存放在网络上，并通过网络向用户开放，用户基本不受限即可自由获得和使用的信息资源。开放资源按发布方式分为开放获取出版、开放获取存档两种类型，按资源类型包括开放期刊、会议文献、学位论文、图书、研究报告、课件、产业信息、机构知识库、科学数据、信息工具等。

本文涉及开放资源评价对象主要包括期刊、会议、学位论文、图书、研究报告、课件等6种类型。其中开放期刊、开放图书为开放出版资源，开放学位论文、开放课件为仓储类开放资源，开放会议和开放研究报告则界于两者之间，既可以是开放出版资源，也可以是开放仓储资源。

自2002年布达佩斯会议以来，开放资源迅猛发展，开放资源的评价也相应开展。由于评价者对开放资源评价目标不同，评价视角和评价内容不尽相同，所采用的评价指标和方法上有较大的差别。在开放资源的类型上，针对开放期刊的评价研究最为丰富，其它类型的开放资源较少涉及。

2.1国外开放资源评价研究调研

2004年Thomson Scientific报道了OA期刊的学术影响力，研究表明OA期刊与非OA期刊在影响因子方面不存在差异，因为OA期刊中有影响因子较高的期刊［5］。Turk.N.将被引频次作为评价OA期刊引文影响的指标，在文献综述的基础上，讨论了被引频次收集的方法，并主要分析了图书馆学情报学OA期刊的引文影响［6］。2012年，Shotton D.提出新时期期刊评价的5个标准：同行评议、开放获取、内容丰富化程度、数据集、计算机可读元数据［7］。近年来，一些OA及商业出版社如PLOS、BMC、Science、Nature等采用替代计量分析（Altmetrics）对单篇论文的学术影响力进行评价［8］。

在开放性研究和实践中，以2012年学术出版与学术资源联盟（SPARC）和美国科学公共图书馆（PLOS）协作推出的评价开放度指南《开放获取频谱》（Open Access Spectrum）最为全面，将“是否开放”发展到“开放度有多高”层面，方便灵活判定开放资源的开放程度［9］。《开放获取频谱》出现后，一些开放获取集成平台对期刊的开放性提出了新的遴选评价要求。如DOAJ要求期刊开放性要符合开放获取频谱的一定层次，例如阅读权在层次1、再利用权在层次3［10］。

2.2国内开放资源研究调研

2005年，马景娣［11］对被SSCI数据库收录的9种社会科学OA期刊进行了调查，统计了它们近年来各项影响力指标（包括被引频次、影响因子、即年指数、被引半衰期等），并统计期刊影响因子在相应学科中的排名，对社会科学OA期刊的影响力进行了研究。2006年，刘辉从学科分布、检索特性、影响因子和相关性的角度对国外几个主要的OA期刊检索平台进行了评价分析［12］；刘海霞等深入、具体地综述了OA期刊学术质量的分析与评价，包括OA期刊的影响因子、即年指数、引文优势以及影响因子和即年指数百分位数排序的比较［13］；2008年，张红芹等以化学类开放期刊为例，构建了开放期刊评价指标体系［14］；2009年，胡德华从引文的角度出发，采用影响因子（IF）百分位数排序、即年指数百分位数排序、平均IF、平均即年指数、平均载文量、平均被引频次等指标，对生物医学类OA期刊的学术影响力进行了评价研究［15］；2012年，顾立平等从质量水平、开放程度和服务能力方面对开放获取期刊评价指标进行研究［16］；2013年，黄金霞等从开放资源内容、管理、利用、技术、反馈及个性化指标等进行评价实践，构建了开放期刊评价体系［17］；黄永文等对开放资源再利用权益和技术方式进行了分析［18］；顾立平从Altmetrics计量方法研究开放数据、论文影响力［19］；2015年，刘菊红等介绍了应用Altmetrics、Article Level Metrics（ALMs）两种基于单篇论文质量评价体系［20］。

综合国内外对开放资源评价指标和方法，开放资源评价指标分属于质量和影响力、开放性、服务性三个方面，如表1所示。在构建评价体系时所采用的方法主要是层次分析法［21］、主成分分析法［22］、质量模型等［23］。

表1　开放资源评价指标

3　开放资源评价指标分析

3.1开放度评价指标分析

对开放资源开放度评价最全面的表述为2012年SPARC和PLOS协作推出的《开放获取频谱》，该频谱是一个六维矩阵，包括阅读权、再利用权、版权、作者发布权、自动发布及机读性指标，可组成八千多种不同开放度的组合形式，该频谱被称为开放资源开放度评估的指南性文件［9］。

3.2质量和影响力评价指标分析

在对开放资源进行质量和影响力评价时，采用了多种评价指标或要素，本文根据NSTL开放资源建设的目标、需求，将这些指标按评价对象进行归纳，分别按“资源母体”、“单篇或数据”、“出版者”、“创作者”表述如下。

3.2.1对“资源母体”的评价

这里所指“资源母体”主要为开放期刊、开放会议录等套装类资源，采用的评价指标如表2所示。

表2　“资源母体”评价指标

3.2.2对“单篇或数据”的新型计量评价

为了解决将“资源母体”如期刊影响因子等指标用于评价单篇论文或所产生的缺陷，学者们提出采用对开放资源单篇论文、单个片段或单项数据等进行质量评价来替代对“资源母体”的评价，目前所应用和实践的指标主要为Altmetrics和ALMs，显示四类评价内容：

（1）使用数据（下载量、阅读量）；

（2）专家或用户意见；

（3）引用数量；

（4）替代计量（转载、链接、标签等）。

3.2.3对“出版者”的评价

对于开放出版资源，出版者的权威性和专业性不同程度影响开放出版物的质量，特别是图书、会议录等开放资源，出版者评价显得尤为关键。针对出版者的评价要素有三个：

（1）是否为图书情报机构公认的掠夺性出版社；

（2）是否为图书情报机构认可的权威出版社；

（3）是否为学科领域核心出版机构。

3.2.4对“创作者”的评价

开放资源的创作者包括个人和机构，其知名度和水平对资源质量有较大影响，开放资源中的学位论文、课件、图书、会议录等可利用创作者知名度和水平进行评价。常用评价指标有三个：

（1）QS世界大学学科排名（QS World University Rankings）；

（2）ESI基本科学指标（ISI Essential Science Indicators）；

（3）是否为知名学者。

4　NSTL开放资源评价指标设立

作为国家级文献服务机构，NSTL认识到开放资源的重要性，于2007年开始进行“开放获取期刊集成检索系统”和“开放获取会议资源”的建设与服务。随着开放资源种类和数量大幅度增长，2014年起NSTL将采集、评价、整合各类开放科技资源，建设开放资源集成服务平台作为资源建设的重点工作之一。

在国外开放资源建设工作中，研究制定各类开放资源遴选与评价指标和方法，对于实现开放资源建设和可持续服务目标，为用户和资源机构提供有效的增值服务，均有十分重要的意义。

4.1评价原则

（1）规模化建设原则：强调开放资源的规模和覆盖面，设立开放资源建设基本属性要求。即只要开放资源在学术性、资源类型、学科范畴、语种、开放度等方面符合基本要求就可纳入建设内容；

（2）定性与定量评价原则：开放资源评价依据开放度、质量和影响力指标进行，采取定性与定量相结合评价方式，通过指标数据采集，单个指标或不同指标间的组合，分级进行评价；

（3）可操作性原则：引入馆员和用户经验指标，以解决部分类型开放资源评价参考数据缺乏的问题；考虑到单篇论文评价的工作量和难度，暂不将单篇评价内容纳入评价指标。

4.2评价框架

建立面向服务的评价框架，评价内容包括开放性评价、质量和影响力评价两部分内容，按资源类型设立多项评价指标，侧重各类开放资源评价指标数据的采集和服务可见性。如：质量和影响力指标可服务于用户，开放度指标可供建设机构参考以选择不同的工作策略等。开放资源评价框架如图1所示。

图1　开放资源评价框架

4.3开放资源收录必备条件

围绕NSTL开放资源建设的目标，达到开放资源建设的全面性、规模化，遴选条件设基本门槛，即划定一个开放资源的“收录”范围。此范围的设定包括针对6种开放资源设定的遴选的基本属性要求及针对不同资源类型设定的必备条件，主要包括以下几个条件：

（1）资源类型：包括期刊、会议录、图书、研究报告、学位论文、课件等6种学术全文型资源；

（2）开放度：没有特殊的再利用限制；

（3）学科类型：符合NSTL学科建设范畴；

（4）文种类型：正文以英文为主要语言；

（5）期刊具有PISSN或EISSN、图书具有ISBN号、学位论文和课件要求所属学校在中国教育部涉外监管信息网和中国留学网公布的正规海外院校的名单中。

4.4开放度评价指标

不同资源类型所设立的开放性评价指标一致。参照《开放获取频谱》，对开放资源设立再利用权、机读性及阅读权3项内容进行评价，如表3所示。

表3　开放度评价指标

4.5质量和影响力评价指标

4.5.1开放期刊

开放期刊的质量与影响力评价指标共设4项内容，9个指标，如表4所示。

表4　开放期刊质量和影响力评价指标

4.5.2开放图书

开放图书质量与影响力指标共设4类内容，6个指标，如表5所示。

表5　开放图书质量与影响力评价指标

4.5.3开放会议

开放会议录质量与影响力指标共设4类内容，5个指标，如表6所示。

表6　开放会议录质量和影响力评价指标

4.5.4开放报告

开放报告质量与影响力评价设3类内容，4个指标，如表7所示。

表7 开放报告质量与影响力评价指标

4.5.5开放学位论文

开放学位论文质量与影响力评价共设2类内容，3个指标，如表8所示。

表8　开放学位论文质量和影响力评价指标

4.5.6开放课件

开放课件质量与影响力评价共设2类内容，3个指标，如表9所示。

表9　开放课件质量和影响力评价指标

5　NSTL开放资源评价工作实践

5.1开放资源评价工作流程

NSTL国外开放资源建设工作从开放资源遴选与评价开始进行。首先要对开放资源学术性、资源类型、学科范畴、语种、开放度等方面进行筛选，不符合要求的开放资源则不进行采集和评价。然后，根据开放度高低分步进行建设，最后依据各类型资源的评价指标进行赋值，组合形成分级评价结果，按简单易懂的方式提供服务。具体评价工作流程如图2所示。

图2　开放资源评价工作流程

5.2开放资源评价规范性控制

在国外开放资源评价操作中，首先要分析评价指标特征和内容，根据评价要求建立评价参考规范库和评价规范，并要求参与开放资源遴选和评价的工作人员依据规范要求开展工作。具体的规范库建设内容如表10所示。

表10　NSTL开放资源评价规范控制信息库

建立规范信息库，通过规范性控制来保障评价工作的质量，减少开放资源评价工作的手工操作内容，效果将十分明显。然而，规范信息库建设并不能一蹴而就，需要经验丰富的采访馆员、数据馆员合作，并长期细致的维护。在规范库建设中要注意以下几项规范建设：

（1）各来源期刊和会议录名称规范、ISSN、ISBN信息补充和核验；

（2）出版机构和学协会名称规范；

（3）更新及时性。

5.3评价指标注释

本文在第4.4-4.5节评价指标描述中应用了一些简写的指标名称，为避免产生歧义，本节对部分名称进行注释。

CC协议：知识共享协议（Creative Commons）由知识共享组织提出，2005年，人大法学院成为知识共享组织在中国大陆的合作机构，2006年，中国大陆版2.5版CC系列许可协议在北京正式发布。CC协议包括六种主要的许可协议，从限制最严格的许可协议开始，以限制最宽松的许可协议结束，按从严至宽的顺序列出。分别表示为“署名-非商业使用-禁止演绎”（CC-BY-NCSA）、“署名-非商业性使用-相同方式共享”（CC-BYNC-ND）、“署名-非商业性使用”（CC-BY-SA）、“署名-禁止演绎”（CC-BY-ND）、“署名-相同方式共享”（CC-BY-NC）、“署名”（CC-BY）［24］。

SCIE/SSCI IF：科学引文索引/社会科学引文索引（Science Citation Index Expanded、Social Sciences Citation Index）由美国Thomson scientific建设和维护，是国际公认的三大检索数据库之一。其IF为影响因子（Impact Factor）来自Thomson scientific研制期刊引用报告（Journal Citation Reports）的期刊评价指标之一。

Google Scholar Metrics H5：谷歌学术计量H5指数是Google Scholar于2012年推出的一个期刊评价系统，用来评价各个领域期刊的影响力。其H5指数为某期刊在过去5年内所发表的论文中至少有h篇论文分别被引用了至少h次，那么这份期刊的H5指数就是h。

EI：美国工程索引（Engineering Index）是由ELSEVIER ENGINEERING INFORMATION 公司出版的工程类文摘数据库，是国际工程技术领域著名二次文献数据库，为世界三大检索数据库之一。

CPCI：国际会议引文索引（Conference Proceeding Citation Index）由美国Thomson scientific建设和维护，是世界三大检索数据库之一。

CA/BP/INSPEC/Medline/CABI等权威文摘数据库：CA为指世界著名化学文摘数据库；BP为生物学文摘数据库；INSPEC为物理学、电子工程、电子学、计算机科学及信息技术领域的数据库；Medline为医学文摘数据库；CABI为农业文摘数据库。这些数据库对收录期刊和文献有较严格的遴选要求。

OASPA：开放获取学术出版协会（Open Access Scholarly Publishers Association）。该协会对会员有严格的遴选过程，如需要签署柏林宣言或者布达佩斯宣言，必须出版过至少一种全文开放期刊或图书，必须经过严格的同行评审，必须具有明确的使用许可协议，最好为CC协议，出版社和作者的信息需要展示等［25］。

DOAJ：开放获取期刊目录（Directory of Open Access Journals）由瑞典Lund大学图书馆维护，收录了来自全球一万余种开放期刊，对所收录期刊的质量、开放性方面有较严格的规定［1］。

DOAB：开放获取图书目录（Directory of Open Access Books）由欧洲开放获取出版网络（Open Access Publishing in European Networks， OAPEN）开发及维护，收录了三千余种开放图书，对图书质量及开放性有着较严格的要求［2］。

ESI：基本科学指标（Essential Science Indicators）是Thomson scientific研制的科研评价工具，主要用于评价大学和科研机构国际学术水平及影响力。

QS：QS世界大学排名（QS World University Ranking）是由英国一家专门负责教育及升学就业的组织Quacquarelli Symonds（QS）所发表的年度世界大学排名。

6　结语

国外开放资源的评价是一项复杂的系统工程，评价指标设定既要符合科学规律，又要具较强的可操作性。特别是定量评价，数据来源难度大，特别是一些新兴的单篇或单个数据的计量评价数据，基于链接或反向链接等算法的定量评价，数据难以获得操作更为不易，因此本文仍选择定性与定量相结合的评价方法。

对于开放性评价，现有评价研究内容还显得滞后及不完善，比如对期刊评价较多，而对其它类的开放获取资源进行评价较少。对于开放学位论文和课件，目前相关评价研究较少，评价指标较为单一，有待进一步完善。

关于开放资源规范信息库建设，虽然NSTL资源建设部门通过长期的积累已有了较好的基础，但更新和维护是长期工作任务，希望可以借助开放资源评价工作，更有效地建设和维护。

［1］ DOAJ.Directory of open access journals［EB/OL］.［2015-08-01］.https:// doaj.org/.

［2］ DOAB.Directoryof open access books［EB/OL］.［2015-08-01］.http:// www.doabooks.org/.

［3］ OHN BOHANNON. Who's afraid of peer review？ ［J］.Science，2013，342（6154）:60-65.

［4］ Scholarly open access［EB/OL］.［2015-08-01］http://scholarlyoa.com/.

［5］ THOMSON. The impact of open access journals: a citation study from Thomson ISI［EB/OL］.［2015-08-01］.http://www.lib.uiowa.edu/ scholarly/documents/ISI_impact-oa-journals.pdf.

［6］ TURK N. Citation impact of open accessjournals［J］. New Library World，2008， 109（1/2）:65-74.

［7］ SHOTTON D.The five stars of online journal articles-a framework forarticleevaluation［EB /OL］.［2015-03-14］. http://www.dlib.org/dlib/ january12/shotton/01shotton.html.

［8］ 许培扬. 替代计量学（Altmetric）——学术评价国际惯例［EB/OL］.［2015-03-14］.http://blog.sciencenet.cn/blog-280034-828818.html.

［9］ 开放获取频谱［EB/OL］.［2015-03-14］. https://www.plos.org/wpcontent/uploads/2012/10/OAS_Chinese_web.pdf.

［10］ STM PUBLISHING NEWS. DOAJ announces new selection criteria［EB/ OL］.［2015-03-14］. http://www.stm-publishing.com/doaj-announcesnew-selection-criteria/.

［11］ 马景娣. 社会科学开放访问期刊及其学术影响力研究［J］.情报资料工作，2005（2）:47-49.

［12］ 刘辉. 开放获取期刊的现状和评价分析［J］.图书馆建设，2006（4）:44-47.

［13］ 刘海霞，方平， 胡德华.开放存取期刊的质量评价研究［J］.图书馆杂志，2006，25（6）:23-27.

［14］ 张红芹，黄水清. 开放获取期刊质量评价的指标体系构建与评价实践——以化学类期刊为例［J］.情报理论与实践，2008（3）:386-390.

［15］ 胡德华. 生物医学类OA期刊学术影响力评价研究［J］.数字图书馆论坛，2009（6）:19-25.

［16］ 顾立平，张晓林，初景利，等. 开放获取期刊的评价与遴选:质量水平.开放程度和服务能力［J］.图书情报工作，2013，57（1）:49-54.

［17］ 黄金霞，陈雪飞，沈东婧. 开放资源的利用评价研究［J］.图书情报工作，2013，57（21）:18-23.

［18］ 黄永文，张建勇，谢靖，等. 开放资源的再利用模式研究［J］.图书情报工作，2013，57（21）:32-37.

［19］ 顾立平. 开放数据计量研究综述：计算网络用户行为和科学社群影响力的Altmetrics计量［J］.数字图书馆，2013（6）:1-8.

［20］ 刘菊红，黄凯文. 开放获取资源评价模式的研究：基于单篇论文质量评价［J］.新世纪图书馆，2015（5）:91-96.

［21］ 陶雯，胡德华，曲艳吉，等. 开放存取期刊质量评价方法研究［J］.图书情报工作，2006， 50（10）:72-75.

［22］ 赵铁汉，黄颖.开放获取期刊学术影响力评价研究［J］.情报科学，2011，29（6）:874-877，881.

［23］ 陈铭.开放存取期刊评价模型构建［J］.图书情报工作，2010，54（14）:11-15.

［24］ Creative Commons知识共享中国大陆［EB/OL］.［2015-03-16］. http:// creativecommons.net.cn/.

［25］ Open Access Scholarly Publishers Association［EB/OL］. ［2015-03-16］. http://oaspa.org/.

颜蕴，女，1964年生，中国农业科学院农业信息研究所研究馆员，研究方向：文献资源建设。

续玉红，女，1963年生，中国农业科学院农业信息研究所研究馆员，通讯作者， E-mail：xuyuhong@caas.cn。

刘敏娟，女，1982年生，中国农业科学院农业信息研究所馆员，研究方向：文献资源建设。

石瑾，女，1990年生，中国农业科学院农业信息研究所助理馆员，研究方向：文献资源建设。

丁遒劲，女，1988年生，中国科学技术信息研究所助理馆员，研究方向：数字资源建设。

尹高磊，男，1983年生，中国科学院文献情报中心馆员，研究方向：文献资源建设。

Practice on Evaluation of Open Access Resources of NSTL

YAN Yun1， XU YuHong1， LIU MinJuan1， SHI Jin1， DING QiuJing2， YIN GaoLei3
（1. Agricultural Information Institute of CAAS， Beijing 100081， China； 2. Institutes of Scientific and Technical Information of China， Beijing 100038， China；3. Library， Chinese Academy of Sciences， Beijing 100190， China ）

According to goals and requirements on the construction of open access resources of National Science and Technology Library （NSTL）， this paper proposes theevaluation index of open access journals， conference proceedings， science and technology reports， books and dissertations on the basis of expounding the research progress and working practice of evaluating open access resources home and abroad. It also introduces the evaluation principle， framework， working process and specification control points of open access resources . Finally， the practice on evaluation of open access resources is discussed.

Open Access Resources； Quality； Influence； Openness； Evaluation

G253

10.3772/j.issn.1673-2286.2015.08.002

2015-08-02；编辑：王立学）

* 本研究得到NSTL专项课题“NSTL开放资源建设——遴选及评价方法”（编号：2015XM15）及中国农科院科技创新工程资助。