图书馆利用SCI和JCR开展科研绩效评估研究——以河北工程大学科研影响力评估为例

孙秀菊



图书馆利用SCI和JCR开展科研绩效评估研究——以河北工程大学科研影响力评估为例

孙秀菊

（河北工程大学 图书馆，河北 邯郸 056038）

科研绩效评估是图书馆深化科研信息服务的一项重要内容。以2013年河北工程大学发表的SCI论文为研究对象，以SCI和JCR数据库为基础，运用文献计量学的方法，分别对其论文在2014年的影响力进行评估，旨在尝试利用这种方法对学校科研绩效做一初步探讨，仅供有关决策者、管理者和科研人员参考。

科研评估；文献计量；科研影响力

一、研究背景

纵观我国科研绩效评估的理论研究和实践应用，大致经历了三个阶段：

一是同行评议法。是一种由某学科或研究领域的专家通过现场鉴定或书面信函的方式判断该学科或研究领域科研成果质量的方法。该方法起源于17世纪的英国，它的本质在于由熟悉该学科领域的专家群体对科研成果价值进行比较客观的评估，这也是近些年来我国仍将该法用于各类项目评审、成果验收和鉴定以及科研影响力评估等方面的根本原因。但该方法在实际操作过程中有许多不足之处，如个人主观感情色彩较浓、经费成本较高等。

二是专家加权法。为克服同行评议法的缺陷，科技领域于20世纪80年代引入了德尔菲法与加权法，它是一种采用定性与定量分析相结合判定科研成果影响力的评估方法。该方法使科研评估的理论和实践更加深入了一层。然而也存在一些问题，如行政级别高的权威被当作专家、受专家经验影响较多而科学理论支撑不足等。基于此方法的科研成果评估，也难免失去公允，不能保证其成果评定的准确性。

三是文献计量学。它是运用一系列的数学方法对各种科研成果特别是期刊论文和引文数量、作者数量以及关键词数量（或主题词数量）等进行综合定量分析的一门科学。[1]134-135以文献计量方法为基础的评估是一种“数值化”的结果，具有比较直观、客观等优点，可以对期刊质量、论文数量以及自身的影响力等一系列指标做出比较准确的判断。

因此，基于文献计量的评估是目前被广泛应用的一种重要科研评估方法。目前国内外比较权威并常用的文献计量评价工具主要有SCI、EI、ISTP以及JCR等数据库（或称检索平台）。它们通过发表在收录核心期刊上科研论文的数量和期刊质量衡量某一国家或地区（或机构）研究成果的影响力。[2]52

科研论文是科研成果的一种直接体现和重要载体，在很大程度上体现着学校的科研影响力和竞争力。本文拟以2013年河北工程大学发表的SCI论文(Ⅱ区且为第一作者，以下同)为研究对象，以SCI（英文全称Science Citation Index）和JCR（英文全称Journal Citation Reports）数据库为数据来源，运用文献计量学的方法，分别对其论文在2014年的影响力进行评估，旨在尝试利用这种方法对学校科研绩效做一初步探讨，仅供有关决策者、管理者和科研人员参考。

二、评估方案具体设计

（一）评估指标的确立

一方面，科研论文质量和影响力的高低主要是由两个因素决定的。其一是发表论文所在的期刊档次（可以用期刊影响因子进行区分）。从很大程度上来讲，期刊档次反映着论文的水平和档次，刊登在较高档次期刊上的科研论文其质量也就较高，反之则较低。如对于一般科研人员来说，发表一篇《Science》或《Nature》期刊论文比较困难，但如果其研究水平能够获得该期刊评委的一致肯定，这本身就是比较权威的“质”的评估，因此，刊登在较高档次期刊上的论文潜在的影响力较大。其二是发表论文的被引用情况。论文的被引用情况也是决定论文质量的一个重要因素。论文被引用次数越多就表明其质量和水平越高，影响力也较大，反之也亦然。[3]13-14当然，假如发表的论文没有被任何一篇论文引用过，即便期刊档次再高也是苍白无力，不能发挥多大的作用。

另一方面，我们知道，不同学科之间具有很大的差异，这种差异不仅表现在SCI收录的每个学科期刊数量不同，还表现在每个学科自身的性质和特点不同，如自然科学与社会科学不同、成熟学科与新兴学科不同、科研群体人数不同等。如果要使科研绩效评估结果在各个不同学科之间具有可比性，就需要消除这个差异，即对不同学科期刊影响因子和不同学科论文被引用次数进行标准化处理，得到期刊影响因子和论文被引用次数的相对值，具体处理方法为：将发文期刊的影响因子除以该学科期刊影响因子的平均值，论文被引用次数除以该学科论文被引用次数的平均值。只有这样，不同学科的科研绩效评估结果进行对比才有意义。[4]525再者，期刊影响因子只是考虑两年内的论文数量和被引用情况，是一种具有时效性的、动态的绩效评估。这不仅能够使不同学科之间进行比较，同时也解决了评估的时效性问题。

通过以上分析确立科研绩效评估的四个指标：期刊影响因子、论文被引用次数、学科期刊的平均影响因子、学科论文的平均被引用次数（后面两个指标主要为考虑不同学科设立）。

（二）评估指标的计算方法

按照以上评估指标确立的基本思路，利用论文质量指数(Paper Qualiy tIndex，简称PQI)概念代表某年的科研绩效评估的结果。通过认真分析和研究各个指标之间的关系，确定数学计算公式为：

三、评估方案的实施与结果分析

（一）科研论文的选取

本研究以河北工程大学科学技术研究院网站《成果专利》栏目列表中的《河北工程大学2013年科研计划及成果汇编》为依据，检索和提取2013年发表的SCI论文，结果显示：2013年河北工程大学发表Ⅱ区且为第一作者SCI论文共计17篇，去掉6篇2014年零被引论文，应为11篇。（见表1）

表1 2013年发表的11篇SCI论文(Ⅱ区且为第一作者)

（二）2013年SCI论文(Ⅱ区)在2014年影响力评估

以SCI和JCR数据库为检索源，制定有效的、切实可行的检索策略，确定检索途径，获取有关数据。具体操作按照以下步骤进行：首先，在JCR数据库中，检索和查找论文登载期刊的学科归属。如果论文登载的期刊属于多个学科，就要把它归到最适合、最恰当的学科，这样更能够准确评估科研论文的质量和影响力。其次，在SCI和JCR数据库中分别提取2013年发表的SCI论文在2014年的被引次数、所在学科期刊论文平均被引次数、期刊影响因子和所在学科期刊平均影响因子等数据。再次，根据以上数学计算公式，分别计算出11篇论文质量指数，得出如下结果。（见图1）

图1 2013年SCI论文(Ⅱ区)在2014年影响力评估

由图1可以看出，11篇论文中其中有8篇属于材料科学、综合（MATERIALS SCIENCE，MULTIDISCIPLINARY）学科，这表明材料科学是该校的优势学科，并具有较高层次的科研人员和较多的研究成果。从被引次数来看，在8篇材料科学的论文中，其中1篇论文在2014年被引次数最高，是8次，而所属学科的论文该年平均被引次数是27.665，平均被引次数大约是该论文被引次数的3.46倍；还有2篇论文在2014年被引次数是6，平均被引次数大约分别是这两篇论文被引次数的4.61倍；被引次数最少的是1。而另外3篇分别属于能源与燃料（ENERGY & FUELS）、水资源（WATER RESOURCES）以及物理学、综合（PHYSICS，MULTIDISCIPLINARY）学科的论文被引次数都是1。从论文质量指数来看，在8篇材料科学的论文中，在2014年最高的论文质量指数是0.280，最低的论文质量指数是0.021，平均论文质量指数仅为0.121。而其余3篇分别属于不同学科的论文质量指数为0.054、0.066和0.021。

通过数据分析和研究得出，首先，河北工程大学科研成果不仅数量较少，论文质量指数也普遍较小，处于较低的水平，优秀科研成果比较缺乏，难以形成较强的科研影响力，这与该校庞大的教学科研队伍（专任教师1472人，其中具有博士学位的教师327人）是很不相称的。如果按照公式计算，在期刊影响因子、学科期刊平均影响因子和论文平均被引次数基本不变或相对变化较小的情况下，只有提高自身的论文质量，增加被引次数，才能提高论文质量指数水平。其次，从科研论文的合作情况来看，11篇论文中，其中3篇与燕山大学合著，其余分别与特拉华大学（美国）、中国矿业大学、复旦大学、天津大学、河北师范大学等高校合著，这表明科研人员具有较好的国内横向科研合作能力，但缺乏与国内外世界一流高校和科研院所的合作。因此，仍需进一步加强与国内外顶尖科研机构的交流与合作。

四、利用SCI和JCR开展科研评估的积极意义和局限性

（一）积极意义

首先，为科研规划和学科建设提供参考。利用SCI和JCR开展科研评估，能够根据特定时间内SCI收录论文的数量和JCR学科分布情况研究本单位科研现状和发展趋势，分析学科研究的特点和热点，确立学科培育与发展重心，以制定系统、科学的科研发展规划和学科建设策略。[5]89-90也可对某段时间内某学科载文量相对集中的期刊定向跟踪研究，以便发现更有影响力的期刊或确定核心期刊群。

其次，选拔和评价科研人才。科研论文的数量和质量不仅体现着科研人员在所属研究领域的地位与作用，也是衡量科研人才的一个重要标准和尺度。从SCI论文数量和被引用次数可以发现、培育、选拔以及评价科研人才，确立科研骨干和学科带头人，并据此建立与本单位相适应的科研创新激励机制和评价机制。

再次，分析和研究科研合作情况。科研合作是科学研究的一个重要方面，也是科研产生的必要条件。可从论文合作科研机构的层次和多少来判断作者的科研合作能力。一般来说，论文合作科研机构涉及的国家或地区愈多，科研机构层次越高，则表明其作者科研合作能力较强，反之则较弱。

（二）局限性

首先，评估数据的来源具有局限性。一是本次评估只对2013年河北工程大学发表的SCI论文(Ⅱ区且为第一作者)在2014年影响力进行评估，没有涉及论文未来几年的评估，但如针对某一特定人员发表论文的评价，可根据实际情况需要，按照某年单篇（或多篇累加）计算其论文在某年的质量指数（或质量指数总和），或者用同样的方法计算某几年论文质量指数总和。[3]13-14二是只对有限的科研论文进行了评估，而没有涉及其他的成果形式。而对高等学校来说，科学研究的学科门类很多（目前我国高校现行的13个学科门类），研究成果的表现形式不一，除科研论文之外，还有专著、专利、科研报告以及文学作品等，它们代表着不同学科的成果特点。[6]97假如需要比较全面、系统地研究高校的科研产出能力和学术影响力，就应针对不同的科研类型（如自然科学、社会科学、基础研究、应用研究等）和成果形式，制定一系列相应的学科评价指标体系，逐项整理出科研成果统计数据，从而实现科研成果的全面分析和评估。

其次，缺乏深层次的内容评估。本评估主要采用文献计量学的方法，从“数量”上对科研产出和影响力进行统计分析，如论文被引次数、学科论文平均被引次数、期刊影响因子、学科期刊平均影响因子以及最后的评估结果——论文质量指数等，而缺乏对科研论文深层次内容的评估。高校的有关部门和人员只能从宏观上掌握各学科领域论文各个数量指标的研究现状与趋势。[7]26但大多数科研人员更需要通过对科研论文深层次的研究和分析，找出自己所属学科研究的内在规律，能够为未来进一步深入研究提供有意义的借鉴与帮助。

五、结语

科研绩效评估是高校科学研究和学科建设的重要组成部分，是高校科研决策和管理的重要基础。随着高校图书馆科研信息服务的进一步深入和加强，许多图书馆开展了科研评价服务。基于SCI和JCR开展科研评估是图书馆不断研究和探索的结果，它具有较强的引导性和实用性。通过对科研人员研究成果的竞争力和影响力进行比较科学、系统、客观的综合评估，能够比较准确地了解和把握高校的科研优势与不足，并为制定未来科研发展规划、重点学科研究方向、人力资源管理决策（如晋升、选拔和奖惩等）以及经费分配方案等提供重要的参考依据。

[1]万昊，谭宗颖，朱相丽. 同行评议与文献计量在科研评价中的作用分析比较[J]. 图书情报工作，2017(1).

[2]彭博文，何涛.高校科研绩效评估的现状、矛盾及解决原则[J]. 中国高校科技与产业化，2010(4).

[3]邱均平，马瑞敏，程妮.利用SCI进行科研工作者成果评价的新探索[J]. 中国图书馆学报，2007(4).

[4]贾志云. 期刊影响因子的学科差异、领域差异以及绩效考核[J]. 中国科学院院刊，2009(5).

[5]彭奇志.基于SCI的科研机构学术成果评估与实证分析[J]. 情报杂志，2008(9).

[6]赵飞，艾春艳，游越，刘素清.基于文献计量开展高校科研评估的探索与思考——以北京大学科研竞争力评估为例[J]. 大学图书馆学报，2014(1).

[7]王飒.“985”高校图书馆科研评价服务实践调研与分析[J]. 图书情报工作，2016(1).

（责任编辑：苏红霞 校对：朱艳红）

Study on Scientific Research Performance Evaluation Based on SCI and JCR in Libraries——Taking the evaluation of scientific research influence of Hebei University of Engineering as an example

SUN Xiu-ju

(Library of Hebei University of Engineering, Handan 056038,China)

Scientific research Performance evaluation is an important content to deepen information service for library.In 2013 SCI thesis published by Hebei University of Engineering as the research object, based on SCI and JCR databases, using the method of bibliometrics, the paper evaluates the impact of the papers in the 2014, and try to use this method to make a preliminary study to the University scientific research performance, only In order to provide reference for decision makers, managers and researchers.

scientific research evaluation; bibliometrics; scientific research influence

G350

A

1673-2030(2017)04-0121-05

2017-09-10

孙秀菊（1966—），女，河北沧州人，河北工程大学图书馆信息咨询部主任，副研究馆员，硕士。