科学文献评价的新探索

姜莹莹 陈万寅 李睿华

科学文献评价的新探索

姜莹莹 陈万寅 李睿华

论文从优胜论文衍生出方法和理论，探讨科学文献的评价指标，然后选取4种期刊，即Monatshefte fur Chemie，Monatshefte für Mathematik，Journal of Neural Transmission，Chemical Reviews和单个科研人员（MK）作为研究对象进行分析说明，采用的数据来源于web of science。对参考文献数、被引次数、优胜论文数等进行研究，其目的在于对研究对象做详细的多方面描述，反映科学文献的价值所在。

优胜论文文献计量文献评价

一篇科学文献的价值通常通过被引次数来衡量。被引次数与某一特定数值的关系用以评价科学文献的价值，而这些科学文献数量的多寡就被用以评价科研人员的科研成就。H指数就是一项旨在评价科学家个人绩效的指标，科学家发表论文的数量和论文被引的频次本身包含了很多有用的信息[1]。但是，基于H指数的科研评价存在一定的问题，比如科研成果形态的差异也使其不能全面地反映科研状态[2]。

一篇论文中参考文献的数量（number of references，NR）和其被引用数量（number of citations，TC）是相关的。拥有高参考文献数量的论文可以更好地接受评审人的积极推荐，并最终被出版物所接受。被引文献数和引用文献数的关系在期刊、主题分类以及学科层面已经得到了广泛的研究。

1 问题的提出

2011年，卢布林工业大学的Marek Kosmulski提出：如果一篇论文被引数量比引用文献的数量多，就被视为优胜论文（successful paper，简称SP）[3]。即：

例如，如果一篇论文被8篇论文引用过，有6篇参考文献，那这篇论文就是优胜论文，但是如果一篇论文被120篇论文引用过，有100篇参考文献，那这篇论文就不是优胜论文。当然优胜论文的定义与某一特定的时间点有关。一篇新发表的论文肯定就不是一篇优胜论文。因为成为优胜论文需要经过某段时间，然而它一旦成为优胜论文，就永远成为一篇优胜论文。

优胜论文的数量可以有效地作为科研人员、期刊、科研机构等科研成就的评价指标。

被引文献数的SP评价方法的优势是由TC和NR的比例决定的。

（1）TC和NR的篇平均值在不同的学科中是不同的。比如在科学的某一分支领域，TC和NR都很高，并且有众多活跃的科学家和高质量的期刊，而在科学稍冷门的分支领域，数量相对就很少。在不同科学分支领域的引用行为虽受到一些因素的影响，但不受活跃的科学家数量和高质量期刊的数量影响。基于SP的评价方法减少了他们的固有优势。

（2）TC和NR的篇均平均值在不同的国家是不同的。在大而富饶的国家，TC和NR都很高，而在小而贫穷的国家都较低。大而富饶的国家的科研人员有内在的优势，他们有更多的机会得到更多的引用。基于SP的评价方法减少了他们的固有优势。

（3）综述比原创论文的TC和NR的篇均平均值都要高，这就使撰写综述论文的作者具有内在的优势，他们有更多的机会得到更多的引用。基于SP的评价方法减少了他们的固有优势。

（4）基于SP的评价方法校正了过度自引的现象。自引的人就意味着要比其他科研人员具有更高的TC数超过他的论文的NC数，才能使他自己的论文成为优胜论文。

当然，在一个数据库中的所有科学论文的NR总和高于其TC的总和，因为不管是非科学的出版物还是科学出版物的参考文献并不是全部被这个数据库所涵盖（如博士论文就不被Web of Science收录）。因此，一篇TC=NR的论文其TC值高于平均水平，并且目前对优胜论文的定义是有点武断的。一个更一般的定义，例如，score=1当TC＞X×NR（其中X是一个正数，并且X因不同的学科有所不同），但目前这个研究仅限于X=1的定义。

2 优胜论文的判定

一个例子可以很容易地证明基于SP的评价有悖常理。例如，有一篇参考文献的论文在过去的20年被引用2次，就是一篇SP。然而有120篇参考文献的论文被引用了100次就不是一篇SP。按照同样的思路，我们就可以批驳另外一个引用指标。例如，一个作者有2篇学术文章，分别被引用了2次，他的H指数是2。而另外一个作者只有1篇学术文章，但被引用了100次，他的H指数是1。TC只是稍高于NR的SP和TC比NR高很多的SP是没有区别的。H指数虽然给予高被引文献更多的关注,并且2008年6月，中国科学技术大学吴强博士也提出了H指数的另外一个变种——W指数，更强调关注高被引文献，但是对高被引文献中的最高被引文献却没有引起足够的重视[4]。TC＞＞H的文章的得分和TC=H的文章的得分是一样的。可以使用下面的方法来评估高被引论文。

一个人所有高被引论文的得分总数（NSPhc）可以通过公式（1）计算得到，即NSPhc=∑（Scorei），hc为高被引的缩写。

按常规定义，对于多作者的论文合作者的NSP得分就稍高一些。因此，对于有2个及2个以上作者的文章，可以使用下面的方法予以修正，NA为合作者总数的缩写。

一个人所有高被引论文的得分总数（NSPma）可以通过公式（2）计算得到，即NSPma=∑（Scorei），ma为多作者合作的缩写。

NSP把老作者作为一个固有的优势。这是大多数基于引用的文献计量学指标的一个属性，因为TC通常会随着时间的增长而增加，即使作者并不活跃了[5]。下面的方法可以被用来修正论文的时间。

AY是现年，PY为出版年。在公式（3）中用（AY +1），而不是现年，是为了避免除数为0。某一作者所有文章的得分总数（NSPPY）的计算公式通过公式（3）得到（PY为出版年的缩写）。如果两个科学家拥有相同数量的NSP，那么发表较新论文的作者得到的NSPPY就较高。

3 研究对象和研究方法

3.1 研究对象

选取4种期刊Monatshefte fur Chemie、Monatshefte für Mathematik、Journal of Neural Transmission、Chemical Reviews作为研究对象。Monatshefte fur Chemie（MC）被选为化学的代表。Monatshefte für Mathematik（MM）被选为数学的代表。Journal of Neural Transmission（NT）被选为神经科学的代表。这3种期刊出版地都是奥地利，它们主要刊登原创文章（MM仅刊登原创文章），而非评论性文章。这三种期刊每种每年收录论文约100篇，它们都在2000年以前创刊。而第四种杂志Chemical Reviews化学评论（CR）是在美国出版，并发表评论性文章。为了避免社论材料（前言，修改）的干扰，NR=0的文章我们故意忽略。

选取单个人（MK，化学家）在上述四种期刊发表的论文作为研究对象，研究单个科研人员SP的产出情况。

3.2 研究方法

3.2.1 期刊评价

利用Web of Science数据库分析上述4种期刊在2000年发表的文章。数据库访问时间：2013年08月18日。本节中研究的论文是同一年发表的，这就消除了文章发表时间因素对TC和NSP的影响。

选择发表至今10年的文献是比较典型的时间跨度，因为考虑到科学家科学文献产出评价在项目申请和职称评定中的作用。基本科学指标（ESI）表明，文章发表10年后被引率很低，也就是说，10年前发表的论文的平均TC比9年前发表的略高，相差很少。这些期刊与SP相关的文献计量学指标见表1。

表1 四种期刊与SP相关的文献计量学指标

表1给出了第1部分讨论的关于顺序的问题：神经科学＞化学＞数学（评论性文章）＞原创性文章，“＞”表示更多的参考文献量和更多的被引次数。所选期刊中平均TC的比例与在第2节中讨论的所有学科类似。MM和NT被引率分别稍低于数学和神经科学的平均被引率。MC的被引率远低于化学学科的平均被引率，CR的被引率远高于化学学科的平均被引率，但CR是一种特殊的杂志，仅发表评论性文章，并且在化学领域是具有高影响因子的期刊之一。

因为神经科学＞化学＞数学（评论性文章）＞原创性文章，神经科学的期刊和评论性的期刊本身具有更多的参考文献和被引次数，从表1可以看出MM和MC的平均TC/平均NR就比较低。因此换句话说平均TC/平均NR依赖于期刊本身的性质，即属于哪种学科的期刊，发表的是评论性文章较多还是原创性文章较多。CR比其他3种期刊的平均TC和其他TC＞100的论文数量高很多。尽管这4种期刊平均TC有很大的区别，CR仍然比其他3种期刊有更多的SP。MM中所有成功论文的NR处于MM所有论文的NR平均数，TC值比MM所有论文的NR平均数要高很多。MM的所有SP的NR值均比其所有论文的平均NR值稍低，并且所有SP的TC值均比其所有论文的的平均TC值高很多（这3篇SP的NR、TC分别为11/5、56/11、8/10）。

MC中所有SP的论文都是原创论文。MC中最佳评论性文章NR为170，TC为74，相比之下，一篇原创TC仅为5，而NR为4，那么这篇原创性文章就称为优胜论文。NT中所有SP的论文也都是原创论文。NT中最佳评论性文章NR为170，TC为28，相比之下，一篇原创论文的TC仅为8，NR为7，那么这篇原创性文章就称为优胜论文。CR中一些TC值最高的论文（例如TC值为664，而NR高达967）都不是优胜论文，而一些TC值最低的论文（例如TC值为13，NR仅为1）却是优胜论文。

3.2.2 科研人员评价

利用Web of Science数据库分析MK发表论文的情况。理论上，MK发表论文的数量和他们的平均值和在第四节讨论的数值应该是一致的。MK发表的SP和非SP见表2。

表2 MK的论文与SP相关的文献计量学指标

从表2可以看出，MK所有论文的的NR平均值与MC的NR平均值差不多。这意味着，MK的引用行为和发表在MC上文章的所有作者的引用行为是相似的。MK的TC平均值大大高于MC论文的平均TC，但低于2000年化学的平均TC（ESI），大大低于CR的平均TC。毫无疑问，MK的SP平均年纪比他的非SP要大。从表2还可以发现，MK的SP不仅平均TC比非SP更高，而且平均NR更低。

考虑到高被引、多作者、出版时间以及自引等因素对NSP值的影响，运用公式（1）-（4）消除这些因素的影响，计算MK的NSP值，见表3。

表3 消除高被引、多作者、出版时间以及自引等因素影响的NSP值

由表3可见，MK的NSPhc大于NSP说明TC远远大于NR值，NSPma略低于NSP，说明MK的SP论文都是独自撰写的论文或者与他人合作的论文很少。NSPpy的值低于NSP的值，此结果反映了SP的平均年龄。NSPsc的值比NSP低12，表明MK的引用中有很多自引。

4 结语

基于SP的指标对作者、期刊或者科研机构的跨学科领域的科学产出是有用的。单个科研人员的NSP可以很容易避免多作者、自引以及论文出版时间的影响。

基于SP的指标比较有争议的一点就是某一作者，某种期刊或某一科研机构优胜与否的阈值由一定数量的引用次数决定，而没有考虑到过量被引的问题[6]。因此，基于SP的指标虽简单易操作，但也有其缺陷，在以后的研究中会作进一步的探讨。

[1]邱均平，缪雯停.文献计量学在人才评价中应用的新探索：以“h指数”为方法[J].评价与管理，2007，5（2）：1-5.

[2]宋振世，周健，吴士蓉.h指数科研评价实践中的应用研究[J]图书情报工作，2013，57（1）：117-121，135.

[3]Marek Kosmulski.Successful papers：A new idea in evaluation of scientific output[J].Journal of Informetrics，2011（5）：481-485.

[4]聂超，朱国.h指数在科研评价中的缺陷及其对策[J].情报理论与实践，2009，32（11）：1-2，7.

[5]Kosmulski M.New seniority-independent Hirsch-type index[J].Journal of Informetrics，2009，3（3）：341-347.

[6]Franceschini F，Maisano D.The citation triad：Anoverview of a scientist’s publication output based on Ferrers diagrams[J].Journal of Informetrics，2010，4（4）：503-511.

姜莹莹南京航空航天大学图书馆助理馆员。江苏南京，210016。

陈万寅南京航空航天大学金城学院图书馆馆长、研究馆员。江苏南京，211156。

李睿华南京航空航天大学图书馆馆员。江苏南京，210016。

The New Research on the Application of Bibliometrics in Scientific Output

Jiang Yingying，Chen Wanyin，Li Ruihua

Using the methods and theories derived from the successful paper,this paper discusses the evaluation indexes of scienti?c output,and then conducts an empirical analysis of 4 journals and one scientist,that is,Monatshefte fur Chemie,Monatshefte für Mathematik,Journal of Neural Transmission,Chemical Reviews and MK.The adopted data come from the web of science.It studies a number of references,citations and successful papers,which purpose is to make a more detailed and multi-aspect description of the journals and the scientist,and reflect the value of scienti?c output.

Successful paper.Bibliometrics.Document evaluation.

G255.51

2013-11-04编校：方玮）