科学文献评价的新探索

姜莹莹　陈万寅　李睿华

摘 要 论文从优胜论文衍生出方法和理论，探讨科学文献的评价指标，然后选取4种期刊，即Monatshefte fur Chemie，Monatshefte für Mathematik，Journal of Neural Transmission，Chemical Reviews和单个科研人员（MK）作为研究对象进行分析说明，采用的数据来源于web of science。对参考文献数、被引次数、优胜论文数等进行研究，其目的在于对研究对象做详细的多方面描述，反映科学文献的价值所在。

关键词 优胜论文 文献计量 文献评价

分类号 G255.51

Abstract Using the methods and theories derived from the successful paper， this paper discusses the evaluation indexes of scienti？c output， and then conducts an empirical analysis of 4 journals and one scientist， that is， Monatshefte fur Chemie， Monatshefte für Mathematik， Journal of Neural Transmission， Chemical Reviews and MK. The adopted data come from the web of science. It studies a number of references， citations and successful papers， which purpose is to make a more detailed and multi-aspect description of the journals and the scientist， and reflect the value of scienti？c output.

Keywords Successful paper. Bibliometrics. Document evaluation.

一篇科学文献的价值通常通过被引次数来衡量。被引次数与某一特定数值的关系用以评价科学文献的价值，而这些科学文献数量的多寡就被用以评价科研人员的科研成就。H指数就是一项旨在评价科学家个人绩效的指标，科学家发表论文的数量和论文被引的频次本身包含了很多有用的信息[1]。但是，基于H指数的科研评价存在一定的问题，比如科研成果形态的差异也使其不能全面地反映科研状态[2]。

一篇论文中参考文献的数量（number of references，NR）和其被引用数量（number of citations，TC）是相关的。拥有高参考文献数量的论文可以更好地接受评审人的积极推荐，并最终被出版物所接受。被引文献数和引用文献数的关系在期刊、主题分类以及学科层面已经得到了广泛的研究。

1 问题的提出

优胜论文的数量可以有效地作为科研人员、期刊、科研机构等科研成就的评价指标。

被引文献数的SP评价方法的优势是由TC和NR的比例决定的。

（1）TC和NR的篇平均值在不同的学科中是不同的。比如在科学的某一分支领域，TC和NR都很高，并且有众多活跃的科学家和高质量的期刊，而在科学稍冷门的分支领域，数量相对就很少。在不同科学分支领域的引用行为虽受到一些因素的影响，但不受活跃的科学家数量和高质量期刊的数量影响。基于SP的评价方法减少了他们的固有优势。

（2）TC和NR的篇均平均值在不同的国家是不同的。在大而富饶的国家，TC和NR都很高，而在小而贫穷的国家都较低。大而富饶的国家的科研人员有内在的优势，他们有更多的机会得到更多的引用。基于SP的评价方法减少了他们的固有优势。

（3）综述比原创论文的TC和NR的篇均平均值都要高，这就使撰写综述论文的作者具有内在的优势，他们有更多的机会得到更多的引用。基于SP的评价方法减少了他们的固有优势。

（4）基于SP的评价方法校正了过度自引的现象。自引的人就意味着要比其他科研人员具有更高的TC数超过他的论文的NC数，才能使他自己的论文成为优胜论文。

当然，在一个数据库中的所有科学论文的NR总和高于其TC的总和，因为不管是非科学的出版物还是科学出版物的参考文献并不是全部被这个数据库所涵盖（如博士论文就不被Web of Science收录）。因此，一篇TC=NR的论文其TC值高于平均水平，并且目前对优胜论文的定义是有点武断的。一个更一般的定义，例如，score=1当TC>X×NR（其中X是一个正数，并且X因不同的学科有所不同），但目前这个研究仅限于X=1的定义。

2 优胜论文的判定

一个例子可以很容易地证明基于SP的评价有悖常理。例如，有一篇参考文献的论文在过去的20年被引用2次，就是一篇SP。然而有120篇参考文献的论文被引用了100次就不是一篇SP。按照同样的思路，我们就可以批驳另外一个引用指标。例如，一个作者有2篇学术文章，分别被引用了2次，他的H指数是2。而另外一个作者只有1篇学术文章，但被引用了100次，他的H指数是1。TC只是稍高于NR的SP和TC比NR高很多的SP是没有区别的。H指数虽然给予高被引文献更多的关注， 并且2008 年6 月，中国科学技术大学吴强博士也提出了H指数的另外一个变种——W指数，更强调关注高被引文献，但是对高被引文献中的最高被引文献却没有引起足够的重视[4]。TC>>H的文章的得分和TC=H的文章的得分是一样的。可以使用下面的方法来评估高被引论文。

3 研究对象和研究方法

3.1 研究对象endprint

选取4种期刊Monatshefte fur Chemie、Monatshefte für Mathematik、Journal of Neural Transmission、Chemical Reviews作为研究对象。Monatshefte fur Chemie（MC）被选为化学的代表。Monatshefte für Mathematik（MM）被选为数学的代表。Journal of Neural Transmission（NT）被选为神经科学的代表。这3种期刊出版地都是奥地利，它们主要刊登原创文章（MM仅刊登原创文章），而非评论性文章。这三种期刊每种每年收录论文约100篇，它们都在2000年以前创刊。而第四种杂志Chemical Reviews化学评论（CR）是在美国出版，并发表评论性文章。为了避免社论材料（前言，修改）的干扰，NR=0的文章我们故意忽略。

选取单个人（MK，化学家）在上述四种期刊发表的论文作为研究对象，研究单个科研人员SP的产出情况。

3.2 研究方法

3.2.1 期刊评价

利用Web of Science数据库分析上述4种期刊在2000年发表的文章。数据库访问时间：2013年08月18日。本节中研究的论文是同一年发表的，这就消除了文章发表时间因素对TC和NSP的影响。

选择发表至今10年的文献是比较典型的时间跨度，因为考虑到科学家科学文献产出评价在项目申请和职称评定中的作用。基本科学指标（ESI）表明，文章发表10年后被引率很低，也就是说，10年前发表的论文的平均TC 比9年前发表的略高，相差很少。这些期刊与SP相关的文献计量学指标见表1。

表1给出了第1部分讨论的关于顺序的问题：神经科学>化学>数学（评论性文章）>原创性文章，“>”表示更多的参考文献量和更多的被引次数。所选期刊中平均TC的比例与在第2节中讨论的所有学科类似。MM和NT被引率分别稍低于数学和神经科学的平均被引率。MC的被引率远低于化学学科的平均被引率，CR的被引率远高于化学学科的平均被引率，但CR是一种特殊的杂志，仅发表评论性文章，并且在化学领域是具有高影响因子的期刊之一。

因为神经科学>化学>数学（评论性文章）>原创性文章，神经科学的期刊和评论性的期刊本身具有更多的参考文献和被引次数，从表1可以看出MM和MC的平均TC/平均NR就比较低。因此换句话说平均TC/平均NR依赖于期刊本身的性质，即属于哪种学科的期刊，发表的是评论性文章较多还是原创性文章较多。CR比其他3种期刊的平均TC和其他TC> 100的论文数量高很多。尽管这4种期刊平均TC有很大的区别，CR仍然比其他3种期刊有更多的SP。MM中所有成功论文的NR处于MM所有论文的NR平均数，TC值比MM所有论文的NR平均数要高很多。MM的所有SP的NR值均比其所有论文的平均NR值稍低，并且所有SP的TC值均比其所有论文的的平均TC值高很多（这3篇SP的NR、TC分别为11/5、56/11、8/10）。

MC中所有SP的论文都是原创论文。MC中最佳评论性文章NR为170，TC为74，相比之下，一篇原创TC仅为5，而NR为4，那么这篇原创性文章就称为优胜论文。NT中所有SP的论文也都是原创论文。NT中最佳评论性文章NR为170，TC为28，相比之下，一篇原创论文的TC仅为8，NR为7，那么这篇原创性文章就称为优胜论文。CR中一些TC值最高的论文（例如TC值为664，而NR高达967）都不是优胜论文，而一些TC值最低的论文（例如TC值为13，NR仅为1）却是优胜论文。

3.2.2 科研人员评价

利用Web of Science数据库分析MK发表论文的情况。理论上，MK发表论文的数量和他们的平均值和在第四节讨论的数值应该是一致的。MK发表的SP和非SP见表2。

由表3可见，MK的NSPhc大于NSP说明TC远远大于NR值，NSPma略低于NSP，说明MK的SP论文都是独自撰写的论文或者与他人合作的论文很少。NSPpy的值低于NSP的值，此结果反映了SP的平均年龄。NSPsc的值比NSP低12，表明MK的引用中有很多自引。

4 结语

基于SP的指标对作者、期刊或者科研机构的跨学科领域的科学产出是有用的。单个科研人员的NSP可以很容易避免多作者、自引以及论文出版时间的影响。

基于SP的指标比较有争议的一点就是某一作者，某种期刊或某一科研机构优胜与否的阈值由一定数量的引用次数决定，而没有考虑到过量被引的问题[6]。因此，基于SP的指标虽简单易操作，但也有其缺陷，在以后的研究中会作进一步的探讨。

参考文献：

[ 1 ] 邱均平，缪雯停.文献计量学在人才评价中应用的新探索：以“h指数”为方法[J].评价与管理，2007，5（2）：1-5.

[ 2 ] 宋振世，周健，吴士蓉.h指数科研评价实践中的应用研究[J]图书情报工作，2013，57（1）：117-121，135.

[ 3 ] Marek Kosmulski. Successful papers：A new idea inevaluation of scientific output[J].Journal of Informe-trics，2011（5）：481-485.

[ 4 ] 聂超，朱国.h指数在科研评价中的缺陷及其对策[J].情报理论与实践，2009，32（11）：1-2，7.

[ 5 ] Kosmulski M. New seniority-independent Hirsch-typeindex[J].Journal of Informetrics，2009，3（3）：341-347.

[ 6 ] Franceschini F， Maisano D. The citation triad：An-overview of a scientists publication output based on Ferrers diagrams[J].Journal of Informetrics，2010，4（4）：503-511.

姜莹莹 南京航空航天大学图书馆助理馆员。江苏南京，210016。

陈万寅 南京航空航天大学金城学院图书馆馆长、研究馆员。江苏南京，211156。

李睿华 南京航空航天大学图书馆馆员。江苏南京，210016。

（收稿日期：2013-11-04 编校：方 玮）endprint

选取4种期刊Monatshefte fur Chemie、Monatshefte für Mathematik、Journal of Neural Transmission、Chemical Reviews作为研究对象。Monatshefte fur Chemie（MC）被选为化学的代表。Monatshefte für Mathematik（MM）被选为数学的代表。Journal of Neural Transmission（NT）被选为神经科学的代表。这3种期刊出版地都是奥地利，它们主要刊登原创文章（MM仅刊登原创文章），而非评论性文章。这三种期刊每种每年收录论文约100篇，它们都在2000年以前创刊。而第四种杂志Chemical Reviews化学评论（CR）是在美国出版，并发表评论性文章。为了避免社论材料（前言，修改）的干扰，NR=0的文章我们故意忽略。

选取单个人（MK，化学家）在上述四种期刊发表的论文作为研究对象，研究单个科研人员SP的产出情况。

3.2 研究方法

3.2.1 期刊评价

利用Web of Science数据库分析上述4种期刊在2000年发表的文章。数据库访问时间：2013年08月18日。本节中研究的论文是同一年发表的，这就消除了文章发表时间因素对TC和NSP的影响。

选择发表至今10年的文献是比较典型的时间跨度，因为考虑到科学家科学文献产出评价在项目申请和职称评定中的作用。基本科学指标（ESI）表明，文章发表10年后被引率很低，也就是说，10年前发表的论文的平均TC 比9年前发表的略高，相差很少。这些期刊与SP相关的文献计量学指标见表1。

表1给出了第1部分讨论的关于顺序的问题：神经科学>化学>数学（评论性文章）>原创性文章，“>”表示更多的参考文献量和更多的被引次数。所选期刊中平均TC的比例与在第2节中讨论的所有学科类似。MM和NT被引率分别稍低于数学和神经科学的平均被引率。MC的被引率远低于化学学科的平均被引率，CR的被引率远高于化学学科的平均被引率，但CR是一种特殊的杂志，仅发表评论性文章，并且在化学领域是具有高影响因子的期刊之一。

因为神经科学>化学>数学（评论性文章）>原创性文章，神经科学的期刊和评论性的期刊本身具有更多的参考文献和被引次数，从表1可以看出MM和MC的平均TC/平均NR就比较低。因此换句话说平均TC/平均NR依赖于期刊本身的性质，即属于哪种学科的期刊，发表的是评论性文章较多还是原创性文章较多。CR比其他3种期刊的平均TC和其他TC> 100的论文数量高很多。尽管这4种期刊平均TC有很大的区别，CR仍然比其他3种期刊有更多的SP。MM中所有成功论文的NR处于MM所有论文的NR平均数，TC值比MM所有论文的NR平均数要高很多。MM的所有SP的NR值均比其所有论文的平均NR值稍低，并且所有SP的TC值均比其所有论文的的平均TC值高很多（这3篇SP的NR、TC分别为11/5、56/11、8/10）。

MC中所有SP的论文都是原创论文。MC中最佳评论性文章NR为170，TC为74，相比之下，一篇原创TC仅为5，而NR为4，那么这篇原创性文章就称为优胜论文。NT中所有SP的论文也都是原创论文。NT中最佳评论性文章NR为170，TC为28，相比之下，一篇原创论文的TC仅为8，NR为7，那么这篇原创性文章就称为优胜论文。CR中一些TC值最高的论文（例如TC值为664，而NR高达967）都不是优胜论文，而一些TC值最低的论文（例如TC值为13，NR仅为1）却是优胜论文。

3.2.2 科研人员评价

利用Web of Science数据库分析MK发表论文的情况。理论上，MK发表论文的数量和他们的平均值和在第四节讨论的数值应该是一致的。MK发表的SP和非SP见表2。

由表3可见，MK的NSPhc大于NSP说明TC远远大于NR值，NSPma略低于NSP，说明MK的SP论文都是独自撰写的论文或者与他人合作的论文很少。NSPpy的值低于NSP的值，此结果反映了SP的平均年龄。NSPsc的值比NSP低12，表明MK的引用中有很多自引。

4 结语

基于SP的指标对作者、期刊或者科研机构的跨学科领域的科学产出是有用的。单个科研人员的NSP可以很容易避免多作者、自引以及论文出版时间的影响。

基于SP的指标比较有争议的一点就是某一作者，某种期刊或某一科研机构优胜与否的阈值由一定数量的引用次数决定，而没有考虑到过量被引的问题[6]。因此，基于SP的指标虽简单易操作，但也有其缺陷，在以后的研究中会作进一步的探讨。

参考文献：

[ 1 ] 邱均平，缪雯停.文献计量学在人才评价中应用的新探索：以“h指数”为方法[J].评价与管理，2007，5（2）：1-5.

[ 2 ] 宋振世，周健，吴士蓉.h指数科研评价实践中的应用研究[J]图书情报工作，2013，57（1）：117-121，135.

[ 3 ] Marek Kosmulski. Successful papers：A new idea inevaluation of scientific output[J].Journal of Informe-trics，2011（5）：481-485.

[ 4 ] 聂超，朱国.h指数在科研评价中的缺陷及其对策[J].情报理论与实践，2009，32（11）：1-2，7.

[ 5 ] Kosmulski M. New seniority-independent Hirsch-typeindex[J].Journal of Informetrics，2009，3（3）：341-347.

[ 6 ] Franceschini F， Maisano D. The citation triad：An-overview of a scientists publication output based on Ferrers diagrams[J].Journal of Informetrics，2010，4（4）：503-511.

姜莹莹 南京航空航天大学图书馆助理馆员。江苏南京，210016。

陈万寅 南京航空航天大学金城学院图书馆馆长、研究馆员。江苏南京，211156。

李睿华 南京航空航天大学图书馆馆员。江苏南京，210016。

（收稿日期：2013-11-04 编校：方 玮）endprint

选取4种期刊Monatshefte fur Chemie、Monatshefte für Mathematik、Journal of Neural Transmission、Chemical Reviews作为研究对象。Monatshefte fur Chemie（MC）被选为化学的代表。Monatshefte für Mathematik（MM）被选为数学的代表。Journal of Neural Transmission（NT）被选为神经科学的代表。这3种期刊出版地都是奥地利，它们主要刊登原创文章（MM仅刊登原创文章），而非评论性文章。这三种期刊每种每年收录论文约100篇，它们都在2000年以前创刊。而第四种杂志Chemical Reviews化学评论（CR）是在美国出版，并发表评论性文章。为了避免社论材料（前言，修改）的干扰，NR=0的文章我们故意忽略。

选取单个人（MK，化学家）在上述四种期刊发表的论文作为研究对象，研究单个科研人员SP的产出情况。

3.2 研究方法

3.2.1 期刊评价

利用Web of Science数据库分析上述4种期刊在2000年发表的文章。数据库访问时间：2013年08月18日。本节中研究的论文是同一年发表的，这就消除了文章发表时间因素对TC和NSP的影响。

选择发表至今10年的文献是比较典型的时间跨度，因为考虑到科学家科学文献产出评价在项目申请和职称评定中的作用。基本科学指标（ESI）表明，文章发表10年后被引率很低，也就是说，10年前发表的论文的平均TC 比9年前发表的略高，相差很少。这些期刊与SP相关的文献计量学指标见表1。

表1给出了第1部分讨论的关于顺序的问题：神经科学>化学>数学（评论性文章）>原创性文章，“>”表示更多的参考文献量和更多的被引次数。所选期刊中平均TC的比例与在第2节中讨论的所有学科类似。MM和NT被引率分别稍低于数学和神经科学的平均被引率。MC的被引率远低于化学学科的平均被引率，CR的被引率远高于化学学科的平均被引率，但CR是一种特殊的杂志，仅发表评论性文章，并且在化学领域是具有高影响因子的期刊之一。

因为神经科学>化学>数学（评论性文章）>原创性文章，神经科学的期刊和评论性的期刊本身具有更多的参考文献和被引次数，从表1可以看出MM和MC的平均TC/平均NR就比较低。因此换句话说平均TC/平均NR依赖于期刊本身的性质，即属于哪种学科的期刊，发表的是评论性文章较多还是原创性文章较多。CR比其他3种期刊的平均TC和其他TC> 100的论文数量高很多。尽管这4种期刊平均TC有很大的区别，CR仍然比其他3种期刊有更多的SP。MM中所有成功论文的NR处于MM所有论文的NR平均数，TC值比MM所有论文的NR平均数要高很多。MM的所有SP的NR值均比其所有论文的平均NR值稍低，并且所有SP的TC值均比其所有论文的的平均TC值高很多（这3篇SP的NR、TC分别为11/5、56/11、8/10）。

MC中所有SP的论文都是原创论文。MC中最佳评论性文章NR为170，TC为74，相比之下，一篇原创TC仅为5，而NR为4，那么这篇原创性文章就称为优胜论文。NT中所有SP的论文也都是原创论文。NT中最佳评论性文章NR为170，TC为28，相比之下，一篇原创论文的TC仅为8，NR为7，那么这篇原创性文章就称为优胜论文。CR中一些TC值最高的论文（例如TC值为664，而NR高达967）都不是优胜论文，而一些TC值最低的论文（例如TC值为13，NR仅为1）却是优胜论文。

3.2.2 科研人员评价

利用Web of Science数据库分析MK发表论文的情况。理论上，MK发表论文的数量和他们的平均值和在第四节讨论的数值应该是一致的。MK发表的SP和非SP见表2。

由表3可见，MK的NSPhc大于NSP说明TC远远大于NR值，NSPma略低于NSP，说明MK的SP论文都是独自撰写的论文或者与他人合作的论文很少。NSPpy的值低于NSP的值，此结果反映了SP的平均年龄。NSPsc的值比NSP低12，表明MK的引用中有很多自引。

4 结语

基于SP的指标对作者、期刊或者科研机构的跨学科领域的科学产出是有用的。单个科研人员的NSP可以很容易避免多作者、自引以及论文出版时间的影响。

基于SP的指标比较有争议的一点就是某一作者，某种期刊或某一科研机构优胜与否的阈值由一定数量的引用次数决定，而没有考虑到过量被引的问题[6]。因此，基于SP的指标虽简单易操作，但也有其缺陷，在以后的研究中会作进一步的探讨。

参考文献：

[ 1 ] 邱均平，缪雯停.文献计量学在人才评价中应用的新探索：以“h指数”为方法[J].评价与管理，2007，5（2）：1-5.

[ 2 ] 宋振世，周健，吴士蓉.h指数科研评价实践中的应用研究[J]图书情报工作，2013，57（1）：117-121，135.

[ 3 ] Marek Kosmulski. Successful papers：A new idea inevaluation of scientific output[J].Journal of Informe-trics，2011（5）：481-485.

[ 4 ] 聂超，朱国.h指数在科研评价中的缺陷及其对策[J].情报理论与实践，2009，32（11）：1-2，7.

[ 5 ] Kosmulski M. New seniority-independent Hirsch-typeindex[J].Journal of Informetrics，2009，3（3）：341-347.

[ 6 ] Franceschini F， Maisano D. The citation triad：An-overview of a scientists publication output based on Ferrers diagrams[J].Journal of Informetrics，2010，4（4）：503-511.

姜莹莹 南京航空航天大学图书馆助理馆员。江苏南京，210016。

陈万寅 南京航空航天大学金城学院图书馆馆长、研究馆员。江苏南京，211156。

李睿华 南京航空航天大学图书馆馆员。江苏南京，210016。

（收稿日期：2013-11-04 编校：方 玮）endprint