论文指标与一级学科评估结果之比较

沈　勇

(清华大学 公共管理学院，北京 100084)



论文指标与一级学科评估结果之比较

沈勇

(清华大学 公共管理学院，北京 100084)

在评价学术水平时，与占主导地位的一级学科评估相比，论文所代表的客观指标有效吗？研究产出在多大程度上影响了一级学科评估结果？现有文献对二者在评价学术水平时的关系尚无实证研究。以CSSCI论文数、引用数、顶级期刊论文数和人均论文数为解释变量，以一级学科评估分数为因变量，运用主成分回归分析方法，对研究产出与一级学科评估结果进行比较。研究发现，基于论文指标的客观评价与一级学科评估结果高度正相关，由规模因子和质量因子构成的综合指标能解释83%的学科评估结果。研究产出很大程度上决定了学科排序结果，基于论文的综合指标是学科评估的一种可行的替代方法。

论文指标；论文引用率；一级学科；学科评估；学科排序

对高等教育机构的学术评价，经历了从早期主观指标到更重视综合指标的变化。据美国的有关研究，自20世纪70年代以来，在人文、社科、生物和工程等36个学科的评价都是采取主观调查的方式。这类采用声誉等主观指标的研究方法，其引发的持续争议在于测度实际生产率时是否可靠[1-2]。随着各类大学排行榜的兴起，为避免指标的非均衡化，人们越来越多地采用主观和客观相结合的方式评价机构学术水平。评估指标的综合化和复杂化趋势更加明显，根据杨天平等人的文章，在12个各类大学排行榜中，平均指标数达到22个[3]。研究产出作为衡量高校特别是研究型大学学科建设水平的重要指标，在研究领域和大学实践中得到重视。

尽管基于研究产出的客观方法和市场导向的排行榜评估目的不尽相同，但现有文献对二者在评价学术绩效时的关系尚无有力的实证研究。鉴于一级学科评估的重要性，评估结果会影响资源配置，并对高校学科建设具有导向作用，其作为研究的比较对象是有意义的。本研究的主要问题是：基于论文指标的客观方法在评估学科水平时有效吗？一级学科评估结果在多大程度上体现了研究产出的贡献？二者之间是否存在可替代性？

一、文献综述

1.关于研究产出指标的选取

采用同行评议期刊的文章数量来评价研究产出是近几十年来国外较普遍的做法[4-6]。尽管书籍和专著等也属于研究产出，但由于信息获取较难，且不易确定不同形式产出的权重，Morgan建议采用期刊发表作为研究产出的客观测度指标，认为学术期刊重视原创性和同行评议，可能是最适合学科范围的评价工具。作者选取10种专业领域期刊，不做权重区别，对教师研究产出进行测度。这类分析通常是基于文章数量，计数作为一个合理的替代，用来表明某一学院通过专业媒介所产生的理论与实践贡献[7]537。

Bloom等认为，学术产出依靠大量教师的参与，机构产出的一个重要因素是大量关键学者的加总的贡献[8]377。但是，学术产出的计量易受到规模影响，简单的加总可能对小的院系不利。Jordan等认为院系的规模和发表论文之间存在积极的关系[9]。根据Ferris等的研究，教师产出通常是用某一领域核心期刊的产出率来测度的，并建议使用人均产出概念[10]309。林梦泉等也建议在学科评估中应增加“人均指标”[11]。

当然，仅仅采用论文数量作为指标难以恰当评价学术影响力。Farber等认为引用情况是衡量学术产出影响力的更好的分析单位，并通过SSCI检索工具获取引用数据来分析学院的学术产出[12]。

也有学者对采用论文数量或引用率等单一指标提出批评，建议对研究绩效的评价要考虑不同因素的权重[13]。除了引用情况作为质量指标外，研究人员还建议考虑期刊性质，最好的杂志倾向于发表对该领域核心发展最重要的文章[14]。

2.关于指标间的关系

在生产率所代表的客观指标和反映主观指标的声誉变量之间，研究发现，二者存在积极的关系[15]。然而，一项早期对生物化学学者的研究有相反的发现，即二者之间不存在显著关系[16]。尽管不同研究结果有差异，更多的研究表明，主、客观指标之间存在一致性，二者具有中等程度的关系[10]325。

中国学者也发现，上海交通大学世界大学学术综合排名和论文数之间的相关性为0.563 (P<0.001)[17]。另一项对中国50所重点大学论文产出的研究表明，综合引用和数量因素的h指数与载文量、总被引之间的相关系数分别为0.81和0.93[18]。总体看，机构的论文产出与引用数之间存在较强的相关性(r=0.829)[8]387。

3.研究方法

早期有关论文产出研究以描述性统计为主，近来主成分分析等多元统计方法陆续被用于论文产出研究。古继宝等基于SCI收录的25个国家19个学科领域的论文统计数据,运用主成分和因子分析得出反映论文产出差距的3个独立因子,进而从科研实力和科研质量等角度对各个科技主体的科研水平进行新的排名和诠释[19]107。

另有一篇文章对36所“985工程”高校的ESI科技论文进行综合评价排名，在论文总数、被引频次、篇均被引及顶级论文数等原始指标的基础上，合成反映论文总体实力的第一主因子和反映单篇论文的学术影响力的第二主因子[20]106。

国外有学者建议，对于计数资料，原则上可以使用多元线性回归分析[21]。这无疑有助于更好地解释变量之间的关系。

二、数据与方法

1.数据来源

研究样本为公共管理学科，这是基于作者对学科熟悉程度和数据采集复杂度的权衡。考虑到公共管理学包含政治学、经济学、管理学、社会学和法学等多学科特点，在一定程度上能缓和样本学科的局限性。为便于比较，本研究样本从参与2012年全国公共管理一级学科评估的60所院校中选取，不考虑在该评估期没有独立的公共管理学院或以公共管理学科为主体的办学实体的院校，最后确定38所学院作为评价对象。

本研究认为，在人文社科领域，入选CSSCI的刊物基本能反映当前中国人文社会科学界各个学科的最新研究成果，且学术水平较高、影响较大、编辑出版较为规范，因此已被多篇研究用于高等院校社会科学领域的论文产出分析[22-23]。本研究利用中国知网(CNKI)，检索38所学院作为第一作者机构在2009-2013年间发表的CSSCI论文，检索核查截止时间为2014年12月30日。作者标注多个单位的，只计算第一单位。其中，对机构名称发生变化或采用简称的，在甄别后也一并计入。在剔除书评类、会议综述类、访谈类及一稿多投文章后，最后得到7 840篇文献。

2.变量选择

在变量设计上，本研究以2012年公共管理一级学科评估分数为因变量，以论文总数、引用数、顶级论文数、人均论文数作为自变量。论文总数：指样本学院的CSSCI论文合计数。经过一定机制筛选的CSSCI期刊大体涵盖了本学科最主要的中文论文产出。引用数量：由于中国社科论文引用率普遍偏低，参照一级学科评估的做法，选取各学院引用率最高的前20篇CSSCI论文来统计引用率。顶级论文数：这一指标用来反映公共管理学科对基础研究和理论研究的贡献[24]。在管理学、经济学、政治学、社会学及法学这五个公共管理学科的主要支撑学科中，根据中文核心期刊要目总览和CSSCI的期刊评价，选取这五个学科门类中排名最高的期刊，即《管理世界》、《经济研究》、《政治学研究》、《社会学研究》和《法学研究》五种期刊，另外增加综合性的《中国社会科学》期刊。人均论文数：反映各学院教师的人均CSSCI论文产出量。教师界定为该学院的全职在岗教师，其数据通过受访学院的主页获取。

3.分析工具

本研究采用SPSS18软件进行主成分回归分析。采用主成分回归分析方法有利于消除多重共线性的影响，且能把多个指标化为少数几个综合指标，尽量不改变指标体系对因变量的解释程度[25-26]。在主成分分析的基础上，通过回归分析比较学术产出与一级学科评估结果之间的相关关系。

三、分析结果

1.描述统计

表1显示各变量的均值、标准差和样本数，其中，顶级论文指标差异性最大，学科评估分数指标差异性最小。

表1　描述统计量

2.相关性判定

表2为相关系数矩阵，论文总数、引用数、顶级论文数、人均论文数变量之间都存在显著相关性，为消除多重共线性影响，采用主成分方法降维。

表2　相关性矩阵

首先进行KMO检验和巴特利球体检验，其结果如表3所示。根据Kaiser给出的度量标准，KMO大于0.8，说明适合做因子分析。本表中的Bartlett值大于129(P<0.001)，球度检验表明相关阵不是一个单位矩阵，因子模型合适。

表3　KMO和Bartlett 的检验

3.确定主成分

如何提取主成分的数量，文献建议有不同的准则，一般根据特征值大于1的标准，或者方差贡献率大于85%的阈值[27]。由于第一个主成分解释总变差为81.95%，第二个主成分特征值虽小于1，但其方差解释力超过10%，因此人工确定提取两个主成分，二者合计贡献率为92.47%，并进行正交旋转，其结果如表4所示。

表4　方差解释

4.特征向量矩阵表

表5为旋转前后的主成分载荷矩阵，显然，旋转后的特征值及主成分负荷有很大改善，主成分1主要与论文总数、引用数和人均指标有关，而主成分2则主要与顶级论文指标有关。因此，本研究把主成分1命名为规模因子，反映的是与论文数量、影响力等有关的总体实力；主成分2命名为质量因子，反映的是高水平论文质量。

表5　旋转前后的成份矩阵

注：提取方法为主成分分析法。

5.因子分值

利用SPSS软件可自动计算因子1和因子2的分值，同时，根据F综=0.655*F1+0.345*F2的表达式，计算出综合因子分值及排序，如表6所示。

表6　学科评估、因子得分及排序

续表6

学院名称评估分数评估排序F1规模因子F2质量因子F综合因子因子排序华东师范大学公共管理学院7515-0.19-0.70-0.3721湘潭大学公共管理学院74170.56-0.420.2212东北财经大学公共管理学院7218-0.81-0.41-0.6732中南财经政法大学公共管理学院7218-0.38-0.21-0.3219重庆大学公共管理学院72180.45-0.620.0815中央财经大学政府管理学院7021-0.63-0.28-0.5127对外经济贸易大学公共管理学院7021-0.48-0.55-0.5127大连理工大学公共管理与法学学院7021-0.56-0.51-0.5529燕山大学公共管理学院7021-0.29-0.71-0.4325郑州大学公共管理学院7021-0.580.03-0.3721内蒙古大学公共管理学院6826-0.75-0.48-0.6631上海财经大学公共经济与管理学院68260.070.340.1614河海大学公共管理学院6826-0.11-0.77-0.3320湖南农业大学公共管理与法学学院6826-1.27-0.07-0.8638西南交通大学公共管理学院6826-0.91-0.19-0.6732西南大学政治与公共管理学院6826-0.52-0.34-0.4626西北大学公共管理学院6826-0.25-0.66-0.3923浙江工业大学政治与公共管理学院6733-1.10-0.33-0.8437浙江工商大学公共管理学院6733-1.130.09-0.7134华侨大学公共管理学院6733-0.61-0.48-0.5730河南大学哲学与公共管理学院6733-0.95-0.40-0.7636中南民族大学公共管理学院6733-0.94-0.39-0.7535浙江财经大学财政与公共管理学院6733-1.631.89-0.4124

学科评估前5位的院校是人民大学、清华大学、北京大学、武汉大学和华中科技大学，这五校也同时进入综合因子排序前五位。与学科评估排序相比，综合因子排序前10位学院中，有9所同时出现在学科评估前10名中。如果考虑前一半院校排序情况，有17所学校同时出现在一级学科评估结果的前19名中。总体看，尽管院校排序有微调，但两种评估结果的一致性比较高。

其中，厦门大学因规模因素未进入因子得分前10名，吉林大学则因较高的质量因子从学科评估第12位进入因子得分前10名。此外，排序变化较大的是，东北财大和湖南农大均因规模实力较弱分别下降了14位和12位，上海财大则因质量和规模因素表现不错而上升12位。

6.主成分回归分析

主成分分析主要是对现有变量的简化和提炼，其结果体现了38所学院基于规模因子和质量因子得分的总排序，为进一步了解这一结果与学科评估排序之间的关系，以因子1和因子2作为自变量，评估分数的标准化值作为因变量进行多元线性回归分析，其结果如表7和表8所示。

表7　回归分析的R值和R2值

表8　回归系数

根据回归分析的结果，解释变量与因变量高度正相关(R=0.91)，模型通过F检验(p<0.001)，说明模型的拟合优度还是不错的，从决定系数看，规模因子和质量因子能解释因变量约83%的变差。

从回归系数看，规模因子标准化系数为0.824，质量因子的系数为0.386，二者均通过显著性检验(p<0.001)，规模因素较质量因素解释力更强。

由于前述回归结果是基于主成分分析，且变量已标准化，为便于理解，对标准化变量进行还原后，得到如下方程式：

Y=35.4+0.076X1+0.042X2+0.059X3+0.518X4

从回归方程看，人均指标(X4)的回归系数为0.518，在所有自变量中贡献最大，即人均指标每增加1篇，学科评估分数会增加超过0.5分。按贡献大小，其他变量依次为论文总数指标(X1)、顶级论文指标(X3)和引用率指标(X2)。

四、结　　论

根据主成分分析的结果，以论文总数、引用率、人均指标和顶级论文为代表的客观指标，可以提炼为代表学科研究实力的规模因子和质量因子两个成分，二者反映原始变量92.47%的信息。对比前述文献，古继宝一文提取三个因子的方差为78.9%[19]113，胡瑶一文提取两个因子的累计贡献率为92.09%[20]120。因此，客观指标较好地保留了学术产出指标的原始信息，具有较高的区分度，能够清晰地区分样本学科的研究产出绩效。

回归分析结果也表明，客观指标与一级学科结果具有高度的相关性(R=0.91，p<0.001)，研究产出对一级学科评估结果的贡献占比约83%，对学科评估结果具有很强的解释力。从两种方法的排名结果比较，有9所学校同时进入了两种排序的前10名，二者具有较高的一致性。从一级学科评估“科学研究水平”一级指标的得分看，前10名中有7所学校也同时位居综合因子前10名，这也进一步验证了客观指标排序的有效性。

实证研究发现：研究产出指标是决定学科排序结果的支配性因素。应该说，衡量学科水平的指标并非是单一的，为什么客观化方法与综合指标在评价学科绩效时具有高度的一致性？这也许与质量概念的特性有关，教育质量是一个难以琢磨的抽象的概念，很难定义和测度[28]。这一概念所包含的心理特性增强了其模糊性，虽然学术水平包括不同的侧面，但这些指标间存在一定的相关性。例如，当我们指称某一学科水平较高时，通常也暗含了高水平的师资、高质量的学生和高水平的研究产出等评价。以论文形式衡量的学术产出，经过了严格的学术共同体检验，是反映学术水平更直接、更集中、更容易测度的指标。

对评估实践而言，两种方法各有其特点及针对性，很难有“最好的方法”。学科评估是对一级学科整体情况的判断，具有综合性的优点，能为机构提供综合排序和更全面的诊断。客观方法更简洁、清晰，适于分析学科这类专业性较强的学术产出绩效，而且可以进一步用于比较研究。

研究建议：研究产出评价可以在某种程度上作为学科评估的替代性方法。由于一级学科评估包含四类一级指标和14个二级指标，大量主客观信息的采集与处理增加了评估的复杂性，且评估材料是自行申报的，这些填报的数据难以核实，可能导致评估结果的较大偏差[29]。而且，这些其他因素加起来只是解释了剩余17%的变差，从成本角度看，未必是有效的。因此，对于大学排名而言，应把产出作为重点比较的指标，如无特别必要，建议尽可能利用公开数据源、采用客观方法进行评价[30]。

由于研究产出是一个多维度的概念，仅以论文指标来衡量产出也反映了本文的局限性[7]566。事实上，研究产出通常还包括国际发表、专著、研究报告等，基于可行性的考虑，为避免多种形式产出的加总可能造成的争议，本文未计算这部分成果，这无疑会对学术绩效的评价有一定影响。而且，本研究是基于2009-2013年间的公共管理学科的数据，其结论是否能推广至其他学科以及是否反映了长期趋势还有待后续验证。

[1]Drew D E and Karpf R. Ranking Academic Departments:Empirical findings and a Theoretical Perspective[J].Research in Higher Education,1981(4):305-320.

[2]Morgan D R, Meier K J, Kearney R C, Hays S W and Birch H B. Reputation and Productivity among U.S. Public Administration and Public Affairs Programs[J].Public Administration Review,1981(6):666-673.

[3]杨天平,任永灿.国内外大学评价指标体系的发展趋势[J].高教发展与评估,2014(5):1-11.

[4]Wyer, J C, Conrad, C F. Institutional Inbreeding Reexamined[J].American Educational Research Journal,1984(1):213-225.

[5]Levin, S G, Stephan, P E. Research Productivity over the Life Cycle:Evidence for Academic Scientists[J].The American Economic Review,1991(1):114-132.

[6]Horta H. Deepening our Understanding of Academic Inbreeding Effects on Research Information Exchange and Scientific Output: New Insights for Academic Based Research[J]. Higher Education,2013(65):487-510.

[7]Forrester J P. Public Administration Productivity:An Assessment of Faculty in PA Programs[J].Administration & Society,1996(4).

[8]Bloom M., Klein W C. Publications and Citations:A Study of Faculty at Leading Schools of Social Work[J].Journal of Social Work Education,1995(3).

[9]Jordan J M, Meador M and Walters S J K. Effects of Departmental Size and Organization on the Research Productivity of Academic Economists[J].Economics of Education Review,1988(2):251-255.

[10]Ferris J M, Stallings R A. Sources of Reputation among Public Administration and Public Affairs Programs[J].American Review of Public Administration,1988(2).

[11]林梦泉,姜辉,任超.学科评估发展与改革探究[J].中国高等教育,2010(21):43-44.

[12]Farber M, Powers P and Thompson F. Assessing Faculty Research Productivity in Graduate Public Policy Programs[J].Policy Sciences,1984(16):281-289.

[13]Hattie J & Marsh H W. The Telationship Between Research and Teaching:A Meta-analysis[J].Review of Educational Research,1996(4):507-542.

[14]Forrester J P,Watson S S. An Assessment of Public Administration Journals:The Perspective of Editors and Editorial Board Members[J].Public Administration Review,1994(5):474-482.

[15]Ehrenberg R G and Hurst P J. The 1995 NRC ratings of Doctoral Programs:A Hedonic Model[J].Change,1996(6):46-50.

[16]Long J S. Productivity and Academic Position in the Scientific Career[J].American Sociological Review,1978(12):889-908.

[17]周志峰,万荣根,俞树文.h指数视角的高校学术水平分析[J].情报杂志,2009(3):71-74.

[18]万锦堃,花平寰,赵呈刚.中国部分重点大学h指数的探讨[J].科学观察,2007(3):9-16.

[19]古继宝,陈玉娣,梁樑.基于论文产出的科研实力和质量评价指标体系研究[J].研究与发展管理,2008(2).

[20]胡瑶,王惠文,关蓉.基于ESI 科技论文评价与比较分析[J].北京航空航天大学学报：社会科学版,2013(2).

[21]Inanc O & Tuncer O. The Effect of Academic Inbreeding on Scientific Effectiveness[J].Scientometrics,2011(88):885-898.

[22]姜春林,刘则渊,刘树高.研究型大学人文社会科学学科论文产出差距的计量分析[J].科学学与科学技术管理,2006(1):92-98.

[23]李树青,苏新宁,袁培国.我国高等院校社会科学学科的机构被引分析[J].情报科学,2005,23(11):1735-1740.

[24]马骏.中国公共行政学:回顾与展望[J].中国行政管理,2012(4):7-11.

[25]郭显光.如何用SPSS 软件进行主成分分析[J].统计与信息论坛,1998(2):60-64.

[26]郭呈全,陈希镇.主成分回归的SPSS实现[J].统计与决策,2011(5):157-159.

[27]高策理,蔡斌.使用主成分分析进行综合排名时出现高相关指标的研究[J].数学的实践与认识,2004(12):21-24.

[28]Brown S W & Swartz T A. A Gap Analysis of Professional Dervice Quality[J]. Journal of Marketing,1989(2):92-98.

[29]朱允卫,易开刚.目前我国一级学科评估中存在的问题及对策[J].中国高教研究,2004(12):28-30.

[30]林晓青.大学排名的危机及对策建议[J].中国高教研究,2009(8):43.

10.3963/j.issn.1672-8742.2016.02.007

沈勇(1968-)，男，河南信阳人，管理学博士，研究方向为高等教育公共服务质量评价。

G40-058.1

A

1672-8742(2016)02-0049-09

2015-10-20；编辑：荣翠红)