面对学术评价现实的改进尝试

朱剑

编者按： 一段时间以来，我国高校管理中的“学术研究评价问题”，一直是舆论研究的热点。最近，教育部下发了《关于进一步改进高等学校哲学社会科学研究评价的意见》，要求各高校要进一步改进高校哲学社会科学研究的评价，反对各种简单化的科研排名，维护哲学社会科学研究评价的严肃性。本刊积极推动高校管理中的“学术研究评价”尤其是对于“哲学社会科学研究评价”的改进，试从理论与现实关照的层面，组织国内对此专题有一定研究成果的知名学者开展笔谈，力求从学术研究者、高校教师、学术期刊编者3个不同的视角，探索改进“哲学社会科学研究评价”的理论与实践路径，希望能引起大家的共鸣，也欢迎不同意见在这里交锋。

关键词： 学术评价；CSSCI来源期刊目录；期刊评价

中图分类号：G463 文献标识码： A文章编号： 1673-8381(2012)02-0001-05

2012年1月，南京大学社科研究评价中心将新版2012—2013年“CSSCI来源期刊目录”在该中心网站予以公示，同时还发表了《中文社会科学引文索引指导委员会第九次会议纪要》①（以下简称《纪要》），该纪要阐明了本次来源期刊评选的原则、办法及今后改进的方向。如同每一次来源期刊的公布一样，此次新版来源期刊的公示，也已引起了社科学术期刊界的关注。当然，期刊界首先关注的是新版来源期刊目录的变化，即哪些期刊入选了，排名如何，又有哪些期刊落选了，结果自然是几家欢喜几家愁。但在笔者看来，更值得关注和讨论的应该是此次源刊评选中遵循的原则和在该原则指导下的新做法以及今后可能出现的新动向，因为规则、程序和方法与评选结果的科学与公正直接相关。

我们知道，在近年来关于学术评价的热议中，来源期刊与核心期刊始终是焦点，对此可谓众说纷纭，严厉批评者有之，正面肯定者亦有之。“总的来说，国内有关‘核心期刊争论的文章逐年增多，显示出学术界诸多学者、期刊编辑对核心期刊在中国的发展及其功能拓展进行了深入的思考和剖析，对核心期刊的功能以及加强我国学术评价的科学性、合理性、公正性，提出了许多建设性意见。”但是，“以上的争论和论述大多是从不同的立场、观点和角度出发，对核心期刊社会应用方面的描述和分析”②，故争来争去，颇不得要领，而从评选的原则出发，有可能为站在不同立场均不免感情用事而呈现出纷乱的争论从源头上作一清理。当然，要对CSSCI来源期刊或核心期刊评选原则作一全面分析和评价不是本文这样一篇笔谈性质的短文所能解决的问题，本文仅以《纪要》所阐述的2012—2013年CSSCI来源期刊的评选原则为个案，作一简单分析。

一

在作具体分析之前，有必要先讨论CSSCI来源期刊及CSSCI评价数据库在学术评价现实中实际所起的作用和面临的问题，从而方可看出新的原则或做法是否具有针对性和改进意义。

尽管“CSSCI来源期刊目录”的制作者从来都不认为其工作的首要目的是期刊质量评价：“中文社会科学引文索引（Chinese Social Sciences Citation Index）是由南京大学中国社会科学研究评价中心开发研制的引文数据库，用来检索中文人文社会科学领域的论文收录和被引用情况。”[注：参见《“中文社会科学引文索引”（CSSCI）简介》，南京大学社会科学研究评价中心http://cssci.nju.edu.cn/。在该篇简介中，列举了CSSCI的多项功能，但与评价直接相关的只限于“提供多种定量数据”。]从理论上来说，其主要目的也的确不在评价而在于为学术研究提供索引工具，评选来源期刊只是其工作的第一道程序，但既然评选了期刊，这个来源期刊目录也就间接地具有了评价功能，而这个功能在期刊评价实践中已远超过了它理论上的主要功能。无论原因如何这是个不争的事实，不容回避。因此，入选“来源期刊”并尽可能排名靠前，遂成为能为期刊带来实际利益的现实目标。学术期刊界乃至学术界直接将这一作用形象地概括为“指挥棒”，似乎不无道理。

“来源期刊”的另一个作用是成为学术评价的基本标准或准入标准，笔者称之为“门槛”。一个最新的典型例子是，全国哲学社会科学规划办公室于2011年底发布了《国家社科基金重点资助期刊第一批（试点）申报公告》，宣布首批将资助80种期刊，同时，也规定了申报期刊必须符合的一系列颇为严格的条件，其中硬性的条件就是：“同时入选《中文社会科学引文索引（2010—2011年）来源期刊目录》（南京大学）、《中文核心期刊要目总览（2008年版）》（北京大学）和《中国人文社会科学核心期刊要览（2008年版）》（中国社科院）”。这是国家社科基金首次直接惠及社科期刊，对社科期刊来说，这样的资助并非纯经济意义，入选还意味着获得官方首肯，其意义更为重要。此次评选虽不属评奖，但重要性更甚于评奖，因此，申报必定踊跃，而设定这样的基本标准或“门槛”的好处是可以大大节约评选成本。

对于来源期刊的“指挥棒”作用，学术界和期刊界的评价基本是负面的；而其在评选中的“门槛”作用在笔者看来是有意义的，但学术界和期刊界对此也存在颇多非议。之所以如此，是因为两方面的原因：其一，“来源期刊”评选中存在的问题；其二，管理部门和学术界缺乏对“来源期刊”的正确理解而导致的错误使用。因此，“来源期刊”制作者所面临的紧迫问题在于：

第一，如何克服自身的问题。这里说的是主观以外的问题。

首先是如何科学合理地对期刊进行分类。由于评价机构主要由文献情报学的专家组成，他们无力对各学科进行内容评价，只能靠采集期刊的外在形式数据进行评价，数据采集与处理的合理与否就成为关键。目前，CSSCI来源期刊是按一级学科进行分类，同时将无法按学科分类的综合性期刊和综合性高校学报各列为单独的一类。既有研究已清楚表明，不同学科甚至同一一级学科下的二级学科之间因引文习惯不同而导致的引文数据差别多至数倍乃至十多倍，看似同类期刊，由于学科侧重点不同，数据差别未见得就是影响力或者质量差别。因此，数据精确到小数点后4位以上的排序，却未必公正。

其次是如何做好动态调整。所谓动态调整就是每过一定的周期（2年）重新评选和发布一次新版时，来源期刊有出有进，位次也有变化，对各学科类别期刊的分配数也会有调整。作为连续出版物的期刊，始终处于动态变化之中，这一变化又与主办者和学术环境的变化有关，故周期性调整源刊和发布数据是必需的。但这样的动态发布使大多期刊不敢掉以轻心，来源期刊评选对期刊的“指挥棒”作用被不断强化。因此，确立科学、合理和公开的调整原则对于淡化“指挥棒”作用，不干扰期刊的正常运作和出版就显得十分重要。

再次是如何处理好来源期刊目录与评价数据库的关系。评选“来源期刊”并不是CSSCI的终极目的，而只是CSSCI数据库制作的基础，这个数据源一旦确定，未来两年CSSCI的各种数据将采自这些期刊，故数据库的制作才是其最终目的。“来源期刊”由于能生成一个反映期刊最新动态的数据库，遂为进一步的评价提供了基础，而且对学术研究也有不可替代的作用。但在学术评价现实中，来源期刊目录早已喧宾夺主，其“指挥棒”和“门槛”作用可谓被发挥得淋漓尽致，而数据库却成为被遗忘的宝藏。人们只知有期刊榜而不知或不用数据库已成了令CSSCI最为尴尬的现象。

最后是如何杜绝数据造假。数据造假现象与“来源期刊”的评选及使用方法直接相关。由于只看重数据支撑的排行榜而忽略了数据本身的真实含义，这就给数据造假提供了无限的诱惑和广阔的空间。造假的方法可谓五花八门，主要有二：一是期刊间的“有意识的定向引用”；二是同单位学者间的“互惠引用”，目的只有一个：挤进榜单并尽可能排前。如果放任这种行为，公正自然不复存在。

第二，如何纠正人们对“来源期刊”的误解和误用。解决这个问题并不那么简单和容易，因为过去这样的误解和误用在很大程度上是根源于评价机构的有意误导，毕竟手握“指挥棒”的感觉还是很好的，所以还需要评价机构从自身做起。

二

在明白了CSSCI来源期刊评选和运用中面临的具体问题后，我们再来看《纪要》所阐述的“来源期刊遴选的四项原则，即分类评价原则、动态原则、定性和定量相结合原则、公平公开和公正原则”。如果抽象地看这四原则，并没有新鲜的东西，但此次评选对这四原则的认识和解释以及落实原则的方法还是透出了新意。以下逐一分析。

首先，关于分类评价原则。《纪要》重申“期刊的科学、合理分类是做好来源期刊遴选工作的基础”。那么，如何进行分类呢？《纪要》明确了“以论文内容来确定期刊学科的归类方法”。这一具体方法的提出，使科学分类的原则有了一条贯彻的路径。尽管从CSSCI来源期刊第一版开始就实行了分类的原则，但如何分类外人却不得而知。若凭直觉判断，似乎更多是从刊名入手，比如上海财经大学有两份刊物入选，《财经研究》被归入“经济类”，而《上海财经大学学报》则被归入“综合性学报”类。其实，从刊载的论文来看，这两个刊物并没有类别上的重大差别，前者固然专门刊载经济研究论文，而后者也以刊载经济研究论文为主。本次评选由于明确了“以论文内容来确定期刊学科的归类方法”，《上海财经大学学报》遂被归入“经济类”，这样的归类显然更符合同类才有比较价值的原理。如前所述，即使同一一级学科下不同的二级学科在引文数据上也有着重大差异，因此，在一级学科下，如果单纯依据引文数据选刊和排序显然对某些二级学科期刊有利或不利，造成了某些具有较多二级学科专业期刊的期刊类别明显有失偏颇，比如前几版“语言类”期刊就出现了这样的典型症状。此次对语言类期刊采取了在二级学科基础上的分组，就较好地解决了这一问题。

当然，期刊分类问题远不止这些，综合期刊（包括综合性学报）的分类问题就更为棘手。由于综合性期刊大多学科门类齐全，无法整体归入某一学科类别，似乎现在这样单独列类很科学，实则不然，门类齐全即意味着没有一个清晰的边界，随意性极强，更易受“指挥棒”的导引，或者说更易迎合“指挥棒”的偏好。本着趋利避害的原则，“冷僻学科的论文，较少带来引文率，因而容易遭遇期刊的冷眼，而经济学、管理学因其热门，容易获得关注，引用率高，因此在学术期刊出版中显著地占据优势地位，这可以说在一定程度上损害了学术期刊的发展生态，干扰了学术研究的正常发展”[注：叶继元、袁曦临：《引文数据库来源期刊（核心期刊）评选的得失与出路》，《澳门理工学报》（人文社会科学版）2012年第1期。]。事实上，在来源期刊位居前列的综合性期刊（学报）中，偏经济管理学科的不在少数。正因为如此，与CSSCI相仿的台湾TSSCI将综合性大学学报一概排除在来源期刊之外。但是，由于历史和体制的原因，综合性期刊在我国大陆学术期刊中三分天下有其二，CSSCI是无法将其舍弃的。因此，如何将“以论文内容来确定期刊学科的归类方法”落实到综合性期刊，还是值得深入探讨的问题。可以肯定的是，并非无法解决，按学科分解综合性期刊所刊载的论文，将其分别归入各自的学科类别就是一个可以尝试的方案。

其次，关于动态调整的原则。《纪要》强调：“来源期刊定期实行动态调整的必要性，坚持科学、合理地确定CSSCI来源期刊数量，决定今后将根据教育部‘繁荣计划中关于‘推动学术期刊专业化的要求，在充分调研的基础上，根据学术期刊总量和活跃学术人口的增减状况，对各学科来源期刊的数量，按照人文社会科学期刊总量20%的比例进行动态调整，并逐步增加专业学术文献的收录量，增强CSSCI学科覆盖的完整性。”这里透露了两个信息：第一，来源期刊的数量不仅将根据期刊总量，而且要结合各学科活跃学术人口的数量进行调整，这样可以处理好各学科间的平衡；第二，将逐步增加专业期刊的比例，这将推动综合性期刊的专业化转型。

再次，定性和定量相结合的原则。在定量评价近年来遭到各种批评之后，著名的专业评价机构都接受了定量评价须与定性评价相结合的原则，《纪要》就表示要“进一步完善以定量数据为基础、同行专家评价为重要补充的评价机制”。但怎样结合才能达到科学和合理的效果，却鲜有得到公认的成功范例。其原因比较复杂，主要原因之一是定性专家与定量专家定位不清、分工不明、目的含糊，成效不彰也就在所难免了。限于篇幅，本文不展开讨论，仅就此次CSSCI来源期刊评选中的“两结合”作一简单分析。此次评选的确采取了一些前所未有的措施：比如CSSCI在教育部社会科学委员会支持下增加了多位知名学科专家参加指导委员会的工作；再如“中心采取了设立网上评审专家平台、互联网征集同行专家意见、语言学网上专家评审试点等措施，积极听取同行专家包括大批中青年专家学者的意见，努力避免期刊遴选的重大遗漏或选择不当”。由于将定性评价的作用限定在“避免重大遗漏或选择不当”，相对说来，定性评价的作用就比较容易显现，特别是对于定性专家理当熟悉的专业期刊，由于学科专家的积极参与，重大遗漏或选择不当的情况当不致发生。这样的定性评价作用虽然有限，但目的、定位和分工却是明确的，因此有积极意义。可惜此次评选只在个别学科采取了这样的方法，好在《纪要》已表示，“今后将在继续试点的基础上，在多个学科逐步推进专家评审工作”。

最后，关于公平、公正和公开的原则。对于主要依据数据来确定来源期刊的CSSCI来说，“三公”的关键是数据公开，只有公开了数据，一切人为的干扰，特别是数据造假，才就难有藏身之处，才能有公平和公正可言。由于CSSCI的数据十分庞大，即使全面及时地公开所有数据[注：数据公开的第一步是基础引文数据的开放查询，这一点CSSCI已经实现，期刊可以通过引文数据库检索期刊的被引用情况和计算影响因子，因此，所谓评价中心有意“照顾”某些期刊的情况是不大可能发生的。]，一般人要读懂它们也殊为不易，既要具有一定的文献情报学专业知识，还要花费大量时间，因此，数据公布的方式十分重要，直接关系到“三公”原则能否真正落实。《纪要》表示，“中心将在CSSCI引文数据开放查询的基础上，积极探索CSSCI统计数据的定期发布形式，完善CSSCI统计数据在学术研究、期刊评价等方面的基础作用。”我们在CSSCI的网页上已可以看到比来源期刊排行更有参考意义的某些统计数据，新版来源期刊目录公示时则“在综合社科和高校学报两个大类增加了多指标排序的发布形式”。所谓“多指标排序”，即除了原始数据排序外，还对容易产生人为干扰的指标(如机构自引、集中引用等）予以修正后重新排序，这样，从多指标排序的差异中可以比较容易地发现哪些期刊在这些指标上出现了“异常”（当然仅凭位次差异就断言某刊造假是不科学的，还需要对差异数据作具体分析）。这样的尝试虽不能解决所有因人为干扰和数据造假而产生的不公，但对干扰和造假者无疑是个震慑，因为《纪要》还表示：“对涉嫌违规的来源期刊要在发现并核实后立即停止收录”。

三

以上我们讨论了2012—2013年CSSCI来源期刊评选时，南京大学社科研究评价中心及其指导委员会对评选原则的新解释以及在此次评选中的具体运用。总的说来，从中可以看到，他们已意识到了CSSCI所必须面对的问题，在听取了各方意见和建议后，积极采取措施予以应对，从这个角度来说，新版来源期刊目录还是有所进步的，尽管在许多方面进步还仅仅是开始。

《纪要》还有一个重要内容，即提出了CSSCI今后改进的方向，其中有几点值得关注。

首先，《纪要》表示，“在条件成熟时进行CSSCI数据的定期发布，努力探索数据及其发布方式的多元化。”如前所述，能否及时发布以及如何发布CSSCI评价数据直接关系到公平、公正和公开的问题，如何能让公众特别是管理部门从对排行榜的热衷转移到对具体数据及其背后所喻示的学术研究进展情况的兴趣和理解，将是CSSCI制作者必须认真思考的问题。

其次，《纪要》承诺，继续执行有关“不收录‘一刊两版（多版）等不符合出版管理规范期刊”的规定，对涉嫌违规的来源期刊要在发现并核实后立即停止收录。希望中心对期刊学术规范尤其是期刊引证规律进行更加深入的研究，确保引文数据的客观性和可靠性。量化评价的优势在于其“客观性”，数据的真实性可以说是CSSCI的立身、立命之本，没有杜绝数据造假的过硬措施，CSSCI也就失去了生存的条件，因此，如何通过评选方法的改进来达到杜绝数据造假的效果，将是对CSSCI数据库制作者智慧的考验。

最后，《纪要》表示，“要大力宣传教育部《关于进一步改进高等学校哲学社会科学研究评价的意见》，倡议高校科研管理部门科学对待和合理使用CSSCI，加强CSSCI的功能及其来源期刊遴选规则的宣传和解释，努力化解学术界对引文评价及CSSCI的误解，创造有利于CSSCI健康发展的良好氛围，同时积极引导学术期刊向更加规范、更高质量的方向发展。”造成过去对CSSCI误读、误用的原因当然不能全部归结为CSSCI自身，但CSSCI制作者也有不可推卸的责任。在笔者看来，宣传和解释固然重要，但加强对CSSCI在学术评价方面适用性的研究也许更为重要。不同的学科，比如人文领域的传统学科和社会科学诸学科，CSSCI用于评价时的适用程度可以说是完全不同的，阐明CSSCI在不同学科评价中的不同作用，特别是可能产生的负面效应，更是消除对CSSCI误读、误用必不可少的措施。

希望CSSCI制作者真的能采取有效措施对各种误解予以“化解”，高校领导及各级管理者能理性看待、正确应用“CSSCI”的研究成果。

参考文献

［@1@］ 全国哲学社会科学规划办公室.国家社科基金重点资助期刊第一批（试点）申报公告[EB/OL].[2011-12-26].http://www.npopss瞔n.gov.cn.

［@2@］ 袁培国.中国文科期刊影响因子评价作用之反思[J].南京大学学报：社会科学版，2011（3）：133-139.

［@3@］ 袁曦临.台湾学界对人文社会科学评鉴体制的反思[J].南京大学学报：社会科学版，2010（1）：119-125.

［@4@］ 王文军.分学科评价：综合性学术期刊评价的合理路径——以教育部“名刊工程”入选综合性学报为例[J].南京大学学报：社会科学版，2011（3）：140-146.

（责任编辑 东 彦）