张献锋
(北京交通大学经济管理学院,北京 100044)
评价体系是学术期刊发展的“指挥棒”,建立公正合理、权威科学的学术期刊评价体系,不仅有助于推动学术期刊健康有序发展,也有利于激发学术创造活力、营造良好的学术氛围。目前,中国社科类学术期刊的评价体系大致有三类:优秀期刊评价、核心期刊评价、引文来源期刊评价。从评价办法看,大致经历了行政评议、同行评议、量化指标评价、综合评价等四个阶段。整体来看,中国还没有公认的、统一的期刊评价体系。现行的各个评价体系尽管在分类标准、指标选择、权重设计和收录期刊上不尽相同,但都偏重于采用引文分析的量化方法。这种方法有一定的合理性,主要表现为评价指标较为规范,人工干预相对较少,在客观上也对提高学术期刊的质量和竞争力起到了推动作用[1]。但不可否认的是,它所带来的问题也很明显,例如,出现引用率“造假”,有的是学术期刊或作者自引,有的是期刊之间互引;导致基础学科“边缘化”,人文学科的论文引用较少,影响因子普遍偏低,有些期刊就故意少发甚至不发这类学科的文章;小众化期刊受到“排挤”,量化指标往往对小众化期刊不利,一个普通高校学报的转载率,远远高于《红楼梦学刊》。而且,在一些利益的驱使下,有的期刊出现了大量办刊不端行为,定量评价的科学性和公正性受到人们的质疑[2]。只有在学术链条的“上游”正本清源,才能为“下游”学术期刊的生存发展创造良性生态。为此,有必要重新审视学术期刊评价体系的目标,探索构建新的评价体系。
学术期刊的主要功能大体有三:发布学术成果、促进学术创新、引领学术风气。期刊评价体系的价值则在于促进学术期刊实现其价值功能。应该说,现有评价体系在推动学术期刊发布学术成果方面表现“良好”,但在促进学术创新、引领学术风气上还有欠缺。具体表现为:从发布学术成果看,在定量为主的评价体系下,中国已跃居世界第一论文大国,但也出现重数量甚于重质量的问题;从促进学术创新看,以量化评价为主的体系并没有起到推动学术创新的作用,反而学术标准被“异化”,一旦学术标准被简单等同于影响因子、转载率、引用率,一篇学术论文或某个学术观点,其是否原创、首发与否或有无价值可能就位居其次了;从引领学术风气看,期刊评价对于学术风气评价的缺失,使得学术期刊没能很好地发挥引领学风建设的作用。下面着重谈当前学术期刊评价体系与学术创新和学风建设之间的关系。
学术创新是哲学社会科学的生命,是学术期刊的核心竞争力。学术期刊是学术创新过程中不可缺少的重要环节,通过开展学术组织、评价、交流和争鸣,创造出学术“附加值”,在推动学术创新上发挥着不可替代的重要作用[3]。从学术组织看,多数期刊都不仅仅满足于“守株待兔”,消极等待自由来稿,而是积极开辟专栏、策划专题,主动约稿、组稿,有意识地引领学术创新。从学术评价看,发表什么样的作品,实际上是一个选择过程,蕴含的是一种学术标准,展示的是一个期刊的学术定位和品位,对学术创新发挥“标杆”作用。从学术交流看,绝大多数论文都是几经修改,甚至大幅度修改后才发表的,其中凝结了作者、编辑、审稿人的共同智慧,在讨论交流中实现学术创新。从学术争鸣看,学术期刊往往扮演着“导演”的角色,通过捕捉、挖掘、策划学术争鸣,使模糊观念得以澄清,错误观点得以纠正,肤浅认识得以提升,从而激发出学术创新的活力。
学术期刊是刊发学术论文的载体,它的水平取决于所刊发论文的学术创新水平,它的影响力取决于所刊发论文的学术影响力。评价一种学术期刊的水平,归根结底还是要看它刊发了多少有较高创新水平、有较大学术价值和较大学术、社会影响的学术论文[4]。从当前中国社科类学术期刊的评价体系看,主要以影响因子、被引用、被摘录等反映期刊学术影响力的指标作为评价依据[5]。其假设前提是,学术影响力等同于学术质量,等同于期刊质量。然而,论文质量、期刊质量与期刊影响力的关系十分复杂,并不能简单地把期刊影响力等同于期刊学术质量,也不能把期刊影响力等同于论文学术质量。文献计量方法得出的数据虽然在一定程度上能反映研究质量和学术水准,但是大家普遍认为这种方法并不能代替质量评价[6]。基于文献计量学的期刊评价指标在学术论文评价时具有一定的参考价值,但它只能是辅助性的。如果我们在学术评价时,用期刊的等级来评定论文的等级,则不可避免地会将期刊评价与论文评价完全等同,从而造成以刊评文,最终的结果就是学术创新标准被“异化”,被简单等同于影响因子、转载率、引用率,一篇学术论文或某个学术观点,其是否原创、首发与否或有无价值可能就位居其次了。量化评估在当前的学术成果评估工作中占主导地位,但大家较为公认的观点是认为在实践中过于强调量化评估了,这也导致学术成果的“论文数量激增”与“高水平成果稀缺”的反差。这种局面亟待改变。改善中国学术研究的环境,当务之急是要倡导“创新为本”的评估导向,克服单纯以成果数量来评估其学术水平和贡献的弊端[7]。期刊评价体系是期刊健康发展的保证,必须让期刊评价回归到服务学术、促进学术创新的宗旨上来,而不是简单成为衡量学术生产成果的量化指标。
当前,中国社科界许多学者淡泊名利、切问近思、求真务实,用十年磨一剑的精神认真对待学术研究。但是,也确实存在一些学术失范、学风不正的现象,有的还比较严重。主要表现为:一是弄虚作假。例如,在成果内容上抄袭剽窃、编造数据事实、侵占他人成果,在作者署名上不反映作者真实情况和实际贡献,在成果发表上拆分组合、重复发表,以及各种申报材料中的虚报、伪造等。二是低水平重复。大多是盲目跟风热点问题,功夫没下够又急于求成。其中最普遍的现象是泛泛而论,不刻苦钻研原始资料,对问题缺乏深入思考。还有的成果更是东拼西凑、粗制滥造。三是脱离实际。有的疏远现实生活,不善于做调查研究,热衷所谓“纯学术”,认为现实琐碎微不足道,对奋力前行的中国实践提不起兴趣,试图远离“政治”,闭门造车,坐而论道。有的不谙国情,盲目汲取西方理论和方法,沿着西方国家的问题思路解剖中国,看起来煞有介事,实际上南辕北辙。四是文风晦涩。有的机械照搬写作规范,格式上像模像样,注释上有根有据,粗看起来完整优美,实则空洞无物,甚至不知所云。有的故弄玄虚,明明很容易说清楚的道理,偏要故意弄得隐晦曲折,简单问题复杂化。有的热衷使用“欧化”语法,大句里面套上好几重的小句,或者刻意模仿蹩脚的翻译语言,搞得拗口难懂。可以说,如果学风不改进,我们的学术就没有了根基,也就没有了希望。
学术期刊要把好研究成果的学术质量关,在学风建设上发挥示范引领作用,抵制各种学术不良风气,让学术不端行为没有栖身之地。评价体系理应承担整饬期刊学术风气的责任与使命。现有以定量指标为主的评价体系,概因数据采集存在难处,大多缺乏学风建设方面的指标,对于学术道德层面的要求呈现缺失状态[8]。不仅如此,过于重视某些定量指标的结果,可能会加重学风不端问题。事实上,借助现有的引文索引工具,可以进行一些学术规范审查[2]。但学风问题的评价,更多应借助同行评议这样的定性评价方式。
文献计量和同行评议是学术期刊评价的两大主要方法,各有利弊。然而,单独采用任何一种评估方法,都有其局限性:定量评价具体、明确,但由于引用行为的复杂性难以充分描述和统计,仅用文献计量法进行评估容易导致“重量轻质”、“重刊不重文”等问题,而且,由于一些学者的引文行为和动机多种多样,不能高估引文评价的作用;而定性评价宏观、全面,但评估主体的主观随意性较难控制,则是同行评议法的主要不足①中国人民大学人文社会科学学术成果评价研究中心.人文社会科学论文质量评估指标体系实施方案(试行),2014年3月25日;叶继元.中文核心期刊研究之我见[J].学术界,2001(4):168-175.。因此,两种方法相结合的“综合评估”是学术评估领域的普遍共识②中国人民大学人文社会科学学术成果评价研究中心.人文社会科学论文质量评估指标体系实施方案(试行)”,2014年3月25日;苏新宁.期刊评价的困境与思考[J].重庆大学学报(社会科学版),2010(6):78-79;叶继元.学者评价期刊与引文评价期刊异同之思考[J].中国图书馆学报,2008(4):23-28;俞立平,潘云涛,武夷山.学术期刊评价方法体系构建及相关问题研究[J].编辑学报,2009(3):191.。
定性评价与定量评价相结合,仍然有一个哪种方法为主导的问题。从国际比较看,尽管各种定量评估方法层出不穷,但迄今为止还没有一套可行的方法来完全代替同行评议的作用,在实践中仍然是以学术同行的定性评价为主,统计机构的定量评价为辅[9]。事实上,人文和社会科学领域不同于自然科学领域,不能简单地用一些统计数据来评价学术期刊的优劣,而基于专家同行评议的定性分析,仍然是衡量人文社科类学术期刊的一个核心方法[10]。然而,从中国现有期刊评价体系来看,尽管普遍采用了定量分析与定性评价相结合的综合评价方法,但评价指标多是定量指标,仍然是以定量评价为主导。可以说,中国学术期刊评论体系在定量数据分析环节已经接近极致,如何使同行评议更加科学化、规范化和制度化,将在很大程度上决定学术期刊评价的理想上限[8]。因此,制定科学合理的评价程序就至关重要,这就要增加同行专家匿名评审环节,最大程度减少同行评议的主观性和随意性[10],还要增加评议主体的多元化,除了学科专家、编辑专家、期刊管理专家外,也要增加读者群体参与期刊评价的权利,尤其是刚刚步入学术殿堂的博士研究生。
目前国内较有影响的期刊评价体系多用文献计量学方法,问世以来却一直饱受“以刊评文”的诟病。改变这种局面的方式是由“以刊评文”向“以文评刊”转变。“以文评刊”取代“以刊评文”逐步成为共识,以论文评价为基础形成期刊评价,是社科类学术期刊“以文评刊”的核心内涵,也是影响社科类学术期刊健康发展的关键性战略问题[11]。要正确全面反映期刊的情况,较好的办法是“以文评刊”,通过对期刊刊载论文的学科进行统计分析,计算出其各学科论文的篇均被引次数,并与统计源所有各学科论文的篇均被引次数进行比较,从而得到各期刊各学科论文的相对影响,即期刊刊载论文的学科影响。期刊刊载论文的学科影响可以根据不同的需要从不同层面、不同角度来量化地衡量期刊的影响[12]。
如何开展以文评刊?评估期刊所刊发的每一篇论文无疑是最理想的状态,但问题在于费时费力,也没必要。折中的办法是评估期刊的代表作,即用期刊的代表作的水平来评价期刊的水平。如果说期刊的学术水平难以评估,那具体到每篇论文,其学术水平的评价则会相对容易。以期刊代表作作为评估对象,能够有效地规避“以刊评文”带来的种种弊端。这就需要在指标设定上,将论文创新水平作为首要指标,并以定量性较强的学术影响指标作为辅助。在指标权重设计上,“学术创新程度”也相应占有较大比重。此举有助于规避“重量不重质”的评价导向,引导社科研究向学术创新优先的方向发展。
学术期刊评价方法可分为单指标评价方法与多指标综合评价方法。从学术期刊评价的发展历史看,基本上经历了一个由简单指标到复合指标、由单一视角到多维视角、由单一方法到单一方法与组合评价共存的动态发展过程,而采用若干指标进行评价的多属性评价方法在学术期刊评价中得到了越来越广泛的应用[13]。因而,要建立较为完善的期刊评价体系,对于期刊的考察应从多个层面、多个维度来进行,比较合适的办法就是构建多指标综合评价体系。这种方法应用恰当可以消除单个评价指标与主观评价的缺点,从而增强期刊评价的客观度,更加符合实际[14]。而且,多指标评价体系的好处是,学术期刊不会为了某个单项指标而做出学术不端行为,而是会尽量多地提高每项指标的水平,这样就有助于全面地提高办刊水平[2]。
至于学术期刊评价的综合评价体系,首先要确定能够衡量学术期刊水平的各种因素指标,然后根据这些指标的作用大小赋予不同的权重,最后运用加权平均等各种方法将各项指标的评估结果进行组合,最终得到综合评价指标,以这个综合指标来衡量学术期刊的水平。学术期刊综合评价指标体系的关键在于确定不同性质的评价指标的权重,既要“多个维度”,尽量反映涉及办刊质量的一切有价值的影响因素[10],也要“突出重点”,对核心的关键指标给予更高的权重。值得注意的是,在指标的选择上,尤其是定量性指标的选择上,要注意指标之间的相关性问题,避免出现指标重叠效应。研究发现,中国社科类学术期刊常用评价指标之间普遍存在正相关性,但不同类型指标之间的相关度有差异,例如,网络下载类指标与影响因子指标之间的正相关性较强,文摘转载指标与引文计量指标存在明显相互补充[15]。这就要求选用的指标既要有代表性,又要有不可替代性。
指标体系共分为学术创新、学术影响、办刊能力、学风建设四类一级指标,权重分别为60%、20%、10%、10%。学术创新指标主要评价期刊的代表作,以同行评议为主,定量指标为辅。同行评议指标包括学术价值、学术规范、难易程度三项,其中,学术价值主要考察论文的学术原创性,主要包括选题是否体现鲜明的问题意识,是否运用新的研究方法和视角,是否有新的资料作为论证支撑,是否通过科学论证得出创新性的学术观点;学术规范主要考察论文的研究规范程度和严谨程度,如研究方法有效性、论据可靠性和论证逻辑性等;难易程度主要考察论文研究投入劳动的多少,如论题复杂度、资料难度等③中国人民大学人文社会科学学术成果评价研究中心.人文社会科学论文质量评估指标体系实施方案(试行),2014年3月25日。。定量指标主要包括Web下载频次、被转载次数、被他引频次三项。学术影响指标主要评价学术期刊的整体影响,以定量指标为主,主要包括期刊的被引指标和二次文献全文转载数量指标两项。办刊能力以同行评议为主,主要分为期刊主编水平、栏目设置和策划、编辑出版水平三项指标。学风建设以同行评议为主,主要包括理论联系实际、决策咨询服务、学术不端行为三项指标。评价指标体系构想具体如表1。
表1 中国社科类学术期刊评价指标体系构想
[1]田林.从我国学术期刊评价体系看提高社科学术期刊质量的途径[J].出版发行研究,2011(12):62-63.
[2]苏新宁.期刊评价的困境与思考[J].重庆大学学报:社会科学版,2010(6):78-79.
[3]全国哲学社会科学规划办公室.打造哲学社会科学繁荣发展的坚实平台[N].中国社会科学学报,2013-09-23.
[4]姜惠莉,冯春明,秦绍芳.正确认识引文分析及其对核心期刊的评价功能[J].河北师范大学学报:哲学社会科学版,2009(5):149-152.
[5]陈茹.国内四种人文社科期刊评价体系的分析比较[J].图书馆工作与研究,2013(4):67-70.
[6]王兰敬,杜慧平.欧美人文社会科学评价的现状与反思[J].南京大学学报:哲学·人文科学·社会科学版,2010(1):111-118.
[7]郑文涛.关于哲学社会科学评价的若干思考[J].社会管理科学与评论,2008(2):31-39.
[8]袁宝龙.中国人文社科类学术期刊评价体系的科学构建[J].图书馆理论与实践,2014(5):55-57.
[9]沈固朝.合理发挥引文索引在学术评价中的作用[N].中国社会科学报,2010-04-01(015).
[10]冯春明,郑松涛.对学术期刊评价中若干问题的思考[J].河北师范大学学报:哲学社会科学版,2010(2):157-160.
[11]李频.社科学术期刊评价的内在逻辑[J].清华大学学报:哲学社会科学版,2014(6):154-155.
[12]袁培国.中文文科期刊影响因子评价作用之反思[J].南京大学学报:哲学·人文科学·社会科学版,2011(3):133-139.
[13]俞立平,姜春林.学术期刊评价的视角、基本问题与发展展望[J].情报杂志,2013(5):110-114.
[14]李超,国内期刊评价及其方法研究的进展与实践[J].情报科学,2012(8):1232-1237.
[15]杨红艳.人文社科期刊评价指标的相关性研究[J].图书与情报,2014(5):89-94.