基于SciVal的高校科研生产力评价及提升策略——以浙江工业大学为例

朱小惠,翟彬偲,陈石平

(浙江工业大学 学术期刊社,浙江 杭州 310014)

合理的科研生产力评价可以为高校的科研和管理提供依据,促进学科和学校的发展。科研成果是反映高校科研实力和水平的重要指标,建设一流大学和一流学科必须要有一流的科研成果为标识[1-2]。科研论文是科研成果最主要的表现形式之一,运用文献计量学方法对高校发表的论文进行多维度分析是评价高校科研生产力的重要方式。目前,世界上有影响力的一流大学和学科排名大多采用信息计量学方法,借助国际可比的科研生产力指标体系作为评价一流大学和一流学科的重要标准。国际上目前常用的科研生产力评价工具主要是汤森路透的ESI,Incites,Web of Science,以及爱思唯尔的Scopus,Scival数据库[3]。

SciVal是基于目前全球规模最大的引文和文摘数据库Scopus开发的科研生产力评价工具,可量化分析全球约234个国家超过20 700家研究机构的研究成果数据,能针对Scopus的27个学科领域提供科研论文的统计指标并进行排序。基于ESI的学科评价是将每一种期刊都归类到ESI的22个学科领域中进行分析,而不考虑期刊中的文献涉及多个学科,固化的基于期刊的学科分类无法真正体现文献的跨学科性,而SciVal与ESI相比最大的优势在于可根据引文共引分析和聚类原理,按照文后参考文献以及施引文献进一步确定其学科分类,再分配到不同学科领域[4]。与Incites数据库相比,SciVal将EI数据库收录在内,文献量更大。基于SciVal能够全面、系统和多角度地评价机构的科研生产力水平,且相比其他数据平台,SciVal还收录了许多重要的中文期刊引文信息,可以为中国高校的科研生产力评价提供更为全面的数据支持。因此,本研究借助SciVal科研管理分析平台,以浙江工业大学为研究对象,从科研产出数量、质量、影响力、科研合作方式以及学科发展态势5个维度,对学校的科研生产力进行评价,并与其他工业类大学、“双一流”大学以及C9联盟大学进行横向比较,以期在高校坐标体系中找准定位,充分挖掘自身科研优势,明确未来发展方向,为高水平建成区域特色鲜明、国内一流的研究型大学提供数据参考。

1 数据来源与计量评价指标

1.1 数据来源及研究方法

本研究所有数据均来自SciVal科研管理分析平台,该平台主要包括概览、基准分析、趋势、报告定制和我的SciVal等模块。利用SciVal丰富的文献计量学指标可进行科研整体概况分析、对标分析、学术影响力分析、研究主题和热点分析以及发展趋势分析。本研究主要通过概览和基准分析这两个模块,以浙江工业大学为研究对象进行科研生产力评价,同时选择不同层次和类型的高校进行横向比较。数据检索日期为2021年8月10号,SciVal的数据更新日期为2021年8月4日。

1.2 计量评价指标选择和定义

学术论文作为评估大学和学科科研生产力的重要方式,有其规范的评价指标。目前,国内外一般按照论文数量、论文质量和论文影响力等维度来划分科研生产力的评价指标,数量维度指标即发表的论文总量;质量维度指标包括论文的被引等;影响力维度指标包括影响因子等[5-6]。综合考虑SciVal评价指标的科学和可得性,使用数据库中4个一级指标和8个二级指标作为评价高校科研生产力的典型指标(表1)。

表1 科研生产力评价指标Table 1 Evaluation indexes of scientific research productivity

部分评价指标的说明和定义如下:

1) 篇均被引频次:在给定时间内,机构发表文献的总被引频次除以发表文献的总数。

2) 前10%高被引文献比:在相同学科期刊分类下,当年被引频次排在全球所有文献前10%的文献所占比例。

3) 归一化影响因子(Field-weighted citation impact,FWCI)通过归一化消除了不同学科领域和文献发表年限的差异性,可用以衡量论文的影响力[6],FWCI计算的是论文的被引次数与相同学科、相同年份和相同类型论文平均被引次数的比值,其计算式为

(1)

式中:ci为第i篇论文的被引频次;ei为相似论文在出版后3年被引频次的期望值,其计算式为

(2)

式中:eA,eB分别为论文数和引文数的量化值。由FWCI定义可知:全球科研论文的平均影响力FWCI=1,若FWCI>1,则表示论文影响力高于全球平均水平;若FWCI<1,则表示论文影响力低于全球平均水平。

4) 国际合作百分比:某机构学者与其他国家学者合著发文量占该机构总发文量的百分比。

5) 国内合作百分比:某机构学者与本国其他机构学者合著发文量占该机构总发文量的百分比。

6) 机构内合作百分比:机构内学者间合著发文量占该机构总发文量的百分比。

2 科研生产力总体概览

通过SciVal的概览(Overview)模块,以5年为一个时间窗口将2006—2020年分为3个时间段,比较浙江工业大学在这3个时间段内的科研产出数量、质量、影响力以及合作方式(表2)。从科研产出数量来看:浙江工业大学的整体发文量在不断提高,2016—2020年共发表科研论文13 045篇,相比2011—2015年的8 591篇,增幅为51.8%,相比2006—2010年的5 424篇,增幅为140.5%。从科研产出质量来看:在3个时间段内,浙江工业大学科研论文的篇均被引频次先升高后下降,2016—2020年科研论文的篇均被引频次下降的主要原因是论文发表年限较近,论文的影响力还没有得到完全释放,这符合论文被引的一般规律,不过前10%高被引文献比不断提高,说明该校科研论文的学术质量越来越高。从科研产出影响力来看:归一化影响因子FWCI值也在不断提高,2016—2020年FWCI值上升到1.17,科研论文的影响力超过全球平均水平。从科研合作方式来看:国际合作百分比和国内合作百分比呈上升趋势,而机构内合作百分比和独著百分比呈下降趋势,说明近年来该校对外科研交流与合作在不断加强。

表2 浙江工业大学2006—2020年3个不同时段及综合时段科研生产力总体概览Table 2 Overview of scientific research productivity of ZJUT over 3 periods and overall period from 2006 to 2020

3 科研生产力横向对比

与不同层次和类型的其他高校进行横向比较,有助于客观地了解学校科研发展的态势,发现自身优势和不足,为科学制定和调整学校科研政策提供重要的参考依据。笔者选择教育部第四轮学科评估中上榜学科总量排名靠前的6所工业类大学、132所“双一流”大学以及国内顶尖高校联盟C9联盟大学,利用SciVal的基准分析(Benchmarking)模块,对篇均被引频次、前10%高被引文献比、归一化影响因子FWCI以及科研合作相关指标进行对比分析。6所工业类大学分别为哈尔滨工业大学、西北工业大学、北京工业大学、合肥工业大学、南京工业大学、河北工业大学,其中前4所高校的上榜学科总量排在浙江工业大学之前,后2所排在浙江工业大学之后;132所“双一流大学”包括42所一流大学建设高校和90所一流学科建设高校,全国一流学科建设高校共95所,其中有5所一流学科建设高校数据未被SciVal收录,因此样本中不包括这5所高校;C9联盟大学为北京大学、清华大学、浙江大学、复旦大学、上海交通大学、哈尔滨工业大学、南京大学、中国科技大学、西安交通大学9所大学,基本上代表了国内最顶尖的一批大学,C9联盟大学均为一流大学建设高校。

3.1 科研产出数量对比分析

图1为2006—2020年浙江工业大学与对比高校发文量的年度变化趋势,其中C9联盟大学和“双一流”大学的发文量均为校均发文量。15年来,浙江工业大学共发表科研论文27 060篇,发文量由2006年的851篇增至2020年的3 355篇,增幅为294%,尤其在2016年后,浙江工业大学进入科研产出数量迅速增长期。横向比较结果表明:浙江工业大学2006—2020年总发文量在7所工业类大学中排在第5位,仅高于南京工业大学(24 339篇)和河北工业大学(16 674篇),略低于合肥工业大学(28 507篇),与哈尔滨工业大学(123 750篇)、西北工业大学(68 577篇)、北京工业大学(40 362篇)以及国内“双一流”大学(校均34 423篇)还存在较大的差距,与国内C9联盟大学(校均134 793篇)相比存在非常大的差距;浙江工业大学近5年(2016—2020年)发文量增速较快,相比2016年,2020年发文量增幅为76%,增幅在7所工业类大学中排名第2,且高于C9联盟大学和“双一流”大学,说明该校近些年在科研成果培育、人才引进以及科研组织和管理等方面取得了一定的成效。

图1 2006—2020年发文量年度趋势对比Fig.1 The annual trends of the publication quantity from 2006 to 2020

3.2 科研产出质量对比分析

篇均被引频次是考量论文质量整体水平的一个指标[7],分析篇均被引频次的年度变化趋势有助于了解高校的科研产出质量变化趋势。图2为2006—2020年浙江工业大学与对比高校科研论文的篇均被引频次年度变化趋势。浙江工业大学2006—2020年科研论文的篇均被引频次为11.5,在7所工业类大学中位列第2(南京工业大学以15.7位列第1),与C9联盟大学(17.1)和“双一流”大学(13.4)依然存在较大差距。从2009年开始,浙江工业大学科研论文的篇均被引频次逐年上升,到2017年达到峰值16.6,之后开始逐年下降。不同高校科研论文的篇均被引频次年度变化趋势总体上呈现出较强的一致性,基本在2015年左右开始逐年递减,发表年份与篇均被引频次存在明显的倒“U”型,主要原因是论文的被引存在“时间依赖”,发表年限太近的文献其影响力还未得到充分释放。

图2 2006—2020年篇均被引频次年度趋势对比Fig.2 The annual trends of the cited frequency per publication from 2006 to 2020

前10%高被引文献比不仅显示了一个国家/机构高水平科研的情况[8],而且也是反映高校科研产出质量的重要指标之一。图3为2006—2020年浙江工业大学与对比高校前10%高被引文献比的年度变化趋势。2006—2008年浙江工业大学的前10%高被引文献比逐年增长,2009年明显下降,不过随后又逐年提升,到2014年前10%高被引文献比达到11.6%,超过全球平均水平(10%)和中国水平(10.3%)。2018年,浙江工业大学的前10%高被引文献比与C9联盟大学的平均水平相当,两者均为19.6%。2020年,浙江工业大学的前10%高被引文献比达到22.3%,超过C9联盟大学和“双一流”大学的平均水平,在7所工业类大学中位列第2(南京工业大学位列第1)。充分说明了近些年(尤其是近3年)该校的高水平科研成果取得了新的突破。

图3 2006—2020年前10%高被引文献比年度趋势对比Fig.3 The annual trends of the ratio of top 10% highly cited publications from 2006 to 2020

3.3 科研产出影响力对比分析

图4为2006—2020年浙江工业大学与对比高校归一化影响因子FWCI的年度变化趋势。浙江工业大学FWCI在2009年和2013年有过两次波动,整体上呈不断上升趋势,2016年FWCI达到0.94,已接近世界水平(FWCI=1),2017年FWCI为1.11,开始超过世界水平,随后几年持续上升。2020年,浙江工业大学FWCI达到1.28,在7所工业类大学中位列第3(西北工业大学以FWCI 1.38位列第1,南京工业大学以FWCI 1.30位列第2),超过“双一流”大学FWCI平均水平1.26。说明最近5年该校的科研产出影响力也在稳步提升。

图4 2006—2020年FWCI年度趋势对比Fig.4 The annual trends of FWCI from 2006 to 2020

3.4 不同科研合作方式及其科研质量对比分析

3.4.1 科研合作方式分析

科研合作方式在文献中体现为合著的方式,一般可分为4种类型:国际合作、国内合作、机构内合作以及独著。2006—2020年3个不同时段内浙江工业大学与对比高校的科研合作方式统计结果如表3所示。在统计年份内,浙江工业大学科研论文的国际和国内合作逐渐增多,而机构内合作以及独著逐渐减少,这与目前其他对比高校的科研合作发展趋势一致。2016—2020年该校科研论文主要以国内合作为主(50.4%),国际合作与机构内合作各占24.2%和24.6%,独著百分比不到1%;2016—2020年该校国际合作百分比(24.2%)超过了同时段中国(22.6%)和全球(20.8%)的平均水平,与“双一流”大学的平均水平(24.4%)相当,在7所工业类大学中位列第2(南京工业大学以26.7%位列第1)。

表3 2006—2020年3个不同时段科研合作方式统计Table 3 Statistics of scientific research cooperation over 3 periods from 2006 to 2020

3.4.2 不同科研合作方式下科研质量分析

不同的科研合作方式会对科研质量产生不同的影响[9]。2016—2020年浙江工业大学与对比高校在不同科研合作方式下科研论文的质量和影响力结果如表4所示。浙江工业大学与对比高校在4种不同科研合作方式下科研论文的质量和影响力从高到低排名依次为国际合作>国内合作>机构内合作>独著。浙江工业大学国际合作论文的篇均被引频次为17.8,FWCI值为1.81,远高于相同时段该校科研论文的总篇均被引频次10.7和FWCI 1.17(详见表2),国际合作论文的篇均被引频次在7所工业类大学中位列第2(南京工业大学以23.2位列第1),FWCI在7所工业类大学中位列第4;国内合作论文的篇均被引频次和FWCI分别为9.0和1.02;机构内合作论文的篇均被引频次和FWCI分别为8.4和0.85,独著论文的篇均被引频次和FWCI分别为3.9和0.5。通过以上分析可知:该校通过国际合作和国内合作产出的科研论文质量和影响力更高,原因在于国际和国内合作能够通过更大范围的学术资源配置达到科研产出质量更优的目的,未来应持续加强与国内外科研机构的合作交流。

表4 2016—2020年不同科研合作方式下科研产出质量和影响力统计

表4 (续)

4 学科发展态势

4.1 学科分析

高校的学科建设和规划要坚持以学科为基础,高校应优化学科结构,突出学科建设重点,凝练学科发展方向,开拓创新学科组织模式,发挥学校优势、办出特色[10]。SciVal的学科分类是基于Scopus的ASJC(All science journal classification)分类体系,该分类体系分为27个学科大类以及334个学科小类,因此SciVal可以通过众多细分学科全面而准确地把握目标院校的学科发展态势,进而发现和挖掘学科竞争优势[11]。

2016—2020年浙江工业大学科研论文按照ASJC分类后的结果如图5所示。由图5可知:浙江工业大学发文的所属学科已覆盖了Scopus的27个学科大类,学科齐全。该校在工程,化学,材料科学,计算机科学,化学工程,物理和天文学,生物化学、遗传学和分子生物学,环境科学等领域不仅发文量大,而且论文的学术影响力较强,FWCI超过或接近全球平均水平,这些学科呈现出“量质齐优”的良好发展态势,属于优势学科,是学校的核心竞争学科;在能源,药理学、毒理学和药剂学,农业与生物科学,医学,地球与行星科学,社会科学等领域虽然发文量不占优势,但其FWCI均超过了全球平均水平,属于中间学科,未来有望转化为优势学科;在商业、管理和会计,经济学、计量经济学和金融学,医疗健康,护理学等领域发文量较少,但学术影响力较高,属于扶持型学科。

图5 2016—2020年浙江工业大学学科发文量及FWCIFig.5 The quantity of publications and FWCI of each discipline of ZJUT from 2016 to 2020

4.2 研究主题

分析研究主题可以了解机构的研究优势和不足之处,并可通过与世界研究趋势的比较来确定未来的发展方向。SciVal将Scopus数据库中全球7 500万科研文献耦合成约10万个主题(Topics)和1 500个主题群(Topic cluster),并通过主题显著度指标来呈现各主题的发展趋势,主题显著度越高,说明该主题受关注的程度也越高,增长势头也越猛,主题显著度大于99(Top 1%)的研究主题可视作该领域的研究热点[12]。与ASJC学科分类不同,每个研究成果只能映射到唯一的主题或者主题群。

通过SciVal分析,2016—2020年浙江工业大学共产生4 251个研究主题,合并为883个主题群。表5为浙江工业大学发文量排名前10的研究主题群,其中TC.0,TC.4,TC.30,TC.7,TC.206,TC.8,TC.22这7个主题群不仅科研成果丰硕,而且主题显著度进入了全球前1%,反映了浙江工业大学在计算机科学、化学、工程学、材料科学和环境科学等领域研究实力较强,这些学科也是该校进入ESI前1%的学科。

表5 2016—2020年浙江工业大学发文量排名前10的研究主题群Table 5 The topic cluster with top 10 publications quantity of ZJUT from 2016 to 2020

5 结论和建议

基于SciVal科研管理分析平台2006—2020年数据分析,对浙江工业大学以文献为主的科研生产力进行全方位评价,可以看出浙江工业大学在科学研究方面取得了跨越性发展,然而科研产出质量、高水平科研成果以及国际合作等方面与标杆院校之间仍存在差距。对比研究可帮助高校了解自身的科研生产力状况,认清与对比高校在特定指标上的差距,进一步思考建议以浙江工业大学为代表的同类型高等院校考虑从以下几个方面提升科研生产力。

5.1 注重学术质量

科研产出数量是基础,但科研产出质量是关键,学校在关心科研产出数量的同时,应更注重科研产出的质量。通过横向比较可知:浙江工业大学近15年科研产出数量在7所工业类大学中位列第5,近5年为科研产出数量迅速增长期,增幅在7所工业类大学中排名第2,篇均被引频次和前10%高被引文献比两个指标在7所工业类大学中排名比较靠前。面对一流大学的先发优势,唯有更加注重提升学术质量和声誉,方能迎头赶上。未来应进一步贯彻落实“破五唯”等相关政策,破除科研评价中“唯论文”不良导向,提高对高质量科研成果的考核评价权重,引导并激励科研人员发表“三类高质量论文”(发表在具有国际影响力的国内科技期刊的论文、业界公认的国际顶级或重要科技期刊的论文,以及国内外顶级学术会议上进行报告的论文)[13]。大胆突破不利于科研创新和人才评价的制度藩篱,营造良好的科研生态环境,适当延长对科研人员以及科研项目的考核周期,推行同行评审,突出“代表”成果,以便让科研人员回归学术研究初心,有充足的时间开展高质量的学术研究。

5.2 加强国际合作

科研发展至今,面临的复杂科研问题往往需要不同地区或领域的科学家通力合作、共享知识和资源才能够解决。通过SciVal的科研合作分析结果可知:科研合作论文的质量和影响力从高到低排名依次为国际合作、国内合作和机构内合作。浙江工业大学2016—2020年被引频次排名前10的论文中有8篇为国际合作论文:如2017年材料科学与工程学院曹澥宏教授所在团队与新加坡南洋理工大学科研合作成果“超薄二维纳米材料的最新进展”发表在国际顶级化学期刊《Chemical reviews》上,被引频次排名第1,截至2021年8月已被2 439篇文献引用;2016年材料科学与工程学院陶新永教授所在团队与美国斯坦福大学科研合作成果“锂硫电池设计中非导电氧化物的多硫化锂表面吸附和扩散平衡”发表在《Nature communications》期刊上,被引频次排名第2,截至2021年8月已被759篇文献引用。另外,该校计算机科学与技术学院孔祥杰教授领衔的大数据与城市计算高水平科研团队与德克萨斯大学奥斯汀分校丁颖教授团队等合作完成的科研成果“科学成功的基因(The gene of scientific success)”于2020年发表在数据挖掘权威期刊《ACM transactions on know-ledge discovery from data》上,该研究被Nature集团推出的用以追踪学者或机构在全球一流期刊发表论文情况的自然指数(Nature index)网站头条新闻报道,引起了国内外学者的广泛关注和讨论。因此,开展国际合作,尤其是与国际领先高校或机构的学术合作,可以进一步融入国际主流学术圈,提高学术影响力,为科研人员提供研究资源和新的视角,从而激发科研创新。未来学校应从机制上保障国际合作,积极构建高端国际科研合作交流平台,寻求高水平国际合作伙伴,探索国际合作新模式,通过国际合作取长补短,提升科研创新能力和影响力,达到科研成果质量更优的目标。

5.3 把握学科发展态势

通过SciVal分学科领域的科研产出数量和影响力数据,可将学科划分为优势学科、中间学科和扶植学科,实行学科分层分类建设,采取差异化的学科发展路径。优势学科可采取“扶优”策略,增加资源向优势学科的倾斜力度,扩大研究规模,以继续巩固和提升优势地位,在加快建设传统优势学科的基础上,寻找新的学科增长点,推进学科交叉融合;中间学科可加大资金投入和人才引进力度,面向经济社会主战场,联合行业龙头企业,争取转化为优势或特色学科,形成学科高峰,以提升学校整体的科研竞争力;扶持型学科可采取“扶需”策略,通过争取学科建设资源,或与有实力的科研机构进行合作,以扶持学科发展。同时,通过SciVal的研究主题(Topic)分析功能,可以帮助学者预测研究领域的前沿热点、合理调整研究方向,也可为未来学科规划提供数据支撑。如浙江工业大学2016—2020年在“二次电池;电动电池;锂合金”主题群下发表的433篇文献的学科归一化影响因子FWCI达到3.03,主题显著度为99.933,表明该校“二次电池;电动电池;锂合金”研究主题与国际热点保持一致。

6 结 语

基于爱思唯尔的SciVal科研管理分析平台,选择发文量、篇均被引频次、前10%高被引文献比、归一化影响因子和科研合作等多种指标,对浙江工业大学以文献为主的科研生产力进行多维度评价对比和学科领域的探索分析。SciVal科研管理分析平台拥有丰富的文献计量学指标和可视化图表,可以评估科研机构或学者个人的科研生产力。笔者认为,未来科研管理部门应紧密结合学校中长期发展规划,从以下几个方面提高学校的科研生产力:1) 不断健全与完善以质量和创新为导向的科研评价机制,营造良好的科研生态环境,为科研人员开展高质量研究提供政策保障;2) 继续扩大科研合作范围,鼓励与国际领先高校或机构的学术合作,进一步融入国际主流学术圈,提高学术影响力,激发科研创新;3) 准确把握学科发展态势,巩固和提升优势学科,培育有潜力的中间学科,扶持发展欠佳的学科,积极追踪学科领域的前沿和热点。值得注意的是,作为SciVal基础数据来源的Scopus主要收录英文期刊,目前仅有800多种中文期刊被收录,且未收录国内的科研项目及发明专利等信息,因此使用SciVal对国内科研机构进行科研生产力评价还存在一定局限性。笔者今后将探索、补充新的评价指标,以期更加全面、准确地评价高校科研生产力。