基于PCSI等评价指标服务高校科研决策的探讨

彭 婕

(内蒙古财经大学 图书馆,内蒙古 呼和浩特 010070)

近年,论文质量导向越来越被评价体系关注和重视,科研成果的评价体系中,论文生产力和影响力等质量分析都反映着学者所在机构科研建设、学科建设、师资队伍建设等方面的发展成效。CNKI于2020年发布的单篇论文被引频次标准化指数(PCSI),不仅是个人科研水平、高质量代表作的量化指标,而且为教师规划个人科研工作提供参考,也为所在机构科研贡献了主要的影响力,显示出所在机构在学术影响力、人才评价、科研和整体发展建设中的发展水平。[1]

本文从PCSI切入,结合高校整体发文量、下载量、被引情况等传统文献计量指标,从发表年度、期刊来源等角度比较机构论文集合整体评价,分析高PCSI论文的价值和现实意义等,从多层面、多角度作了可视化分析。

关于论文影响力的文章大多集中于探讨计量分析、评价体系、对评价指标的不断优化、顶级大学的国际竞争力、多维综合评价等领域,[2]而单篇文献评价大多研究影响力的构成要素和相关指标,利用PCSI分析的文献目前较少,把单篇论文影响力和机构层面论文集合整体评价相结合,分析地方普通高校发展的相关分析较少。本文试图借鉴已有研究成果,分析同类高校学术影响力发展情况,从学科建设、人才评价、学校发展、科研管理等层面,为地方财经类高校学科建设,探索整体科研竞争力的提升等提供参考。[3]

一、研究方法

文献研究法。论文的写作初期主要利用图书馆数据库、政策文件等文字材料搜集资料,根据研究目的梳理整理,着重了解学术论文卓越影响力评价及地方高校科研竞争力等方面的研究现状,归纳形成研究基础,帮助完成论文初稿。

调查方法从案例研究入手,对特定对象采取数据库采数结合参与性长期观察,开展较全面的了解,对样本数据整理加工并逻辑分类和综合归纳。

文献定量分析部分主要使用了比较分析法和描述性统计,通过横向同类比较,纵向比较,同地区比较等,在一定范围内反映出地方财经类高校的科研竞争力所处位置,发现数据之间差异。

二、数据来源

分析样本选择范围为中国财经教育资源共享平台的财经特色资源库建设单位包括内蒙古财经大学等17所高校,另收集了内蒙古地区其他7所高校相关数据,按同类比较共选取了24所大学。

PCSI(Paper Citation Standardized Index)是2020年CNKI发布的论文引证标准化指数。作为一种新的单篇论文被引频次标准化方法,PCSI按年度为单篇论文的影响力提供了比较的基础,是一种相对影响力评价指标,实现了单篇论文可跨年度、跨学科的比较,从而给科研机构或是学术期刊以此数据进行整体评价提供了参考,并对科学评价论文质量提供了更合理的参考。[4]

数据源采集自CNKI数据库,以2012年至2023年作为统计时段,导出各高校作为第一机构入选CNKI“学术精要数据库”的单篇论文评价各指标数据①。单篇文献评价包括高PCSI论文和“三高”论文,即2012年至今按第一机构名称检索到的全部学科高PCSI论文和“三高”论文(高被引、高下载、高PCSI),资源类型包括期刊和会议论文,文献类型包括研究型论文和综述性论文,期刊来源范围不限。

三、数据比对与应用

(一)同院校类别高校数据比对

17所财经类高校按照“软科”排名做了排序,其中前四位为“双一流”建设高校。数据如表1显示,单篇论文影响力数据排序与权威机构排名基本保持一致,可见二者匹配度较高,反映出高PCSI论文篇数对评价所属机构整体科研竞争力具有一定影响力。

观察其余13所高校数据,其中,南京财经大学、山东财经大学、重庆工商大学、哈尔滨商业大学和新疆财经大学的数据呈现明显上升势头,数据反超综合排名靠前的学校,显现出科研竞争力。重点对入选高PCSI篇数不足200篇的5所地方财经类高校分析合著占比和总PCSI两个指标,如表1所示,哈尔滨商业大学在5所样本高校中,发表高PCSI论文篇数最多,且整体PCSI指数较高,天津商业大学作为第一机构发文篇数较高,各校合著发文占比都在0.8以上,可见合著是各高校高影响力论文的主要发文模式。[5]

对CNKI提供的“三高”论文数据重新分类进行比对,过去的单篇论文影响力评价主要以下载量、被引频次等为主要评价指标,只能反映出单篇论文被同行关注和引用的程度,而“三高”论文包括了高PCSI数据,可跨学科整体反映出各校的高影响力代表作及各校的顶级科研水平之间的位置与差距。

因此,“三高”不仅体现出单篇论文的卓越性,对科研人才个人来讲便于追踪学科前沿、同行竞争力、论文影响力等,同时,各校作为第一机构的篇数占比从一个层面反映出机构整体的顶级论文影响力水平,与学科建设、学校发展相融合,整体更反映出所在机构科研聚合效应。

如表2所示为各样本单位2012年至今入选CNKI的“三高”论文,江西财经大学到重庆工商大学7所高校的数据都在100至300之间,数据反映出“三高”论文篇数达到100篇是高校科研促进学校整体提档的一个具体量化指标。

表2 财经类高校“三高”论文情况

综合以上两个表,数据大致有几个明显趋势:第一个拐点是“双一流”高校之后,高质量论文总篇数从1200篇明显呈下降趋势,从江西财经大学到重庆工商大学呈现出的数据波动表现出财经类强校激烈地科研竞争,重庆工商大学之后的趋势显现出河北经贸大学到新疆财经大学5所高校高质量科研成果明显不足。

各机构具体数据也显示出,单篇论文影响力较高度的集中于少数几位学科领军人才,机构一年的论文影响力表现出可能是由一两位作者完成,而对地方院校科研建设来说,发表高质量论文,越来越依赖于团队合作这个特点。

(二)同地区高校数据比对

进一步按区域进行同类比较,以期望从不同角度观察各校科研影响力所处位置。如表3所示,第4列数据为样本单位作为第一机构发表高PCSI论文的篇数,第7列数据为样本单位作为第一机构发表“三高”论文的篇数。数据显示,内蒙古农业大学的高PCSI论文篇数排第一位,且各项数据都是排名第一,内蒙古科技大学和内蒙古医科大学的数据都呈现潜力上升趋势。

表3 内蒙古地区大学高PCSI、“三高”论文情况

(三)高PCSI论文数据情况

PCSI作为代表作的评价指标,同年度数据相加整体反映科研竞争力。因此,选取各样本作为第一机构发表的高PCSI论文排名第一的单篇论文作为代表,也反映出各校论文卓越影响力情况。

从来源看,财经类高校的高PCSI论文以经管类期刊为主,与预设想的早期论文更易积攒影响力数据的假定不同,24所大学中,发表在3年内的论文有7篇,5年内发表的论文有11篇。前5所大学按学科大类排序最有影响力的是法学、会计、管理和经济,内蒙古财经大学目前排在第一位的高PCSI论文也是发表在经济学领域,并且PCSI数据在同地区8所大学中排在第三位。

(四)案例与可视化分析

这几年随着论文质量导向政策指导,论文质量管理正在规范化。下面以内蒙古财经大学为案例,继续分析高PCSI论文,并扩展到各学科代表性论文、发表在核心期刊的论文以及机构整体发文量、被引情况。

1.高PCSI论文发布时间分布情况

2012年以来,内蒙古财经大学作为第一机构共有29篇论文被选入高PCSI论文,其中“三高”论文13篇,从篇名看,跨学科研究约占45%。从高PCSI论文的发表时间看,2021年的高PCSI论文有6篇,是入选篇数最多的一年,2020年和2022年的数值都有小回落。从来源看,发表在《经济研究》的数据排在第一位,出现两次及以上的刊物为《管理世界》《审计研究》《统计学报》《财经理论研究》。

2.高PCSI集合整体评价

以所属机构为单位,整体分析作者群体的论文影响力贡献价值。如图1、2、3所示,PCSI数据按年度相加,2019年是该校自2012年高PCSI论文巅峰年,PCSI排名居近十年第一位,高PCSI论文的年度总被引频次和总下载频次都是最高的,与前面比较财经类高校“三高”论文的讨论相呼应,一篇或几篇高影响力论文可能代表着一个机构、一个子领域的科研绩效指标,反映出高质量论文影响力对所在机构的卓越影响力,从时间线看,论文影响力可能部分受益于高层次人才引进,并与“申博”工作相互促进,同时也得益于人才培养效益。近年的论文整体影响力显现出高质量科研成果相较不足,结合地方财经类高校应用型为主的办学定位,需要在顶层设计上对产教研融合突出应用特征,科研服务区域发展提升成果转化率等方面下功夫。

图1 内蒙古财经大学高PCSI集合整体评价可视化分析

图2 内蒙古财经大学高PCSI集合整体评价可视化分析

图3 内蒙古财经大学高PCSI集合整体评价可视化分析

3.各学科代表性论文发表情况

内蒙古财经大学2012年至2023年入选学术精要数据库即CNKI遴选出的各学科代表性论文共计1029篇,其中非独立作者发文390篇,约占38%,从机构名称大致分为两类合作形式,本校团队合作发文52篇,跨校、跨区域合作发文338篇。

内蒙古财经大学作为第一机构入选论文812篇,占比约为79%。图4为内蒙古财经大学作为第一机构入选学术精要数据库的论文每年发文篇数的趋势。

从学者个人角度看,独著更能证明个人学术水平,含金量更高,而合著论文更体现出科研团队的发展潜力以及所在机构的科研建设水平。近几年,合作发文在高质量论文当中占比呈现上升趋势,如CNKI提供数据显示,发表高PCSI论文的合著占比平均都在80%以上。由此可见,合著形式已成为冲击高质量论文的主要路径,跨学科、跨校、跨区域等合作也与目前“学科建设群”的发展思路相符合。[6]

4.近年论文产出、被引情况

最后,再从机构角度分析论文整体发文量即科研生产力情况,以内蒙古财经大学作为作者单位,选取2012—2023年被CNKI收录的学术期刊文献搜索显示共计7239篇,如图5所示,展现学校近十年科研整体发展趋势。其中,核心期刊1551篇,占比约21%。2015年后,科研产出整体趋势呈现逐年下降。从发表在核心期刊论文数量看,2016年达到一个峰值,2018年后呈现趋缓态势,2021年出现一个低谷波动。结合图4,2015年的发文量排在近十年第二位,而入选学术精要数据库的论文篇数也是近十年最高的,图4和图5的整体趋势相似,因此也可以说,机构需要激励机制去提升发文数量,这有助于增加论文质量提升的概率。进一步分析学科分布情况:从条件检索范围内发表在核心期刊主要学科导出可视化饼图看,学科分布以经济、金融、投资、证券、数学和财税等为主。从主要主题分布的共现矩阵分析看,核心期刊的选题主要集中在实证分析、影响因素研究和分析方面。从条件检索范围内主要发表的核心期刊分布看,集中在《中国农业资源与区划》《统计研究》等。

图5 内蒙古财经大学各年份发文情况

另外,在CNKI学术评价支撑平台进行被引文献检索,选取被引单位为“内蒙古财经大学”,来源文献范围为“期刊库”,被引文献类型选择“期刊类型”,出版年从2012年到2023年,被引年从2012年到2023年,检索到文献总数4164篇,总被引15599篇,篇均被引3.75,其中被重要期刊引用的文献1419篇。总被引篇数整体反映出所在机构科研整体影响力和效用,为机构学术影响力提供数据参考。

四、讨论与展望

以上评价数据从论文产出、影响力、合作情况、期刊等角度分析了样本单位近十年科研发展态势,学科竞争力发展水平。对高水平的学科带头人相对不足,学科队伍建设水平有待提高,具有标志性的高水平学术成果较少的问题,以科研服务社会、师资队伍建设等重大项目为抓手,借力信息化、数智化建设平台,把科研创新与评价激励更科学合理化,探索出更适合办学定位的策略路径,科研评价指引更科学合理化。[7]从高PCSI论文数据看,跨地区、跨学科合作模式不断增长,在科研生产方面通过合著提升科研竞争力,探索跨学科研究并完善科研合作机制,提升已取得高级职称教师的科研积极性。

地方高校申请博士学位授权单位之路与学科建设、科研成果提升相辅相成,尤其对中西部普通高校、应用型大学来说,博士点是留住人才以稳定高学历高层次人才队伍,重要依托。因此,作为应用型大学,在提升办学层次过程中,以产教研融合发展为思路,以“博士学位授予单位建设工程”为契机,在“申博”工作中逐步凝练学科建设方向,与重点学科建设相互促进,共同提升学校科研水平。在带动提升整体学科影响力方面借鉴“双一流”财经类高校以“学科群建设”为中心引领学科发展的模式,加强科研团队建设。[8]

在为评估体系提供更多策略方面,提升科研成果质量任重道远,与参考其他高校经验做法相比,更需探寻出具有内驱力、更稳定的指标,参考人才发展规律、科研峰值、文献价值老化速度等指标,对文献评价、人才培养等从建设性角度看待,从差距中探寻提升空间,在人才评价、科研成果评价、学科建设发展等方面有更合理的评价标准。

[注 释]

① 目前CNKI的“学术精要数据库”为双月更新,本文采取的数据截止时间为2023年7月,按照CNKI数据更新规则,数据版本为2023年5月15日,检索时间为2023年5至6月,收录文献发表时间为2012年1月1日至2023年3月31日,评价指标统计截止日期为2023年3月31日。