张玲?韩丽
摘 要:开展科研影响力评价服务是高校图书馆发挥业务优势、拓展服务内容、扩大图书馆影响力的重要途径。笔者细致梳理了我国高校图书馆该服务发展的背景、动因,简述其发展现状,总结北京师范大学图书馆开展该服务的实践,并针对业务良性运行、可持续发展提出建议:按需定制,内容为主;探索并深化多方合作;积极开展业务研究;注重服务展示与宣传;持续推进,提质增效;推进服务体系化发展。
关键词:科研影响力评价;评价服务;高校图书馆
中图分类号:G258.6文献标识码:A
Practices and Reflections on the Evaluation of Research Influence Services in Chinese University Libraries
Abstract The provision of research influence evaluation services is an important approach for university libraries in China to leverage their expertise, expand service offerings, and enhance their impact. This study carefully examines the background and motivations behind the development of these services in Chinese university libraries. It provides a brief overview of the current status of development and summarizes the practical experiences of the library at Beijing Normal University in offering such services. The study concludes with suggestions for ensuring the effective operation and sustainable development of these services.
Key words research influence evaluation; evaluation service; university library
1 我国高校图书馆科研影响力评价服务概述
科研影响力评价服务即图书馆基于用户需求,利用文献计量学方法,借助国内外通用、权威的评价分析数据库,对科研论文、著作、专利等学术文献的基础数据进行统计与分析,以反映某种程度或某个层面的科研成果的影响力,从而为学科发展、科研管理与决策提供依据。
1.1 服务背景
随着文献计量学的发展,以定量方法对高校科研水平与实力进行客观评价并排序的研究活动获得新发展,大学排名开始流行。在排名所需的众多评估要素中,科研实力与水平始终被视为大学声誉和社会地位的主要衡量标准。基于学术论文的科研评价成为20世纪我国大学选优排序的重要依据之一以及大学综合评价的切入点,现已成为高校学科评价的重要内容。因此,20世纪80年代中后期,中国管理科学研究院科学学研究所和中国科技情报研究所尝试研究利用SCI、ISTP、EI所收录全国各科研机构的学术论文,基于发文量、基金资助论文、高产作者等量化指标对全国各科研机构排序[1]。“七五”、“八五”期间,国家教委逐步立项推进利用SCI观测我国高校在全球的科研实力[2]。“九五”期间,211项目启动,这为高校特别是高校重点学科建设提供了前所未有的发展契机,部分高校准备211申报材料时采用文献计量学方法预估重点学科建设成效[3]。
进入21世纪,我国开始有组织、有计划地开展高等教育评估。其中影响大、范围广的评估工作,一是教育部普通高等学校本科教学工作合格评估,二是教育部学位与研究生教育发展中心的研究生一级学科整体水平评估。对于高校科研评价来讲,学科评估工作影响范围广且意义深远。但学科评估是世界性难题,其评价体系往往呈动态演化特征。自建国初期至20世纪90年代再到现阶段,我国高校学科评估评价体系经历了主观、客观、主客观结合的三阶段转变[4],这促使高校各级管理人员重视通过各类客观数据监测自身发展状况,为学校制定人才奖励政策、决策学科布局提供科学依据。2017年“双一流”建设方案及名单公布以来,一个鲜明的取向是强化以学科建设为龙头推进世界一流大学建设,并以权威性高、可比性强的国际国内评价标准为依据进行学科评价,引导高校按照一流标准制订科研计划、开展科研管理。因此,一部分高校已将学校部分学科的国内外影响力评价作为自我评估和学科建设的重要组成部分。2018年11月科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》以来,“五唯”被科教界广为讨伐。2020年初,科技部、教育部發布相关政策,规范指标使用、树立正确评价导向。2021年5月,国务院办公厅发布《关于完善科技成果评价机制的指导意见》,为规范高校树立正确评价导向指明方向。2022年11月,第五轮学科评估启动,仍采取定量与定性评价相结合的基本方法。破“五唯”并不是反“指标”,更不是反“证据”,这不仅说明了客观证据的必要性,也认可一些良好指标对被评估对象的概括能力[4]。在此基础上,高校图书馆如何运用情报分析和文献计量学的专业优势,为学校学科与科研评价提供支持成为迫在眉睫的一项工作。
1.2 服务动因
作为大学的信息资源中心,高校图书馆承担着学校信息资源建设及服务的重要任务。从印刷版引文索引工具问世以来,各种载体的引文索引工具均由图书馆引进、存储、部署,并面向校内外师生提供服务。1987年,中国科技情报研究所率先在国内采用文献计量方法统计分析我国科技论文成果,并逐年编制《中国科技论文统计与分析》专题报告,了解、观测我国各学科科研产出情况及在世界的影响力[5],这开创了我国图情界开展科研影响力评价服务的先河。但当时大部分高校尚未引进光盘版引文索引,开展此项服务均需依据前述专题报告摘录报道本校科研成果。一些高校则委托中国科技情报研究所每年定期检索并制作《科研快报》《情报通讯》等内刊逐年公布本校学术论文,为学校科研管理提供重要参考依据[6]。
2000年左右,各高校图书馆陆续引进网络版SCI。随着技术发展,涌现出越来越多评价分析类数据库,部分文献数据库也陆续开发出评价分析功能,科研影响力评价服务逐渐成为各馆重要业务。一方面,在引进、部署该类数据库并针对人才及科研成果评价而提供论文收录引用证明的过程中,馆员对数据库的各种功能及指标如数家珍,馆员所积累的大量实战经验令校内其他单位的老师难以望其项背;另一方面,相对校外商业机构,作为学校二级单位,图书馆更能准确了解学校的目标定位、发展思路等,更直接地与学校行政职能部门、各院系沟通合作,及时响应、有效满足其科研管理需求,从而提供有力保障和支撑。所以,图书馆具备独特的资源基础、长期的业务优势和优良的身份优势。作为学术性服务机构的重要职责之一,图书馆愿意为学校的学科规划、科研管理与评价提供数据支持,并期待通过有效的服务实现功能拓展、战略转型,深度融入学校“双一流”建设过程。实践证明,科研影响力评价服务是针对用户需求高度定制化的深度服务,是高校图书馆参与学校科研管理工作的理想领域,也是高校图书馆服务拓展的重要方向及学科服务不断深化发展的具体体现。
2 我国高校图书馆科研影响力评价服务理论研究及实践现状
现阶段,我国高校图书馆对科研影响力评价服务的概念界定尚有不同。有从服务目的出发的定义,如决策支持服务、科研支持服务等;有文献计量服务或计量分析服务等方法角度的定义;也有从图情学科角度出发的定义,如情报分析、竞争情报等;还有科研管理及评价角度的定义,如科研评价、学科评价、学科竞争力评估。参考国内外相关研究,笔者使用“科研影响力评价服务”。
在近年实践与理论研究中,浙江大学、华中科技大学、北京大学、清华大学、武汉大学、复旦大学、华东师范大学、上海交通大学、山东师范大学、杭州师范大学、南方科技大学图书馆等高校的图书馆结合自身优势,逐步探索出各自的服务机制、框架;叶兰、张玲、周静怡等人推介国外高校图书馆相关业务实践;王飒、李峰、潘香岑、马春梅等人从不同范围调研我国高校馆科研影响力评价服务的现状,总结服务特点、服务层次,提出服务发展对策;司莉调查国外高校图书馆科研支持服务,分析主要的服务项目类型及相应的服务内容与形式。总览以上研究及本馆实践,笔者认为我国高校图书馆科研影响力评价服务大致经历了基于引文索引工具的论文收录查询及简析服务、基于检索工具的个人收录引证服务、基于多元工具的多样化科研影响力评价报告服务三个发展历程,服务开展过程中同步提供咨询服务。一些较有实力的高校图书馆已开展如校内科研管理人员培训、相关系统建设、业界业务培训与研究等拓展服务,还有一些高校图书馆紧跟国家政策、结合校情开展科研产出评价方法与方式研究以更好地指导实践。
整体上看,现阶段我国高校图书馆主要在深耕基于多元工具的多样化科研影响力评价报告服务,特点包括:①根据服务对象需求进行高度差异化定制;②数据来源多元,结果客观、量化、易于比较;③工具规范并普及,在一定范围内具有通用性;④服务复杂程度、难度明显加大;⑤服务过程更强调交互性;⑥定制报告有限公开;⑦服务产品种类多样。依据高校图书馆网站,另参考各种会议课件、文献、与他馆馆员面谈交流等多渠道资料,从服务深度来看,我国高校图书馆科研影响力评价报告已形成如图1所示的四层次服务体系。其中,位于底层的基础数据收集服务是开展各项深度服务的根基;大多数高校图书馆在推进基于基础数据的快报服务和基于多种数据的全面的统计分析评价报告;少数实力强劲的高校图书馆尝试制作深层决策咨询报告,并着力构建文献情报学的研究方法体系[7]。在大量实践基础上,各馆已明确了科研影响力评价报告的制作方法及流程,明确了从机构、学科、院系、人才四个层面完成科研影响力评价报告的共性及差异,所制作的各类报告基本上是基于通用指标体系的机构、学科、院系、人才四个维度的研究影响力的个性分析[8]。
3 北京师范大学图书馆科研影响力评价报告服务实践
3.1 概况
针对全校教师职称评定、科研立项、奖励申报、成果验收、项目结题、工作应聘等需求,北京师范大学图书馆(以下简称“我馆”)长期开展论文收录引用证明、科技查新服务;同时也根據学校科研院、人事处、教务部等部门的各类统计、申报等需求提供良好的数据支持。自2012年以来,我馆开始摸索基于文献计量和情报分析方法、利用国内外权威评价分析数据库、结合多种信息分析工具、综合分析北京师范大学(以下简称“我馆”)各类科研成果数据(期刊发文、会议论文、图书、科研项目、著作、专利等),从不同层面、不同角度利用多种指标反映研究对象的发展态势及学科竞争力、影响力。目前已与环境学院、水科学研究院、国际交流与合作处等初步开展合作,较有规模地完成了一系列报告(见表1)。这些报告得到我校相关职能部门及院系的肯定,为学校的学科规划、科研管理及评价提供数据支持、决策支持。
3.2 年度报告服务
3.2.1 年度报告的常规工作
按自然年度以我校WOS、Scopus及CSSCI发文数据为基础,从科研产出、科研影响力、学科分布、国际合作、基金赞助等不同维度分析我校在世界范围内的学术表现,了解我校整体水平,并从对标机构及学科等角度深入分析,明确自身优势和不足,同时挖掘、展示校内不同学科的论文产出及影响力、高影响力论文、境外合作、我校作为一作或通作的主导创新能力、院系贡献度及学科交叉性等。这不仅是对学校科研发展进程的重要历史数据留存及记录,也是深入了解我校科研现状、帮助管理者从宏观战略的高度把握学校发展的重要参考。
3.2.2 年度报告的创新与发展
2019年起,我馆积极和国际交流与合作处合作,将科研影响力评价服务作为学校职能部处重点工作的配套研究项目,连续2年申请校级“双一流建设与全球发展委托科研项目”,2019年完成《北京师范大学2014—2017年国际学术论文分析报告》、2020年完成《北京师范大学国际学术论文分析报告(2017—2019年)》。
年度报告整体以馆员思路组织,内容丰富、数据详实,但篇幅长、用户阅读难度大。为提高报告可读性,在已有报告基础上,我们从学校职能部处及院系科研主管的视角出发,按主题重组报告内容、最大限度地减少每一份报告篇幅,拆分出《北京师范大学2014—2017年国际学术论文分析报告》《北京师范大学2014—2017年“一流”学科国际学术论文分析报告》《北京师范大学2014—2017年QS学科国际学术论文分析报告》三份简报。撰写思路及报告体例、行文的改变,使得年度报告化繁入简,增加了可读性、降低了用户的阅读障碍,给用户定性的印象以数据的支持或佐证;学校各院系明确了自己对学科的贡献及与对标机构的差距并积极寻找发展策略。三份报告作为2020年12月22日学校全球发展战略规划工作部署会暨后疫情时代国际交流与合作工作研讨会会议资料,向全校38个学部院系的领导和外事及科研秘书、国际交流与合作处领导班子及工作人员等近百人发放[9]。首次实现报告作为学校重要会议资料在如此大的范围内发放,在校内最大限度地宣传了图书馆科研影响力评价工作,改变了院系对图书馆的刻板印象,达到了超出预期的宣传效果。
3.3 快报服务及其扩充
快报服务是以WOS、CSSCI等检索工具或各类排名(如ESI、QS世界大学学科排名等)、所获基金奖项等信息为基础,按照数据更新周期及发布时间整理、摘录而制作的简要分析报告,以帮助高校各级管理者快速了解机构及学科的排行和发展态势,同时主动宣传图书馆服务能力。快报具有简短、精确、追新、快速、定期、持续等特点,常冠以“简讯”“简报”“通讯”“通報”“动态”等名称。
3.3.1 快报服务的主导类型
我馆快报服务以ESI快报为主,包括年度报告、当期快报、三年同期对比等。如图2所示,通过发文量、被引量、引文影响力、高被引论文、热点论文、Top论文等指标进行不同学科、不同机构的排名,宣传学校或学者影响力、报道学校科研进展。由于ESI数据的易获取性和指标体系的接受度较高,各馆较容易开展ESI快报服务,同时结合InCites等分析工具可进一步完成潜力分析。
大多数高校图书馆通过网页或微信定期发布ESI快报,积累数据分析的经验,了解学校职能部门及院系的大致需求,宣传图书馆的服务能力,扩大图书馆的校内影响力,得到了学校管理层的信任,由此逐步拓展服务内容。
3.3.2 快报服务的衍生与发展
刘斐、张玲曾调研42所“双一流”高校图书馆官网及新媒体端2018年全年科研评价快报服务,总结得出“双一流”高校图书馆科研评价快报服务包含表2所示的4类选题[10],我馆也在逐步推进并完善。
3.4 学科影响力分析报告服务
学科建设是高校提高教学质量和科研水平的重要基础。随着学科评估和“双一流”建设学科的发展,针对某机构的某一个或多个学科评价其学术影响力或科研绩效成为高校图书馆探索的方向。
2017年底,我馆持续发布的ESI快报吸引了校内相关院系的注意,环境学院针对其科研管理难点提出数据分析需求。图书馆立即对接、响应,先后完成了两份学科竞争力分析报告。在此基础上,2019年初,基于如下考虑我馆启动第一批学科影响力分析报告:①针对学校强势学科,率先明确教育学、心理学;②选择学科服务基础较好的学科,如环境科学、化学;③选择有预测学科发展潜力需求的学科,如计算机学科。不同学科的发展特色与重点不同,其科研成果也较不同,我馆在数据来源、指标设置、数据获取及清洗的规范及方法等各方面进行全方位的摸索和规范,所有报告在完成过程中均根据学科特点反复调整,力求客观反映各学科发展特色。2020年下半年,完成教育学、环境科学、心理学、化学、计算机科学5个学科的学科竞争力分析报告。其中,学科馆员应邀在化学学院2020年总结大会现场汇报化学学科影响力分析报告。
3.5 定制报告服务
用户需求导向的信息服务是未来图书馆价值的重要体现,对于科研评价工作,用户需求尤为重要,可以说,上述的各类主动科研论文统计分析工作,都是为了向用户证明图书馆信息服务的能力和素养,获取用户的信任,最终的目的是由此激发真实用户需求,为用户提供定制报告,助力学校职能部门和院系的科研管理和评价工作。在上述主动报告工作的推动下,我馆分别承接了来自环境学院、水科学研究院等院系以及国际合作与交流处、科研院等职能部门的委托,针对其需求完成基于ESI、软科、NATURE INDEX等排名的数据采集、分析,明确学院对学科排名的贡献并提出客观建议,以及开展科研论文评价等工作;同时,已有用户进一步提出利用数据库平台和分析工具,追踪学科热点、挖掘学科潜力的需求;另外,部分院系针对院办刊物质量及刊物约稿等角度提出定制需求。
4 业务运行机制的思考
4.1 按需定制,内容为王
良好服务效果的前提是找准用户需求迫切的工作作为切入点。近年来,国家密切出台了一系列政策,学术评价改革也在逐步推进,高校图书馆科研影响力评价服务时刻面临调整。为此,开展此项服务需紧密跟踪国家系列政策,与学校相关的职能部门密切合作,梳理、研究相关文件,明确各学科、各类科研评价指标的数据收集方法与渠道,从而根据学校、学院的需求提供有针对性的服务。必要时可根据学科评价政策的调整、指标发展变化的情况,协助学校各方制定相关数据采集规范,甚至提供数据获取方法指导。
4.2 探索并深化多方合作
科研影响力评价服务是不断持续深化的,此项服务若想做出成效、不浮于表面,必须深化合作。①注重与馆内机构知识库建设工作的整合与联动,在人员短缺前提下,最大化发挥现有人力资源价值,将两项工作做到相得益彰。②注重与学校各职能部处、各院系的合作,这是高校图书馆扎实服务根基的重要基础。通过合作,将数据收集、清洗、规范等系列工作整合到学校科研成果数据管理流程,尽可能将图书馆的工作有效融入学校科研成果管理、科研数据收集过程,使图书馆在学校科研成果管理、评价乃至学校发展规划工作中切实发挥作用。③加强与兄弟院校图书馆的合作,交流、互鉴工作经验,不断改进工作方法、提升工作效率。④加强与相关数据库商或服务商的合作。世界范围内的各类大学排名在收集科研评价数据时,均会依托国际著名数据库商。加强与数据库商甚至是大学排名数据商(如上海软科)的合作可以了解世界范围内学科评价、大学评价的发展趋势以及国外同行的服务侧重点,必要时可借助第三方力量深化服务内容。
4.3 积极开展业务研究
开展业务研究可以发掘更多的服务空间,通过研究指导实践,更进一步彰显此项服务的价值。如武汉大学图书馆申报校级“十四五”规划课题“面向学科的学术论文综合评价研究”,对学术论文的学科差异性进行深度研究,并为不同学科合理规划发展目标、确定评价周期;还完成了定量指标与定向评价指标的匹配度研究,明确了定量方法在评价过程中如何有效发挥作用[11]。
4.4 注重服务展示与宣传
从最初探索服务到现已逐渐完善的现状下,我馆仍存在如下问题:①主页服务栏目仅设置“科研产出统计分析”栏目,该栏目仅有服务内容简况信息,没有细致介绍,无法全面展示与宣传服务;②快报仅在微信端推送,没有专栏集中展示,师生包括馆员查阅都需逐条翻阅,没有实现历史保存,更谈不上服务展示。为此,可参考武汉大学图书馆、浙江大学图书馆等图书馆的做法,加快主页服务栏目设置,丰富完善宣传阵地,方便用户一站式了解我馆科研影响力评价服务全貌。还可参考国外高校图书馆及少数国内高校图书馆(如南方科技大学图书馆)建设科研影响力评价服务指南,系统化普及科研影响力评价的指标、工具等知识。同时,应积极融入学校的科研成果管理、展示,学科发展规划等相关工作,寻找合适的机会,恰如其分地宣传该业务。
4.5 持续推进提质增效
完成科研影响力评价服务,需要馆员具备较高的信息素养能力、数据分析能力和丰富的专业背景知识,不断学习新知识、新技术的能力以及良好的团队合作精神。因此,专业团队的建设、人员传帮带及梯队建设是持续开展服务的关键。
鉴于学科差异、数据获取来源多元、现有检索工具的功能升级、新工具新平台层出不穷等实际情况,考虑数据下载、清洗人工参与度较高等因素,为持续推进该服务,应加强业务工作的流程设计及规范建设、业务监督制度、业务能力提升培训等相关配套措施的建设,以确保服务质量、提高工作效率。
4.6 推进服务体系化发展
国外高校图书馆的经验表明:科研影响力评价服务经历了起步、发展、成熟三阶段,最终发展为基于“研究影响力生命周期”,集报告、咨询、培训、技术支持等服务为一体的整体性服务框架[12]。服务内容不仅包括评价科研影响力,更重要的服务内容是结合科研周期开展系列服务扩大科研影响力。①科研开始时,登记作者唯一标识符,识别作者名称,解决科研产出的归属问题,提高作者影响力;建立作者简历,有效展示作者研究领域和特长;进行作者产出收集和整理,利于找到同行和潜在合作者。②科研过程中使用参考文献管理工具。③科研发表过程中选择合适期刊和使用科学出版工具。④科研成果发表后,对论文、图书、学术项目、科学数据等开展科研评价。⑤在整个科研工作中,对作者、期刊、机构、国别等开展客观的科研评价,推动科研水平进一步提升[13]。国内高校图书馆科研影响力评价服务多为总结性分析服务,且服务体系尚有很大空间,少有图书馆面向科研人员提供提高科研成果管理能力、提升和展现科研影响力的培训或咨询服务。科研评价不是目的,而是促进科研发展和科技成果形成的手段,所以我国高校图书馆任重而道远。
参考文献:
[1] 我国87所重点大学排序[N].科技日报,1987-9-13(1).
[2] 国家重点学科评选项目简介[EB/OL].[2022-01-23].http://www.chinadegrees.cn/xwyyjsjyxx/zlpj/zdxkps/zdxk/.
[3] 樊建军,林晓冬,方伟岗.“211工程”对重点学科建设和发展的作用及其管理模式和措施[J].中华医学科研管理杂志,2003(4):52-55.
[4] 杨卫.融合专家判断与客观数据的学科评估[EB/OL].[2022-02-20].http://www.cdgdc.edu.cn/xwyyjsjyxx/2020xkpg/zjgd/285021.shtml.
[5] 包锦章.中国科技论文与引文分析数据库(CSTPC)介绍[J].中国信息导报,1997(6):13-14.
[6] 余峰.科研管理的得力助手——《科学引文索引》[J].图书馆论坛,1993(1):58-59.
[7] 杨新涯,王莹,尹伟宏.基于文献情报学的学术热点分析方法研究[J].大学图书馆学报,2020,38(3):34-39.
[8] 吴爱芝,肖珑,张春红,等.基于文献计量的高校学科竞争力评估方法與体系[J].大学图书馆学报,2018,36(1):62-67,26.
[9] 北京师范大学召开全球发展战略规划工作部署会[EB/OL].[2021-08-24].http://news.bnu.edu.cn/zx/zhxw/120187.htm.
[10] 刘斐,张玲.“双一流”高校图书馆科研评价快报服务现状调查与分析[J].大学图书馆学报,2020,38(3):57-64.
[11] 刘霞.新时期学科分析服务的转型探索[EB/OL].[2022-03-24].https://play.yunxi.tv/pages/867fb1bc9eb944228cc788a3976acd7a.
[12] 张玲,刘斐,杨雪萍.澳大利亚新南威尔士大学图书馆研究影响力评价服务研究[J].图书馆工作与研究,2019(10):33-40.
[13] 周静怡,张玲.美国高校图书馆科研评价支持服务进展与启示[J].图书馆研究与工作,2021(5):41-46,75.