温虹 贾利帅
摘 要:高校科研评价政策具有引领高校科研发展方向、提升高校科学研究质量的重要作用。为深入研究我国高校科研评价活动的政策环境,以2000-2021年期间颁布的高校科研评价政策文本为研究对象,依据政策工具的视角,构建“政策工具-高校科研评价要素”二维分析框架。使用文献计量分析方法,对高校科研评价政策进行量化分析,发现命令工具存在使用过溢倾向;评价对象和结果反馈要素政策供给不足;政策工具和政策目标匹配性较低。据此问题提出建议:完善政策工具的组合结构;加强评价对象和结果反馈要素的使用;提升政策工具和政策目标的匹配程度。
关键词:高校;科研评价;政策工具;量化分析
一、问题的提出
科研评价是依据明确的目的,遵循相关的程序和标准,对科研人员、科研项目、科研机构、科研成果等与科研活动相关的事项开展的论证、评审和验收等活动。科研评价政策是高校对科研活动实施管理的关键依据,对高校科学研究发展具有高度的导向性,公正合理的科研评价政策才是促进高校科研繁荣发展的重要保障。然而近年来,高校科研评价工作的弊端日渐凸显,出现过度使用高层次期刊和影响因子作为评价指标、评价方法单一忽视学科差异、过分推崇量化考核等问题,违背了科研评价的初衷,严重扰乱了正常的学术秩序,对科研人员产生严重误导,导致学术界急功近利态度和浮躁情绪不断蔓延。这一问题得到中央层面高度重视,随着2018年教育部发布《关于开展清理“唯论文、唯帽子、唯职称、唯学历、唯奖项”专项行动的通知》、2020年中共中央、国务院印发《深化新时代教育评价改革总体方案》,我国政府在高校展开了大力度改革,破除“五唯”评价的顽瘴痼疾已成为刻不容缓、势在必行的社会共识。[1]对此学界也展开了对科研评价问题的广泛研究,研究领域主要聚焦于以下几个方面。关于评价方法,朱军文等认为高校应加强定量方法与质量导向的兼容性[2];关于评价指标,顾萍等研究如何构建适合我国实际的高校科研评价基础指标体系[3];关于评价体系,刘梦星等针对高校科研评价的现实问题,从分类评价、评价主体、内涵评价、评价方法、管理制度五个维度提出改革措施[4];关于国外科研评价制度的研究,蒋玉梅梳理了美国、英国、澳大利亚、荷兰四国的科研评价体系的发展脉络[5],刘兰剑等基于立法的角度分析了日本的科研评价体系[6]。目前从政策工具的视角对高校科研评价政策的研究较少,基于此,文章以政策工具为视角,梳理出政策的演变逻辑和趋势,探究政策中存在的问题,提出改进建议,以此提升高校科研评价的公信力和权威性,推进高校科研评价政策体系的发展和完善。
二、高校科研评价政策研究的样本选择与分析框架
(一)样本选择
本研究首先通过访问国家政府网、教育部、科技部等网站,输入“科研”、“科研评价”、“科技评估”等关键词进行检索,搜集到大量政策文本。其次,将搜集的政策文本进行筛选,以确定最终的研究文本。对文本的筛选原则是:一,选择自2000年以后发布的政策文件,由于2000年以前我国科研评价领域还未有专门的科研评价政策出台,只是散见于部分政策中,所以不考虑2000年以前的文件;二,确保政策的权威性,选取发文机构为国家部委级单位,地方性政策不予采用;三,依据政策内容与研究主题的相关性,选取政策内容集中在科研评价领域,是聚焦科研评价的实施与完善制定的。最终遴选和整理出29项政策样本(见表1)。
(二)分析框架
政策工具理论是以政策的结构性为理论基础,认为政策是一系列的工具通过组合而建构起来的。[7]本研究基于政策工具理论,并根据高校科研评价活动的内容要素建立起高校科研评价政策的二维分析框架(见图1)。
1.X维度:政策工具维度
麦克唐纳尔(Lorraine M.McDonnell)和艾莫爾(Richard F.Elmore)提出的政策工具理论,将政策工具分为命令、激励、能力建设、权威重组和劝告工具,这个分类框架在研究中被广泛应用,并与本研究的研究思路较为契合,因此本研究采用此理论。在麦克唐纳尔和艾莫尔提出的政策工具理论中,命令工具是对政策受体行为的规范和违反准则的惩罚[8],外在表现形式是强制性规定,要求政策受体必须执行。激励工具是向个人或机构转移一定资金、服务或物品,以激发其产生预期的行为。这种利益诱导的方式在于换取短期的回报。能力建设工具用于长期投资,目的在于促使个体或机构实现基本能力的改变,提升自身素质和科研评价能力。权威重组工具是对权力的重新分配,通过转变或增设权威部门,弱化或取消原个人或机构的权威,将权威授予不同的个体或机构。劝告工具是通过象征、呼吁等形式,将政策目的传递给政策受众,期待政策受众可以自觉改变价值观、行为等。[9]
2.Y维度:高校科研评价要素维度
高校的科研评价活动受到诸多要素影响,每一个要素都不是单一存在的,科学的评价体系建立在各种要素相互配合和制约基础上。邱均平等认为科研评价的要素包括评价方法、评价主体、评价对象、评价时间、评价目的、评价标准、评价保密性和评价结果[10],胡锦绣认为高校科研评价制度的要素包括评价主体、评价机构、评价维度、评价方法和评价结果[11]。本文结合高校科研评价活动的特点,以及已有研究对科研评价要素的分类,确定高校科研评价要素分为评价主体、评价对象、评价标准、评价方法、评价程序、组织管理和结果反馈。评价主体是指科研评价活动的组织者和实施者,包括行政单位、评价机构和专家;评价对象是指接受评价的课题项目、机构和高校师生;评价标准是指对评价对象开展评价依据的指标;评价方法是对评价对象的评判办法,包括同行评价和社会评价、定量评价和定性评价等;评价程序包括两方面,一方面是狭义的评价步骤,另一方面是指广义的评价过程;组织管理是指行政部门对科研评价质量的保障措施,包括建立监督机制、信息技术管理、提供服务、学术道德建设等;结果反馈包括三个方面,一是对评价结果的使用,二是对评价结果产生的异议,三是申诉、举报制度。
通过对政策样本的梳理,对29项政策遴选出具体的操作举措作为研究内容,根据政策工具-高校科研评价要素的二维分析框架,对遴选出的446项条款按照“政策编号-条款序号-政策工具编号-科研评价要素编号”的方法进行逐条编码,形成政策文本的条款编码表。根据编码表对文本内容进行横纵两个维度的分类统计,通过量化分析得出研究结果(见表2)。
三、政策文本的量化分析
(一)政策发展概况与演变过程分析
2000年之前科研评价政策零散分布于其他政策中,2000年科技部颁布了《科技评估管理暂行办法》,自此我国开启了对科研评价领域的专项政策制定。针对2000年及以后颁布的科研评价政策,以颁布的文件数量和重要政策的出台时间为划分依据,对高校科研评价政策的发展与演变划分为三个阶段,这三个阶段反映了我国政府在不同时期对科研评价的关注重点和改革方向的变化。
第一阶段为政策肇创期(2000-2012年)。2000年科技部颁布了《科技评估管理暂行办法》,是我国科研评价政策的奠基之策,后续颁布的科研评价政策均借鉴了该政策的相关内容。[12]自此以后我国开始逐步探索创建科研评价领域的专门法规,用于规制科研评价中的乱象。该时期13年间共颁布了9项政策。从政策、条款的数量来看,这一时期政策数量虽不是最多,但条款数量最多,涉及领域全面。由于我国刚进入科研评价的规范轨道,颁布的政策中有6项为办法,对科研评估的类型、范围、机构、人员、程序、法律责任等,作出较为翔实的规定。这一时期的政策呈现出探索的特点,对政策执行者采取建议的态度,给政策执行者留有自我调整的空间,例如,对评价主体的规定、采用的评价方法、评价结果的公示等方面,使用“一般应该”、“可以采取”等措辞,表现出政策中虽指明方向,但执行者可以依据现实情况进行调整,映射出政策的制定仍处于起步阶段。这一时期的政策基本是面向全国科研评价工作制定的,专门针对高校的政策较少。
第二阶段为政策建设期(2013-2017年)。2013年教育部颁布《关于深化高等学校科技评价改革的意见》,这是我国首次面向高等学校开展的全领域的科研评价改革,是对高校科研评价工作重视的一个拐点,此后我国开始逐步关注高校内部的科研评价问题,专门针对高校的科研评价改革出台了多项政策。这一时期共颁布8项政策,对政策内容更加细化更具针对性。原因在于这一阶段科研评价的问题较为突出,政策力度逐步加大,开始针对评价工作中出现的评价方法简单、过度使用量化方法、评价结果功利化[13]、评价导向不足等问题提出改革措施,因此该时期颁布的政策中有5项是意见。例如2015年五部门联合颁布《关于准确把握科技期刊在学术评价中作用的若干意见》,提出发挥科技期刊在学术评价中的功能定位,加大对期刊的扶持力度。2016年教育部颁布《关于深化高校教师考核评价制度改革的指导意见》,提出完善评价导向、建立“代表性成果”评价机制、实行分类评价等。
第三阶段为政策快速发展期(2018-2021年)。这一时期高校科研评价中问题较为尖锐,出现过度崇尚SCI,“以刊评文”“以人评文”的学术弊病,科研评价工作陷入重量轻质、标准单一的窠臼中,导致评价目标异化、学术人急功近利,严重误导了广大的高校科研工作者,无法充分发挥出科研评价促进科学创新、提升科研质量、繁荣科技事业发展的积极效应,这种情况亟须遏制。2018年中共中央办公厅和国务院办公厅联合出台《关于分类推进人才评价机制改革的指导意见》和《关于深化项目评审、人才评价、机构评估改革的意见》,开展了破“四唯”、“五唯”专项计划,这一年是我国高校科研评价工作的另一个拐点,政策数量呈快速增长趋势,这期间共颁布12项政策。2020年中共中央和国务院印发的《深化新时代教育评价改革总体方案》,更是成为高校科研评价的改革指南。這一时期的政策的权威性增强,治理力度加剧,措施更加聚焦、操作性增强。政策中明确要求不把论文作为主要评价依据和考核指标[14];加大对学术不端的惩戒力度;推动期刊建设,减少社会人情、关系的恶劣影响等。
(二)政策的二维分析
1.政策工具维度分析
根据政策工具的维度对高校科研评价政策进行文献计量分析,得出各类政策工具的使用情况分别是:第一类使用最频繁的是命令工具,其使用频率为56.3%;第二类使用频率一般的是劝告工具和能力建设工具,占比分别是19.3%和13.0%;第三类使用频率较少的是权威重组工具和激励工具,占比分别为7.4%和4.0%(见图2)。可以看出政策工具的使用频率存在明显差异,命令工具是政策安排的重点,政策制定者偏重向政策实施者下达直接的行政命令,主要体现为一方面是规制性政策,对评价主体、对象和过程等制定出详细的要求,对越轨违纪行为的惩罚,发挥制度的震慑力;另一方面是对实践中出现的问题的纠正,通过提出强制性要求,以达到去除沉疴旧疾的效应。除了硬性的制度规制外,辅之以劝告工具,呼吁高校科研工作者提高自省意识,遵守学术诚信,自觉提升自身学术水平;强化学术共同体的学术自律和监督;作为科研评价主体的专家、组织单位等坚持公平、公正原则;倡导建立科学有序的评价环境。能力建设工具是实现科研评价公正、公平和评价结果合理的重要工具,主要体现在推动期刊建设,提升期刊对学术评价的把关能力、完善科研评价导向;提升评价机构的评价能力、改善分类评价标准[15];对评价委托者和实施者建立全过程质量控制和审查机制;深化科研评价理论研究等。权威重组工具的使用说明政策意在完善管理体制,对设置的机构根据实际情况增减权限,划定清晰的工作范围,例如将教师职称评审权下放至高校;在科学研究优秀成果奖中,调整评审委员会、奖励工作办公室的部分权限等。激励工具一般使用在根据评价结果对评价对象的奖励方面,因此使用次数最少。
从时间维度来看,命令工具的使用频率持续处于高位,劝告工具在起伏中呈下降趋势,能力建设工具呈持续增长趋势,权威重组工具和激励工具虽略有起伏,但变化幅度较小,持续处于低位。
2.科研评价要素维度分析
根据高校科研评价要素的维度对条款进行文献计量分析,得出各个要素的使用比例由高到低依次是:评价主体要素为21.5%,评价标准要素为19.7%,组织管理要素为18.2%,评价程序要素为13.9%,评价方法要素为11.2%,结果反馈要素为7.9%,评价对象要素为7.6%(见图3)。可以看出各类要素的配置结构相对均衡。其中涉及评价主体的内容最多,说明在政策安排中偏重对评价主体的规范和惩治,评价主体负责实施具体的评价工作,评价主体中人员的专业性和机构的完整性是科研工作顺利开展的前提,也是评价结果质量的保障,因而比例最高。评价标准和组织管理要素的分布比例次之,说明政策重视对各类科研项目、课题、人员制定评价标准,希望通过合理的评价标准既保障结果的公正,又发挥出评价的正确引导作用;组织管理要素的高频使用说明政策中较为重视完善相关制度,例如监督机制、信誉制度、政策联动机制等,从行政角度确保评价工作的权威性和公信力。评价程序和评价方法要素使用频率较低,原因是评价程序和评价方法具有一定的稳定性,在评价实践中变动性较小,这类要素的使用主要体现在增加评价方法的多元化,例如在应用和技术开发人才评价中突出市场和社会评价[16],提升评价结果的公信力。结果反馈和评价对象要素使用频率最低,说明对评价结果的应用以及对结果产生异议的举报申诉制关注较少;对评价对象自身的科研能力、道德水平等关注较少。
从时间维度来看,评价标准和组织管理要素的使用频率始终呈上升态势,评价对象要素的使用频率呈先升后降态势,评价主体要素的使用频率始终呈下降态势,评价方法、评价过程和结果反馈要素的使用频率无明显变化。
3.X-Y轴政策文本交互分析
从政策工具的交互使用来看,命令工具在科研评价每个要素中的使用频次均居首位,其中在评价主体中使用频次最高,是63次,其次是评价标准、评价程序和组织管理,分别为46、44和34次,说明政策侧重对科研评价的规制,对评价的管理单位、专家等有明确的资格要求和违规处罚,对评价标准和具体的评价评估步骤制定出严格的规定,反映出我国科研政策较为注重对目标对象的规范和约束。激励工具主要应用于评价对象、评价标准和组织管理要素,使用频次分别是6、5和4次,聚焦于对组织和个人做出重大科研成果设置什么奖项、对奖项设置的要求以及奖项的评审条件等。能力建设工具的使用主要以评价标准、组织管理和评价方法要素为主,使用频次分别是18、16和12次,关注重点在于改革现行的评价制度,改进分类评价方式、注重参与者的实际贡献率、突出创新成果和原创成果、增加关键技术的考核权重等,以此提升评价方法和评价标准的合理性。权威重组工具主要集中在评价主体要素的使用上,使用频次是16次,主要是对评价组织部门、实施组织的调整。劝告工具在各要素中分布较为均衡,较多使用于评价标准和组织管理要素上,两者的使用频次均是18次,在评价标准方面强化科学精神、道德操守、注重科研成果质量,反对急功近利、弄虚作假、学术不端行为;在组织管理方面主要是加强管理部门之间的协调配合,完善信息化管理等,做好科研评价的辅助管理工作(见表3)。
四、研究结论与政策建议
(一)研究结论
1.命令工具存在使用过溢倾向
从政策工具运用的比例来看,命令工具和能力建设、权威重组、激励工具的使用比例相差悬殊,命令工具占据政策安排的重点,虽然命令工具具有成本低、执行效率高的优势,但强制手段实施过度,易造成政策执行者一味遵照行政命令的规约,而忽视其他政策工具的实施,进而造成其他政策工具的挤出效应。另外命令工具本身具有弹性和灵活性不足的缺点,在实施过程中,容易导致在科研评价活动中忽视不同项目、人才的差异以及高校的自主建构,造成评价方法单一、程序僵化的情况。命令工具的过度使用造成能力建设、权威重组和激励工具的使用不足,说明政策中侧重科研评价宏观政策的完善,对辅助性条件完善不足。科研人员的激励关注不足,对评审专家的评价能力、科研人员的科研水平、我国科研评价理论建设缺乏重视。权威重组工具使用频率低说明政策的配套建设不足,内部机构调整有待加强。
2.评价对象和结果反馈要素政策供给不足
高校科研评价要素的使用比例中,评价对象和结果反馈要素仅占7.6%和7.9%,显示出政策对高校科研人员、科研项目等没有给予足够重视,科研评价政策中主要关注的是评价对象的条件、违法行为的惩治,但对科研人员自身的科研水平和学术道德的提升关注不足,对科研队伍的培养缺乏足够重视。结果反馈要素包括评价结果的应用,科研评价最终的结果是为促进科研创新和培育优秀科研人员,而非获得奖项和头衔,政策中关于评价结果的应用涉及较少。另外对于举报和申诉的内容虽有一定涉及,但只是提出基本的处理办法,没有说明具体的处理机构、处理举报的程序、对举报人实施的保护等;对于申诉的政策說明同样比较模糊,一般处理申诉的机构是评价委托方和监督委员会,缺乏更高一级的处理单位,且没有说明详细的处理流程,关于申诉方对于申诉结果不接受的后续程序也没有具体安排。
3.政策工具和政策目标匹配性较低
政策是一系列为达到特定目标的决定和行动,是价值的具体表达,涉及资源和权力的分配。从政策构成要素上看,任何一项政策均包括政策目标、手段、结果三个相互联系、相互影响的基本组成部分[17]。政府在制定政策时,一方面需要考虑政策工具的特性,另一方面需要考虑目标的内在属性,才能实现工具和目标的有效契合,减少实施的阻力。我国高校科研评价政策经历了从建立到快速发展的三个阶段,每个阶段的政策目标有所不同,政策工具和科研评价要素的使用重点虽有所调整,但没有完成系统化的调适。从时间维度来看政策工具的使用重点,缺乏整体规划和系统考量,往往是根据现实问题做的事后调整,政策内容的前瞻性和引领性不足,政策目标和政策工具的使用出现断裂。
(二)政策建议
1.完善政策工具的组合结构
政策工具的使用情境是环境较为复杂的高校,每类政策工具有其适合的應用情境和条件,在实际的政策制定中,使用单一的政策工具无法满足高校工作开展的需求,因此需要综合考虑多种影响因素,综合运用多类政策工具,发挥出政策工具的组合效力。[18]高校科研评价工作涉及政府、高校、社会等多方力量,政策环境较为复杂,各利益方之间充斥着合作与博弈,因此改变一味使用行政命令对政策进行强制推行的形式,需要增加政策工具组合的活力。增加能力建设工具的使用比例,增强评估机构的评价能力。现实中经常出现,评估机构无法完全理解政策内涵,曲解评价标准,导致评价结果偏离初衷,因此亟待提升评价机构和人员的专业性,增加第三方评估机构、社会评估的政策关照。第三方评估机构独立于高校和行政机构之外,具有独立性、专业性、服务性等特征[19],能够提升科研评价的质量。增加激励工具的运用,激发基层科研工作者、青年工作者从事科研的积极性;提升对科研诚信人员的奖励,营造扎实学风和严谨治学的学术氛围。
2.加强评价对象和结果反馈要素的使用
增强对科研人员和科研队伍的关注,提升对这一群体的扶持力度,改善科研人员的工作条件,促进其科研水平的提升,以此加强科研队伍的建设。目前的政策往往关注于对科研人才短期成果的奖励,忽视长周期成果的激励机制和人才队伍的培养机制[20],因此需要增加对人才培养和长周期科研成果资助的关注,为科研人员创造充分的鼓励探索、追求真理的条件,实现科研的重大突破,增强创新成果的国际影响力。增加结果反馈要素的政策供给。举报人是对科研评价过程实施监督的重要人群,健全举报制度和举报人保护制度,完善简洁便利的举报程序,确保举报人顺利行使举报权力以及自身权益免受侵害。健全申诉制度,建立完整的申诉途径,确保科研评价结果公平公正。
3.提升政策工具和政策目标的匹配程度
政策目标的实现依赖于政策工具的选择,根据政策的具体目标和阶段变化,选择适合的政策工具,提升政策工具选择的系统规划,发挥出政策工具之间的联动效应,避免因政策工具与政策目标之间不匹配出现结果的错位或冲突。加强对政策工具的效果评估,测量政策工具频次使用与政策目标实现程度之间的比例关系,及时增减政策工具的使用频次,在政策制定过程中,掌控好政策工具的使用频次,防止出现政策工具选择的过度或匮乏,无法完全实现政策目标。对政策工具的监控和调适也同样重要。一项政策的颁发需要及时监控政策的落实情况和进度,对政策提出严格的落实要求,制定详细和科学的监控标准,引入纠偏机制,建立一套严格的监控制度,出现落实不力和滞后的情况,适时调整政策工具,增强政策的可持续性。
参考文献:
[1]本刊编辑部.2019中国教育研究前沿与热点问题年度报告[J].教育研究,2020,41(2):17-32.
[2]朱军文,刘念才.高校科研评价定量方法与质量导向的偏离及治理[J].教育研究,2014,35(8):52-59.
[3]顾萍,夏旭,伍雪莹,白璐,钟泳如.高校科研评价指标体系构建研究[J].图书情报工作,2017,61(9):94-101.
[4]刘梦星,张红霞.高校科研评价的问题、走向与改革策略[J].高校教育管理,2021,15(1):117-124.
[5]蒋玉梅.全球科研评价体系的演进与发展:以美国、英国、澳大利亚、荷兰四国为例[J].国家教育行政学院学报,2013(9):81-86.
[6]刘兰剑,应海涛.基于立法的日本科研评价体系研究[J].科研管理,2017,38(4):145-153.
[7]黄萃,苏竣,施丽萍,程啸天.政策工具视角的中国风能政策文本量化研究[J].科学学研究,2011,29(6):889.
[8]MCDONNELL L M,ELMORE R F.Getting the job Done:Alternative Policy Instruments [J].Educational Evaluation and Policy Analysis,1987,9(2):133-152.
[9]弗朗西斯·C.福勒,著.教育政策学导论[M].2版.许庆豫,译.南京:江苏教育出版社,2007:231-235.
[10]邱均平,张裕晨,周子番.新时代我国科研评价体系重构中必须处理好八大关系[J].中国图书馆学报,2021,47(1):47-60.
[11]胡锦绣.高校科研评价制度的国际比较研究[J].科研管理,2015,36(S1):324-328.
[12]谭春辉,谢荣,刘倩.政策工具视角下的我国科技评估政策文本量化研究[J].情报杂志,2020,39(10):181-190.
[13]教育部关于深化高等学校科技评价改革的意见[EB/OL].(2013-11-26)[2021-01-20].http://old.moe.gov.cn//publicfiles/business/htmlfiles/moe/moe_784/201312/160920.html.
[14]关于破除科技评价中“唯论文”不良导向的若干措施(试行)[EB/OL].(2020-02-23)[2021-01-21].http://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html.
[15]关于深化高校教师考核评价制度改革的指导意见[EB/OL].(2016-08-29)[2021-01-21].http://www.moe.gov.cn/srcsite/A10/s7151/201609/t20 160920_281586.html.
[16]关于深化职称制度改革的意见[EB/OL].(2017-01-08)[2021-01-21].http://www.gov.cn/xinwen/2017-01/08/content_5157911.htm#1.
[17]孙海红,李东.从政策工具特性看现行义务教育师资均衡政策[J].清华大学教育研究,2012,33(2):92-95.
[18]刘宇佳,程斯辉.民国时期政府管理国立大学政策文本量化研究:基于政策工具的视角[J].湖北社会科学,2018(10):149-156.
[19]严萍.高等教育第三方评估机构的基本特征与建设路径[J].高教探索,2019(10):17-21.
[20]李立国.学术评价与教师治理[J].国家教育行政学院学报,2020(1):9-10.
(责任编辑 刘第红)
收稿日期:2022-04-07
作者简介:温虹,山东师范大学教育学部博士研究生;贾利帅,天津大学教育学院副教授。(济南/250014)