改革开放以来中国教育科研评价研究:现状、热点及趋势

2020-09-26 05:46
大学 2020年5期
关键词:绩效评价评价研究

该文章运用CiteSpace V 对从中国知网检索到的1979-2018年的469篇“中文核心期刊”及“(CSSCI)来源期刊”文献进行分析发现,中国教育科研评价研究经过了起步期、发展期和深化期。目前核心作者明显且主要分布在管理学领域,教育学领域的研究力量相对分散,核心作者和机构之间的合作联系不强;研究热点集中在高校科研评价、绩效评价、指标体系及数据包络分析方法的使用上。未来研究应加强学术共同体的建设,注重整体性研究,构建以创新、质量、社会贡献为导向的中国特色教育科研评价理论与实践体系。

2018年,习近平总书记在全国教育大会上强调,“要扭转不科学的教育评价导向,坚决克服唯分数、唯升学、唯文凭、唯论文、唯帽子的顽瘴痼疾,从根本上解决教育评价指挥棒问题”。可见,新时代中国教育要长期高质量发展,教育科研评价的优化与改革是重中之重。然而,现阶段我国教育科研评价在评价标准设立、评价制度构建、学术共同体自律、个人学术诚信建设等方面面临诸多现实难题,评价的权威性和科学性受到一定程度的制约,教育科研成果评价“重量轻质”现象颇受诟病,教育科研评价的指导思想尚未从“评优选拔的尺度”上转变过来,“为促进教育科研的发展而评价”“为促进教育质量的提高而评价”的指导思想仍未变成大多数教育工作者的自觉实践等问题仍旧存在。基于此,本文对1979-2018年“中文核心期刊”及“中文社会科学引文索引(CSSCI)来源期刊”中以“教育科研评价”为主题词检索到并经过人工筛选和和勘误后的469篇论文进行分析,以期了解改革开放以来教育科研评价研究的现状、热点及趋势,为后续研究提供借鉴与方向指引。

一、教育科研评价研究的现状

(一)发表时间分布

从文献数量的时间分布来看,国内有关教育科研评价研究整体呈波浪式上升趋势,可以大致划分为三个时期(图1-1)。

1.起步期(1979-2004年)

20世纪80年代,有关社会科学成果评价问题在全国范围内进行了多次会议研讨,逐步引起广泛关注,特别是社会科学管理部门、社科工作者、高校系统的关注。1988年,国家教委委托的高校研究机构评估方案课题组首次对高校科研机构评估指标体系进行了设计,由3个层次25条指标形成,并确定相应的权重和分值。[1]由此,1988年的3篇论文开启教育科研评价研究的大幕。到1994年,国家正式提出发展我国高等教育的“211”计划,学者们便开始对高等学校的科研评价工作进行研究。再到1997年,国家科技评估中心正式制定并颁布了《科技评估规范》,激起了社会各界对科研评价的关注。特别是2003年,科学技术部、教育部、中国科学院、中国工程院、国家自然科学基金委员会五部委联合印发了《关于改进科学技术评价工作的决定》,2004年颁布的《科学技术评价办法》进一步明确了科技评价的原则、目的、标准和监督机制等,针对科技活动中项目、机构、人员和成果如何评价等相关问题进行了系统性的规范,激起了社会各界对科研评价的关注。虽然这一时期科技评估逐渐得以重视,但是仍然极少有学者对教育科研评价进行专门研究。

2.发展期(2005-2010年)

伴随科研投入的不断增多和国家政策的陆续出台,这一时期教育科研评价迅速增加并出现两次明显的增长结点:第一次是2005年。论文数量首次超过10篇,是发文量跳跃增长的第一个结点。这与当时《关于进一步繁荣发展哲学社会科学的意见》《关于充分发挥高等学校科技创新作用的若干意见》《关于教育和科研评价要注重产出投入比的建议》等系列政策出台有密切关系。第二次是2010年。这一年,国务院颁布《国家中长期教育改革和发展规划纲要(2010-2020年)》第五条提出改进科技评价和奖励方式,完善以创新和质量为导向的科研评价方法,引起广大学者对教育科研评价的关注,掀起一个教育科研评价的高潮,发文量激增到42篇。

3.深化期(2011年—至今)

虽然2011年的发文量有所回落,2015年达到峰值47篇,随后又开始下降,但是整体而言教育科研评价进入深化发展期。这一时期,2012年,中共中央国务院颁布了《关于深化科技体制改革加快国家创新体系建设的意见》,指出要深化科技评价和奖励制度改革。2016年《国家创新驱动发展战略纲要》提出根据不同创新活动的规律和特点,建立健全科学分类的创新评价制度体系。2018年国务院《关于深化项目评审、人才评价、机构评估改革的意见》指出针对自然科学、哲学社会科学、军事科学等不同学科门类特点,建立分类评价指标体系和评价程序规范。一系列国家政策的相继出台,促进教育科研评价研究稳步往纵深方向发展。

图1-1 1979-2018教育科研评价领域年度发文量折线图(1979年至1987未见相关文献)

(二)主要作者分布

首先,通过发文量分析主要作者。如图1-2所示,发文量较高的作者为汤建民、刘在洲、邱均平、刘莉、杨光钦、周丽琴、刘贵华、柳劲松等。虽然研究者个人发文量极大程度反映了其在该领域的研究能力及成果,对该领域具有一定的影响力,但是高产作者不代表其成果的价值贡献突出。因此,本文以“文献半衰期”为评价标准对教育科研评价领域研究作者进行分析。“文献半衰期”是指某学科(专业)现实上在利用的全部文献中较新的一半是在多长一段时间内发表的。文献的半衰期越长,则代表文献越经典。最终统计出排名前10位的作者及其涉及领域(表1-1),发现邱均平、刘莉、汤建民、刘贵华、柳劲松、周丽琴、姜彤彤、王晓红、任全娥、刘在洲等人为教育科研评价研究作出了重要贡献,他们分别对科研效率评价、科研质量评价、科研绩效评价、科研评价制度、高校科研竞争力评价等方面进行了探索。

表1-1 教育科研评价研究“文献半衰期”排名前10位作者

其次通过连线分析研究者之间学术交叉与合作的关系。从图1-2中的连线可见,虽然学者们之间存在一定的合作研究,但是连线数量不多且细,密度仅为0.0222,这表明各个研究者之间合作的频次很低,研究力量分散。同时,各个研究者的主题分散,学术交叉研究程度不高,尚未形成较为集中的核心作者群。

图1-2 教育科研评价研究的作者聚类分布

(三)主要研究机构分布

在CiteSpace V 中选定网络节点Institution(机构),设置时区分割(Time Slicing)为“1979-2018”、时间切片为(Year Per Slice)为2,阈值为Top50,最终得到32个网络节点及4条连线、密度为0.0081的教育科研评价机构知识图谱(图1-3)。

图1-3 教育科研评价主题文献的机构聚类分布图

如图1-3所示,各节大小差距不大,连线较细而少,且密度只有0.0081,这表明在教育科研评价领域的研究机构整体上力量分布比较均衡,发文量及合作强度均较低。1979-2018年发文2篇以上的研究机构总共57个,其中武汉大学、上海交通大学、北京科技大学、浙江树人大学、哈尔滨工程大学、中国教育科学研究院等排名前10(表1-2)。我们可以发现,在发文量排名前5位的研究机构中管理学院占据3 席,而教育研究机构只有上海交通大学高等教育研究院。然而,在发文超过2篇的研究机构中,共有17所师范类院校或教育科研院所,表明师范类院校对教育科研评价研究的关注度高,具有较强的科研潜力,但尚未形成系统的研究成果。

表1-2 教育科研评价发文量排名前10位研究机构

二、教育科研评价研究的热点

通过共词分析法,在文献信息中提取能够表达文献核心内容的关键词频次的高低分布,可以分析出某一领域的发展动向和研究热点。[2]因此,本研究进行关键词分析,并选取前20位高频词(表2-1)。

表2-1 教育科研评价研究主题文献的关键词频次中心性数据(Top N=20)

从表2-1来看,由于“科研评价”在本文设置的搜索词范畴内,难以有效表征所研究的热点主题,故将它进行剔除。结果发现改革开放以来国内教育科研评价研究的热点主题为:高校科研评价、绩效评价、指标体系建构和数据包络分析使用。

(一)高校科研评价的问题

高校的科研评价问题主要集中在对科研竞争力、科研效率、科研管理等方面的评价。目前我国除了官方的“211”“985”及“一流”等评价外,不少社会组织也参与过高校科研评价工作,不过这些评价均缺乏可靠的信度和说服力。如何破除现有的评价格局,将所有高校置于更加公平开放的评价环境,是目前教育科研评价的重要内容之一。反观英美等国,已形成了自己独特高校科研评价体系。英国政府于2014年正式推行了“科研卓越框架”(REF)高校科研评估体系,该项制度是通过高等教育基金委员会对在英国高校中执行的科研活动质量进行综合评判,评价内容从“成果质量”“成果影响力”“科研环境”3个维度展开,目的是为保证并提高英国高校科研活动的质量和高校科研活动资助经费的使用效率。美国研究型大学内部的科研评价主要由美国国家科学院(NAS)创建的民间非营利组织“国家科学研究委员会”(NRC)主持进行,评价包括大学特征、博士项目特征和参与项目人员三个方面。针对目前我国实际情况,学者们认为高校科研评价的重点在于如何评价学科专业方向设置的科学性、教师的整体水平和创新能力、国内外合作与交流情况、科研条件便利性、成果论文产出的水平以及在国内外相关领域的地位和影响等。也可围绕工作进度、投入人力、经费使用等方面开展科研管理评价,同时通过评估其在创新人才培养、创新科学价值、经济效益和社会效益情况对高校科研效率作出客观评价。[3]然而,高校科研评价涉及多方权责利,如何确保评价结果的科学性、可信性及说服力依然是教育科研评价的难题之一。

(二)绩效评价的问题

教育科研的绩效评价问题主要包括科研经费投入与产出比的评价、高校教师科研绩效与能力评价等。随着教育科研评价从对“量”关注转向到对“质”追求,以获得科研潜力和科研产出效率为导向的绩效评价逐渐成为研究热点。[4]教育科研的绩效评价是20世纪50年代开始的,其产生的原因是国家对高校办学效率的关注,绩效评价结果直接或间接影响政府对高校科研资源的投入。国内对于科研绩效评价的研究起步较晚,但近年来发展速度较快。2003年,国家财政部印发的《中央级科教文部门项目绩效考评管理试行办法》中,将绩效考评管理引入到科教管理中来。许多学者在科研绩效评价目标、评价内容、评价方法和评价指标的确定上做了大量的探索与实践。例如樊华用改进后的DEA与PCA方法,建立科研绩效评价模型,重点分析了高校的科研绩效问题。[5]于宁则构建了两个层次的科研支出绩效评价指标。[6]李俊杰认为高校教师科研绩效量化考核是个复杂的过程,现在以发表论文的数量、所发期刊的级别和影响因子、课题立项的级别和次数等为衡量标准的考核制度过于简单,并且评价过于频繁和密集,很容易诱发教师急功近利的行为。[7]虽然目前研究成果丰富,但第三方独立评价体系还未真正形成、评价方法的局限、绩效评价指标选取时的权益矛盾等问题依然存在,值得研究者深入探索。

(三)指标体系建构的问题

评价指标体系的建构问题主要涉及的内容包括指标选取的原则、权重赋值及测评等。我国科研评价经过行政评价和同行评议阶段后,步入指标量化评价阶段。这种评价针对不同的评价对象制定不同的评价指标,赋予不同的权重,由同行专家评价打分,最后的得分作为同行评议的重要参考。在评价指标体系建构中,评价指标的科学选取和权重的科学计算决定了评价体系的科学性、可操作性和适应性。评价指标的组成和权重的设计不可一并而论,需要根据三方面的变化进行适应性调整:一是我国教育科研评价需要遵循的基本原则;二是根据我国教育科研现状与未来的发展方向;三是根据评估客体和目标的特征。在指标选取上,有学者认为教育科研质量是教育科研的固有特性满足需要的程度,应该从教育科研条件、教育科研内容和教育科研成果来建构质量评价标准的总体框架。[8]此外,刘仁义、陈士俊提出四大类评价指标:论文、专著、专利授权、成果鉴定、技术转让、人才培养等为源生指标。[9]也有学者认为人文社会科学科研评价主要围绕论著数量、论著被引用次数、影响因子这几项科研评价基本指标,建立一套完整的人文社会科学科研评价指标体系。[10]总体而言,学界普遍认为评价指标体系建设应更加关注教育科研质量和创新,鼓励发表高质量的研究成果,减少重复的、低水平的研究,同时注重教育科研对人才培养的贡献度,突出教育科研更好地为人才培养服务的价值导向。

(四)数据包络分析使用的问题

数据包络分析的使用问题集中在科研效率、科研绩效等领域。从关键词分析可见,数据包络分析是中心性和频次较高的关键词,可见其在教育科研评价研究领域的影响力。数据包络分析(简称DEA)是教育科研评价的一种方法,是由著名的运筹学家Charnel,Cooper 和Rhodes 于1978年创立的,度量多指标投入和多指标产出决策单元(Decision Making Unit,DMU)相对效率的综合评价方法。[11]它无需顾及中间环节的过程数据,只使用初始数据和终端数据,操作简便,因此它一经问世,就被广泛应用在各领域的绩效评价中。就国内研究而言,最早使用数据包络分析的是肖承忠于1988年用数据包络分析(DEA)方法进行企业管理的比较研究。[12]数据包络分析用于教育科研评价则较晚。2007年,段永瑞、霍佳震用数据包络分析模型对我国50所重点院校的科研绩效进行了评价,他们认为在应用DEA 进行相对有效性评价时,单单利用一种方法进行评价是不够的,需要应用多种方法进行比较分析,以防由于方法本身的原因将“伪度”较大的院校判定为真正有效的。[13]沈立宏、赵怡运用数据包络分析方法,通过采集2013年高等学校统计资料汇编中的相关数据,对我国各地区地方高校科研投入产出绩效进行了评价,他们认为数据包络分析方法是现代决策、评价领域中一项非常重要的研究工具。[14]数据包络分析对于数据有较高的敏感度,各评价指标无需单位相同,去除了人为确定权重的主观因素,因此成为了科研评价领域的研究热点。学者们对量化分析方法的热衷,也使研究步入了一种误区,对教育科研评价过于强调这种精细的定量处理是否全面,又是一个新的研究主题。

三、教育科研评价研究的趋势

为了厘清教育科研评价研究主题的演进趋势,首先根据时间趋势对研究热点进行分析,形成研究时区图(图3-1);其次进行突现性检测,并按突现值排序,得到排名前14位的关键词突现情况(图3-2)。

(一)从评价体系的整体研究到评价环节的重点研究

从时区图可以看出,国内学者的研究呈现从评价体系的整体研究转向评价环节的重点研究。20世纪末期,科教兴国战略为教育科研发展注入了新活力,特别是高校211工程实施后,此时亟需一套评价体系去激励促进教育科研成果产出。因此,此时研究多集中于高校科研评价体系的整体建设工作。从关键词突现图也可以看到“高校(Burst=4.2839)”属于突变强度高且热度持续时间很长。这时期对评价存在的现状及问题论述居多,几乎涉及到高校评价的所有要素,且宏观综合性的研究较多,即在一个研究中涉及评价体系的方方面面,而针对评价体系中具体某个环节的专题研究偏少。进入21世纪,在继承上一阶段研究成果的基础上,学者们又进行了更为细致的研究,既有关于评价主体、评价客体、评价方法、评价流程等评价体系内容的综合性研究,又有针对评价体系中某个具体环节的专项性研究。学者的研究重点放在了局部完善方面,“高校教师”(Burst=4.0244)、“科研能力”(Burst=4.0244)、“科研成果”(Burst=3.6836)等成为研究前沿。

(二)从宏观综合性研究到具体评价技术研究

从时区图和关键词突变图可知,进入21世纪以来,讨论评价指标体系、科研绩效与成果评价的文献量排在前列,并且大大超过其他主题的研讨频次,“科研绩效评价”(Burst=2.4944)、“指标体系”(Burst=2.4795)也成为高突变强度的热词。随着时间的发展,学术界对教育科研评价的研究由前期的宏观的综合性研究逐渐转向对教育科研评价技术的研究,试图用最科学有效的技术对科研绩效、科研成果进行评价,带有明显的技术趋向。目前最常用的评价方法包括同行评议法、文献计量分析法、模糊综合评价法、主成分分析法等,有学者进而提出了一种新的客观赋值科技评价方法,即独立信息数据波动赋权法,进一步丰富了现有评价方法体系。[15]同时在评价指标体系上也做了充分技术探讨,尝试用DEA、层次分析法、指数评价法、层次分析法等来构建可量化的评价指标体系。总而言之,相关文献中逐渐出现的大量评价技术研究,虽各有侧重点,但是并未形成统一的评价体系与方法。

(三)研究对象类别趋向细分

从时区图结果显示,教育科研评价领域的研究对象类别发展了变化,由前期聚焦对高校科研评价现状进行剖析到对不同类型高校进行科研评价探索。因此,研究型大学、民办本科、独立学院、高职院校等领域得到关注。学者们普遍认为要针对不同评价对象的特点,进行分类评价,避免“一刀切”式的评价模式。对于不同类别高校科研活动的绩效,开展分类评价和监督评估,将有助于国家有效合理投入和管理科研经费和科研人力资源。例如,如有研究将某地不同类别高校(“985”高校、“211”高校以及地方高校)为研究对象,用Pearson简单相关分析和Logistics回归拟合,得出了不同类别高校科研绩效差异预测的点估计和95%Wald 可信区间估计范围情况预测概率与观测值之间的关系,定量地解释了不同类别高校科研绩效的差异与发展趋势。对不同类别的高校开展针对性研究,有利于精准地促进各类学校教育科研的改革与发展。

图3-1 教育科研评价研究主题文献时区视图

图3-2 教育科研评价研究主题文献的关键词突现图(1979-2018)

四、研究结论与展望

从研究概况看,国内对教育科研评价研究的时间不长,目前正处于深化与增长时期。期刊承载量从2005年开始进入增长期,但是还是存在“量少质不高”的问题,且核心作者主要分布在管理学领域,教育学领域的高产出作者相对较少,研究机构与作者之间的合作较少,研究力量分散。然而,新时代教育问题的复杂性和综合性,要求教育科研评价的研究必须走向多学科交叉融合,促进重大原创性科研成果的产生,从而服务于国家战略和社会重大需求。[16]因此,建议以教育科研项目作为桥梁,在项目申报和结题评审时,增加学术合作及学科交叉的权重,促进各研究机构之间的合作及多学科交叉融合研究,从而产生具有影响力的创新性成果。此外,可以选择知名学者加强其长程联接,深化多领域学者紧密合作,以完善整体的学术合作网络,最终促进科研整体质量和水平的提升。

从主题聚类看,主要包括高校科研评价、绩效评价、评价指标体系建构、数据包络分析使用等4个热点领域。这些研究从不同角度探索教育科研评价的内容与方法,但还未形成适应中国国情的教育科研评价体系。然而,教育科研评价实践的迅猛发展带来了紧迫的研究诉求:其一,现有研究侧重于对高校的科研评价,其它类型的机构很少涉及,对教育科研项目评价、教育科研人才评价也缺乏关注。其二,目前有大量的评价指标研究,但统一的评价指标体系还未形成。新时代的教育科研呈现出多学科交叉、参与主体多元化、成果质量难以定量等特点,相应的评价也应基于不同科研项目类型、不同研究阶段、不同的成果形式等各个方面、各个维度的特点进行分类评价。因此,如何综合考虑这些因素,设计出高信度、高效度、适用性强的评价指标,是一个研究突破口。其三,目前研究者们围绕教育科研绩效评价做了大量的研究与探索,包括评价目标、评价内容、评价方法和评价指标等。然而,科研绩效评价不是目的,而是手段,且在很大程度上决定着科研事业的发展方向和科研工作者的积极性。如果没有相契合的激励机制,评价结果就缺乏针对性,评价活动难以实现促进教育科研事业发展的目的。因此,未来的教育科研评价研究离不开对激励机制的探索。

从研究趋势看,国内教育科研评价研究具有较强的延续性和关联性,“高校”“绩效评价”“指标体系”持续是热点,“高校教师”“科研能力”“科研成果”等关键词是当前教育科研评价研究的最新前沿主题。总体上来说,教育科研评价研究趋于局部性的、具体技术的以及分类的研究。然而,新时代教育科研评价是以推动教育科研的高质量发展为目标,是一个整体性、全局性问题,不应仅停留在“技术性”层次研究,更应关注潜在的社会、经济、政治、环境等方面的影响,努力建设以创新、社会贡献、质量为导向的中国特色教育科研评价理论与实践体系。

注释:

[1]刘文达,台忠智,李光泽.浅谈高校科研评估体系的构建[J].科技管理研究,1999,(1):3-5.

[2]李杰,陈超美.CiteSpace 科技文本挖掘及可视化[M].北京:首都经济贸易大学出版社,2016:194.

[3]朱玉.高校科技统计和科技评价[J].天津医科大学学报,2004,(S1):251-252.

[4]李强,郑海军,李晓轩.科技政策研究评价方法评析[J].科学学研究.2018,(2):221-227+295.

[5]樊华.DEA/PCA模型在科研绩效评价中的应用[J].淮海工学院学报(自然科学版),2005,(2):81-84.

[6]于宁.我国科技研发支出绩效评价体系设计 [J].商业时代,2006,(2):7+18.

[7]李俊杰.高校教师科研绩效评价存在的问题及改进[J].教育发展研究,2011,(7):74-76.

[8]刘贵华,柳劲松.教育科研质量标准:总体框架与内涵表达[J].教育研究与实验,2013,(5):1-6.

[9]刘仁义,陈士俊.高校教师科技绩效评价中指标与权重的设定[J].科研管理,2007,(S1):39-44.

[10]张国春.借鉴国际科研计量评价方法 构建新的人文社会科学科研评价体系[J].社会科学管理与评论,2001,(1):23-28.

[11]CHARNES A,COOPER W W,RHODES E.Measuring the Efficiency of Decision Making Units[J].European Journal of Operational Research,1978,(2):429-444.

[12]肖承忠,许伟,周云雁.用数据包络分析(DEA)方法进行企业管理的比较研究[J].上海机械学院学报,1988,(3):23-30.

[13]段永瑞,霍佳震.基于数据包络分析的高校科研绩效评价[J].上海交通大学学报,2007,(7):1074-1077.

[14]沈立宏,赵怡.基于数据包络分析的地方高校科研绩效评价[J].高等工程教育研究,2016,(3):147-151.

[15]朱紫巍,朱永林.国内外科技管理评价方法的比较研究[J].经济研究导刊,2015,(2):252-254.

[16]宋华明,常姝,董维春.美国高校推进学科交叉融合的范例探析及启示[J].学位与研究生教育,2014,(9):73-77.

猜你喜欢
绩效评价评价研究
FMS与YBT相关性的实证研究
基于DRGs的老年医学科医疗服务绩效评价分析
公路工程造价管理绩效评价指标体系研究
企业内部审计绩效评价体系的优化建议
《新预算法》改革背景下地方政府财政支出的绩效评价研究
谁说小孩不能做研究?
A Thought:What have We Learned from Natural Disasters? Five Years after the Great East Japan Earthquake
对周期函数最小正周期判定法的研究与应用
2006—2016年度C—NCAP评价结果
2006—2015年度C—NCAP评价结果(3)