徐梦佳,赵立莹
■教育学
元评估视角中的审核评估
徐梦佳,赵立莹
(西安建筑科技大学 职业技术学院,陕西 西安 710000)
在2018年年底落下帷幕的本科审核评估,对于我国多年来的学科评估来说,是一个很大的突破与创新,一改以往一个标准衡量所有院校的风格,开始采用“一个学校。一把尺子来量”的评估形式,不设标准,不评级,是审核评估最大的特色,然而在审核评估结束后,学术界对于审核评估的研究大多局限于分析它与水平评估的区别与其优势上,利用元评估的先进视角对整个审核过程进行客观分析的研究却很少。本文采用斯塔弗尔比姆提出的元评估模型,对本轮本科审核评估的评估目标、评估标准、评估过程、评估结果等方面进行了客观分析。分析出审核评估的优点与不足,促进我国学科评估的改进与完善。
元评估;审核评估;教育评估
我国高校评估工作始于二十世纪九十年代,历经二十多年,先后开展过合格评估、优秀评估、随机评估、水平评估、审核评估等几种不同的教育评估。但若从评估的自身特点与效果两方面来看水平评估与审核评估最为典型。本科审核全称“普通高等学校本科教学工作审核评估”[1],开始于2013 年并于 2018 年年底结束,大约有六百多余所高校参加,包括了接受过水平评估的所有高校。在笔者看来,审核评估与其他类型的评估,既一脉相承,又有其自身的创新与发展。在评估理念、标准、内容、方式、评价结果的应用及专家小组成员的组织等方面都做了一系列的调整和改变,表明我国对高等教育工作与评估工作在理论上有了新的发现与认识,在实践上有了新的发展。审核评估全面总结和借鉴了以往评估的相关经验,深入反思并汲取了水平评估的教训,是我国高校教学评估实践开创出来的新大陆,更是教学评估理论认识水平的新高度。在本文中,笔者尝试运用元评估模型对审核评估进行客观的分析与研究,促进我国评估工作的进一步发展与提升。
评估是问责的方式,同时也是被问责的主体。社会公众对于评估效果的怀疑,使得元评估作为评估质量保障的最终环节,出现在了大众的视野中,它的目的是对整个评估过程进行有效的评价,提出有效的改进方法,促使评估在今后发挥更佳的作用,斯克利文也曾指出,元评估是对评估过程或者评估手段的整体评估,其目的在于服务高层决策与问责[2]。斯塔弗尔比姆在研究时发现,完善元评估环节,可以为评估者提升整个评估相应的质量保障机制[3],此后,斯塔弗尔比姆先后建立了元评估标准模型,并相继提出元评估实施策略,后来在这两大理论的支撑下,他于2013年提出了元评估逻辑结构模型。这些理论都成为元评估发挥其重要作用的有力支撑。想要不断提升我们的评估的效力,就要源源不断的改善元评估的理论模型。
近年来,许多国家通过使用评估理论,对自己国家的教育评估工作进行评估,使得原本的评估系统效能得到了很大的提升。定期组织评估,邀请专家小组对于评估系统进行批判反思,广泛吸收社会各界对于评估的看法与意见。整合形成了具有指导性意义的元评估质量报告。促使评估方式在继承中得到创新。效能就会持续不断的增加。在国际上,这一评估方式已经逐渐成为一个先进、高效的代名词。作为问责、改进、提升评估系统的主要手段。元评估在近50年的实践中,有效的提高了评估在实践应用中的效能与质量[4,5]。
纵观我国几次规模盛大的学科评估,均缺乏元评估的环节,使之处于一种非闭环的运行系统中,虽然近几年的评估有改进的趋势,但是并不明显。利用元评估的评估标准,对本科审核评估进行客观的分析,有利于回应社会对于学科评估的期望与关注,引导社会各界利益相关者对于评估进行客观有效的质量价值判断。提升学科评估的有效性。元评估是对评估系统运行的质量的客观判断。也是对学科评估的优劣的判断。因此,本文将利用元评估模型对本轮本科审核评估的评估目标、评估标准、评估过程、评估结果等方面进行客观的分析[2,6]。
我国的高校教学评估一直以来是以教育部主导的,起初于1990年发布的《普通高等学校教育评估暂行规定》中提出的以先试点后全面推广的形式开展。于1994年,针对1976年以来建立的高等院校的合格程度的评估。1996年开始了针对国内近一百所大学的优秀评估。1999年启动了介于两者之间的高等院校随机性水平评估,当时就有将近260所高校参与本次评估。紧接着教育部出台了《2003-2007年教育振兴行动计划》和《普通高等学校本科教学工作水平评估方案》两个指导性文件,全国于2002年开始将合格评估、优秀评估、随机性水平评估整合在一起,明显提高了我国教育评估的规范性。评估范围也从试点评估向全面评估过渡。水平评估与院校评估是全面评估的两个主要方式。于2003年开始的水平评估历时5年的时间,对近600所高校进行了评估,在2008年落下了帷幕。在经过总结经验,继承创新后教育部于2010年发布了《国家中长期教育改革和发展规划纲要(2010-2020年)》和《关于普通高等学校本科教学评估工作的意见》两部文件。标志着水平评估将要向着更加完善的院校评估演变。在更加完善的院校评估中合格评估与审核评估是两个重要的组成部分,新一轮的合格评估于2010年开始,这一次的评估仅仅是针对未参加过各类教学工作评估的本科院校开展,要求只要参加水平评估并且获得“合格”的院校,才有资格参加审核评估环节,或者是参与过合格评估并且获得“通过”结果的新建本科院校,需要在5年后申请审核评估。截至2018年,接受审核评估的院校预计达到800所。综上可以看出,合格评估其实是属于认证的一种,只要达到“国家标准”后就是通过的。而水平评估则是属于评级的一种,只要是看所评高校处于什么样的水平上,借此来划分等级[7]。审核评估则是主张院校要达到自己设定的目标。不会设立评估等级。就像接受身体检查一样,只会告诉你哪里出现了问题,出现了什么样的问题,并不会由此就把人划分为三六九等。
我国本轮本科审核评估中的重点词汇是“审核评估”,目前公认的英文表示应译为“Audit”。审核评估一词最早出现在财务审计中,于十九世纪初期由英国大学校长委员会主席斯图尔特·萨瑟兰(Stewart Sutherland)教授带入到高等教育的领域。最初的目的在于将大众的视角转向学术领域的审核评估,区别于以往的同行评价。其次就是希望将财务审计中的审查方法运用于教育评估中,在财务审计中,主要是通过详细的调研、广泛抽样与员工座谈询证进行审计。审核评估进入到大学环境中,旨在将座谈与询证的对象换为学生与教师还有其他的利益相关者。考虑到利益相关者(被评估与被教育的者)的意见采纳。阅读了我国有关本科审核评估的相关文件,不难发现我国将审核评估的重点放在“对学校人才培养目标与培养效果的实现状况进行评价”,可以看出本次评估对于目标达成度的关注度是很高的[8]。
相较于国际上的审核评估流程,我国的审核评估流程基本与之是保持一致的。我国的高等学校定期进行一次本校的人才培养质量保障体系的内部审核,本校的内部审核结果是学校进行外部审核的前提与基础,外部审核评审专家团进校参观与考核的相关工作是建立在学校的内部自评的基础上的。在外部审核开始之前,需依据教育部评估中心修订的评估方案及指导意见,进行审核专家的甄选与培训,并且会在正式审核之前先进行模拟的评估,通过考核达到合格后才能正式参与到审核评估的过程中。第二步,评审专家小组要对申请院校的人才培养质量保障体系自评报告进行审阅,如果院校存在较大的问题,则向高校提出修改意见,并在整改一年后才可以再次申请外部审核评估。第三步,申请审核评估的高等学校需要提供近三年的学校内审报告文件以及相关证明支撑材料,并且参照着审核评估的相关方案进行全面的自评,并撰写自评报告。在专家小组进校考察的前两周时间提交,以供专家进行审阅。自评报告是专家小组进校考察的重要依据,专家会依据自评报告对学校进行重点项目的考察。第四步,专家小组对于考察审核结果出具审核评估写实报告,主要是要列出审核评估过程中存在的不足与缺点,要求学校根据写实报告出具整改的方案,并进行积极地整改,如果存在严重的问题,则要求在一年的整改期后,专家小组再次进校考察进行审核评估。主要考察的是提出的问题有没有落实整改,且整改的效果如何。检验被评估对象是否达到了自己设立的标准[9,10]。
根据教育部的文件显示审核评估具有“6+1个项目(定位与目标、师资队伍、教学资源、培养过程、学生发展、质量保障、学校自选项目)、24个要素、64个要点”的评估范围。但是均未给出具体的评估标准,力求将统一标准向多项标准转变。其次,根据教育部出台的文件规定,审核评估过程中重点考察的对象是“五个度”,即:办学定位与人才培养目标与国家和区域经济社会发展需求的适应度;培养效果与培养目标的达成度;教师与教学资源条件的保障度;教学与质量保障体系运行的有效度;学生和用人单位的满意度。本着以学生为中心的核心理念。督促学校建立强化自身的质量保障体系,只有学校有意识的去健全本校的质量保障机制,师资力量、教学资源、优秀生源等一些外部因素才会达到更高的利用率。在整个审核评估的过程中,已经将质量保障系统的设立与完善单独的设为一个审核考察的项目,并在其之下设立了二级考察项目:质量标准、质量组织、质量监控、质量信息、质量反馈、质量改进等。审核评估作为一个有力的外部助推手,引导高等院校在根据国家与区域的要求并结合自身的特色,建立起并完善自己的质量保障系统[11]。
在审核评估中,由高水平的第三方专业机构实施评估,使得地方教育行政部门、评估机构和学校自身的职责分开。因此在评审过程不会耽误学校教学制度的正常运行,保障了地方教育行政部门工作有秩序的开展,不会因为审核评估的评审工作而耽误各个单位的日常工作,做到各司其职。因为第三方人员的加入,在整个评审过程中,专家小组更加关注实证研究,将以往的“走马观花”的考察向注重审查支撑材料方面进行转换,以观察者的身份加入到深度访谈的评审方式,避开了利益相关者的身份,体现出评审的客观性与公正性,同时也提高了最后的写实报告的认可度。第三方专家评审的参与,更加注重评审的透明度与独立性。减少政府的参与度,评审小组的考察范围、考察对象、考察时间与地点等都会变得更加自由,由此得到的第一手资料再结合学校的自评报告,可以得到更加全面的评审结果。在一定程度上也保证了审核结果的真实性与客观性。
以往的评估中,学校大多存在隐瞒问题、虚报问题、缩小问题等现象,将真实的情况避之不谈,致使评估一轮接一轮的开展,办学过程中的问题却没有得到很好的解决。本轮审核评估最大的特点就是鼓励学校自己提出自己的特色,自己提出自己的问题,引导学校根据自身的问题积极的提出解决方案。在解决问题的过程中,审核评估只作为一个监督者,并不是判定者。最大的作用就是监督与督促。只提供问题解决对策,并不会做出等级的判定,这样避免了高校在以往评估中存在的“攀比心理”。学校在面对审核评估专家小组进校考察时就会放下以往的心理压力,轻松的面对评审小组。更加不会将自己的问题隐藏起来,而是将自己的问题提出来,与专家小组进行商讨,因为他们明白,参加审核评估更多的是为了自身的发展。在整个评审的过程中,高校是怀着积极的态度来应对审核的。高校要放下戒备,更好的展现出真实的自己[11]。
党的十九大报告指出,我国高等教育发展要加快双一流建设,“实现高等教育内涵式发展”。从这里可以看出新时期我国“双一流”建设的方向是“内涵”建设,而高等教育发展的方向是“内涵式”发展。然而什么是高校“内涵式”发展?高等“教育内涵式”发展的这个概念的提出相对其他的概念来说是比较早的,它是一个发展的概念,在不同历史时期、社会背景、经济发展状况及高等教育的不同发展时期,其含义是不同的。20 世纪 90 年代,我国第一次正式提出高等教育“内涵发展”这一概念,就当时的经济发展水平与国际外部环境背景来看,“内涵式”的含义是提高办学效益,在原有的高校规模下,不断发掘自身的潜力,积极扩大高等教育的容量。在2002年时,我国的高等教育已经逐渐走向大众化,高等教育的毛入学率已经提升至15%。比起之前提出的“内涵式”发展,开始强调质的发展,开始从量变向质变转化。现如今“内涵式”的发展的核心就是关注高等教育的质量[12]。
本次审核评估,放弃了对学校的排名与等级区分,开始将目光转向院校的办学质量,督促院校建立自身的教育质量保障系统,审核评估并不是直接评估本科教学质量与人才培养的质量。而是通过评估高校人才培养的“五个度”,来间接评估学校人才培养的质量如何。避免院校之间为了追逐“高名次”而产生的攀比心理,避免学校把力气都用在“挣高分”的工作上。审核评估引导高校认识到,高校是培养人才的地方[11]。
用元评估的视角对审核评估来进行分析,笔者发现,审核评估虽然相较于水平评估来说,有了很大的进步,在审核目标方面,更加贴近了社会的现实需求,督促高校“内涵式”发展,为社会发展供给有质量的人才,在审核方式方面,采用先自评,再进校考察,最后提交写实性考察报告的步骤,依次进行审核。更加具有客观性。在审核标准方面,采用“一校一标准”的评审标准,对于不同学校采用不同标准,做到最大程度的公平。总之,我国本轮的审核评估最大的特点是:不设标准,不评等级,不搞一次通过的模式。然而,审核评估还是存在一些不足的。例如:评审专家的素质层次不齐,会影响评审的结果;评审的结果也并没有最大程度的公开,使得评审的结果没有被社会大众所知晓;最后,审核评估的结果,会陈列一些学校存在的问题与不足。主要是一些写实性东西,但是在报告的使用上,学校的高层管理人员,并没有对审核评估的结果合理的使用。使得审核评估的最初目的大打折扣。
审核评估,做为一个“舶来品”,在我国已经落地生根了,我国的审核评估不仅继承了国外有关审核评估的先进思想,结合我国高等教育自身的发展情况,创设了以学生为中心,以问题为导向的具有中国特色的本科审核评估,在促进我国高校内部教育质量保障体系的构建有了很大推动作用。对于提高我国高等教育质量有很大的促进作用。虽然也存在一些问题,相信如果能在今后的评估工作中加入元评估这一重要环节,我们的教育评估会越来越完善。我国的高等教育发展也会越来越完善。
[1] 刘振天.从水平评估到审核评估:我国高校教学评估理论认知及实践探索[J].中国大学教学,2018(8):4-11,25.
[2] 赵立莹.问责与改进:我国第四轮学科评估元评估[J].学位与研究生教育,2018(2):32-38.
[3] SCRIVEN M.An introduction to meta evaluation[J].Educational products report,1969(2):36-38.
[4] 赵立莹.效力诉求:美国博士生教育质量评估体系的演进[M].北京:科学出版社,2014:1-164.
[5] 赵立莹.高等教育评估国际化:动因、特征、指标[J].西安电子科技大学学报(社会科学版),2015,25(5):107-111.
[6] 赵立莹.有效性诉求:美国教育评估研究发展的内在动力[J].大学(研究与评价),2009(1):58-62.
[7] 陆根书,贾小娟,李珍艳,等.改革开放40年来中国本科教学评估的发展历程与基本特征[J].西安交通大学学报(社会科学版),2018,38(6):19-29.
[8] 高桂娟,吴雅璇.国际视野下的高校本科教学审核评估:比较与鉴别[J].中国地质大学学报(社会科学版),2017,17(4):157-163.
[9] 张安富.本科教学工作审核评估的再认识及持续改进[J].高教发展与评估,2018,34(3):18-25.
[10] 魏饴.本科教学工作审核评估新论[J].湖南社会科学,2017(5):174-179.
[11] 董垌希.本科教学审核评估对高校内部质量保障体系建设的启示[J].现代教育管理,2019(6):56-59.
[12] 杨秀娟.“双一流”建设中高等教育内涵式发展路径探析[J].黑龙江高教研究,2019(8):11-14.
Audit Evaluation from the Meta-evaluation Perspective
XU MENGJIA, ZHAO LIYING
The undergraduate review and evaluation that came to an end at the end of 2018 is a great breakthrough and innovation for the subject evaluation in China for many years. It changed the previous standard to measure the style of all colleges and universities and began to adopt “one school. The form of evaluation with a ruler, without standards and ratings, is the biggest characteristic of audit evaluation. However, after the audit evaluation is over, most of the academic research on audit evaluation is limited to analyzing its differences with level evaluation and its advantages. On the other hand, there are few studies on objective analysis of the entire audit process using the advanced perspective of meta-evaluation. This article uses the meta-evaluation model proposed by Staffel Beam to objectively analyze the evaluation goals, evaluation standards, evaluation process, and evaluation results of this round of undergraduate audit evaluation. Analyze the advantages and disadvantages of audit evaluation, and promote the improvement and improvement of subject evaluation in China.
meta-evaluation; audit evaluation;education evaluation
G647
A
1008-472X(2019)04-0114-05
2019-08-29
陕西教育科学规划课题“陕西省教育现代化指标体系及实施路径”(编号:SGH17H076)。
徐梦佳(1994-),女,陕西西安人,西安建筑科技大学职业技术学院,硕士研究生,研究方向:高等教育评估;
赵立莹(1972-),女,陕西西安人,西安建筑科技大学公共管理学院教授,陕西师范大学博士后,研究方向:高等教育评估、教育质量保障。
本文推荐专家:
袁利平,陕西师范大学,副教授,研究方向:高等教育。
张小亚,西安交通大学,副教授,研究方向:高等教育。