省级巡视诊断的元评估:影响分析及建议

赵立莹,黄婷婷



省级巡视诊断的元评估:影响分析及建议

赵立莹,黄婷婷

（西安建筑科技大学；西安建筑科技大学职业技术学院，陕西西安 710055）

本文用元评估的理论模型，通过对HQ学院参加S省巡视诊断评估的案例描述，对此次巡视诊断评估的有用性、影响力等进行了分析，并为此次巡视诊断评估的元评估提出对策建议：建立评估者与高校的交流平台，促进评估结果的利用和评估方法的改进；邀请全国性专业评估机构进行元评估，改进评估方法和策略；加强省级高等教育评估中心建设，提高评估价值判断的能力。

巡视诊断；评估；元评估；影响力

一 、引言

政府是大学最重要的外部利益相关者，彼此间因利益共生逐渐形成一种战略性的合作伙伴关系。大学作为资源依赖型组织客观上需要依赖政府和社会提供的物质资源寻求发展。政府也有权监督资源的使用效果，对大学发展状况和办学质量进行审核[1]。政府对大学进行适度的干预和宏观调控有利于最大限度地保护公共利益，促进大学资源优化。同时，大学作为社会发展的轴心机构，在自律与他律合力作用下寻求质量提升是其保持核心竞争力的现实需求。政府组织的高校巡视诊断则是政府监督和规范高校发展的基本手段。为此，S省于2014年启动高校巡视诊断工作，成立巡视诊断专家组，进入55所高校，围绕人才培养中心任务，从教学工作切入，对学校的办学思路、师资队伍、教育质量等情况进行巡视诊断。聚焦关键领域、薄弱环节，提出针对性意见建议，形成巡视诊断报告[1]。2015年年底，此次巡视诊断工作结束。高等教育评估是对教育价值的判断，也是高校规范发展的现实需求。但是在我国评估实践中，政府驱动的评估带着良好的愿望实施之后，却未必能达到理想的效果，甚至会遭受非议。比如2006年教育部启动的本科教学水平评估，虽然在规范高校发展上发挥了积极的作用，但是由于过于注重输入性指标而被片面评价为“对正常教学活动的干扰”、“是对教学投入的评价”[2]。由于评估效果受制于评估的专业化程度，只有在实践中不断反思和改进，评估的效力才会逐渐提升。但是，对评估反思绝不是片面的批判和彻底的否定，而是理性的分析和判断，按照元评估的标准对评估过程进行客观评价，并提出改进性建议。因此，本文将以丹尼尔的元评估模型为分析工具，以HQ学院参与S省巡视诊断评估为案例，尝试对S省2014-2015年巡视诊断评估进行元评估，并为元评估的全面开展提出对策建议。

二、评估的实施过程：HQ学院参加S省巡视诊断评估案例分析

S省是全国高等教育第四大省，共有 55所省教育厅管普通高校，其中本科34所（12所独立学院），高职21所。HQ学院是成立于2004年的独立学院，在西北地区独立学院中享有盛誉。现以HQ学院参加S省巡视诊断评估为例对评估的实施过程及其影响进行说明。

（一）评估的实施过程：以资料分析，参与观察，深度访谈为主

此次巡视诊断专家组7人在进校之后，首先阅读了学校提供的自评报告及支撑材料，并随机调阅了部分支撑材料。第二天组织了一个小时的见面会，介绍了此次巡视诊断的初衷和工作程序，被评学校领导向专家组汇报了学校的发展概况。随后，专家组阅读学校自评报告，寻找相关支撑材料，随机进入课堂听课，走访相关部门，访谈负责人，形成反馈质量报告。评估过程寻找证据的方式集中于资料分析，参与观察和深度访谈。

1.资料分析：专家组通过阅读自评报告和相关支撑材料，对学校的办学状况基本掌握。对自评报告中提到的所有制度，都一一要求拿出原始文件。通过阅读教学督导组近三年的原始听课记录，学生评教数据、毕业设计、学生试卷等材料了解人才培养过程和结果。每天都会根据阅读发现的问题，调取相关支撑材料。通过大量的资料阅读和分析，形成对被评价学校的初步印象。

2.参与观察：除调阅相关资料之外，专家组还通过参与观察深入了解学校发展状况。7个专家在校三天时间共听课15节。并实地考察实验室、实训基地、图书馆等场所。分别查阅了实验室的管理规定、实验器材、图书馆的藏书量以及学生借阅情况。考察校容、校貌、实验中心、图书馆、老钢厂创意产业园实习实训基地、学生发展中心及其他教学辅助设施。实地走访和参与观察获得的一手资料，成为专家判断学校办学质量，发现潜在问题的重要依据。

3.深度访谈：专家组针对资料分析中发现的问题，分别组织了学生、教师座谈会，询问学生和教师对学校的满意度。尽管专家组一再鼓励教师和学生提出学校发展中存在的问题，“有什么问题可以提出来，我们反映给领导，有助于问题的解决！”，但是教师和学生出于对组织的“忠诚”，一致表示对学校各项工作“高度满意”。虽然这种在座谈会中表示的“高度满意”并不一定是师生的真实评价，但也从一定程度上体现了组织的凝聚力。在对相关部门负责人深度访谈的过程中，谈到师资队伍建设方面存在的问题，人力资源部部长开诚布公地指出：“学院师资队伍建设经费不足，因为没有获得政府经费支持，主要靠学费收入，近几年独立学院招生计划又受到控制，规模缩小，导致经费不足。希望政府能加大对独立学院的经费投入，并增加招生计划，以保证学院足够的教学资源投入！”

（二）评估结果反馈：形成巡视诊断报告，组织反馈座谈会

专家组在进校考察的最后阶段组织利益相关者召开反馈会。反馈会主要包括两个环节，一是专家组组长宣读巡视诊断报告；二是专家指出问题，提出改进意见。巡视诊断报告主要包括对评估内容，评估流程的说明，对学校发展成绩的充分肯定以及学校问题的改进建议。此次巡视诊断的主要目的是帮助学校发现问题。因此，问题分析和反馈意见是巡视诊断反馈报告的主要内容。但是专家组在巡视诊断中提出意见的方式相对比较委婉：专家组也注意到，该校在办学过程中也存在某些不足，有一定程度的“三化”倾向，例如同质化现象。现就专家组的巡视诊断结论和大家进行探讨，主要问题集中在三个方面：第一，自有师资队伍不足，结构不合理，应该加大师资队伍建设力度，加强教师培训；第二，专业实验室建设相对滞后，希望今后加强自有实践基地建设；第三，专业协调性不够，建议在重视优势专业发展的同时，注重其他专业的发展，加大对非优势专业的扶持力度，促进各学科和专业的协调发展。同时，希望机构加强应用型本科教学规律的研究，转变教育理念，优化人才培养方案。除此之外，专家组成员也分别针对各自发现的问题与学校进行了交流，相对书面材料，专家口头提出的改进意见比较直接。比如“教师队伍存在近亲繁殖的现象”、“学生参与课堂讨论的积极性有待提高”、“图书资源的更新有待加强”、“加强毕业设计和课程考核的质量控制”等。同时专家组也站在被评机构的立场，向政府部门提出政策建议：专家组建议省政府和省教育厅根据独立学院在我国高等教育中的地位以及对区域经济的贡献，出台专门的政策给予相应支持。

（三）评估的影响分析：巡视诊断评估对HQ学院产生的影响

评估的价值在于评估产生的影响。评估影响主要指评估引起利益相关者在评估不同阶段的行为变化。加里等学者在2003年指出，评估会产生或好、或坏或中性、或模糊的影响。并将评估的影响分为“偶然影响”和“评估绩效”。“评估绩效”指能达到评估最终目的，促进社会改良的效果，包括个人态度的变化，引起公众对政策的关注，或者引用评估发现证明教育的质量，这些都能促进社会的改良[3]。在此以巡视诊断对HQ学院及其利益相关者产生的影响为例进行分析和说明。

1.评估准备阶段及时查漏补缺。HQ学院在2015年7月全面启动了迎接此次巡视诊断工作，根据相关文件，制定了评估工作方案。根据指标体系的要求，分解任务，准备自查报告和相关支撑材料。机构在发展的过程中与理想的目标都有一定的差距，评估的初衷在于“以评促建”，通过发挥评估指标的导向作用，促进学校自主反思和改进，向理想的目标迈进是准备阶段评估对学校发展产生的积极影响。HQ学院由于只有十年的办学历史，虽然在同类院校中赢得了良好的声誉，但是对其核心的优势和办学理念，并没有达成共识。为此，领导班子和自查报告撰写组召开专题讨论会，对学院“以生为本、质量立校、科学管理、特色发展”的办学理念达成共识。并根据指标体系自查反思，对于能及时改进的地方，采取了积极的措施。比如，增加了图书馆的藏书量，对相关资料文件进行了归类整理。加强了教学督导的力度，督导组成员在听课过程中及时帮助教师提出改进意见，使课堂质量提升成为组织管理的惯性。学生管理部门加强了学生管理，学生出勤率，课堂教学效果在迎接评估的过程中都明显提高。评估文件如同嘹亮的号角，调动了师生改进的积极性，使学院在准备评估的过程中逐渐走上良性发展的道路。评估对学校发展的积极影响在评估准备过程中就充分体现出来。

2.评估实施阶段学校按照评估指标的要求规范日常行为。专家进校考察是评估的关键环节，也是收集一手资料，检验学校教学质量的有效手段。虽然最有效的评估是对高校的常态评估，但是事实上没有一所学校会在评估专家进校考察阶段展示自己原始的常态。一般都会提前进行评估动员，对教师、学生和教职工提出理想的目标要求。由于评估结果的高厉害相关性，职工都会遵守规定，按照评估的理想要求规范自己的行为。以“执行力”较强著称的HQ学院教职工也不例外，辅导员早上7点半就去教室考勤，学生几乎没有迟到早退缺课现象；教师也以自己最好的状态出现在课堂；行政人员提前半小时上班；办公室也进行了优化组合，大家都在有序的环境中办公，全员参与营造“秩序井然”的氛围。为了随时准备专家在阅读材料时需要调取的资料，各个部门在下班后都留了值班人员，有的部门值班到凌晨两点。总之，在专家进校考察阶段，全员参与营造的“理想状态”也是评估对组织行为产生的积极影响，更是组织凝聚力的体现，如果能坚持评估过程中的“理想状态”，使评估中的“理想状态”成为组织的常态，则是评估对组织发展长远和持久的积极影响。

3.评估结束后学校以反馈意见作为改进的起点。HQ学院在专家组离校两周后，组织中层以上干部参加了评估工作总结讨论会，对存在的问题集中进行分析。并对此次评估工作进行总结和反思，提出改进的策略。院长对参与者付出的努力和支持表示感谢，一再强调：“教师在座谈会中表示对学院非常满意，一定是为了顾全大局，包容了学院工作的不足，领导班子不能盲目相信表面的赞扬，而要时刻以教职工的包容鞭策自己，不能辜负大家的信任。”并对在评估准备过程中的不足进行了批判反思：“没有虚心学习已经参加过巡视诊断评估的同类学校的经验教训，对其它学校评估效果了解不充分；与专家组事先沟通不足，对评估的目的了解不够深入，预评估工作没有认真进行……”并基于专家组提出的反馈意见，提出了改进计划：“不管此次巡视诊断是否会进行整改评估，学院都要进行整改提高。问题是改进的起点，一定要以此为契机及时整改。第一，对此次参加巡视诊断的相关材料和工作总结及时归档；第二，加强师资队伍建设，增加系级建制；第三，增加经费投入，加强实验室改制；第四，建立新型的教学质量保障体系，建立符合独立学院特点的质量保障体系，不能靠行政手段守住教学质量的底线。”由此看来，此次巡视诊断评估对HQ学院未来的发展将会产生积极的影响。

三、对此次巡视诊断的元评估

（一） 评估价值判断的工具：元评估的分析模型

通过对评估的价值判断，提高评估的影响力是美国评估研究和实践改革的逻辑起点[4]。为了从历次评估活动中吸取经验教训，使评估质量能在反思的基础上不断提高，美国评估学界从上世纪八十年代起，就建议建立元评估的标准，对大型的评估活动展开质量调查，使对评估的反思与改进建立在客观评价的基础上。1988年，美国教育评估标准联合委员会开始通过鼓励开展元评估实践来评价评估优劣，以提高评估质量。丹尼尔L.斯塔弗尔比姆（2001）年指出，通过开展元评估能使评估实践水平不断提高，评估使用者需要有效的元评估信息帮助他们判断所获得的评估信息的相关性、可靠性以及公正性。如表1所示：他从有用性、可行性、合适性、准确性四个维度提出了元评估的三十条标准[5]。

表1：丹尼尔元评估标准

（二）此次巡视诊断评估的元评估

基于元评估的分析模型，评估的有用性、可行性、合适性、准确性是元评估的四个基本标准。现从这四个标准对S省巡视诊断评估进行分析。

1.有用性分析：就有用性这一指标而言，此次巡视诊断评估选择了既有专业背景，又有行政管理经验的专家队伍，这些“当过领导，上过讲台”的评估专家在评估实践中能够恪守评估的伦理准则，基于充分的资料分析和参与观察，形成清晰的巡视诊断报告，及时反馈，充分肯定了被评机构的成绩，并真诚指出需要改进的问题，并且始终以诚恳的态度交流，因此评估者具有较高的信度，形成的评估结论因此得到利益相关者的认可。从HQ学院参与评估的案例来看，巡视诊断对学校产生了积极的影响，引起了教师、学生及其它利益相关者行为的变化，也必然引起学校管理制度和校园文化的变革。因此，此次巡视诊断评估具有较高的有用性，有助于促进高校质量持续提升。

2.可行性分析：此次巡视诊断注重开展基于证据的评估，因而在评估过程中调阅了大量的支撑材料，包括相关文件、毕业设计、试卷、督导组听课记录、学生评教统计、图书借阅记录等资料。这些资料都是学校管理中随时可以调查的资料。同时，走访图书馆、实验室、随机听课、访谈负责人等也是比较方便有效的检查方式。这些评估方法的选择不但具有可操作性，而且能有效地发现问题，同时不用费时耗力。因此，此次巡视诊断评估的主要方法具有较强的可行性。

3.合适性分析：此次评估的初衷是发现高校发展中存在的问题，帮助高校解决难题，提出改进性建议，因而具有服务导向。在评估的过程中，专家组比较尊重被评机构的利益相关者，态度温和，在充分肯定成绩的基础上，以被评机构能接受的方式真诚地提出改进意见。并充分地与高校进行了沟通和交流，及时阐述了评估的初衷，告知发现的问题，并在进校考察结束后提交了详尽的巡视诊断报告书。巡视诊断书中对学校发展的成绩和存在的问题进行了客观公正的评价。因而此次巡视诊断专家组在评估过程中的行为符合评估伦理准则的要求。

4.准确性分析：此次巡视诊断在文件中对实施的背景进行了详细的介绍，并详细描述了巡视诊断的目的和工作程序。基于学校提供的自评报告、提供的支撑材料，专家参与观察和访谈获得的有效信息对学校办学质量进行判断，信息来源具有可靠性和系统性，并基于对多渠道获得信息的系统分析，形成相对公正的结论。

四、结论和建议

虽然就评估实施过程和评估目标实现而言，此次巡视诊断评估多渠道收集了有效的资料，开展基于证据的评估，鼓励了高校取得的成就，指出了高校发展中存在的问题，并通过评估总结报告向政府表达了高校合理的利益诉求，对高校发展产生了积极的影响。但是，评估效力的提升是评估发展永恒的价值诉求，在评估结束后由评估者自发组织元评估，对评估进行价值判断和反思，是评估效力提升的必要手段。对此，美国学者丹尼尔根据评估的核心要素和主要程序，提出元评估的11种方法策略：确定和安排元评估利益相关者之间的交流；组织有资格的评估专家进行元评估；确定元评估的问题；对元评估的标准、原则、判断标准达成一致；形成元评估草案及协议；收集和评估相关的信息；收集现场观察的新材料；分析定量和定性材料；判断评估使用标准和原则是否合适；通过报告、信件、口头报告等形式交流元评估结果；从需要和可行性出发，帮助利益相关者解释和利用元评估发现[5]。这十一条元评估的策略使评估质量调查有了既定的程序，同时也规范了元评估的方法和步骤，为元评估的顺利进行奠定了坚实的基础。结合元评估的理论模型和我国高等教育评估发展的现状，为我省巡视诊断评估元评估提出以下建议：

（一）建立评估者与高校的交流平台，促进评估结果的利用和评估方法的改进

评估最重要的价值是评估结果的交流和使用，评估产生的影响力。但是，在实践过程中，评估总是因为专家考察的结束和评估报告的提交而结束。评估的功过是非，评估的结果和发现却很少有人问津，降低了评估的功效。如果此次巡视诊断评估结束之后，能建立巡视诊断的交流平台，将有助于评估结果的充分利用和评估方法的改进。比如，评估组织机构建立巡视诊断网络信息平台，公开高校自查报告和巡视诊断报告，为高校之间相互学习提供参考。主动邀请此次巡视诊断的利益相关者对其进行公开评论，使巡视诊断接受社会公众的监督，以公众的评价作为反思和改进的基础。同时，组织参评学校、评估专家和政府决策者之间的讨论会，集中分析评估中发现的问题，提出政策建议，使评估发现成为政府决策的依据。比如，此次巡视诊断中发现的独立学院作为社会公益事业，但却没有得到政府经费支持，没有同等的发展机会，制约了独立学院的持续发展等一系类问题，如果能通过公开讨论影响政府决策，使独立学院享有同等的经费支持，此次巡视诊断将会对独立学院的发展产生积极的影响，评估的社会公信力也会因此提升。

（二）邀请全国性专业评估机构进行元评估，改进评估方法和策略

开展元评估是向公众提供合理的发现、评估专业化和评估制度建设的共同需求。科学的元评估可以为评估者提供用于检查评估计划、实践、报告以及发现交流形式的质量保障机制。元评估有助于调动评估者充分准备的积极性，促使他们提供经得起考验的评估服务，不断引导他们提高评估服务水平。定期接受外部评估是国外高等教育质量保障组织提高信度和规范发展的基本手段。比如，欧洲高等教育质量保障组织（ENQA）的会员单位定期要求接受ENQA对其方法和标准及其提供的质量保障进行审核。S省高校巡视诊断虽然没有由固定的组织承担评估任务，但是也组织了巡视诊断专家团队。此次巡视诊断的标准和方法将成为该省未来高等教育质量评估的依据和参照，如果能向我国较高层次的评估组织-中国高等教育评估中心或亚太地区质量保障组织说明此次巡视诊断评估的相关程序，邀请专家对此次巡视诊断评估进行元评估，将有助于促进该省高等教育质量评估的规范性和专业化发展。

（三）建立省级高等教育评估中心，提高评估价值判断的能力。

我国由于受到评估专业化程度的限制，评估的组织机构建设和评估能力还有待加强。省级层面教育评估中心建设还没有全面展开，大部分省的评估暂时由临时组成的评估专家组完成，没有建立周期性的评估制度，评估政策执行缺乏持久性。同时，缺乏专业的评估机构，使对评估的研究大多集中于对评估活动的事实描述和功过评论，评估活动经常随着评估考察和评估报告的提交而结束，对评估实践的系统分析和评估影响力的追踪研究相对较少，元评估还没有成为评估流程中的必要环节。如果能建立省级高等教育评估中心，组成具有专业评估水平的研究团队和评估专家，主动学习国际高等教育评估的方法和理念，将国际经验本土化，建立具有本省特点的元评估标准，对评估实践进行自主反思和改进，不但能提高评估的效力，而且能促进高等教育质量的全面提升。

[参 考 文 献]

[1] 刘怡.大学自治与政府干预的协调发展[J].高等教育研究,2015(7):22.

[2] 赵立莹,刘献君.本科教学水平评估理性反思和现实选择[J].中国高教研究,2008(10):17-20.

[3] GARY T H,MELVIN M M.Beyond Use:Understanding Evaluation’s Influence on Attitudes and Actions[J].American Journal of Evaluation,2003,24(3):293-314.

[4] 赵立莹,效力诉求:美国博士生教育质量评估体系的演进[M].北京:科学出版社,2013:40-44.

[5] DANIEL L STUFFLEBEAM.The Meta evaluation Imperative[J].American Journal of Evaluation,2001,22(2):183-209.

The Meta-evaluation of Provincial external assessment: Influence and Suggestions

ZHAO LIYING，HUANG TINGTING

This paper, adopting meta-evaluation model, through the case description of HQ College participated in S Province evaluation, analyzed the usefulness and influence of this diagnostic assessment and put forward corresponding countermeasures listed as follows: firstly, establish the communication platform between the assessor and college to promote the improvement of the evaluation results and method; Secondly, invite professional assessment agencies to polish the assessment method and strategy; finally, strengthen the construction of provincial higher education evaluation center to enhance the capacity of evaluation value judgment.

patrol diagnosis;evaluation; meta-evaluation; influence

G40

A

1008-472X(2016)05-0104-06

2016-05-11

2016年陕西省高教研究重大攻关项目“陕西省高等教育质量保障体系运行机制研究；2016年西安市社科联基金“西安市现代职业教育质量保障体系建设路径研究”项目编号：16Y01

赵立莹（1972-），女，陕西咸阳人，西安建筑科技大学副教授，陕西师范大学教育学院博士后，从事教育评估研究，研究方向：高等教育质量评估；

黄婷婷（1992-），女，四川绵阳人，西安建筑科技大学职业技术学院硕士研究生，研究方向：高等教育质量评估。

本文推荐专家：

袁利平，陕西师范大学,副教授，研究方向：比较教育。

梁艳玲，渭南师范学院,教授，研究方向：大学文化建设。