□肖 菲 韩晶晶
《国家中长期教育改革与发展规划纲要(2010-2020)》中明确指出,要大力发展继续教育,发挥其作为终身教育体系重要组成部分的功能。作为继续教育的核心要素之一,质量保障始终是一个永恒不变的话题。我国的继续教育曾经在一定时期内处于边缘化状态,社会对其褒贬不一,根本原因之一就是质量保障体系的不完善。 为此,要发挥继续教育的重要功能,需要我们在质量保障领域不断加以强化,既要在质量保障政策制定、实施方面做足功夫,更需要在质量评估上多做文章。英国作为继续教育发展引领潮流的国家之一,构建了较为完善的质量保障体系,特别是在质量评估方面体现出一定的特色。因此,有效地梳理英国继续教育质量评估框架,揭示其质量评估体系的特点,对于我国继续教育质量保障体系构建具有切实的参考价值和借鉴意义。
2006 年, 英国发布了继续教育改革方案——《继续教育绿色白皮书: 提升技能和改善生活》《White Paper Further Education: Raising Skills, Imp roving Life Chances》(the Department for Education and Skills,DfES,英国教育与技能部March 2006),从而为继续教育树立了长期发展使命:关注成人学习者的雇佣能力和专业发展[1]。 为了确保继续教育经历和学习成果的质量,英国建立了继续教育质量保障评估机构: 教育标准委员会 (the Office for Standards in Education,OFsted)和成人学习督导团(Adult Learning Inspectorate ,ALI)。虽然机构不同,但其的管理理念却是一致的——“成人持续发展”,满足继续教育供给者和从业者的需求。
英国学习技能委员会 (Learning and Skills Council,LSC)于2006 年建立了继续教育质量评估框架,2007 年面向全英国发布了《继续教育卓越框架》(FE Framework for Excellence)[2]。 从2007 年8月份开始,评估框架率先在继续教育学院、六年制学院和工作场所学习(Work-Based Learning)等供应机构实施,该评估框架目标是基于一致和互补的标准、绩效指标和定量评估方法,提供一种绩效评价框架,为继续教育机构和个体提供综合的评估说明书,从而迎合成人学习者、雇主、学习与技能委员会以及其他利益相关者的需求。 为了建立科学、合理且易操作的继续教育质量评估框架,英国学习技能委员会首先明确了该框架的设计理念:1.为绩效评估建立综合基础。 该绩效评估框架(见图1)基于影响学院和供应商绩效评估的关键要素, 包括财务、商业效益要素和供应质量等,提供有助于公众理解和广泛利用的绩效措施,从而促进继续教育部门的持续健康发展。较为清晰的评估指标将有利于学院和供应商保证继续教育的质量,并能够利用适当的方法控制和监督继续教育活动。继续教育质量评估框架以平衡积分卡(Balanced Score Card)的关键绩效指标法(Key Performance Index)为指导,构建了一个综合的绩效评价框架,给学习者、雇主和更广泛的社区提供可靠的、可利用的和较为全面的信息,推动以责任制为基础的公正、透明的绩效标准建立。 2.最大化利用现有信息和数据。 该评价框架的关键绩效指标和二级指标主要根据继续教育学院或供应商所提供的信息和数据确定,预期数据的合理搜集目的是为了有效运行相关业务和编制年度自我评价报告。 该框架对信息的要求程度较高,信息的搜集能在一定程度上确保框架运行的严密性。 3.在绩效评价和运行之间建立衔接。 卓越绩效框架将为学院或供应商提供基础性的绩效评判标准,并有优先公布需要提升的学院或供应商。 根据卓越绩效框架,英国学习技能委员会引入了新的“表现不佳”分类,即根据评价等级,要求那些绩效表现不佳的供应商采取提升行动的措施。 《继续教育改革白皮书》对“绩效不佳”进行了清晰的界定,把“绩效不佳”描述为“差强人意”或“满意但不提升”,为英国学习技能委员会提供了“绩效不佳”的供应商名单,并为质量提升局(Quality Improvement Agency,QIA)提供行动向导。
图1 英国继续教育质量评估绩效框架
《继续教育改革白皮书》确定了继续教育质量评估的三大维度(见表1):(1)反应灵敏性。 该维度有效地呈现了学院和供应商提供的投入是否有效地适应了学习者、雇主和当地社区的学习需求。 作为关键指标,反应灵敏性合理地反映了继续教育投入与国家或区域优先的学习需求或技能是否相关。反应灵敏性维度也能够科学地评估学院或供应商的绩效卓越程度,包括计划的完成性、对学习者的反应灵敏度和对雇主的反应灵敏度三个二级指标。(2)有效性。 该维度主要反映了学院和供应商帮助成人学习者或雇主实现目标的程度,其主要包括成果的质量和投入的质量两大指标维度。(3)财务。该维度主要反映了学院和供应商利用财务资源的情况,通过合理地财务管理和控制实现先前学习计划的程度,包括两大二级指标:财务健康和财务控制。在构建相关的评估指标体系的维度的基础上,该白皮书对继续教育质量评估等级进行了划分:(1)等级1—卓越;(2)等级2—良好;(3)等级3—满意;(4)等级4—不充分。 等级的划分是继续教育的评估的一个较为客观标准,为继续教育机构从总体上衡量教育培养效果提供参考。
表1 英国继续教育卓越框架的指标体系
继续教育领域教师评估标准的初步雏形开始于2001 年,《继续教育教师资格条例(2001)》,但这仅仅适用于那些在继续教育学院从事教学工作的老师,其目的是确保教师获得合理的资格,帮助学习者实现学习目标。 在此基础上,2007 年发布了《继续教育教育资格条例(2007)》,该条例不再局限于传统的继续教育学院的教师, 也包括培训师、社区学院工作者等。 对于从事继续教育行业的工作者,该条例规定:1.所有具有部分教学责任的员工,必须拥有 “终身学习部门资格的预备教学期”(Preparing to Teach in the Lifelong Learning Sector,PTLLS),或在一年内获得它。2.所有从事全职教师角色的员工必须拥有“在终身教学部门教学”的文凭或同等学历,然后在五年内获得“学习和技能的教师资格认定”(Qualified Teacher Learning and Skills status ,QTLS);全职教师被界定为“承担全部教学工作责任,需要教师呈现广博的知识,了解课程开发与应用,实现有效迁移”。 3.那些承担部分意义上教学工作的员工,必须拥有“终身学习部门颁发的教学证书”(Certificate in Teaching in the Lifelong Learning Sector, CTLLS), 并且在五年内获得“学习和技能准教师资格认定”(Associate Teacher Learning and Skill status,ATLS)。
作为继续教育质量评估的重要环节,督导体系一直在英国继续教育质量保障中扮演重要的角色。根据2006 年颁布的《教育和督导法案》(《Education and Inspe ctions Act》)规定,英国教育标准、儿童服务 及 技 能 局 (Office for Standards in Education,Children's Services and Skills)掌管继续教育评估大权,对继续教育相关内容进行全面监督和考核。 在继续教育领域,其主要工作职责包括:“第一,向公众通报英国继续教育机构的培训质量、已达到的标准,为学习者提供有关培训机构的信息;第二,通过明确办学机构的优势和劣势,帮助继续教育改进服务质量,提高办学水平;第三,向英国国会和其他利益相关者通报继续教育的质量和水准; 第四,促进办学机构形成自我评估文化,实现持续改进和提高”
[3]。英国继续教育督导工作主要以《继续教育和技能培训共同督导框架》为基本依据,该框架主要由皇家督学办(Her Majesty's Chief Inspector ,HMCI)根据《教育和督导法案》的基本理念设计而成,在此基础上,英国继续教育督导框架不断完善,并于2012年12 月实施新的督导框架(如表2)。
作为继续教育发展处于前沿的英国,其在发展过程中构建的继续教育质量评估框架体系呈现出一定的特色,无论是在关注对象、框架设计理念以及评估方式都有值得关注的地方。
教育质量的评估过程,从本质上讲就是利益相关者群体在价值取向上相互博弈的过程。英国继续教育质量评估框架也体现着利益相关者之间的对话与动态平衡。评估本身就是一种信任度权衡的活动,框架的制定就是基于各利益相关者的利益与价值准则,对利益实现程度的标准化测量。一方面,作为关系到自身利益的问题,继续教育各利益相关者有理由也有必要参与到质量评估框架的讨论之中,以确保其利益主张在继续教育质量保障框架中的合理性与合法性;另一方面,为了达到评估结果认同并获批准,框架制定者必须考虑不同利益相关者的利益诉求。
英国继续教育质量评估框架建构中,其中一个重要的特点就是非常重视良好的合作伙伴关系(partnerships),共同 评 价 框 架(Common Inspection Framework,CIF) 的制定是在利益相关者广泛协商中进行的[4]。 继续教育学院——预科学院或独立学院、学生自主学习的提供者——公司、社区学习和技能的供应商——地方当局、雇主、提供继续教育的高等教育机构等组成了继续教育评估框架的利益相关者。利益相关者十分关注继续教育质量的优劣, 希望在质量评估框架中更多地体现自己的意志,以实现自身的利益主张。因此,教育标准委员会不断对督导框架进行修正与完善,力图达到利益相关者的平衡状态。 就英国而言,继续教育的目标群体是16 岁以上的人, 继续教育与这些群体未来工作技能与素质有密切关系。最关心工作技能的莫过于雇主, 在继续教育质量评估框架的整个过程中,从指标的设计理念、体系与标准确定、框架形成,一直到评估的实施与结果,都有效体现了雇主企业的参与和意志。 作为学习主体,学习者既是质量评估的测评对象,也是继续教育的直接受益者,评估框架也充分考虑了学习者参与教育和培训的目的、内容、 效果和态度。 例如, 在威尔士成人社区学习(Adult Community Learning,ACL) 的质量评估框架中, 其评估机构——威尔士教育标准办公室(Estyn)就重点考虑了16 岁以上的学习者的参与性[5]。继续教育的培训机构,如继续教育学院、成人教育机构、培训协会和社区学院等也是继续教育质量评估的重要场所和实施机构,其教育的手段、课程和项目等也必须体现在评估框架中。
评估作为一种认识活动,往往在实践过程中会参杂主观意志。如何降低评估活动的随意性与人为性,是继续教育质量评估需要解决的重要问题。 英国继续教育质量评估框架构建过程中始终以科学严谨为核心宗旨,由评估主体、评估对象、评估标准、评估方法等组成的质量评估系统形成了一个动态、开放的系统。
英国继续教育质量评估框架在构建过程中首要考虑的准则就是监督每一个继续教育与培训的供应商。 框架的设计就要真实、客观地评价与反映供应商的服务:(1)框架目标清晰且全面。评估框架的总体目标就是评估继续教育与培训如何满足学习者的需求。这也符合“以用户为中心”,即以“学生为本”的教育理念。由此延伸的具体目标是:为学习者提供继续教育供应商的质量信息,更好帮助其做出选择;总结继续教育中的经验与教训,取长补短;为政府及其他利益相关者提供质量报告与标准等。(2)框架内容有效且可测。 评估框架通过设定预期目标来衡量教育质量实现的效果, 并通过标准性、专业性的结果力求实现教育质量的改进。框架指标要经各方论证;数据搜集应包括以前的评估报告、自我评估报告、评估机构报告、性能数据(包括过去三年数据趋势)[6]。 此外,框架内容设计需要积极构建各利益相关者的对话与沟通机制,增加评估可实施效度与信度。(3)框架评估标准合理。英国继续教育质量评估框架遵循统一的评价标准,对框架内容进行了优秀、良好、需要改进和不合格四个等级的评定。 这种合理的区分使得评估框架有纵向的比较,也有各机构横向比较,实现教育质量改进。除了整体上的特点外,质量评估框架还十分注重评估对象的特殊性。 例如,承担资格认证和考核标准的英国监管学历发放机关,英格兰资格及考试办公室(Office of Qualifications and Examinations Regulation,Ofqual)[7]就承担着某些特殊任务。如,针对不同领域的继续教育特点和培训过程制定其特殊的内容,并关注这些学科领域下的二级领域。
表2 英国继续教育质量督导框架
继续教育评估承担着保证教育质量、履行公众问责以及促进继续教育结构自身发展的职责。为了保证评估效果,其质量评估框架的建构就会涉及评估的公正性和结果的可信度问题。评估本身就是一种权力,谁拥有评估权,谁就可以掌控继续教育的话语权。责任、利益、权力、认可度等,都是影响评估方式不可忽略的因素。 因此,英国继续教育质量评估框架中,评估方式就成为各方争夺的焦点,经历着变化与选择。
英国继续教育质量评估的方式是出于不断变化中的,总体趋势是:减轻官方评估负担,转向以自我评估为主导。在政府层面,英国教育与技能部、英国学习技能委员会、质量提升局等各司其职,从国家政府到地方部门对继续教育进行监管。在自主层面上,英国政府积极提供新的资料和工具,帮助继续教育学院和培训机构评估自身教育效果。自主评估是外部评估前的一个基本环节,在外部评估的科学理念的指导下开展工作;而自主评估又丰富和修正外部评估的结果,外部评估又指导继续教育机构自主评估。 事实上,外部评估只有通过内部自主评估才能起作用,自主评估的作用不可小觑。在《继续教育改革白皮书》中指出:继续教育的重要组成部分——学院和各类培训机构的角色也将日益明晰与突显,并被赋予更大的自主权和最新型的管理理念[8]。在评估效果上,自主评估方式既可以减轻政府评估的负担,又能从成本控制、评估实施与评估效果认可度上促进内外评估互动,激发继续教育机构的积极性。 从评估过程来看,自主评估方式将评估活动作为一种过程性活动来开发。评估的目的不是形成报告,而是促使改进。 利用自主评估过程性特点及时反馈继续教育质量信息,提高正在进行的教育活动的质量。 在此值得注意的是:自主评估方式并不意味着继续教育机构的绝对自由。绝对自由会直接导致教育诟病的隐藏与滋生,自主评估也是在英国教育与技能部颁布的相关法律与条款下的行为,是具有自觉性的行为,是继续教育尊重个性的体现,是继续教育机构发展到较高水平的产物。
英国教育与技能部部长Charles.Clarke 曾说:“必须逾越社会公平和经济发展之间千丝万缕的联系, 把继续教育和培训看作教育体系的主流部分”[9]。为了发挥继续教育的在终身教育体系中的作用,质量评估将是一项重要的任务。从英国继续教育质量评估框架中,我们可以从中了解到其先进的设计理念、科学的评估体系、完善的评估方式等,以期对我国继续教育未来发展有所裨益。
教育评估理念在一定程度上是指在教育评估活动中所持有的教育价值观。教育评估的理念是一个发展的过程,从开始以目标导向为中心的“泰勒模式”的评估,发展到后来克龙巴赫(L.Cronbach)的过程改进的评估观,再到斯克里文(M.Scriven)提出的消费者导向模式,即判断对教育活动参与者的利益贡献程度模式。 在教育评估的发展与整合过程中,管理学的绩效(performance)观点逐步成为继续教育评估的引领理念。绩效观将继续教育质量评估诠释为:根据继续教育目标的引领,运用科学有效的评估技术与手段,对继续教育与培训目标的实现程度、继续教育资源的配置情况和继续教育活动的有效性等进行评价的过程。 2006 推出的《继续教育卓越框架》 提出了推动继续教育标准和绩效的策略[10]。 至此,绩效成为继续教育质量评估的新热点。
绩效在其理念上通常把经济(Economy)、效率(Efficiency)、效能(Effectiveness)和公平(Equity)为评价准绳。绩效理念下,质量评估从教育收益、经济效益和社会效益等多方面反映着继续教育对于国家、组织和个人的价值。 英国继续教育质量评估框架中,灵敏度、有效性、财务等维度都是依据绩效标准而设立的指标,检验着继续教育的效能。 绩效评价的另一种标准:“3E+3F+3C”,其中,“3E”指的是效率(Efficiency)、效果(Effect)和公平性(Equality);“3F”指的是可行性(Feasibility)、可预测性(Foreseeability) 和 程 序 公 正 性 (Procedural Fairness)。“3C”指 兼 容 性(Compatibility)、简 明 性(Conciseness)和满意度(Contentment)[11]。这种指标理念在英国继续教育框架里则体现为贯穿始终的一种原则与标准,是确保框架可实现性的保障。 摒弃以往继续教育评估中“口号式”、“公文式”、“报告式”的评价,将继续教育质量评估以标准化、量与质的方式呈现,是提升继续教育质量评估结果认可度的有效策略。 以指标形式测量的结果,不仅为质量评估探索出可实行、易操作的实施方式,也为结果的可信度赢得砝码。继续教育质量评估绩效指标是一种行为的信号或导向,不是绝对的测量,即它不是对继续教育各种投入、 过程与产出效益的直接检验,而是提供对质量评价有用的信息。绩效测量方法既可以用序数形式来横向排序,也可以用基数方式纵向检验;既包括固定的评价指标,也含有非正式,如声誉、认可度等柔性标准。 这从某种程度上让人们对继续教育质量有一种广泛意义上的理解。
一般意义上来讲, 教育评估的范围有两个层次:一是评估对象的范围,即解决评估什么的问题;二是评估内容,即针对某一评估对象开展评估所涉及的项目及因素。传统继续教育的评估是将学习者作为评估的对象,来衡量教育活动提升学习者的效果。 随着终身教育思想的推广,继续教育的范围不断扩展、内容不断丰富,形式逐步多样,其评估范围也随之变化。
在英国继续教育质量评估框架中, 涉及学习者、继续教育教学、继续教育管理、继续教育学科四个方面。 事实上,质量框架本身也是一种学校与工作场所相结合的评估方式。 一方面,从教育的传统定义来分析,学生为主体的学校评估自然成为主要范围。 这是将继续教育当作成为一个封闭的系统,从课程、教学、资源等角度来评价教育效果。其积极意义在于能将教育评估的普遍性经验借鉴到继续教育质量评估中,有可遵循的一般方法,但局限于学校的评估从本质上可能忽略了继续教育自身的开放性、自主性的特点。另一方面,非正式学习逐步成为学习重要形式而风靡,继续教育质量评估需要考虑对于非正式学习发生的重要领域——工作场所的学习效果评估。 学习者学习效果的跟踪、社会对学科领域的需求、雇主的技能要求等都需要在工作场所中进行评估。提供相关培训的企业雇主和为企业提供培训服务的继续教育机构也是继续教育评估的对象之一,对他们的教育效果也需要在工作中测量。 例如,成人社区学习的教育效果体现在家庭、日常生活、工作、个人素质等等多个方面,除了社区学院的评估外,工作中的评估必不可少。 继续教育的质量评估体系建设就如同一个人 “档案袋”形成的过程,需要从学校与工作场所中多方面搜集信息,如实反映情况,以客观而全面反映出教育的最终效果。继续教育质量的评估结果不仅能继续教育自身差异化的需求,也可以满足不断变化发展着的市场需求。
在教育评估中, 除了要解决评估什么的问题,还要明确由谁来评估的问题, 即评估主体的选择。评估主体涉及到继续教育评估的方方面面。在质量评估框架中渗透着评估主体的思想理念,评估主体也控制着评估框架的结构、目的、方向、方法、标准、时间进程等。 最初,英国继续教育的评估主体仅限于政府的控制,由继续教育的行政部门担任。 随着后来发展,评估的主观臆断性、分散性、脱离事实性等缺陷开始显现。人们就更加倾向于注重继续教育主体的多元性, 力争把继续教育评估信息的使用者、教育活动的利益相关者都纳入到继续教育评估的主体中。
英国继续教育质量评估框架从设计到建构,就体现了多元化主体的理念。从中央到地方政府继续教育督导部门、各继续教育机构、独立的第三方评估机构、社会评估参与者、学习者等组成了英国继续教育的评估主体。在政府的官方评估与继续教育自主评估体系之外,作为“中立者”的第三方评估机构的兴起也成为英国继续教育质量评估框架的一个亮点。开始由教育标准委员会牵头设立的注册督学、小组督学、非专业督学等机构逐步发展,后来与教育标准委员会发展成为合作关系。一些具有资质的教育评估机构通过政府公开招聘的机会,在成功竞标后对继续教育与培训的质量进行评价与监督,以质量评估报告的形式展现其结果。正如早期提出评估主体多元化的派特(M.Q.Patton)所设想的那样,需要继续教育质量信息的所有人员都成为了继续教育的评估主体,以更好满足他们的需求[12]。 在后来的研究中,伯若克(A.S.Bryk)提出与继续教育有关的利益相关者也应该成为评估主体[13]。 评估主体的拓展,为继续教育质量评估框架制定及活动提供的更广阔的空间,也可以改善以前继续教育评估者与被评估者对立紧张,增强了各主体间的合作与信任。 多元化主体也对继续教育提出了一些挑战,如主体拓展后各自的参与程度如何,怎样协调各主体间的价值标准,如何有效安排评估活动等。因此,在这种多元主体下的继续教育评估主体,不是把自己的意志强加给被评估者,而是以专业特色对继续教育质量评估进行引导与帮助。继续教育主体多元化的应用要权衡各方面的情况,但其评估主体的多元走向是继续教育评估发展的一个必然趋势。
随着经济社会的发展和个体对继续教育需求的日益增加,继续教育将迎来广阔发展的空间。 对于继续教育来说,教育评估是检验和保证继续教育质量的关键性环节。他山之石,可以攻玉,英国继续教育长期发展中在质量评估上的先进经验,可以而且应当值得学习与借鉴。树立科学的继续教育评估理念, 建构比较完善的继续教育质量评估框架,开展较为公平的继续教育评估活动等是保障继续教育持续、健康发展不可遗忘的使命。以质量为根基,以评估为手段,博采众长,方能实现“广覆盖、宽领域、多层次”和“全民普惠”的继续教育发展目标。
[1]Further Education: Raising Skills, Improving Life Chances. [EB/OL]. http://www.dfes.gov.uk/furthereducation/index.cfm? Fuseaction =content. view&Category ID=21.
[2]A Framework for Excellence. https://www.gov.uk/government/organisations/department -for -business-innovation-skills.
[3]胡东成,王爱义.英国继续教育机构督导标准研究[J].成人教育,2011(12):5.
[4]Common Inspection Framework for further education and skills from September 2012.pdf.http://www.ofsted.gov.uk/resources/common -inspection -framework-for-further-education-and-skills-201.
[5]Nominee handbook for post -16 education and training. http://www.estyn.gov.uk/english/inspection/inspection-guidance/adult-community-learning/.
[6]Common Inspection Framework for further education and skills: for use from September 2012(120062), Ofsted, 2012; www.ofsted.gov.uk/resources/120062.
[7]Annual Qualifications Market Report 2013 Supplementary Report: Further Education and Skills Sector in England. http://ofqual.gov.uk/files/2013-09-13-supplementary-report-fe-and-skills-sector-in-england.pdf.
[8]Further Education: Raising Skills, Improving Life Chances [EB/OL].http://www.dfes.gov.uk/furthereducation/index.cfm? fuseaction=content.view&CategoryID=21.
[9]匡瑛. 英国继续教育与培训的新举措:为了每个人的成功[J]. 职业技术教育,2003(12):56-59.
[10]欧阳忠明,肖菲. 英国成人学习政策框架与实施效果[J]. 现代教育管理,2013(6):123-128.
[11]胡伶.教育政策评估标准体系的架构研究[J].教育理论与实践,2008(12).
[12]M.Q.Patton. Utilization-focused Evaluation(2nd?ED.).Newbury,CA;Sage.
[13]A.S.Bryk.Stakeholder-based Evaluation.New Directions for Program Evaluation,17.San Francisco,CA: Jossey-Bass.