美国职业教育项目评估体系构建举措与启示

杨梓樱 朱益明

大力发展职业教育，建立现代职业教育体系，是国家教育改革与发展的重要任务之一。2019年，国务院印发《国家职业教育改革实施方案》强调，要“加强职业教育办学质量督导评价”和“建立健全职业教育质量评价和督导评估制度”，为进一步发展职业教育指明了方向。如何建立职业教育质量评价和督导评估制度，是一个非常重要的现实课题。美国职业教育发展历史悠久且体系健全，其高度重视职业教育项目评估体系的构建。因此，学习和借鉴其体系构建的相关理念与举措，将对我国相关工作的开展有所启迪。

一、美国职业教育项目评估体系构建的背景

美国职业教育是一个由高中、社区学院、四年制大学以及各类社会培训机构相互协调、统筹实施的完备体系；在高中阶段并没有专门的职业技术学校，而是通过职业教育课程实施职业教育；同样，社区学院也为中学后学生提供职业技术教育课程与培训。据统计，2016-2017年度，美国约有1.3万所普通公立高中提供职业教育课程,有近0.6万所中等后教育机构开设相关职业教育课程。美国高中阶段参与职业教育课程学生人数为833.99万人，高等教育阶段为367.86万人，参与社会培训项目的人数为25.4万人[1]。

美国联邦政府每年也为职业教育投入大量资金，以项目形式支持职业教育高质量发展。“帕金斯法案IV”是美国政府为职业教育项目提供资金的法律保障，2017年为各类中学、大专和成人劳动力等职业教育项目提供的资金达到13亿美元，覆盖全美50个州。

尽管参与职业教育项目的学生人数众多，并得到了国家、地方以及许多企业和行业的支持，但职业教育项目成本高昂的特点，使其比其他教育项目更容易受到政策制定者的关注和监督，这就要求不断提高职业教育成效，并且最终通过学生成绩以及就业情况予以体现。美国联邦政府和各州政府，都希望了解什么样的教育投资政策更有价值，希望将重点放在找出那些具有积极结果的项目上。从本质上讲，政策制定者不再满足于简单地知晓教育资金流是否“起作用”，而且希望掌握项目如何以及为什么会起作用的关键要素，以便能更广泛地复制和推广这些具体要素[2]。

很显然，建立科学的职业教育项目评估体系，是当今以结果为导向的美国职业教育的关键。没有高质量的项目评估体系，职业教育项目将越来越难以证明其存在的合理性[3]。正是这种教育经费投入效果的实践需求，导致了美国从联邦政府到各州政府再到相关研究机构纷纷开展职业教育项目评估工作及其研究，由此产生了美国职业教育办学质量评估体系。

二、美国职业教育项目评估体系构建的主要举措

鉴于社会各方对职业教育项目实施效果的不了解甚至质疑，美国教育界对职业教育开展评估，尝试建立职业教育项目评估体系，这种评估体系的建构主要体现在四个方面。

（一）立法强化评估

美国职业教育评估体系的构建离不开政府的立法保障。联邦政府先后通过各项立法，确立了职业教育的问责制。在问责制中，除了要求各州定期提交年度计划和实施方案以外，还强调通过评估审查方式，保障职业教育质量。

1.依托法律推动评估工作

1963年美国实施的《职业教育法》和1976年实施的《职业教育修正案》，两者都要求各州向联邦政府报告职业教育数据并要求进行项目评估。前者是早期批准联邦政府向各州拨款建立职业教育项目的法律依据之一[4]，对州和地方发展职业教育的影响很大，其特别关注毕业生就业安置问题和雇主对职业教育毕业生的满意度[5]。按照《职业教育法》的要求，各州必须提交一份职业教育五年计划目标及其年度计划，描述职业教育项目实践和活动方案，以及使用和分配联邦资金的标准。在符合联邦准则的基础下，各州实施自己的监测和评估过程[6]。1976年，职业教育法案修订时，为了致力于扩展职业教育项目，提升职业教育项目的质量，进一步强调了评估，并将评估重点转向管理和实践改进。

2.将评估与问责结合

对美国职业教育发展产生最大影响力的立法是1984年通过的《卡尔·D·帕金斯职业教育改进法案》（简称“帕金斯I”），其保持了《职业教育法》中强调监测与评价的特点，但又突出了问责制，将评估与问责结合，更加强调职业教育质量。新法案规定，各州必须每5年进行一次职业教育项目评估，且各州可以选择自己的评估方式。根据这项立法，州一级的评估工作包括以下组成部分：职业教育机构的内部自我审查评估；外部评审小组对职业教育机构及其项目进行现场考察评估；纠正评估中发现的不足与问题。

1990年，美国通过《卡尔·D·帕金斯职业与应用技术教育法案》（帕金斯II），1998年，通过《卡尔·D·帕金斯职业与技术教育法案》（帕金斯III），两者都强调，职业教育发展必须包括更多指标和更多责任，并规定各州要建立职业教育评价制度，围绕四个核心指标进行评价：基于国家标准的学生学业和职业成绩；以毕业证书或中学后教育文凭衡量的课程完成情况；中学后教育、就业或参军安置情况；学生就业项目和非传统培训完成度[7]。

2006年，《卡尔·D·帕金斯生涯与技术教育法案》（帕金斯IV）出台，将“职业教育”（Vocational education）更名为“生涯和技术教育”（Career and Technical Education，简称CTE。本文在术语表达上，对职业教育与生涯和技术教育未作严格区分）。这种术语变化，体现了美国职业教育发展的新转向：更加关注学术教育与技术教育融合，更加提倡中学和高等教育衔接的职业教育发展。这也导致了对职业教育评估和问责的新要求。《帕金斯法案IV》指出，生涯和技术教育项目要有更加严格的评估体系，要增加更多核心指标和问责措施。为此，其为各州和地方职业教育项目提出一些新的要求：要求各州每年提交一份综合年度报告、一份学习项目计划、5年的州职业教育发展计划以及参与职业教育的中学阶段和中学后阶段学生核心绩效指标的年度报告。

综合年度报告是一份全面的年度报告，内容主要包括中学、成人、技术预科和高等教育项目的州招生数据；中学、大学和成人职业教育项目的问责数据和财务信息。该报告于每年12月31日提交至美国教育部，进而向国会报告全国范围的职业教育发展数据。学习项目计划尽管之前在《职业教育法》中提及过，但《帕金斯法案IV》强调的学习项目计划，是指高中阶段的职业教育课程需要与高等教育阶段的课程相衔接，而且不能是简单重复的课程设计。关于核心绩效指标的年度报告需要涵盖特殊人口、性别、种族和民族等类别信息，具体核心绩效指标见表1。

表1 “帕金斯IV”的核心绩效指标（学生）

为了鼓励各州对职业教育开展问责，联邦政府设立了专门的资助项目，用于资助定期上交问责报告且项目获得批准的州和地方政府。同时联邦政府也有权部分或全部收回对3年核心绩效指标未达标州的资助。

总之，过去50多年来，美国十分注重以法律形式要求实施严格的职业教育评估，将评估与质量、改进、绩效、问责等相结合。

（二）明确评估主体

众所周知，美国教育制度是地方分权制，这同样体现在职业教育及其项目评估中。美国的职业教育项目评价主体可以分为政府、院校、社会机构三类。

1.政府层面

联邦政府、各州和地方政府都非常重视职业教育的质量问题，在对职业教育进行评估的过程中，联邦政府各部门、各州、地方政府相互协调，共同介入到职业教育评估之中，包括调研、收集数据、开发评估指标、工具和框架等。

国家层面的评估主要由教育部总体把握。教育部依托全国数据总结职业教育发展现状，并对未来趋势作出客观评判，合理设定评价指标和标准。在具体实施方式上，依据《帕金斯法案》的条款，联邦政府建立独立的评估机构，在全国范围内对职业教育项目进行调研，持续追踪教育对象，不断整合全国职业教育项目各项信息。

州和地方政府依据各地具体情况自主设计职业教育项目发展的绩效目标与评估指标。各州在联邦法律要求下，研究本地区职业教育项目的投入、活动和产出，并开展与此相关的评估活动，包括审批职业教育受助对象、年度评估职业教育项目的有效性以及衡量学生的发展情况。

2.院校层面

院校层面的评估通常由各院校有步骤地适时自行开展和独立完成。以职业教育为主体的美国社区学院为例，全美所有社区学院全部参加并完成了“社区学院参与度调查（CCSSE）”。CCSSE评价范式是一种科学的自我评估方式，既实行结果性评价，更注重过程性评价。评估的对象是学生，目的是通过监测学生学业成绩和实践情况来收集相关数据和资料，指导和协助学院及其决策者使用这些数据和资料实现内部监控，最终达到提高学生学习质量和学业成绩，提升毕业率和就业率的目的。

高等教育领域的专家学者负责指导CCSSE的调查研究、数据分析和结果报告，不断增强和提升社区学院的吸引力和竞争力。此外，为了保证院校评价成果的质量和价值，CCSSE评价过程接受有权威性、影响力的领导、专家、合作伙伴和其他重要代表的战略和政策指导。

3.社会机构层面

随着以外部同行评审为特征的质量认证机制的盛行，带有行会性质的第三方质量评估组织成为代表学术权威决定教育质量的权力主体[8]。参与美国职业教育项目评价的社会机构来源广泛，如各州生涯与技术教育联盟（CTECS）、生涯与技术教育协会（ACTE）、全国评价治理委员会（NAGB）、全国职业能力测验中心（NOCTI）、美国高校测验（ACT）等。在对职业教育项目进行评估时，为了确保结果的科学性、有效性和独立性，这些机构往往会成立独立的顾问小组和评估执行小组，这些小组的成员通常来自于政府、高校、企业以及相关研究机构。

（三）制定评估指标与标准

帕金斯系列法案中提出的绩效指标，是国家层面实施评估和建构评估指标体系的基础，但还不足以真正评估职业教育项目的实施效果。为此，一些州为地方实施职业教育项目评估提供了更多的工具。例如，密苏里州制定了一套共同的标准和质量指标，“旨在为当地学区建立、维持和评估优质职业教育项目提供指导”[9]。这些标准附有项目评估和改进工具，可以被当地的教育者用来评估他们的项目。

除了州和地方政府为当地职业教育项目评估做出的努力以外，美国一些社会机构也在寻求通过制定一套职业教育质量标准来丰富和落实职业教育评估。其中，应用范围最广的是美国教育部的“学习计划框架”和美国职业教育协会制定的高质量职业教育质量框架。

1.美国教育部的“学习计划框架”

美国教育部在2006年帕金斯法案IV的基础上，要求各州和地方学区制定学习计划，同时还通过一个大规模的技术援助项目，编制了一套更明确更细致的质量标准框架，扩大了法案中包含的职业教育学习计划的要求。2010年，美国教育部公布了面向职业教育的学习计划质量要素，希望“为各州提供一个有用的质量保证，以促进地方发展符合国会要求的职业教育学习计划，促进帕金斯法案资助的职业教育项目改进”[10]。表2列出了学习计划框架的10个要素和相关子要素。

表2 教育部学习计划框架

随着学习计划框架的发布，美国教育部在全国范围内进行了推广应用工作，资助基于该框架的地方能力评估开发，帮助各州“向地方研究项目的开发人员提供技术援助，并审查州职业教育项目的批准流程”[11]。

2.高质量职业教育项目质量框架

美国职业和技术教育协会（Association for Career and Technical Education，简称ACTE）为了找出开展高质量职业教育活动的基本要素，开发了职业教育项目质量框架和相应的自我评估工具，用于监测和评价职业教育项目实施情况，“并将其用于识别和传播职业教育最佳实践模式”[12]。

ACTE在研制高质量职业教育项目质量框架及其评估工具方面，首先是寻找现有的关于高质量职业教育项目的文献资料，这些文献包括国家级发言、白皮书或文件；包括州级政策文件，几乎每个州都开发了一些政策、评估工具或项目改进资源；还包括ACTE自身已经制定的框架。ACTE还与位于科罗拉多州丹佛市的联邦政府资助的区域教育实验室REL Central开展合作，在审查州政策文件的基础上，共同深入研制质量框架。

2015年11月，ACTE发布了此项研究的成果即《定义高质量职业教育：高质量的职业教育项目框架》1.0版草案[13]。此后，ACTE又多次与州和地方职业教育管理人员、专家学者进行讨论，不断对该质量框架进行修改，先后发布了第二版和第三版草案。最后通过再次编辑使得整个语言标准化并确保要素之间的一致性，形成了项目框架4.0版本用于试点研究。该版本通过12个主要框架要素、105个标准来定义项目质量。12个要素包括：与标准一致的综合课程；顺序和链接；学生评估；有准备和有效的项目人员；参与教学；在获取和公平；设施和设备；商业和社区伙伴关系；职业发展；职业和技术学生组织；以工作实践为基础的学习；数据和项目改进。为了将框架要素和标准转变为完整的评估工具，研究人员开发了评分量表，范围从“0”，表示根本没有达到标准，到“3”表示在整个研究项目中全面实施的标准。以课程和评估这两项要素为例，详细标准见表3。

表3 高质量职业教育项目质量框架（课程和评估部分）

（四）尝试多样化的评估模型与方法

1.评估模型

1959年，Don Kirkpatrick开发了现在评估项目的首要模型——Kirkpatrick四级评估模型，见图1。这一模型主要用于评估企业培训项目，但也非常适用于教育领域的项目评估。模型包括四个层次：反应、学习、行为和结果。评估第一层级为反应，确定参与者是否对学习事件有利地作出反应，即他们是否喜欢或对项目感到满意；第二个层级是学习，用于评估项目参与者是否获得所需知识和技能；第三层级行为是一种长期的衡量标准，需要评估项目参与者在项目结束后是否真实地将他们的学习应用于真实情境中；第四层级结果用于衡量项目参与者完成项目后是否获得了目标结果。

随着时间的推移，四级评估模型在项目培训的相关文献和实践中都取得了巨大进展，并且被其他评估者不断扩展。例如，Jack Phillips在这四个层次的基础上衡量投资回报率，并且增加了系统和流程两个层级来完善模型。

Kirkpatrick模型的一个主要原则是在设计培训项目时必须首先考虑期望的最终结果——即第四层级结果。然后，从这一点开始向前反推，确定导致这些结果的行为、改进这些行为的知识和技能，以及最好地传递这些信息的环境。这一原则对于职业教育项目评估来说特别关键，职业教育项目必须保持对预期项目结果的清晰关注，才能确定获得这些结果的适当条件。

图1 Kirkpatrick四级评估模型

2.评估方法

美国职业教育项目评估体系通常采用问卷调查与定量分析等多种评估方法来确保评估结果的有效性。在评估问责的过程中依托职业教育数据系统实现动态追踪与深度分析。例如，美国国家教育统计中心设立了生涯与技术教育统计，致力于从已有的联邦教育数据系统和其他联邦数据系统（如美国人口普查局的人口普查数据、美国劳工部的青年纵向调查等）中抽取职业教育数据，以全面展示美国职业教育的发展情况，包括各级教育机构、项目、教育内容、参与者、教育成果等[14]。

美国职业教育发展的多元性、层次性的特点要求项目评估采用多样化的方法，如实证案例研究、问卷调查法、文献综述法、数据分析法（国家纵向和横向跨地区的数据库分析、州和地方行政管理机构数据库的分析）、专家小组等。例如，使用数据分析法研究中等与中等后职业教育阶段学生参与职业教育的变化情况；通过问卷调查法进行用人单位参与情况与满意度调查；专家小组对各州和地方职业教育项目评价中关于学术教育和技术教育整合情况的分析等。

三、美国职业教育项目评估体系构建的挑战

尽管项目评估推动着美国职业教育的不断改进和发展，提高了人才培养质量，增强了劳动竞争力。然而，目前美国在构建职业教育项目评估体系的道路上也遇到一些障碍。

（一）缺乏统一的国家标准

尽管立法中有职业教育绩效指标（帕金斯核心绩效指标），但这些指标往往是简单的、程式化的，体现更多的是指导性作用，在时间运用上很困难。其他指标框架又往往不具有公信力，难以在全国范围推广。与此同时，美国职业教育系统具有多样性和流动性的特点，不同州的职业教育标准不尽相同，使得数据的追踪和衡量变得困难，尤其是遇到学生转学或者提前修读学分的情况。

（二）地方分权制的教育制度导致地方政策兼容性不够

各州政府“因地制宜”构建最适合自身的教育项目质量评估与问责体系（包括职业教育），各州之间的兼容性不够。不同的州，甚至在某些特定情况下，不同的学区或高等教育机构对学生学习项目有不同的定义。这意味着，在某些情况下，各州的数据并不具有真正的可比性，教育部不能直接简单地合并各州的数据，因此无法迅速掌握整个国家的职业教育项目开展情况，使得在全国范围内比较不同州之间职业教育项目质量变得很复杂。在实践中，美国需要建立一套能够跨区域、跨系统的统一可比的国家职业教育项目质量评价体系。

（三）绩效指标数据的收集比预期要难得多

首先，并不是所有的受访者都愿意参与调查，往往选择参与调查的参与者都是喜欢这个项目并希望它成功。其次，能够完成调查所有内容的人，都是最专注和最感兴趣的个体，因此调查对项目效用的感觉时会对相关结果产生巨大影响。

四、对我国构建职业教育评估体系的启示

改革开放以来，特别是党的十九大以后，我国在职业教育发展中投入了巨大的人力、物力和财力，但由于政策制度、政府机制、体制、产业政策以及学校自身的原因，职业教育质量及其评估仍是一个广为关注的问题，难以满足社会和公众对职业教育的期望和要求。建立一套客观明确的职业教育评价体系，是衡量我国职业教育办学质量与资金使用效率的需要。美国数十年构建职业教育项目评估体系的经验，能够为建立适合我国社会经济发展的职业教育之路提供以下启示。

（一）强化立法评估的法律地位

国家层面上，职业教育的顶层设计已经初步确立，产教融合正在全社会范围内推进，职业教育迎来了快速发展的大好时机。高质量的职业教育发展离不开评估体系的支撑，美国帕金斯系列法案为此作出了良好的示范，然而我国1996年颁布的《职业教育法》未涉及评估内容，其他相关政策措施也未对评估细则作出量化地阐述。因此，我国应该尽快研究和建立职业教育的评估机制和体系，确定合理的指标和评价标准，完善监测与问责机制并以立法的形式向社会公开。评价职业教育成果不仅仅是统计培养技能型人才的数量，更重要的是关注职业教育在人才的质量、向生产力转化程度以及推动产业发展与革新的成果等方面起到的作用。

除了国家层面，各地方政府应该根据各地区的产业结构、发展要求和人才需求状况制订相关的条例、制度和规定，通过评估推动职业教育更好地服务地方经济。

（二）建立动态的评价指标

随着以人工智能为代表的第四次工业革命来临，以及全球技术革命、生产方式变革等巨大挑战，我国对应用型人才的需求急剧增加，职业教育与产业发展必须密切联系。因此，新时代下评价职业教育办学质量必须跳出原有简单通过学生成绩、毕业率、就业率等指标来衡量的思路，可以参考美国指标选取的变迁（尤其是教育部学习设计框架中的具体元素），更多的聚焦于职业教育产教融合情况、课程设计、“双师型”教师数量、实习实训、职业生涯规划、雇主满意度等指标，尤其是要关注依据国家标准、行业标准对学生技术技能的评估。

指标的设计需要中央和地方的政府部门以及相关研究机构共同合作；在以往工作基础上建立普适全国的职业教育评估指标，以及更丰富更有针对性的省域指标。

（三）实施多维度的分类评估

由于职业教育的内涵十分丰富，为避免使用单一指标所带来的片面性，可以采用一套指标体系，立体地予以评估。例如：从学段维度出发，可分别考虑中等和高等阶段职业教育；从地理维度出发，考虑不同区域（如，可划分为东中西部地区，也可划分为一线、二线城市，等等）的职业教育情况；从内容维度出发，针对职业教育各个方面，如职业教育顶层设计与政策、职业教育师资、职业教育课程体系等的情况来反映；从类型维度出发，要充分考虑职业教育的不同类型，如农林类、理工类、经管类等。通过这些维度的单一作用或综合作用，可立体地反映职业教育的质量情况。

（四）搭建职业教育大数据系统

大数据时代的到来，使得决策日益基于数据和分析而作出，而并非基于经验和直觉，这几乎成为各行业的准则，职业教育也不例外。为了能够持续评估职业教育的办学质量、绩效和发展趋势，我国需要在国家层面搭建起一个完备的职业教育大数据系统。这一数据系统除了包含基本的职业教育数据（学校数、教师数、学生数、毕业率等）以外，还应该要求各省定期上传省域内所有职业院校的评估报告。

这些数据应该向社会公开，通过社会监督的力量来促进职业教育高质量的发展。除了可公开数据以外，这一数据库还应该包含对学校、教师、以及学生的动态追踪数据，从学生入学一直追踪到毕业后数年，建立完整的发展档案，同时对接各类教育与就业数据，以帮助政府以及相关研究人员解决教育管理中的现实紧迫问题，将有限的资源用于支持高质量的教育项目，做出更准确的决策。

我国可由政府牵头，依托高校、科研机构、企业等单位成立专门的职业教育数据研究基地，组建一个由职业教育管理人员、职业教育研究人员、职业教育评估与数据处理专家、雇主等组成的独立咨询小组，由他们分析、评估职业教育数据并为决策部门提供有高质量数据支撑的高水平咨询报告。