基于效度分析的职业教育政策监测与评价体系

□董天鹅

教育的健康发展，需要“三驾马车”共同推进，即先进的教育理念、完善的教育政策和有效的教育制度，三者缺一不可。其中，教育政策作为教育理念和教育实施的中介，已成为各国政府进行教育管理的重要手段之一。据不完全统计，改革开放以来我国所颁布实施的重要职业教育政策已有200多项，一方面，呈现出政策文本繁荣的现象，另一方面，职业教育实践却困难重重，即职业教育政策结果与理论目标产生偏离，这种落差不禁让人们对职业教育政策的效度产生了怀疑。相比而言，世界银行等国际组织通过实施监测与评价来调整并完善政策、提高政策成效，监测与评价已经成为教育政策过程中必不可少的管理工具，而职业教育政策监测与评价环节的缺失，正是严重影响我国职业教育政策绩效目标实现的重要原因之一。因此，建立有效的、规范的、系统的职业教育政策监测与评价体系，是提高我国职业教育政策效度的关键环节。

一、概念界定

（一）效度

效度（Validity）是教育测量学概念，即有效性，是指所测量到的结果反映所想要考察内容的程度，测量结果与要考察的内容越吻合，则效度越高，反之，则效度越低。职业教育是促进我国就业和经济发展、提高国家竞争力的主要途径。在职业教育政策实施过程中，不管是职业教育法规、还是职业教育决定等都会产生积极影响，但关键问题在于多大程度上实现了预期目标。因此，职业教育政策效度就是党和国家制定的职业教育方针、法律法规以及职业教育的实施意见等各项行动指南的实践结果与预期目标之间的符合程度。

（二）职业教育政策监测与评价

1.职业教育政策监测。监测是指在政策的实施与开展过程中，政策实施机构系统地收集和分析有关政策的进展、政策预期目标的达成程度等信息的过程。通过收集有关指标的变化信息，帮助决策者对政策的动态了解，追踪政策的实施情况，资源的分配情况和目标的达成情况等。监测主要回答以下六个问题：（1）政策是否按照计划实施与推行？（2）政策的投入是否很好地瞄准了目标人群？（3）事先计划的产出是否有效完成？（4）实践结果是否与政策预期目标持续相关？（5）在实施政策结果的过程中，我们面对哪些问题、风险以及挑战？（6）针对政策执行中的变化，需要作出哪些决策调整？[1]职业教育政策监测就是决策机构对职业教育政策制定及实施过程中的每一个环节收集和分析信息，通过比较实际效果和预期目标，监督职业教育政策的执行情况，以促进既定政策目标的实现。

2.职业教育政策评价。评价是对政策的设计、执行和结果进行客观、系统的分析，目的是要确定政策是否对其受益者带来了预期效果，具体是如何产生这些效果的，实施效率如何，以及项目的可持续性如何。主要回答以下四个问题：（1）政策结果产生的原因是什么？（2）政策实施对目标人群的具体贡献是什么？（3）如何改善政策的实施结果？（4）从政策实施的过程中，可以获得什么经验或教训？[2]职业教育政策评价就是决策机构对职业教育政策实施结束后收集到的信息进行分析和总结，以评价政策产生的影响和效果。

从以上解析中可以看出，一方面，监测与评价密不可分，监测为评价提供必要的信息和数据，评价则对监测信息进行价值判断，但同时，监测与评价在分析问题的深度、内容、目标等方面又有着本质区别。监测回答的是教育政策的实施情况，是描述性的，而评价回答的是预期目标的实现情况，是因果关系。在一个完整的教育政策生命周期中，监测与评价两者缺一不可。

二、职业教育政策效度分析

孟卫青在《教育政策分析的三维模式》中提出了政策分析的一般理论框架，即价值分析、内容分析、过程分析[3]。本文试从以上三方面来分析我国改革开放以来职业教育政策效度低下的现状。

（一）职业教育政策价值效度分析

教育政策的价值分析主要回答“教育政策处理各种有冲突的教育利益诉求，或者分配有限的教育资源所遵循的价值准则是什么”[4]这一问题，即决策主体在制定教育政策时的价值取向。而教育决策主体的价值体系是一个非常复杂的系统，共分为元价值、隐价值和显价值三种[5]。元价值就是超越一切价值的价值，是最基本的价值；隐价值是决策主体真实表现出的价值取向，往往会左右教育政策的执行；显价值是公开的、显露明显的价值。对于职业教育来讲，其元价值即为本体性价值，发展职业教育可以促进教育公平正义、实现人的全面发展、消除贫穷防止社会失调，这是所有政策制定者遵循的价值观；隐价值实际上就是工具性价值，即政府通过职业教育短期内培养大量技术人才实现经济利益的最大化，而从实践角度，职业教育作为一种“二流教育”，周期长成本高，在资源有限的情况下，政府会将其边缘化，在这种情况下，隐价值必然受到影响；同时，职业教育作为人才强国战略的重要组成部分，政府必须高度重视，表现出显价值，一方面，教育相关部门必定颁布大量的政策文本，但另一方面在实际的经费投入、就业制度等方面互相推卸责任。因此，在职业教育政策价值领域，为了追求效率、经济利益而忽视公平、人本发展，即重工具价值轻本体价值，而规避责任又扭曲了职业教育政策的显价值，出现了明显的价值冲突。

（二）职业教育政策内容效度分析

教育政策的内容效度分析是将政策视为一种规范性文件或行动准则，对政策文本和背景、原因和结果进行分析[6]。在职业教育领域，由于理论主体的不成熟和信息的不充分，职业教育政策内容的科学性和系统性较低。因此，职业教育政策内容的效度有待于进一步提高。如在高职院校人才培养质量方面，《关于高等职业教育人才培养工作的若干意见》中指出，“高职教育培养拥护党的基本路线，适应生产、建设、管理和服务第一线需要的，德、智、体、美全面发展的高等技术应用性专门人才”，“学生应在具备的基础理论知识和专门知识的基础上，重点掌握从事本专业领域实际工作的基本能力和基本技能”[7]。我们从中可以看出，在职业教育政策中，人才培养目标表述笼统，在文化和技能方面没有更加细化的指标，时代性和地域性特征也不明显。除此之外，在人才培养途径方面，校企合作方式规定模糊，没有明确合作双方的权利和义务，最重要由于政府角色缺失而难以保证校企合作的正常运转。同时，经过仔细核查，我们就会发现许多职业教育政策逻辑性差，关联度不高，甚至有很多内容交叉重复。因此，职业教育政策内容在很多方面缺乏系统性、科学性，甚至有些地方会相冲突相矛盾。

（三）职业教育政策过程效度分析

教育政策过程分析主要回答“为了实现一定的政策目标，教育政策是怎样形成的以及如何执行的”这一问题，涉及到从选择政策问题到政策终结共七个阶段[8]。在这些过程中，或多或少都存在着低效度问题：

首先，职业教育政策目标不明确，在多数职业教育法律条文中，目标多属于“宣言式”表述，只是做了原则性规范，不管从实体上还是程序上操作性都很差，因此在实践过程中很容易出现有法不依、执法不严的现象。

其次，职业教育政策实施方案缺乏科学性，决策者在界定政策问题后，紧接着要选择政策实施方案，实施方案的确定必须根据我国职业教育自身特点，而我国职业教育相关政策在制定过程中缺乏实地调研，仅仅照搬西方国家优秀经验，而且职业教育作为一种特殊教育类型，决策者在政策制定过程中并没有综合考虑社会各个利益团体的意见，科学性严重不足。

第三，职业教育政策执行效力不高，美国政策学家艾利森称：“在达到政策目标的过程中，方案确定的功能只占10%，而其余的90%取决于有效的执行。”[9]职业教育政策的效度不仅取决于政策本身的科学性，跟主要的取决于政策执行过程中的行政效力问题，但由于职业教育政策在制定过程中并没有广泛调研征求意见，因此，职业教育政策不但执行不力，反而还会引起人们的不满情绪。

最后，职业教育政策评估机制不完善，由于我国政策制定机构和评估组织合二为一，因此，我国的政策评估形同虚设，决策者在制定评估指标时只会注重外在成绩，互相攀比政绩，难以保证评估的真正价值。

三、职业教育政策监测与评价体系构建

从以上分析中可以看出，正是由于缺少监测与评价，导致我国职业教育政策价值效度、内容效度和过程效度低下的现象。因此，在职业教育政策制定过程中有效实施监测和评价是中国教育政策领域亟待解决的一个问题，而监测是评价的基础、前提，选择有效的职业教育政策监测模式将是建构职业教育政策监测与评价体系的关键所在。

（一）职业教育政策监测模式选择

传统的职业教育政策在制定和实施过程中采取的是线性模式（如图1），即职业教育政策的制定往往是一次性的，政策执行即意味着政策制定的结束，往往是单向的，在政策的每一个环节没有及时的反馈与调整，不重视教育实践对教育政策本身的完善，缺乏连续监测，当然也就不免会出现低效度的问题。而世界发达国家在职业教育政策制定过程中采取的是周期循环模式（如图2），螺旋上升的，即从甄别政策问题到形成方案再到政策过程都会纳入监测范围之内，监测会涉及到政策的每个环节、每项内容，它可以连续性地收集信息和反馈信息，给政策制定者、实施者提供决策依据。

图1 线性模式

图2 循环模式

（二）职业教育政策监测与评价体系构建

1.根据监测与评价目标确定指标体系。为了有效地实现职业教育政策的预期目标，不仅需要制定完善的政策执行计划，更重要的是严格执行计划。为了系统地测量与记录政策运行过程中的具体信息，需要首先确定监测指标体系，监测指标是由一系列具有针对性、可信性、可跟踪性及时效性的指标构成的。根据指标测量的用途，可将监测指标分为投入性指标、产出指标和结果指标[10]。投入指标主要是考察政策实施过程中所投入的人力、物力、财力资源是否按照预期规划分配；产出指标主要是考察政策投入对政策覆盖对象所产生的直接变化如福利等，即用来测量用于政策特定目标群体的资源是否落实到位；结果目标主要考察政策实施的满意度，即分析政策对目标群体带来的直接或间接影响以及政策目标的达成情况。其中，投入指标和产出指标属于中间指标，结果指标属于终期指标。中间指标测量的仅是政策的干预情况，是与政策实施息息相关的，而终期目标与政策目标有关，是用来测量政策目标的达成情况的。通过上述指标体系的建立，可以比较精确地监测政策活动，获取大量政策执行情况的数据，为评价政策效果奠定基础。

2.选择恰当的评价模式。目前，国内外已经形成较为完备的教育政策评价模式，主要有参与式评价、逻辑框架法、成本效益分析等模式。参与式评价是通过充分考虑相关人员的广泛参与，促进其对教育政策的认同感，提高其自我决策和发展能力，这种方法强调群众基础，能确保获取资料的真实性，但群众意见往往存在分歧，需要耗费大量时间去统一；逻辑框架法的基本假设是所有政策活动的投入、产出、目标等都能通过一定的方法量化，在使用该方法时，首先需要设计逻辑框架表，评价人员填入政策实施的实际情况，通过与预期目标对比发现问题，提出对策，但对指标设计要求非常高；成本效益分析是通过评价政策的成本和效益，来确定其评价效率问题的，这种方法可以对政策进行标准化评价，数据易得，但不能评价单一方案，只能同时比较两个或多个方案。每种方法各有所长，决策机构可以根据评价目标、经费限制、时间要求等作出选择，或将多种方法有机结合。

3.监测与评价资料的收集。对每一个监测指标而言都需要有精确的信息来源。相关政策监测信息主要有两个获取途径：

第一，二手资料，即相关部门或单位已收集好的资料，如教育统计年鉴、政府机构的报告和数据库。这种方式相对比较容易，人力、物力、财力成本相对较小，而且在信息统计过程中，有很多数据不是单个研究者调研所能获得的，但二手资料的针对性、时效性、客观性有待于进一步评估；

第二，实地调研，是监测资料获取的重要途径，一般来说，需要耗费大量的人力、物力、财力，但这个环节可以为监测提供数据支持，是必不可少的，主要涉及两个方面：首先科学抽样，根据监测目标选择代表性样本，然后进行质性与量化分析，这两种方法各有利弊，可以起到互补作用，质性分析方法适合研究比较复杂或者富有争议性的问题，深入分析问题产生的原因，样本选择不宜选择过多；量化分析方法可以将问题数量化，结论准确，但不适用于复杂问题，因此，实际调研中应将两种方法结合起来，扬长避短。

4.监测与评价报告撰写。这一环节是整个职业教育政策监测与评价体系的落脚点，是对监测与评价的结果进行总结反馈的阶段，也是对工作人员技术要求最高的一个阶段。首先，对监测与评价资料数据进行统计汇总，归类整理并存档，以备政策调整的需要；其次，绩效监测与评价，它的基本假设是职业教育政策可以产生预期结果，根据政策预期设计方案，这些结果指标是可以测量的，通过对这些指标的测量来衡量政策绩效。通过绩效监测与评价，可以明确哪些活动已经正常展开，哪些没有按照计划展开，预期结果在多大程度上展开，哪些地方做得好或者不好及其原因分析，这些信息可以用来帮助决策者调整政策的管理措施。因此，要确保绩效监测与评价在政策过程中发挥应有的效果，还必须要设计一个学习和反馈系统，如通过绩效监测定期发布监测信息；最后，撰写监测与评价报告呈现结论，注意提出政策实施过程中存在的问题，并未后续的政策实施提供建设性的意见，以达到政策实施的方向、合理利用及配置资源，提高效率和效益等目的。

[1][2]UNDP，Handbook and Book of Planning，Monitoring and Evaluation for Development Results[EB/OL].http：//www.undp.org/eo/handbook.2009-09-28.

[3][4][6][8]孟卫青.教育政策分析的三维模式[J].教育科学研究，2008（21）：23-25.

[5]张社字.我国职业教育政策的效度分析[J].教育与职业，2008（32）：5.

[7]尚悦.辽宁省高等职业教育人才培养质量政策的内容分析[D].沈阳师范大学，2009：1.

[9]周建国，张俊峰.公共政策执行：偏差与对策[J].公共管理高层论坛，2006（02）：300.

[10]杜育红.教育政策的监测与评价研究[M].北京：人民教育出版社，2011：163.