上海市职业教育开放实训中心评估的整体设计与理论探索

刘苹苹， 韩正之,2

(1.上海市教育评估院， 上海 200031; 2.上海交通大学 电子信息与电气工程学院， 上海 200240)

0 引 言

管、办、评是行政管理中三项最有效的措施，管办评分离是提高管理质量与效率的重要举措。近年来，国家多次强调教育管理的管办评分离。2015年5月，教育部发文《教育部关于推进教育管办评分离、促进政府职能转变的若干意见》(教政法[2015]5号)，明确管办评分离是教育综合改革的重要内容，“各地要把推进教育管办评分离作为转变政府职能、深化教育综合改革、推进依法治教的重要任务和有效抓手”[1]。此后，管办评分离一直是教育管理研究的一个重要话题，近千篇文章从理论到实践对管办评的“分”和“合”问题进行了探讨[2-4]。从唯物主义的观点看，“办”是第一位的，一切改革的成果都要通过“办”才能体现出来，才能让人民群众有确确实实的“获得感”。管办评中的“评”就是教育评估，“以评促建，以评促改，以评促管”，说出了“评”是教育改革、教育发展不可或缺的助推器。

上海市职业教育开放实训中心(以下称开放实训中心)的设置与建设是上海市职业教育的一张名片。本文结合验收评估、绩效评估和等级认定两项评估工作，具体说明评估设计需要整体设计，需要着眼对评估对象全程跟踪；还探讨了整体设计对教育评估理论发展的促进作用。

1 上海市开放实训中心的设置与等级认定

从世界范围来看，就业一直是高等教育的主要目标之一。例如欧洲，博洛尼亚进程始终强调高等教育改革是为了提高民众终生的就业能力[5]。在我国，2004年《教育部关于以就业为导向，深化高等职业教育改革的若干意见》(教高〔2004〕1号)指出职业教育要“以就业为导向”，并且要求“特别重视高等职业院校实习实训条件的建设”。此后，各级各类职业院校纷纷建设实训基地。就在上述文件颁发的当年，上海市以“先行者”和“排头兵”的勇气、秉承全国教育综合改革试验区的使命，着手筹建职业教育开放实训中心，在实训中心前冠以“开放”二字，旨在向社会开放，不但让在校师生受益，而且让全社会受益。

1.1 举办上海市开放实训中心

上海市开放实训中心设置在职业学校内，采用学校出资、企业参与、政府资助的方式举办。学校根据自身专业特点和学科专长向上海市教育委员会提出举办开放实训中心的申请，经市教委审核批准后开始筹办，学科基础、学校出资和企业参与是举办开放实训中心的先决条件。批准筹办的开放实训中心经过1到2年的筹办之后，按照“建成一个，验收一个”的原则，由上海市教育评估院组织验收评估。通过验收评估才能挂牌为上海市职业教育开放实训中心。

1.2 上海市开放实训中心评估及指标体系

验收评估指标系统于2006年首次颁布，2016年修订。修订后的版本有7个一级指标，含19个二级指标，每个二级指标有若干个具体的评价要素，共有30个要素。这30个评价要素分成3类，即必备要求(19个)、发展性要求(7个)和指导性要求(4个)[6]。其中，必备要求是验收通过必要条件，发展性要求只需要部分达到，4个指导性意见都在第7个一级指标“特色建设”中，指出开放实训中心的发展方向[7]。

上海市于2012年开始实行开放实训中心的绩效评估和等级认定，2016年修订了《上海市职业教育开放实训中心运行绩效评估指标体系》[8]并于当年开始执行。绩效评估的指标体系有5个一级指标，15个二级指标，31个评估要素，另外还指定了支撑评估要素的数据或材料名称。绩效评估与等级认定同时进行。为了帮助各中心确定自己申报的等级，上海市教育评估院颁布了《上海市职业教育开放实训中心运行绩效评估自评核心标准》[8]，该标准一共9项，每项都分“合格” “良好”和“优秀”3个等次要求，分别对应了“一星级” “二星级”和“三星级”，参加等级认定的单位根据这些要求可以确定申请的等级和明确进一步发展的方向。“四星级”和“五星级”的认定的基本要求与低星级一样，但是另外有7项标准[8]。这7项标准都不是定量的，申报者须从这7个方面叙述自身业绩，同时要求在某些方面有所突破。例如申报四星级的单位，必须就7项中的两项重点阐述自己的特色做法，而申报五星级的单位，则要求就其中4项做特色介绍。

1.3 上海市开放实训中心的评估过程

开放实训中心的验收评估、绩效评估和等级认定都采用自评-审核-颁布程序。验收评估要求各开放实训中心根据《上海市职业教育开放实训中心建设验收评估指标体系》进行自查，根据上海市教育评估院设计的《基本情况统计表》填报具体支撑数据或材料，完成自评报告。上海市教育评估院组织专家进行网评，根据网评结果发布合格或不合格的公告。

绩效评估和等级认定的程序与验收评估类似，申报低星级的开放实训中心根据《上海市职业教育开放实训中心运行绩效评估指标体系》和上海市教育评估院提供《自评总结报告撰写提纲》撰写自评报告。申报材料先由专家进行网评，然后按照不低于10%的比例对申报低星级的开放实训中心进行实地评估。申报高星级的开放实训中心也需要根据上述两个文件和《上海市职业教育四星级、五星级开放实训中心认定标准》撰写自评报告，经过专家网评后，还需要接受为时一天的专家实地综合考察，考察形式包括查阅原始资料，师生访谈，实地察看等。

等级认定的结论先在网上公示，经质疑期而无异议者由上海市教委颁文认定。

2 教育评估对上海市开放实训中心建设的促进作用

根据现代评估理论，对一个对象实施评估有四个要素：评估项目、指标体系、评估过程的设计和评估结论的应用[9]。在教育评估过程中，评估项目设计要有发展的引领作用，评估指标设计要有建设的标准作用，评估过程设计要有效能的提升作用，评估结论的应用要有持续的激励作用。上海市职业教育开放实训中心建设项目曾于2015年获国家及教育成果二等奖，本着全国教育综合改革试验区再接再厉、不断创新的宗旨，上海市于2016年全面修订了职业教育开放实训中心的评估设计。现结合上海市开放实训中心建设，从评估项目设计、指标建立、过程开展和评估结论应用四个方面来阐述职业教育实训中心评估的整体设计，分析教育评估四个要素对教育发展的意义和作用。

3.1 危害特点：幼虫以蛀食叶片上下表皮间的叶肉细胞为主，常在叶片上形成曲曲弯弯的蛇形隧道。隧道前端较细，随幼虫长大，后端隧道较粗。

2.1 评估项目的设计要发挥引领作用

上海市第一所职业教育开放实训中心于2005年挂牌，时至今日，还不断有学校申请举办开放实训中心，说明开放实训中心对职业教育发展的促进作用，也提醒上海市开放实训中心的发展水平不可能在一个水平上。如何对开放实训中心进行教育评估，同时促进不同发展水平的实训中心都能继续创新发展是这一制度设计的核心。在总结开放实训中心成功经验的基础上，参考了2013年国家对于高等教育的评估设计，上海市对于职业教育开放实训中心的评估分成验收评估和绩效评估两个阶段，在绩效评估的同时开展等级认定，同时这些评估的执行时间设置了要求。

按照上海市确定的“建成一个，验收一个”原则，对批准设立的上海市职业教育实训中心在批准后的2年里要进行验收评估，主要验收实训中心在硬件和软件建设方面是否达到对校内师生和校外民众开展实训的基本条件。验收合格是对硬软件基本达标的裁定，是实训中心的出生证。绩效评估则要检查开放实训中心挂牌后的运行情况。制度规定，验收合格的实训中心必须在两年内接受绩效评估，以后每3年内必须再接受一次绩效评估和等级认定。等级认定分成一星级到五星级，这种设计给开放实训中心不断发展的空间。

验收评估和绩效评估的两阶段设计具有连贯性，引领实训中心在基本硬软件达标后重点放在绩效建设上，从外延发展转到内涵发展，确实提高自身的实训水平，而星级提升则要求开放实训中心不断办出新意。出于城市发展需要上海市政府每年会向开放实训中心提出新要求，例如在2016年提出要开放实训中心服务于上海科创中心的建设，培养科创中心需要的蓝领人才；根据国务院对“产教融合”人才培养方式改革，2017年提出要举办社会体验活动，让更多的市民了解开放实训中心，吸引他们参加培训活动； 2018年又鼓励开放实训中心向中小学生开放。并与星级提升相辅相成，各实训中心结合专业特色，积极落实政府要求、制订活动计划、创新工作经验为星级提升准备素材。

2.2 指标体系的设计要具有标准建设意识

在评估学中，“指标是用来衡量某事物在一定时期内预期目标达成情况的指数、规格或者标识等”[9]。“指标作为一种评价准则”[10]，因而是“整个评估的依据”[11]，就是说指标对于评估是“标准”，起着衡量的作用，而这种标准会自动地转化成评估对象建设的模版。在上海市开放实训中心的筹建中，各实训中心自觉地将验收评估指标作为建设的方向，努力地达到这些指标要求，因此验收指标在开放实训中心筹建中发挥了标准的作用；对于参加验收评估专家来讲，这些指标是用来衡量中心是否可以通过验收的标准。

标准的基本要求是权威性、确定性、可量测性以及层次性。作为评估使用的指标系统，除了这四方面的要求之外，还需要与评估目的的一致性，进一步，作为对开放实训中心评估工作的整体设计，在指标设计上还必须保持验收评估和绩效评估在整体上的连贯性和阶段上的区别性。下面以“培训”要求为例，说明在指标设计中的整体考量。

实训中心的核心是培训，图1给出了验收评估、绩效评估和等级认定(优秀)中关于校内和社会开展实训的指标中的要素设计。从图1可见，验收评估主要考核“有没有”的问题，只要求能提供本校师生的专业培训，和社会培训人次不低于本校师生培训人次；绩效评估指标则要考核“好不好”的问题，要求全面满足本校师生的专业培训，而且要求有一定的取证率和得奖率，对于社会培训则提出更具体的要求；在等级认定的核心指标中“优秀”的标准则显示出更高的要求，读者如果对其他数值没有感觉，那么从“≥市平均值+20%”可以看出明显高出一截的要求。图1给出的指标设计不但具有阶段性和连贯性，而且带有明显的逐级提升的态势，这种要求的提升鼓舞了被评对象不断努力，争取达到新的更高标准。

图1 培训指标的提升型设计

由于指标体系的标准作用，各开放实训中心对照指标建设，努力达标，恰如其分断定自己可以申请的等级，因此验收通过和等级认定的效率是极高的。

2.3 评估过程的设计要重视效能提升作用

第四代评估理论被称为是基于构建主义的评估理论，古贝与林肯又进一步指出是回应式构建主义评估[12-13]，强调被评估方与评估方之间的交互作用，增进评估效能的提升。这与“以评促建”完全吻合。在21世纪的第2个10年，第四代评估理论被广泛地应用到我国教育评估的实践中。

按照通常的理解，评估双方的交互主要体现专家评估过程。专家的参与可看成是一次集体会诊。上海市教育评估院多元化地聘请参与开放实训中心评估专家，有行业企业成员、职教院校的老领导、市教科院的职教专家，以及当前职业院校的一线干部，他们熟悉职业教育，有丰富的教育管理经验，特别是对职业教育的政策、现状，甚至对各个学校的情况都非常熟悉，因此他们的意见和建议具有很强的针对性，对于中心的建设与发展，效果明显。根据上海职教在线刊登的报道，在评估中，专家们主要对数据统计的规范性、规章设计的严密性和管理措施的科学性提出了指导意见，主要集中在开放实训中心的“内涵建设”领域。报道说专家们高屋建瓴的指导对于开放实训中心的效能提升有着积极的意义。

近年来，在上海市教育评估机制设计中，自查自评也被当作一项重要的交互过程，这是被评估方与评估方通过指标的交流与交融，将自查自评过程看成是被评对象与评估指标之间的一个持续的互动。为了落实自查自评作用，上海市教育评估院不但公布开放实训中心评估的所有指标系统，而且提供自评报告撰写提纲和支撑指标的数值要求，方便被评估方自查和撰写自评报告，真正落实“以评促建”的目的。根据上海职教在线提供的新闻，绝大多数开放实训中心都非常认真对待验收评估和每一次绩效评估和等级认定。在提出验收评估申请之前，开放实训中心所在学校领导大多会亲自组织会议，逐条对照验收指标，认真检查达标情况。由于学校领导召开会议，校内各相关部门负责人悉数到位，对照指标体系查出来的不足，现场指定职能部门限时解决。自查让全校一起参与到中心的建设中来，解决存在的问题，提升中心的效能。这种自查自评设计顺应了第四代评估理论要求。

2.4 评估结论的应用要发挥持续激励作用

评估结论的应用是评估过程中的一个重要的环节，李克强总理曾在国务院常务会上要求各部门用好第三方评估成果[14]。然而在实际中，很多被评估单位只关心评估结果，通过还是不通过，或者几个A、几个B，而对理解评估结论所蕴含的用意，应用评估结论指导今后工作做得相对不够。为了突出评估结论的持续激励作用，上海市在评估制度设计中下了功夫，用评估结果来促使被评单位自觉地产生不断进步的愿望。

上海市开放实训中心的两类评估结论，以上海市教育委员会的名义颁文，颁文只涉及通过不通过或星级，并在上海市教委的官网和上海职教在线上公布，专家在评估过程发表的意见则总结转告学校。但规定开放实训中心的举办申请批准后，必须在2年之内建成并组织验收，因此申办批准就促使被评估方按照验收要求加紧建设；验收评估通过后，制度要求在2年内进行绩效评估和等级认定，也就是说，工作重点转移了，必须花大力气提高实训效益；期间，各中心对照“绩效评估自评核心标准”，积极找出薄弱环节，补齐短板，努力达标；在首次星级认定之后，制度规定每3年须再进行一次绩效评估和等级认定，因此各实训中心必须持续地针对“绩效评估自评核心标准”严格要求自己，积极响应政府的号召，结合新要求努力创新，创造新成果提升等级的条件。

3 开放实训中心评估对教育评估理论探索

上海市开放实训中心的评估工作对于教育评估理论做出的贡献，突出的是对分类评估的探索。

分类评估起于高等教育，是在高校第一轮本科教育水平评估以后提出来的，因为在那一轮评估中对所有高校采用了同一指标系统，没有顾及各类高校的特点，于是就有人提出要分类评估，风靡一时。然而“将高等教育分类是一个世界性难题”[15]。尽管如何分类没有解决，但是有文章开始研究分类评估的指标系统设计：有人认为应该有不同的指标体系，有人提出按照教育使命可以设计不同的模块，对不同类型的学校评估时可以选取不同模块的组合，有人提出相同的指标系统但是权值不同，又有人提出统一指标系统和权值，但是观测点可以不同等等。

一个评估项目通常是对同一类对象进行的，因此可以认为这类对象属于一个概率分布。对N个对象分类，有两种极端的情形：分成一组或分成N组(每个对象一组)。既然在讨论分类，那么这两种极端的分类一定不会是最好的，从而需要研究根据某个目标函数确定合适的分类数。在数理统计中分类数也是一个研究专题[16]，但在教育评估中几乎没有任何研究。

从评估的本源讲应该有一个统一的标准，而从被评方的现状看，分类评估又是必须的，在上海市开放实训中心的评估设计中是怎样解决这个矛盾的呢？

根据上海市教育年报，截至2017年年底，上海市建有94个市开放实训中心，涵盖30多类专业(工种)。有信息技术(计算机)、电子与通信技术、数控技术应用等涉及先进技术的职业，也有食品工艺与检测、化学工艺、海员职业等交叉程度较大的职业，还有工艺美术、烹饪、会计等相对传统的职业。这些职业在从业人数，岗位增长速度、社会饱和程度、实训设备、实训师资、技术含量等等都有很大区别。例如数控技术应用专业至少要有一台比较先进的加工中心，其价格在千万以上，而烹饪与会计需要的设备却较简单；又如随着上海市5个中心建设的深入开展，数控技术、数字娱乐业、金融业、生物技术的人才需求量急剧增加，这些专业实训中心生源充沛，而现代物流管理、会计、制冷技术的管理人才相对饱和，实训中心的生源也受到影响。差别的存在说明分类的必要。面对极大的差异，上海市开放实训中心的两类评估还都各自采用一套指标系统。那么怎样体现分类评估的呢？

如试卷的命题规则一样：考题内容分基本知识点，拓展知识点和创造性应用；考试是60分就及格！也许是受了这点启发，开放实训中心的两个指标系统设计都给出了若干个评估要素，而这些要素被分成必备要求，发展性要求和指导性要求。通过验收评估不需要达到100分，只要达到必备要求，部分发展性要求，考虑过指导性要求就行。必备要求在要素的数量上绝对占优，这些必备条件反映了“开放”“实习”和“训练”的基本内涵，是所有开放实训中心必须达到的。而发展性要求反映的继续发展的潜力，可以是选择性地达到，指导性要求不是硬性规定，这些指标的合理设置充分体现了对分类评估的考虑。将评估要素分成三类能很好地照顾了各类不同职业开放实训中心的特点，体现分类评估的精神。例如“实训装备的技术含量、技术水平应与企业当今的主流生产技术”相同，对于烹饪、会计等专业来说是比较容易办到的，而对于日新月异的数控技术、生物技术、汽车运用与维修等专业要与主流技术同步有一定难度，尤其在上海这样一个飞速发展的环境中。所以这项列为发展性要求，对于发展特别快的专业，仅要求有一定程度反映。这样做的成效较明显。所有的开放实训中心都能一次通过验收，很大程度上取决于有必备条件托底。

相似地，在绩效评定中，在绩效评定指标中抽出9项核心指标，并且这9个核心指标的“合格”作为绩效评估和等级认定的必备要求，其他则作为发展性或指导性要求。由此可以照顾到不同专业(工种)的特点。高星级开放实训中心的认定则是更加灵活。除了必须达到三星级的必备条件之外，四星级中心只要就7项标准中的两项有突出成绩就可以申报，更是充分估计各类开放实训中心的特点。

2016年修订指标已经运行了3年，各类中心基本都认同这些评估指标系统和评估方法，说明这些指标系统和评估方法基本达到了通用和分类的辩证统一。

4 结 语

管办评是行政管理的三项最主要手段，在上海市职业教育开放实训中心建设中，教育评估起到了重要的作用，而使得这种作用具有持久性和发展性，整体设计是重要环节。理论是实践的指导，在实施整体设计的过程要不断地根据国家对教育发展的总体部署、教育评估的理论发展和评估对象的变化，全面地设计评估内容、评估指标和评估过程，必须设计好评估结论对评估对象发展的指导作用，让教育评估成为促进教育发展重要手段。