基于能力导向的职业院校学生COMET职业能力测评命题方法研究

王荣秀　杨生明　陈晨

【摘 要】本文阐述目前国内对学生职业能力的测试方式主要有职业技能鉴定、职业教育技能竞赛以及职业能力测评工具，针对职业教育领域对学生能力测评在题目的质量、内容和依据方面缺少严谨、科学的标准等问题，提出采取COMET职业能力测评试题从另一角度对我国现有的测评形成补充，并论述COMET职业能力测评的理论及实践、COMET试题题目的类型及表达方式、COMET职业能力测评的命题关键。

【关键词】职业教育  学生职业能力  COMET  能力测评  命题方法

【中图分类号】G  【文献标识码】A

【文章编号】0450-9889（2019）09C-0190-03

职业能力（competence）是特定（职业）领域内的“认知心理特征”和“发展潜力”。由于能力概念的复杂性、社会文化的多样性、语言差异、认识主体的知识局限性和研究视角的差异性等原因，人们对职业能力的认识一直存在差异。自20世纪80年代以来，日益复杂的社会劳动对劳动者素质和智能的要求不断提高，职业教育质量问题备受关注。更多的人认为职业能力指的是人们在真实工作情境中整体化地解决综合性的专业问题的能力。

职业能力是一种心理特征，是相对稳定的。由于人的心理特质具有比较隐蔽的特性，研究者无法对其进行直接测量，但可以通过被试对一些刺激（如考题）的行为反应（考试答案等）特点来间接推测其心理特质的特点水平。并且，职业教育多是复杂、综合且跨学科的，心理测量存在一定的难度，要保证测评结果的真实性，命题是关键。目前国内推广程度较高的职业能力测评的试题存在一定局限性。COMET职业能力测评试题能从另一角度对我国现有的测评形成补充。为力求真实反映职业教育学生职业能力水平，本文在已有测评方案基础上，提出拓展COMET职业能力测评方案的研究领域，并针对COMET测评命题环节所产生的技术问题进行分析。

一、目前国内对学生职业能力的测试方式

目前国内对学生职业能力进行大规模测试的方式主要有职业技能鉴定、职业教育技能竞赛以及一些较为少用的能力测评工具。

（一）职业技能鉴定

职业技能鉴定工作是国家推行职业资格证书制度的重要环节。为提高命题水平和质量，我国职业技能鉴定命题采用开发题库的手段保持历次试卷之间具有良好的连续性和稳定性。由于题库庞大、试题更新较为困难，我国职业技能鉴定题库尚存在部分职业鉴定试题考核内容与現代职业活动不匹配、部分题库资源过于陈旧、题库建设与职业培训研究脱节等方面的问题。

（二）职业教育技能竞赛

职业教育技能竞赛命题的内容主要依据竞赛规程、职业学校教学大纲和专业指导方案、依据目前职业岗位生产实际三个方面进行确定。职业教育技能竞赛在不同地区、不同专业领域、不同参与对象中间掀起了不同程度的热潮。在此背景下，部分职业教育领域专家对技能竞赛的质量提出了质疑。

（三）职业能力测评工具

我国专门针对职业能力测评工具的研究比较少，国内比较有影响力的北森职业测评系统重点是对职业测评工具的研究，主要用于帮助学生进行职业生涯规划与指导。北森测评专家庄明科指出，职业测评的关键在于四点：题目的信效度、题目的隐蔽度、测验内容与岗位胜任力要求的匹配程度、测评使用者对测试理念的认知程度。但是，由于智能倾向及其开发的程度等其他方面也是择业的考虑因素、缺乏对个体具体思维状况的差异性考虑，该测评系统凭借被试者的性格以及动机倾向来推测适合职业的科学性，还有待证明。

综上，相比国内对基础教育质量监测和全国统一中、高考的研究，在职业教育领域对学生能力测评的研究并不多，并且在题目的质量、内容和依据方面缺少严谨、科学的标准。

二、COMET职业能力测评理论及实践

职业能力与职业认同感测评项目（COMET）是一个起源于德国，由瑞士和南非等国家参与的国际职业教育比较研究项目，是继职业资格考试、PISA测试等能力测评方法之后，以职业学校学生为主要研究对象的职业能力测评技术。德国部分职业学校电工专业的学生首先参加了测评，通过实践证明了COMET职业能力测评在评价学生职业能力发展和对职业教育教学改革项目的监控方面是一个有效的工具。

COMET职业能力测评的基础是一个三维能力模型。从三个维度来描述学生的能力，现只从出题的角度来解读这个模型。第一个维度是要求维度也是能力级别，我们用以评价学生表现出的能力类型。我们将只具备名义能力的学生称为风险群体，其余三个能力级别分出8项能力指标。这8项指标对出题、评分都具有指导作用。第二个内容维度决定了学生的学习范围，学生从初学者到专家需要经历五个阶段，在向高阶段发展的时候需要经历四种不同程度的任务。学生的培养目标定位决定了试题的难度，如果将学生的培养目标定位为生手到熟手之间，我们可以选取程序性任务作为试题内容。第三个行动维度表示的是一个完整的工作过程，其中包括6个阶段，用来评价学生是否能够将整个工作过程完整的体现出来。总之，要求维度决定了试题的覆盖面和评分标准，内容维度决定了试题的难度，行动维度决定了试题的评分标准。

图1  COMET职业能力模型

2008年以来北京师范大学和北京教科院在多个职业教育创新项目中引入了COMET能力测评方案，分别在北京、四川、广东和交通部等所属职业学校的电气技术和汽车维修专业进行了4次规模不等的能力测评。2013年由北京师范大学承担的《中国现代职业教育质量保障体系研究》成功立项教育部哲学社会科学重大课题攻关项目。项目将对建筑、护理等专业领域的高职学生进行职业能力测评，COMET能力测评方案的科学性也进一步得到了认可。

依据三维能力模型，COMET研究者最先开发出了电工专业的4道题目，开发经历了一个复杂的过程，具体说来分为9个步骤：从现有的考试资料和课堂资料中收集考题;系统收集编写测试题的创意;分组开发测试题目;预先挑选出适合两类电工职业（工业电工和手工业电工）的试题;开发小组评价试题在两个测试时间点是否都适用;对所有12道试题进行预测试，并对预测试结果进行评定;选出4道用于正式测试的题目;根据预测试结果，对测试题进行修改（如详细描述情境或添加照片）;将测试题目用于正式测试。

三、COMET试题题目的类型及表达方式

（一）题目的类型

COMET试题属于开放性试题，与常规考试不同的是，试题没有一个固定的标准答案。学生在设计方案的过程中不仅要根据题目的情境来设计方案，与此同时还要考虑方案中对8项指标的体现，以及工作过程的完整性。每道试题在开发过程中会对应开发出一个“解题空间”，便于评分老师理解评分指标、统一评分标准。

（二）设计测试题目的任务表述

在编写测试题目时，应避免出现明显的帮助和提示性的信息。有一些题目，仅从任务要求中就能基本确定解决问题的途径，这时应当采用简短的描述方式，以避免提供暗示。每道测试题目都配有相应的情境描述，包括测试任务的背景情况等。背景描述应贴近现实，尽量配有图示（如照片、功能图等），便于学生理解。测试题目和情境描述不给出详细的规定，而是以使用价值为导向的。

被试者在给出的解决方案中，不仅要利用草图、文字描述、表格和清单等技术语言说明解决问题的方式方法，还应当向客户详细阐述其理由。

这与企业的真实工作任务不完全相同。我们之所以要求被试者全面详细地说明他们提出的解决方案的理由，正好说明这只不过是一道测试题目而已。而在实际工作中，往往只看工作结果。如专业人员在完成工作任务时，并不是每次都要详细说明自己为什么要这样做而不那样做。一般只有当委托方或客户询问时，他才会解释选择这一方案的原因。要求被试者详细说明解决方案的理由，可以降低测试评卷工作的难度，并提高评分者信度值。

四、COMET职业能力测评的命题关键

（一）情境的构建

COMET测评方案试题以通过实践专家研讨会开发出来的典型工作任务为基础，它不仅要反映职业的需求，并且有充分的开放度，从而保证其解决方案能够反映出职业能力的高低。罗特等（Rothe、Schindler，1996）的实证研究证明，通过完成职业的典型任务可以对职业能力进行评价。考生解决问题的方式可以揭示其解决问题的职业学习策略、专业工作策略和专业合作策略，从而按照解释学方法对考生解决方案进行解读，可以确定其职业能力的发展状况。

1.真实。COMET试题来源于从实践专家研讨会中总结归纳出的典型工作任务。强调试题情境的真实性亦是从根源上控制测试指标的准确度。因而在出题过程中需要具有10年左右施工经验的工程师介入，对所开发试题进行真实性的考验。

2.复杂。测试题目都是需要学生完成方案的设计，这要求题目所创建的情境具有相当程度的复杂性，也就是情境中需要对发生事件的客观现象进行较为生动复杂的描述。保证学生能够在大脑中最大限度地还原施工现场，从而进入“工作模式”而不是答题模式。

3.开放。题目应该给出一个开放性的答题空间，尽管COMET测评方案强调要给出相当程度的复杂信息供学生自行获取，考查学生对信息的敏感度。也要给出一定的缺口，让学生可以选择他认为最合适的解决办法、路径和工具等，答案并不唯一。

（二）从答题角度看命题要求

从学生答题的角度来看试题的构成能有效反推出试题开发中需要注意的问题和关键。根据COMET测评方案的三维基础模型中的行动维度，学生在答题过程中要体现出完整的工作过程6个环节，其中“资讯”环节最容易受到题目给出的信息及表述方式的影响。

要完成答题，学生首先要做的是资讯，即获取信息。这一步也是学生能否答好题目的关键。题目要给出足够多的信息，一方面增加题目的复杂程度，另一方面给学生一定的启发（比如建工专业，将情境建立在“上海”，就要考虑淤泥地质和地下水的问题）。要让“敏感度”更高的学生能夠获取到比其他学生更多的有用信息。但不要将问题细化，固定学生的作答方式，要让学生可以自己组织答题的模式和顺序。尽可能给出足够的信息点，让学生自主从中挑选他认为有用的、有价值的信息，从而建立一个自己的信息库，保证学生资讯环节的丰富性、自主性和完整性。除此之外，为保证学生能够有足够的空间来完成“资讯”，应避免在一道题目中分项提问的传统提问方式。试题在开头要营造一个真实的情境，设计真实的顾客名称、真实工作会遇到的复杂问题，将学生引入工作模式而不是答题模式。与普通考试题目不同的是，COMET试题强调真实情境的建立。

学生通过题目获取信息之后，要从获取的信息中提取出 “有用”的部分，设计工作的步骤、内容以及工具等细节;从多种解决方式中选择他认为最“适合”当时情景的方式方法、工艺、工具、流程和8项评分指标（COMET能力测评的8项评分指标：功能性、直观性、经济性、使用价值导向、企业生产流程和工作过程导向、环保性、创造性、社会接受度）。如果在预测试中，最好的学生也无法在答题过程中完全达到以上要求，有可能是题目的相关条件太少或者表达得过于隐晦。反之，如果学生成绩普遍偏好，则有可能是题目难度太低。为保证学生成绩能够处于正态分布，命题小组就需要根据学生的答题情况对题目进行修改。

职业教育学生职业能力测评的命题研究是职业教育质量保障体系建设的重要环节，是国内外职业教育研究的热点。COMET测评方案因在实践中获得的成绩，影响范围正在扩大，希望今后能够继续拓展其在更多专业领域的覆盖面、确保其命题环节的严谨、科学，能够从另一角度对我国现有的测评形成补充，从而真实反映职业教育学生的职业能力水平。

【参考文献】

[1]费利克斯·劳耐尔，赵志群，吉利.职业能力与职业能力测评：KOMET的理论基础与方案[M].北京：清华大学出版社，2010

[2]人民教育出版社组.心理统计与测量[M].北京：人民教育出版社，2008

[3]史术高，甘昌意.论改进职业技能鉴定省级题库建设的措施和方法[J].职业，2008（12）

[4]中国大学生就业.树立职业规划意识 完善就业指导工作：北森朗途职业测评系统在中国海洋大学的使用[J].中国大学生就业，2006（16）

[5]赵志群，庄榕霞.职业院校学生职业能力测评的实证研究[M].北京：清华大学出版社，2010

【作者简介】王荣秀（1989— ），女，广西柳州人，柳州铁道职业技术学院教务处讲师，研究方向：学生职业能力测评;杨生明（1989— ），男，云南大理人，柳州铁道职业技术学院建筑技术学院助理工程师，研究方向：铁道工程;陈 晨（1991— ），女，湖南湘潭人，柳州铁道职业技术学院建筑技术学院助教，研究方向：铁道工程。

（责编 王 一）