基于COMET的高职建筑工程专业学生职业能力测评探究

摘 要：职业能力与职业认同感测评项目在评价学生职业能力发展、监控职业教育教学改革项目方面是行之有效的工具之一。该研究阐释COMET职业能力测评理论内涵，通过实证研究方法，阐述试题开发策略及流程，包括确定典型工作任务、试题内容、类型和呈现方式。进行试测之后，基于该理论分析数据，评估试题的难度、区分度和内部一致性，并对试题开发过程中的参与人员、研究方法和过程进行反思，提出要确保参与人员的专业性、要以设计导向思想为指导、要对试题开发过程进行质量监控等改进建议。

关键词：COMET；建筑工程；职业能力测评；试题开发

中图分类号：G64 文献标识码：A 文章编号：0450-9889（2024）27-0042-06

职业能力与职业认同感测评项目（COMET）是一个起源于德国，瑞士、南非等国家参与的国际职业教育比较研究项目，是继职业资格考试、国际学生评估项目（PISA测试）等能力测评方法之后，以职业学校学生为主要研究对象的职业能力测评技术［1］。德国部分职业学校电工专业的学生首先参加了测评，通过实践证明了COMET职业能力测评在评价学生职业能力发展和对职业教育教学改革项目的监控方面是一个有效的工具。北京师范大学和北京教科院在多个职业教育创新项目中引入了COMET能力测评方案，分别在北京、四川、广东等地的职业学校进行了能力测评。

由于建筑行业的特殊性，国内外都尚未针对土建专业学生实施COMET职业能力测评方案。建筑行业作为一个独立的行业分类，区别于电子、机械、汽车等制造业，以庞大的建筑、桥梁等工程为背景，不仅涉及力学、测量、制图、安全、管理等多方面的内容，受天气、季节、地质条件等多方面影响也很大。针对这样一个高度复杂并且独特的专业领域，所进行的相关研究还停留在理论层面，缺乏采用科学测量技术的实证研究。为拓展COMET测评方案在专业层面的覆盖面，填补在建筑工程类专业领域实证研究的缺陷，本研究拟在原有理论基础上对高等职业教育建筑工程类专业学生能力测评进行实证研究。

一、COMET职业能力测评方案的理论内涵

COMET职业能力测评方案的理论基础是一个三维能力模型（如图1所示），包括能力的级别维度、能力的内容维度和职业的行动维度。COMET三维能力模型以“设计导向的职业教育思想”［2］“行动导向教学”［3］“发展性任务”［4］“从‘初学者到专家’职业成长逻辑规律”［5］“工作过程知识”［6］等已受到国际职业教育研究专家和从业者普遍认同的理论为基础，建立起科学的职业能力解释框架，对职业教育教学质量进行科学的诊断和评价，并具有较好跨职业领域和跨文化特点。［7］模型在其他研究中已有较为详细的阐述，在此不再赘述。

（一）要求维度：职业能力的水平级别和评价指标

职业能力的水平级别是COMET职业能力模型中的要求维度，包括“功能性能力”“过程性能力”和“整体化的设计能力”3个能力层级。能力级别完整体现了职业能力的各个维度，这些维度表现为相对独立的能力特征。也就是说处于功能性能力级别的被试者，也可能同时具备过程性能力和设计能力。被试者的职业能力特征最终可以通过“能力轮廓图”清楚地表现出来。COMET职业能力测评方案研究者们在研究5个职业（专业）的基础上，得到了基于功能性能力、过程性能力、整体化设计能力等3个能力层级和功能性、直观性、经济性、使用价值导向、企业生产流程和工作过程导向、环保性、创造性、社会接受度等8项能力指标。8项指标将能力层级进一步细化、具体化，使得抽象化的能力概念得以具现，增强了COMET职业能力测评试题开发研究的可操性，满足了这些指标的要求，也就满足了职业能力测评的要求。

（二）内容维度：职业能力发展规律

职业能力发展规律是COMET职业能力模型中的内容维度，是一个复杂而系统的过程，它不仅仅是知识的积累，更是能力层次的深化和提升。德雷福斯兄弟（S.Dreyfus）在20世纪70年代提出的理论为我们理解这一过程提供了深刻的洞见。根据他们的研究，职业能力的成长轨迹可以划分为五个阶段：新手、生手、熟手、能手和专家［5］。每个阶段都对应着不同的知识形态和能力特征，且这一发展过程是建立在具体的学习情景之上的。

新手阶段：个体在职业能力的起始点，依赖明确规则和指导来执行任务。他们对成功充满渴望，但因经验不足，面对错误时易感慌乱。通过遵循简单规则，新手逐步积累能力，开始承担基础工作。

生手阶段：随着经验的增长，个体开始尝试独立工作，摆脱对规则的完全依赖。生手能根据过往经验在适宜情境中作出判断，但尚未形成全局视角。

熟手阶段：熟手探索适合自己的工作规则，面对任务的多样性，必须自主决策。这一阶段的个体感受到因决策带来的焦虑和成就感，开始在团队中扮演领导角色。

能手阶段：能手对工作充满热情，能够迅速识别任务目标，尽管具体执行策略尚不明确。他们具备了预判能力和全局思维，开始进行自我反思和改进。

专家阶段：专家凭借直觉和丰富经验，对细节高度敏感，能迅速做出精准判断。他们的能力体现在对复杂情境的恰当反应，这是之前各阶段难以达到的。

职业能力发展的这一规律，揭示了从新手到专家的转变不仅仅是技能的增长，更是认知心理特征和发展潜力的全面提升。通过测评对象所处发展阶段的任务特点，可以调整试题难度、提高试题的内容效度。

（三）行动维度：典型工作任务

典型工作任务（Professional Tasks）是COMET职业能力模型中的行动维度，是用完整的、有代表性的职业行动描述的一个职业的具体工作领域，反映了职业典型工作内容和工作方式；完成任务的方式方法和工作的结果多具有开放性，完成典型工作任务的同时能够促进从业者的职业能力发展。COMET测评方案试题需要建立在领域典型工作任务的基础之上［1］。罗特等（Rothe、Schindler）的实证研究证明，通过完成职业的典型任务可以对职业能力进行评价。测评对象解决问题的方式可以揭示其解决问题的职业学习策略、专业工作策略和专业合作策略，能够按照解释学方法对测评对象解决方案进行解读，可以确定其职业能力的发展状况。

建筑工程职业领域涵盖了施工、设计、管理等多个方面，其典型工作任务包括但不限于施工方案的制订、施工图纸的解读、施工现场的管理等。这些工作任务要求从业者具备扎实的专业基础知识、良好的团队协作能力、创新的思维方式和解决实际问题的能力。因此，在高职建工专业职业能力测评中，需要充分考虑这些典型工作任务对职业能力的要求，确保测评结果的准确性和有效性。

二、试题开发策略及流程

COMET职业能力测评试题开发过程，主要包括确定典型工作任务、确定试题内容、确定试题类型、确定试题表述等三个阶段。COMET三维能力模型是试题开发研究的基础，是准确把握试题任务难度、类型及表述方式的标尺。

（一）确定典型工作任务

本研究组织了20名专业教师与16位来自不同建筑工程公司的一线工程人员组成实践专家小组，通过实践专家研讨会完成了建筑工程领域典型工作任务的归纳与划分。

研讨会流程主要包括四个阶段：进行职业领域工作任务分析，确定典型工作任务；对典型工作任务难度进行分析，并按照难度范围对典型工作任务进行分类；对每个典型工作任务分别从工作岗位、工作过程、工作任务对象、工具与器材、工作方法、工作组织、对工作和技术的要求、对工作对象的要求8个层面进行分析，提炼出建筑工程职业领域内的24个典型工作任务；结合实际进行修改，最后总结为11个典型工作任务（见表1）。

试题开发组在此基础上结合建筑工程领域“5大员”的职业描述，将典型工作任务精简为11个，主要基于以下几个因素。

一是考虑了任务的相关性和普遍性，合并了功能相似或在多数建筑工程项目中普遍出现的任务，确保所选任务能够广泛代表行业内的实际工作需求；二是考量任务的难度和复杂性，筛选出既具有一定挑战性又不至于超出能力范围的任务，以确保它们作为评估工具时，同时能够适应不同能力水平的评估对象；三是根据职业资格和能力要求的覆盖，确保所选任务能够全面覆盖建筑工程领域内的关键职业资格和能力要求，从而为个体提供全面的职业能力评估；四是将专家意见和实际工作流程结合，通过与实践专家的深入交流和反馈，结合实际工作流程，选择那些最能反映真实工作场景和行业需求的任务；五是考虑资源和实施的可行性，依据试题开发和实施的资源限制及实际操作的可行性，精简那些资源消耗大或难以实施的任务，以确保评估过程的高效性和实效性。

专家小组在确保任务真实性、覆盖面和实用性的基础上，对24个典型工作任务进行了筛选和合并，最终确定了11个典型工作任务。这11个典型工作任务最终能够为建筑工程领域的职业能力评估提供一个全面、均衡且与实际工作紧密相连的框架。

（二）确定试题内容

在确定了建筑工程领域的11个典型工作任务之后，要确定具体的试题内容。试题内容的选择应紧密围绕这些典型工作任务，确保试题能够真实地反映学生的职业能力水平。

首先，将每个典型工作任务分解为若干个关键能力点。以“土方工程与基础工程”试题为例，关键能力主要包括：理解施工图纸、选择合适的施工方法、计算土方量、确定施工机械和材料需求、确保施工安全和质量等，确保试题覆盖到每个工作任务的各个方面，从而全面评估学生的专业能力。

其次，结合实际工作场景，设计具有实操性的题目。现实建筑工程项目往往情况复杂且资料繁多，并不适合直接用于测评学生职业能力。为保证测试的有效性，首先要基于“从‘初学者到专家’职业成长逻辑规律”明确适合学生所处的职业能力发展阶段，再根据该阶段成长所需完成的学习任务类型对典型工作任务进行调整。学生毕业后大部分应达到“生手”向“熟手”发展的阶段，这一阶段的学生职业能力特征是，已经建立了对工作系统、综合性任务和复杂设备的整体认识，掌握了职业关联的知识，了解了生产流程和设备运作，开始思考人与人之间的关系以及技术与劳动组织之间的关系，拥有初步工作经验，并开始形成职业责任感。少部分优秀学生能到达“熟手”向“能手”成长的阶段，这一阶段的学生职业能力特征是，已基本掌握复杂工作任务的功能性知识，能够完成非规律性的学习任务（如故障诊断等），合作能力进一步发展，并形成较高的职业责任感。由于测试对象处于第四学期期末，学生尚未参加企业实习，故将试题确定在“程序任务”和“问题任务”之间。

综合上述要求制订出试题，其试题分析表如表2所示。

（三）确定试题类型及呈现方式

目前较为常见的试题分为三种：功能型、故障型和预见型。功能型需要学生针对需求完成方案设计；故障型需要学生解决在设计、使用、运行等过程中导致功能性障碍的特殊情况；预见型需要学生在问题发生以前已经预见到出现问题的可能性，设计方案避免问题发生。

在编写测试题目时，应避免出现明显的帮助和提示性的信息。例如有些题目仅从任务要求中就能基本确定解决问题的途径，这时应当采用简短的描述方式，以规避过多的暗示或提示性内容。每道测试题目都配有相应的情境描述，包括测试任务的背景情况等，描述应贴近现实，尽量配有图示（如照片、功能图等），便于学生理解［7］。

三、试题试测与质量分析

（一）试测评组织实施

1.样本的选取

由于测评的人力、物力成本较高，本研究以班级为单位整群取样，测评对象为来自3所高职院校的314名建筑工程专业学生，剔除无效卷（白卷及总分1分以下的干扰问卷），回收有效试卷306份。预测试时间选在了学生处于大学二年级即将结束的时候，根据培养计划学生已完成所有课程学习，学校教育阶段已经完全结束，将进入大三实习阶段。此时通过COMET测评方案对学生在校期间学习效果进行评估较为合适。

2.试测要求

为确保试测的有效性和公正性，试测前对参与试测的教师和评分员进行了严格的培训和指导。培训内容涵盖了试题的解读、评分标准的明确、评分过程的规范以及特殊情况的处理等，确保每位评分员都能够准确、公正地评价学生的答题情况。同时，为了保证试测的顺利进行，试测现场安排了专门的监考人员，对试测过程进行了全程监控，并对试测纪律进行了严格要求。测试过程要求卷面不得透露任何考生个人信息以及学校的相关数据，以保护个人隐私和学校信息安全。测评时间限定为两个小时，要求在规定时间内尽可能完成测评，保证答案的清晰度和判卷的便利性。手写答题，如果需要，可以绘制相应的图表来辅助说明。测评开卷作答，考生可以查阅手边的所有资料，以便更全面、公平地完成测评。

（二）数据的收集与处理

在本研究的数据收集与处理阶段，为了提高评分的客观性和公正性，所有数据都经过了双盲处理。首先，将这些数据统一录入Excel表格，进行初步的数据处理，包括计算各评分点的均分并进行四舍五入，以保留一位小数作为评分点的最终得分；其次，对8项能力指标、3个能力层级以及总分的分值进行了换算，并绘制出轮廓图，直观地展示了得分的分布情况；最后，计算试题基本情况数据，包括学生得分的均值、极值和标准差。均值反映了学生整体答题情况，极值反映了得分范围，标准差反映了样本对题项看法的差异性。

为进一步分析试题质量，不断优化试题内容和结构，提高试题的信效度和区分度，力求形成真实、全面、有效的职业能力测评方案，课改团队从以下四个维度进行分析和修正。

内容效度：评估试题内容是否准确反映了建筑工程领域的典型工作任务和职业能力要求。通过各指标与能力层级、各能力层级与总量表之间的相关系数测量量表的内容效度。显著性（双尾）p的数值小于0.05，表示两个变量间积差显著。

难度分析：根据学生答题情况，分析试题的难度系数，即测评对象在该试题上的平均得分与其总分的比值。这一指标的高低直接反映了试题对学生的挑战程度，难度系数越小，表示试题难度越大。

区分度分析：评估试题对不同能力水平学生的区分能力。通过项目分析，探究总分不同的学生在8个职业能力指标上的得分差异。将学生分为高分组和低分组，使用独立样本t检验来检验两组在每个能力指标上的差异是否显著（p＜0.05），以了解样本在社会参与量表各评分点平均数高低是否因组别不同而有差异。通过比较不同能力层级学生的得分情况，分析试题在区分学生能力差异方面的有效性。

内部一致性：利用SPSS软件Cronbach α系数来检验试题的内部一致性。一致性高的试题能够更准确地反映学生的整体职业能力水平。α系数至少要高于0.80，α系数越高，表示信度越高，测量误差值越小。

四、教学反思

本研究基于COMET职业能力测评理论模型，以高等职业院校建工专业为例，设计开发了一套职业能力测评试题并对试题的难度、区分度、内部一致性、内容效度、能力轮廓图进行了分析。通过对初始试题的质量分析，发现部分试题的指标覆盖程度、对学生的鉴别程度、难度等方面与其他试题存在一定差异。为提高试题质量，减少由于试题差异引起的测量误差，以下对试题开发过程的参与人员、研究方法、研究过程以及研究成果进行反思，为COMET职业能力测评方案在其他职业领域的推广提供实践经验。

（一）要确保参与人员的专业性

试题开发研究工作在很大程度上受到参与人员本身专业能力和工作阅历的影响，他们在工作经验、受教育背景、对测评（理念、目的、方法等）的理解等方面都应满足相应的要求。参与人员一般分三类，即研究人员、开发人员和审查人员。

研究人员主要为职业教育教学研究人员，需要对试题开发工作进行整体的控制和把握，主要负责研究测评理论模型、完成试题开发流程设计、对开发组进行统一培训、完成数据处理和分析、解决各环节的技术问题，他们是支撑研究工作的主要力量。开发人员主要是参与测评对象日常教学工作的专业教师，他们在理解测评的基础上，能够结合自身经验将测试题目具体化。审查人员主要是与测评对象有直接关系的特定专业领域专家，负责从职业的角度对试题的效度和真实性进行审查。

一般而言，要求研究员具备较强的研究能力，对职业教育教学研究理论熟悉且具有COMET职业能力测评研究的经验；要求参与试题开发研究的专业教师具备多年专业课教学经验，而且具有基本的企业实践经验；要求工程专家曾经受过中等或高等职业教育，具备多年现场工作经验。

（二）要以设计导向思想为指导

本研究是按照费利克斯·劳耐尔（Felix Rauner）的“设计导向（Shaping Orienation）”的指导思想，遵循了跨学科的研究与开发范式。设计导向的思想最起源于20世纪70年代欧洲跨学科的职业教育研究项目。由于职业教育问题日益复杂，各学科之间（特别是职业教育学、工业社会学、工业心理学和工程科学等）的交叉日益深入，在许多研究项目中都发展出设计导向研究方法与研究范式。

目前“设计导向”已经不是工程科学中专有的指导思想，在教育研究特别是职业教育研究领域中也逐渐形成了“设计导向研究范式”。设计导向的研究基于设计（Design-Based Research），是一种为了解决现实的教育问题，由教育的管理者、研究者、实践者和设计者等共同参与，在多学科理论的指导下，综合运用多种研究方法，形成可靠而有效的设计，从而满足理论和实践的发展需求的新兴研究范式。设计导向的研究具有跨学科性，在设计导向的职业教育研究中，不仅要考虑核心学科的规律和原理，还应当关注相关其他学科的基本原理与认识。

（三）要对试题开发过程进行质量监控

在设计导向的研究中，研究人员是研究过程中质量控制的关键，是在整个研究过程中引领研究工作的主要力量。职业教育研究人员需要对研究过程进行设计、监督和跟踪，必要时还要对其他参与者进行培训、组织研讨会、把握研究进程，以确保研究过程的质量控制。本研究中，研究人员通过完成试题开发的流程设计、提供试题开发指南、主持专家座谈会、进行数据处理和分析等活动，确保了研究过程的质量。在职业教育的开发过程中，由于多种人员的参与，确保了跨学科理念的实现。

综上所述，试题开发方案要建立在COMET职业能力模型之上，通过认知能力反映行动能力；能力表现搜集是试题开发的途径，试题的内容和难度要根据学生培养目标进行定位；能力级别判断是试题评分的标准。据此，对职业能力评估提出以下改进思路。

一是前期研究要充分。试题开发方案需要科学的能力模型作为理论基础，与此同时厘清国家、行业和学校对职业的要求，针对职业特点和要求制定出规范的评价指标，确保研究过程中的职业效率。

二是研究过程多方参与。从前期研究、命题、预测、审核、修改到最后确定正式试题，其间都需要多方人员参与质量评估，从不同层面为试题的确定和修改提供助力。以此保证试题能够最大限度接近真实工作任务，确保真实反映学生的职业能力，避免脱离现实。

三是研究结论要谨慎。职业能力水平的表现是一种复杂的综合状态，对其进行测评本身就有技术上的难度，在给出测评结论时要谨慎，可综合课业水平考试、实操、实训等多种测评结果给出综合性强而又具客观性的判断，提高职业能力测评的准确度。

参考文献

［1］赵志群，庄榕霞.职业院校学生职业能力测评的实证研究［M］.北京：清华大学出版社，2010.

［2］Rolf Arnold，Antonius Lipsmeier.Handbuch der Berufsbildung［M］.Wiesbaden：VS Verlag für Sozialwissenschaften，1995：52-72.

［3］Bader，R.Berufliche Handlungskompetenz［J］.Die berufsbidende Schule，1989（41）：73-77.

［4］Havighurst，R.J.Developmental task and education［M］.London：Longmans amp; Green，1972.

［5］Dreyfus，Hubert L.，and Stuart E.Dreyfus.Mind over machine：The power of human intuition and expertise in the era of the computer［M］.Oxford：Blackwell，1986.

［6］Boreham，N.C.，R.Samurcay，and M.Fischer，eds.Work Process Knowledge［M］.London/New York：Routledge，2002.

［7］王荣秀，杨生明，陈晨.基于能力导向的职业院校学生COMET职业能力测评命题方法研究［J］.广西教育，2019，（35）：190-192.

［8］赵志群.职业教育工学结合一体化课程开发指南［M］.北京：清华大学出版社，2009.

注：本文系广西教育科学“十四五”规划2022年度高等教育国际化专项重点课题“基于COMET的高职院校东盟国家来华留学生教育质量保障和提升机制研究”（2022ZJY3044）、2024年度广西职业教育教学改革研究重点项目“基于COMET的高职建工专业工学结合一体化课程开发研究与实践”（GXGZJG2024A042）2022年度广西职业教育教学改革研究项目“基于信息化平台的高职教学评价指标体系的构建与实践研究”（GXGZJG2022B168）的研究成果之一。

（责编 罗异丰）