国际成人能力测评对我国高职扩招学生评价的启示

孙凯瑞 赵志群

摘 要 2019年《政府工作报告》提出高职大规模扩招100万人的要求，这对高职院校的招生和教学管理带来了新的课题。鉴于许多新增生源（如退伍军人和农民工等）是成人学习者，为确保招生和教学质量，需要关注和解决成人生源的入学考试和学业评价等一系列特殊问题。近年来，国际上开展了很多有关成人能力测评的研究和实践，特别是能力错配研究和相关成人能力测评，对解决此类问题提供了如下借鉴和启示：探索分类招生考核模式，采用实证测量和主观评价相结合的方法，适时改进评价方式和丰富评价内容，重视评价结果的分析和反馈，注重非认知能力和职业能力评价。

关键词 高职扩招;学生评价;PIAAC国际成人能力测评项目;能力错配

中图分类号 G719.1 文献标识码 A 文章编号 1008-3219（2019）31-0073-06

2019年《政府工作报告》提出高职院校扩大招生规模100万人的要求。不同于以往单纯从高中阶段毕业生中招录，此次扩招生源扩大到了退役军人、下岗职工、农民工和新型职业农民等成人受教育。这场前所未有的职业教育“大变革”在给高职院校带来机遇的同时也带来了诸多挑战，特别是学生管理和人才培养质量方面的挑战。2019年5月，教育部、国家发改委等六部门印发的《高职扩招专项工作实施方案》提出，要“加强教学常规管理，适应不同生源、不同学习时间、不同学习方式，创新教学组织和考核评价”，对“已积累的学习成果（含技术技能），探索通过水平测试等方式进行学历教育学分认定”[1]。2019年8月，教育部和退役军人事务部等联合发文，允许“由各校组织与报考专业相关的职业适应性面试或技能测试”[2]。这一系列政策措施的贯彻实施，要求高职院校招生和学生评价等管理制度必须做出相应改革，从而有效解决扩招后生源多样化带来的新问题。

目前，我国高职招生有多种方式，如通过普通高考、单独考试、综合评价、面向中职毕业生的技能考试、中高职贯通招生、技能拔尖人才免试等方式[3]，或采用以上几种方式的组合，但这都很难满足高职扩招生源的特殊性要求。针对退役军人、下岗职工等成人受教育者，传统的书本知识或操作技能考核很难达到招生考试的技术标准，如信度、效度和区分度等，需要探索新的综合能力评价方式。从理论上讲，能力评价有两种基本形式，即“考试”和“测评”：考试针对教学标准，考察对学习内容的掌握程度，有对错之分，反映课程效度;能力测评评价认知特征和认知水平，只有水平高低之分而没有标准答案。能力测评的目的是评估应用知识和技能解决实际问题的能力，因此对高职扩招具有特别重要的意义。

在国际上，为建立职业教育质量保障体系，及时发现职教运行过程中存在的问题并进行及时干预，各国都在努力寻找对职教投入、培养过程和产出质量进行有效调查、测量和分析的工具。近年来，发达国家相继实施了一系列针对成年人的能力测评项目，对成人学习的质量起到了有效的监控、反馈和指导作用。本文对国际能力错配研究领域的成人能力测评方法，特别是经济合作与发展组织（Organization for Economic Co-operation and Development，OECD）的国际成人能力测评项目（PIAAC）方法进行介绍和分析，以期为我国高职扩招后的学生评价工作提供有价值的参考。

一、能力错配研究和国际成人能力测评项目

在职业教育经济学研究领域，“能力错配”是一个重要研究课题。所谓“能力错配”是指个体的能力超过或无法满足工作需求而得不到有效利用的现象。“能力错配”包括各种形式的不匹配，如垂直错配、学习领域/横向错配、技能鸿沟、技能短缺、技能退化和技能萎缩等[4]。从宏观经济学角度讲，能力错配会造成社会劳动力的能力折旧，使人们较难满足科技发展和社会进步的要求;从微观经济学角度讲，能力错配会影响劳动者的经济收入和工作满意度[5]。能力错配研究中采用了多种成人能力测评方法和技术。

20世纪90年代以来，OECD先后实施了“国际成人读写能力调查”（The International Adult Literacy Survey，IALS）、“成人读写和生活技能调查”（The Adult Literacy and Life skills Survey，ALL）和“国际成人能力测评”（The Programme for the International Assessment of Adult Competencies，PIAAC）三個大型成人能力测评项目，评估内容从读写和计算能力测评（IALS），到阅读、算术和独立解决问题能力（ALL），后来又扩展到对阅读、算术和在技术环境中解决问题的能力等更广范的内容。

“PIAAC国际成人测评项目”是迄今为止世界上规模最大、最为全面的国际成人能力调查活动，由于该项目对各参与国产生的巨大影响，有时也被称为“成人的PISA”。PIAAC项目共经历两个测评周期，第一个周期时间为2011-2018年，期间进行了三轮测评，分别为第一轮2011-2012年、第二轮2014-2015年和第三轮2017年;共有38个国家和经济体参与，涉及24个OECD成员国和部分发达国家和经济体[6]。第二个周期时间为2018-2023年，其中2018-2020年为测评工具开发和试测阶段，2021-2022年将正式测评和收集数据，有30多个国家（含经济体，下同）参加，结果报告将于2023年公布[7]。

PIAAC项目于2013年发布首个能力调查报告《OECD 技能展望2013：成人能力调查首轮结果》，公布了其主要发现，并于2016年发布第二份题为《技能的重要性：承认能力技能调查的进一步结果》的调查报告，内容包括2011-2012年第一轮调查结果和2014-2015年第二轮调查结果。报告描述了被调查国家成年人三种能力的发展程度，分析技能熟练程度与劳动力市场和社会发展成果的关系[8]。

PIAAC测试在每个被测国家抽取5000个样本，采用计算机测试、纸笔测试和问卷调查等方式，调查内容包括两大部分：第一部分是背景调查，包括“背景调查问卷”“能力应用模块”和“社会情感能力模块”（第二周期新加入）;第二部分是对“认知能力”的直接测评，包括“读写能力”“计算能力”“在科技环境中问题解决的能力”（只在第一周期被测量）和在第二周期新加入的“可适应的问题解决能力”。PIAAC的主要调查内容见表1。

表2为PIAAC项目“背景调查问卷”F-G部分问题举例。可以看出，这里的问题都是针对典型的职业活动、工作任务和工作过程展开的。

PIAAC项目“认知能力”测评部分“读写能力”测评试题举例：受测者在网上阅读含有体育锻炼器械信息的图表，通过点击按钮回答以下问题：“如果你用图中的健身椅，将主要锻炼哪里的肌肉？”此题为多选题，主要考察受测者对日常生活中信息的阅读、解释和处理能力[9]。又如一道中等难度的“计算能力”测评题目为：根据文章提供的有关瑞典风力发电站取代核反应堆的信息和电能换算公式，回答“需要多少风力发电站可以替代核反应堆产生的电力”[10]。本题主要测试量的概念和运算能力，特别是在社会情境中的数字计算应用能力。再如“在科技环境中问题解决能力”的测评题目：针对职业生涯中遇到的实际问题，要求受测者扮演求职者角色，在五个职业介绍机构网站中搜索和获取与工作相关的信息，按照指定条件评估这些信息，并为自己找到合适的工作。在此，受测者需做的工作包括：浏览所列网站网页，确定是否需要注册或支付费用以便获取更多信息;单击结果页和搜索页面的链接以定向到识别的网站;使用后退和前进箭头或主页图标进行导航;将网页添加到书签上，并查看或更改这些书签[11]。这里全面考察获取工作世界的信息和解决与职业发展相关问题的能力。

近年来，PIAAC项目的设计者发现，现代社会、技术、人口和经济发展转型极大改变了全社会对能力的需求，特别是对日常认知能力要求下降，而对信息处理技能、人际沟通、自我管理和学习能力的要求却在不断增长。其结果是，除了传统的认知能力外，“社会情感能力”逐渐成为劳动力市场和日常生活中所需的“关键能力”，并成为各国职业教育与培训中重要的学习目标和教育成果;而解决复杂社会问题要求人们具备“使用技术解决问题和完成综合性、复杂任务的能力”。以上这些发展，促使PIAAC从2018年第二个周期开始加入较多的新测评内容，特别是跨职业的关键能力或核心技能。

在经济界，越来越多的企业主发现其员工存在着很大的技能差距，如何弥补这些技能差距，并制定合适的人力资源政策，对企业实现其发展战略具有重要意义。基于此，PIAAC项目开发了一个面向雇主的技能调查单元，即“雇主调查”（Employer Survey），从第二周期开始作为一项可选择调查项目，用于调查“企业需要的能力”“处理技能差距的策略”和“影响技能需求的企业因素”等方面的能力[12]。

二、国际成人能力测评的评价方法

（一）实证测量方法

实证测量方法是通过评估一个职业的平均能力水平来测量其教育需求，然后将工作者的教育水平与实测的平均水平作比较。实证法的优点是容易计算，可以利用现在所有包含受教育水平和职业信息的数据库中的信息，开展学校、行业和地区间的比较。实证法的缺点有：第一，此类方法不包含实际具体岗位能力需求信息，只能反映特定职业中所有工作者的平均数据;第二，某一职业的平均要求值反映的可能是一大部分老员工的情况，这是目前的实际状况，而不是未来的入职要求[13]。下面是一些常用的实证测量方法。

1. OECD组织测量法（2013）

OECD组织的能力研究采用理论导向的、基于“非常匹配”员工来确定能力错配状况的系统化成人能力评价方法。其针对某个职业背景问卷的自我报告确定“非常匹配”的定义范围，根据定义好的范围，重新将被测对象划分成非常匹配、技能不足和技能过度等不同组别，对成人能力发展状况进行全面评价。OECD方法可以较好判定某个被测试者及其群体与工作需要的匹配程度，其主要缺点是计算量大，而且由于主要关注认知领域的能力发展，如读写和计算能力等，相对忽略了不同职业之间的差异。此外，采用自我报告评价方式有时也会造成一些偏差。如在数据处理过程中，采用似真值（Plausible Value， PV）平均值而不是10个似真值，根据确定好的“非常匹配”范围重新划分调查对象错配类别、不考虑自我汇报的信息等做法，都会在某种程度上影响评价的质量[14]。

2. Quintini法（2011）

對PIAAC中计算能力应用水平与熟练程度进行比较。计算能力应用水平与熟练程度相等为非常匹配，计算能力应用水平大于熟练程度为技能不足，计算能力应用水平小于熟练程度为技能过度。这个方法的优点是容易计算，主要缺点是：从严格意义上讲，这里采用不同尺度测量熟练程度和计算能力，由于没有统一标准，是不能直接进行比较的。这个方法有可能造成对员工在实际工作中技能应用水平的高估，特别是在熟练的技能领域，如计算[15]。

3. Allen法（2013）

将PIAAC中计算能力的第一个似真值和计算能力应用水平的平均值进行标准化比较，从标准化的技能水平中减去标准化技能应用水平，结果低于1.5分，高于或低于0分为非常匹配;低于-1.5分为技能不足;高于1.5分为技能过度。这一方法的优点是容易计算，采用标准化方式测量和计算能力水平，可以进行不同规模的比较。其缺点是只用了一个似真值而不是10个，员工有可能过分强调工作中某一技能的应用，特别是在自己熟悉的领域[16]，从而造成偏差。

4. Perry法（2014）

计算PIAAC中每个职业在每个被试组的平均技能发展水平和标准差;每个职业定义的匹配和不匹配截断点为平均值1.5个标准差。根据项目反应理论，此方法的优点是包含所有似真值，不依靠自我汇报的信息并由此减少了主观偏差。缺点是计算量大，而且忽略了不同职业间的差别[17]。

（二）主观评价法

主观评价法是基于工作者通过自我评价所确定的从事一项工作所需要的能力水平，与工作实际所需要的能力水平进行比较，从而判定其能力是否完全匹配、过高或过低。PIAAC项目采用的主观评价法的优点是操作相对简单，缺点也是较容易产生主观偏差[18]。这些主观评价法主要有：

1. 自我汇报法

即采用自我报告的方式测量技能短缺，通过询问工作者的技能与工作任务的匹配程度获得数据。该方法的优点是较易实施，能获得实时的技能错配信息;其缺点是：自我报告通常会产生偏差，调查对象会过度强调工作场所的要求，还会有意或无意识地自我提升自己在工作中的地位。

2. 技能过度/不足评价法

成人工作者将他们的技能和能力，包括在学校和在工作场所中学到的，与现有实际工作需要的技能进行比较，行业专家通过独立观察和访谈进行主观评价。该方法的优点是：由行业人力资源专家直接评估给出结果，比自我评估更加全面和准确;缺点是仍有较大可能产生主观偏见，另外也无法确定调查对象在回答问题时所想的是否只涉及工作技能。对技能过度/不足评价法的反对意见主要集中在问题的提问方式上：每次调查所用的评价问题都不相同，这就很难进行横向比较，评价者很难通过这些问题分辨出哪些技能是从劳动市场中、培训中或正式学校教育中获得的、但是未被充分利用的技能。

3. 横向错配评价法

通过主观问题，让调查对象评估自己当前工作与其最高学历资格的相关程度。这种方法与技能过度/不足评价法的优缺点基本一致，即没有关注到通过劳动市场和培训积累的非正式技能，而这些非正式技能有可能比在正式教育和培训中学习获得的技能的应用性更强。

4. 工作评估法

通过职业工作分析师的评估，评价某一职业的教育需求，类似职业标准。如美国交通运输部认证标准（United States Department of Transportation，DOT）、美国国家标准职业分类信息网站（The Occupational Information Network， O*NET）等开发采用的方法。此类方法的优点是基于领域内专家的经验，被认为更准确;缺点是耗费资源较多，难以进行大规模推广。另外，职业需求会随着时间推移发生较大变化，如果职业分析没有定期更新，其分析结果往往会过时，而且基于專家意见的方法总是不可避免地受到主观因素的影响。

三、对我国高职扩招学生评价的启发与建议

（一）探索分类考核评价模式

2019年9月以来，多个省市发布了针对高职扩招考试工作的文件，如《山东省高等职业院校扩招实施方案》和《江苏省教育厅关于进一步做好高职院校面向社会人员开展全日制学历教育招生工作的通知》提出，“根据全日制普通高职院校人才培养目标、规格，单独制定人才培养方案，单独编班、教学、考核”[19]，“健全以证代考制度，取得相应职业技能等级证书、职业资格证书和行业企业实践经历，可记入本人的学业学分”[20]。按照这些工作安排，高职院校必须探索建立针对成人的招生分类考核模式，针对扩招对象的特点、先前工作积累的经验和技能证书进行学习能力认定，在此基础上实施分类个性化教学。

（二）主观评价与量化评价相结合

通常在对成人进行的能力评价中主要采用两种方法，即主观评价方法和量化评价方法。前者简单易行，但由于主观因素影响有可能产生较大偏见;后者较为准确客观，但是存在方法、指标、数据、样本设计和数值选择方面的困难和问题。在职业能力评价领域，人们设计开发了很多结构化的评价方法，这些方法反映了不同的研究范式，即质性研究和混合式研究。基于质性研究的评价方法主要集中在人力资源管理领域，典型的如“基于胜任特征的测评”“ICA能力评价工具”和“学习潜能评价中心法”（LP-AC）等。“基于胜任特征的测评”利用工作胜任力测评法 （The Job Assessment Method，JACM） 建立科学的能力模型和指标体系，用来测量和评价员工的胜任特征;ICA通过访谈诊断工作能力，以能力等级表呈现被测者的能力水平;LP-AC关注能力发展，在结构性的学习情境中评估领导者的学习潜能[21]。基于混合式研究的评价方法是职业能力评价的发展趋势，国际有影响的项目有“技术支持的职业技能和能力测评”（Technology-based Assessment of Skills and Competences in VET，ASCOT）、“可观察学习结果的结构”（Structure of the Observed Learning Outcome，SOLO）和“职业能力测评”（Competence Measurement，COMET）等。ASCOT按照项目反应理论建立能力模型，由于能力要求碎片化和行为化倾向明显，还很难完全反映工作世界中解决方案的复杂性要求[22]。SOLO是香港大学开发的混合式评价方式，其符合教育学关注人的发展要求，但没有考虑“情境化”问题[23]。COMET能力测评方法以“从初学者到专家”能力发展逻辑为基础建立测评模型，经多种效度检验证明有较高的评价质量[24]。在已有工作经验的成年人为对象的高职招生和管理过程中，可综合采用依托自我评价报告的主观测评法和以问卷调查、数据分析为主的客观量化评价法，用量化数据分析补充主观评价的不足，确保对学生评价的信度和效度。

（三）将学生评价融入教学过程

科学的能力测评，不但可以了解不同类型院校和专业学生能力的发展水平，也可以为职业教育课程改革提供有价值的参考，为教师的教学设计提供直接支持[25]，并对职业院校的教学质量起到监控、反馈和调节作用。高职院校可将能力评价融入日常的教学和管理工作中，把单纯的评价过程扩展为学习过程的一部分。通过能力测评，激励学生对自己的学习和工作情况进行自我判断，评估自身发展与教学标准的差距，明确和调整发展方向，提高学习的动机和主动性。能力评价结果可以促进教师的教学反思，为建立新型的人才培养模型提供启发和依据。

（四）重视评价结果的分析和反馈

PIAAC项目定期向社会公开发布调查报告，“分析个人技能发展和运用对改善劳动者就业、生活质量，以及对推动国家经济发展的作用，并帮助各国制定技能标准和应对政策”[26]，这体现了OECD“为更好的生活提供更好的政策”的宗旨。鉴于此，高职院校应采取多种措施，重视教育教学评价结果的分析和反馈，应针对评价中反映出的问题进行及时干预，真正做到“以评促教”和“以评促学”，确立以学生能力发展为中心的管理和评价理念，保障扩招之后新型大学生的人才培养质量，使企业、职业院校、学生个人和全社会都能享受到高职扩招带来的红利。

（五）创新评价方式和评价内容

PIAAC项目利用互联网和信息技术手段，将全球参与测评的国家联系起来，保证了测评项目的大规模样本需求，提高了测评结果的可信度，并为地区间和国际比较提供了基础。经过两个周期四轮的实践，从调查结果、实证研究、时代发展和劳动力市场的现实要求中吸取有益经验，丰富和完善了测评内容与方法，并适时增加了对“社会情感能力”等的测评内容。借鉴这一经验，职业院校可以在以下方面进行探索：一是创新学生评价方式，针对不同专业和不同学生类型采用计算机模拟、AI、AR和VR等先进科技手段开发新的评价工具;二是创新评价内容，在分析学生现有水平基础上，根据高职生源实际情况和职业技能标准设计评价方案，并进行试测和调整，确定具有职业教育和成人学习特色的、具有未来社会适应力的评价项目。

（六）注重非认知能力和职业能力的评价

目前，成人能力测评大多集中于读写、计算、问题解决等普通认知能力方面，较少涉及非认知能力和职业工作中的能力，更缺乏对职业和专业能力的测评。研究发现，在真实的工作实践中，在工作过程、职业培训和学校教育中积累的实践经验和职业行动能力，对成人生涯发展的影响甚至大于普通认知能力。我国在借鉴国际成人能力测评在评价理念、评价工具和方法、非认知能力评价等方面经验的同时，还要设法借鉴和补充有关职业能力评价的部分。2017年教育部在《高等职业教育专业评估试点方案》研制工作中采用COMET法对四个省的高职学生综合职业能力进行实验性测评，其情境化的开放性试题被企业和学生所认可，但不同专业认知能力对职业行动的影响机制存在差异。今后，如何在成人认知能力测评基础上补充对“特定职业（领域）的认知能力”和完成整体化工作任务的“综合职业能力”的评价，是建立完整的职业教育能力评价体系的重要任务。

参 考 文 献

[1]教育部等六部门关于印发《高职扩招专项工作实施方案》的通知[EB/OL].（2019-05-13）[2019-10-01].http：//www.moe.gov.cn/srcsite/A07/moe_737/s3876_qt/201905/t20190513_381825.html.

[2]教育部办公厅，退役军人事务部办公厅，财政部办公厅.关于全面做好退役士兵职业教育工作的通知[Z].教职成厅函[2019]17号，2019-08-07.

[3]杨卫军.高职招生制度改革：基于制度变迁理论的分析[J].職业技术教育，2014（28）：19-23.

[4][5][14][15][16][17]Perry， A.， Wiederhold， S. & Ackermann-Piek， D. How can Skill Mismatch be Measured？ New Approaches with PIAAC Methods Data Analyses[J]. Journal for Quantitative Methods and Survey Methodology， 2014（8）：138.149-152.

[6]PIAAC成人能力测评项目第一周期测评[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/about/piaac1stcycle/.

[7]PIAAC成人能力测评项目第二周期测评[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/about/piaac2ndcycle/.

[8]PIAAC成人能力测评项目出版物[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/publications/.

[9]PIAAC项目“读写能力”试题样例[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/Literacy%20Sample%20Items.pdf.

[10]PIAAC项目“计算能力”试题样例[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/Numeracy%20Sample%20Items.pdf.

[11]PIAAC项目“在科技环境中问题解决的能力”试题样例[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/Problem%20Solving%20in%20TRE%20Sample%20Items.pdf.

[12]PIAAC成人能力测评项目设计理念[EB/OL].[2019-10-01]http：//www.oecd.org/skills/piaac/piaacdesign/.

[13][18]McGuinness， S.， Pouliakas K. & Redmond， P. How Useful is the Concept of Skills Mismatch？[J].IZA Discussion Papers 10786， Institute for the Study of Labor（IZA）. 2017：4-5.

[19]江苏省教育厅关于进一步做好高职院校面向社会人员开展全日制学历教育招生工作的通知[EB/OL].（2019-09-17）[2019-10-01].http：//www.moe.gov.cn/jyb_xwfb/xw_zt/moe_357/jyzt_2019n/2019_zt19/difang/jiangsu/201909/t20190917_399516.html.

[20]山东省高等职业院校扩招实施方案[EB/OL].（2019-09-06）[2019-10-01].http：//www.moe.gov.cn/jyb_xwfb/xw_zt/moe_357/jyzt_2019n/2019_zt19/difang/shandong/201909/t20190906_398127.html.

[21]高帆，赵志群，黄方慧.职业能力测评方法的发展[J].中国职业技术教育，2017（35）：9-16.

[22]Winther， E.， & Achtenhagen， F. Measurement of Vocational Competencies[J]. Empirical Research in VET， 2009（1）：85-102.

[23]柳洁，陈泽宇.SOLO分类理论在职业教育学业评价领域的应用剖析[J].中国职业技术教育，2018（17）：7-8.

[24]周瑛仪.大规模职业能力测评的预测效度[D].北京：北京师范大学，2015：I-II.

[25]赵志群.职业能力研究的新进展[J].职业技术教育，2013（10）：5-11.

[26]何珺子，王小军.认知能力和非认知能力的教育回报率——基于国际成人能力测评项目的实证研究[J].经济与管理研究，2017（5）：66-74.