高等教育质量测评新动向——美国大学生学习评价升级版CLA+

梁会青，魏　红

（北京师范大学高等教育研究所，北京100875）

·域外·

高等教育质量测评新动向
——美国大学生学习评价升级版CLA+

梁会青，魏红

（北京师范大学高等教育研究所，北京100875）

美国大学生学习评价（CollegiateLearningAssessment，CLA）的升级版CLA+针对CLA的不足，在评估内容、评估工具、结果报告、用途等方面进行完善。CLA+不仅通过完善题目类型、增加分项分数提高问卷的信效度，而且设定了技能掌握的级别标准，进一步拓宽了用途范围。CLA+作为一种评价学生学习效果的直接标准化工具，其评价理念、方法等都对我国高等教育质量测评的开展具有多层次的启示意义。

学习效果；美国大学生学习评价；CLA+

20世纪80年代，为了提高高等教育经费的使用效益，美国政府开始并逐步加强对高等教育的问责。进入21世纪，美国大学本科学费急剧增长，而学生保留率和毕业率却不甚理想，这种反差招致公众和社会对高等教育的不满。在此契机下，美国政府进一步加强了对高等教育的问责，学生学习效果评价正是政府问责的核心内容之一，同时学生学习效果评价对高校来说还兼具认证和改善质量的作用。政府、高校和社会团体开始竞相开展学生学习效果评价的理论和实践研究。

美国高校使用标准化测试来评价大学生学习效果的历史由来已久，斯坦福大学教授沙沃森将学生学习效果评价的发展历程分为四个阶段。［1］第一阶段（1900年-1933年）是标准化大学生学习成果测试的开始时期；在第二阶段（1933年-1947年），随着通识教育的盛行，测试内容从关注学科知识转向关注学生通用能力尤其是思维能力的发展；在第三阶段（1948年-1978年），专业的测试机构迅速发展，推出更为专业化的学习效果测试工具；到了第四阶段（1978年至今），经过不断的探索，目前已形成以学习者为中心、以可显现的证据为基础、以教育结果及绩效为核心的教育质量评价与监控体系。［2］

从实施方式来看，以学生为主体的高等教育质量评价可分为间接测量和直接测量。间接测量通过评价大学生的大学就读经验来反映大学生的培养质量，以印第安纳大学高等教育研究中心的“全美大学生学习投入调查”（National Survey of Student Engagement，NSSE）和“大学生就读经验调查”（The College Student Experiences Questionnaire，CSEQ）为代表。直接测量的代表有美国大学考试中心（American College Testing Program，ACT）的“大学学业水平评估考试”（Collegiate Assessment of Academic Proficiency，CAAP）以及美国教育资助委员会（Council for Aid to Education，CAE）的 “ 大 学 生 学 习 评 价 ”（CollegiateLearning Assessment，CLA）。相对于间接测量而言，直接测量能更明确地回答大学生的哪些能力得到了何种程度的发展。在直接测量的工具中，CLA较之其他工具有更大的影响力。在全美和国际范围内，有700多所高校采用CLA来测量大学生的价值增值，并将结果和其他院校的水平进行对比。另外，经济合作与发展组织（OECD）历时五年研发并实施的“高等教育学习成果测评”（Assessment of Higher Education Learning Outcomes，AHELO）国际项目中“通用技能”组件的测评工具也是改编自CLA。［3］

一、美国大学生学习评价CLA概况

2000年，美国教育资助委员会成立CLA研究机构，旨在促进高等院校的教学和学习。CLA在2002-2003年间通过了一系列的试测和分析，于2004年开始正式在美国高校中得到运用。CLA选取学生在高中阶段的学术能力评估考试（SAT）或大学入学考试（ACT）的成绩作为学生样本能力基础的参照，通过对比秋季入学的大一新生的CLA得分和春季毕业的大四学生的得分来测评学生在大学期间的价值增值。CLA有两种测量方案：一是纵向测试，即学生入学时、二年级、三年级、毕业时各测一次，将测试结果进行纵向比较；二是横向测试，即同时对大一学生和大四学生进行测量，比较测试结果。

CLA主要关注并测评四种技能，即审辩式思维能力 （criticalthinking）、分析推理能力（analytic reasoning）、问题解决能力（problem solving）、写作交流能力（written communication）。CLA试题全部是主观题，由技能型任务（Performance Task）和分析写作型任务（Analytic Writing Task）这两种题型构成。分析写作型任务又包括立论型任务（Make－an－Argument）和驳论型任务（Critique－an－Argument）。技能型任务通过为学生展示一个真实的生活场景，并提供一个包括新闻报道、邮件、备忘录、研究报告、图表等相关资料的文档库，要求学生在90分钟内提交一份报告，提出问题解决方案，并运用文档提供的材料来论证自己的观点。立论型任务要求学生在45分钟内根据所给出的话题陈述自己的观点，并需要提供相关的理由和例子来解释和证明自己的观点。驳论型任务要求学生在30分钟内分析并反驳题目所给出的论点。

以Astin的学习参与理论、William Perry的学生智力和道德发展理论、Chickering的大学生发展七向量理论、Pascarella的评估发展的综合模型等学生发展理论为支撑，对大学生学习进行评价的研究和实践逐渐兴起并扩大发展，CLA也是其中之一。除了学生发展理论之外，CLA基于认知结构理论聚焦于测量大学生的通识能力，而非一般学科的专业技能。CLA的广泛应用一方面完善了学生发展理论成果的实践意义，另一方面也为高校改进教学质量提供直接可参考的数据支撑。

二、CLA+的新特征

CLA的初衷是探究高校在发展学生通识技能方面所发挥的作用，因而其主要分析对象是高校，缺乏对学生层面的关注。再者，CLA只在高校层面有良好的信效度，不能对学生层面的结果进行有效分析，这限制了CLA的用途。

2013年，美国教育资助委员会推出了CLA的升级版——CLA+。CLA+针对CLA的不足进行了相应的改善，设置了新的分项分数（subscores）、技能掌握级别标准（criterion-referenced Mastery Levels）、学生和高等教育机构层面的绩效（reliable information about performance at the student and institutional levels）等。CLA+不仅是CLA的升级版，更标志着过去10年中被各高等教育机构广泛采用的以问题为导向的评估方式的新改革和新进展。对CLA和CLA+进行分析比较（表1），发现CLA+主要在四个方面取得了新进展。

（一）增加新的分项分数

CLA的评价内容主要聚焦于四种技能，即审辩式思维能力、分析推理能力、问题解决能力和写作交流能力。

CLA+的测量内容整体聚焦于大学生的审辩式思维能力和写作交流能力，具体包括以下六项：科学和定量推理能力（scientific and quantitative reasoning）、分析与解决问题能力（analysis and problem solving）、写作效能（writing effectiveness）、写作技能（writing mechanics）、审辩式阅读分析能力（critical reading and evaluation）、驳论能力（recognization of logical fallacies in arguments）。［4］与CLA相比，CLA+不仅仅是增加了新的分项分数，还更侧重于评价那些在学生毕业后的社会生活中发挥重要作用的能力。所有这些数据不仅能为高等教育机构的管理者提供提升教育质量的参考，也可以为毕业生求职、用人单位招聘提供有力支撑。

表1　CLA与CLA+的异同点［5］

（二）完善题目类型，提高问卷信效度

为了更好地测评上文所述六种能力，CLA+也在题目类型上进行了调整。CLA的试题全部是主观题，由技能型任务、立论写作型任务、驳论写作型任务构成。CLA+包含技能型任务（Performance Task，PT）和选择题（Selected-Response Question，SRQ）部分。选择题部分有三类问题：科学和定量推理（Scientific and Quantitative Reasoning，SQR）、审辩式阅读分析（Critical Reading and Evaluation，CRE）、驳论型问题（Critiquean-Argument，CA）。［6］技能型任务包含开放式的提示，需要学生根据提供的材料撰文回答。选择题部分要求学生基于文档提供的材料选出最合适的答案。

1.技能型任务

CLA+的技能型任务与CLA差别不大，主要测量三方面的技能，即分析和问题解决能力、写作效能和写作技巧。分析和问题解决能力主要指学生需要做出一个合乎逻辑的结论或决定，并利用文档库中合理的信息来支持这个结论。写作效能指学生需要构造有条理的、合逻辑的论点，并对论据和观点进行详细阐述。写作技能要表现出对英语的熟练准确使用，包括时态、语法、措辞、拼写、标点等。

题库中技能型任务并非只有一种。有的技能型任务要求学生识别、分析、比较不同研究假设、观点、行动方案的优缺点；有的技能型任务要求学生利用文档提供的材料解决问题或者提出新的解决方案；还有的技能型任务要求学生提出一种解决问题或冲突的行动方案，并解释为什么选择这个方案以及方案的可行性等。

技能型任务要求学生利用高阶思维能力完成以下任务：识别与题目要求相关和不相关的信息；分析、理解表格和图表中的数据；评估不同文档材料的可靠性；从感性的论点中辨别出理性的、合理的论点；识别客观事实和个人主观看法的差异；识别出不合理的假设；处理不合理的、模糊的、有冲突的信息；鉴别出观点中的偏见、逻辑缺陷；发现能帮助解决问题的其他信息；权衡不同类型的证据；从多样的资源中组织和整合信息；在书面的回答中合理组织、整理信息。学生需要在60分钟内完成技能型任务。技能型任务的评分采用自动评分系统（Intelligent Essay Assessor，IEA②）和人工评分相结合的方式，这样能更好地确保评分的有效性。

2.选择题

选择题部分主要测量三方面的能力，即科学和定量推理能力、审辩式阅读分析能力、驳论能力。选择题的第一部分测量学生的科学和定量推理能力。科学和定量推理部分的材料源自现实生活，包含曲线图、折线图等图片和其他表格。第二部分测量学生的审辩式阅读分析能力，参考材料呈现的是对真实问题的讨论以及相关历史文献资料等。第三部分即驳论部分，测量学生识别逻辑谬误和有逻辑缺陷的假设的能力，要求学生分析材料并回答问题。学生需要在30分钟内根据提供的材料选出最佳答案。

学生要完成这部分内容，需要运用以下几种能力：根据给定的结果做出推论和假设；评估信息的可靠性，比如实验设计或数据搜集方法；识别相关或冲突的信息和定量数据；识别能够加强或削弱论点的其他信息；发现有逻辑缺陷或有问题的假设；确定立场（支持或反驳）；评估备选的结论；等等。

3.问卷信效度

在高等教育机构层面，CLA有良好的信度（α= 0.80）；而在学生层面，CLA只有一个技能型任务或分析写作任务（立论型任务和驳论型任务），因此信度不太理想。这也是CLA受到质疑的一个原因。CLA+在这方面做了改善，学生需要回答多个问题，并且所有问题的着眼点都是一致的，这提高了CLA+在学生层面的信度。使用评分者信度（inter-rater correlations）进行分析，α系数均大于0.8，说明问卷有良好的信度。学生层面的得分可作为分班教学、奖学金评定、新生录取、毕业生就业等方面的参考。

此外，研究人员还考察了CLA+的效度。研究人员调查学生对“CLA+的任务和问题在何种程度上测量了写作、阅读理解、数学、审辩式思维和问题解决能力”的看法。结果显示，学生认为CLA+的任务和问题能较好地测量写作（78.5%）、阅读理解（88%）、审辩式思维和问题解决能力（86.2%）。［7］CLA+的科学和定量推理部分通过让学生阅读、理解、分析材料中呈现的数据测量学生的推理能力，较之传统的数学问题解答能力，CLA+更关注定量素质。因此，CLA+确实在测量要测量的内容，具有良好的效度。

（三）设置技能掌握级别标准

库（Kuh）认为CLA的技能任务题没有明确而直接的标准答案和评分基准，缺少衡量学生个人成绩的结构效度。［8］CLA+对此方面也做了相应的改善。CLA是常模参照评价，而CLA+是标准参照评价。常模评价是以团体测验的平均成绩为参照点，学生在团体中的位置是以个体成绩与团体平均成绩相比较来确定的，因此常模参照评价也称为相对评价。标准参照评价以教学目标为参照点，确定学生是否达到标准以及达标的程度，因此标准参照评价又称绝对评价。标准参照评价能正确体现教学目标的实现情况，常模参照评价容易忽视个人的努力状况和进步程度。

CLA+按以下的方式进行标准设定（standardsetting）：选择题部分使用修正过的安戈夫方法（Angoff Method）或者书签法（Bookmark Method）；技能型任务使用书签法。安戈夫方法和书签法是在美国被广泛使用的标准设定的主要方法。［9］具体来说，技能型任务所测量的三部分按评分标准进行评分，各项所得分数最小值为1，最大值为6。选择题部分，基于科学和定量推理、审辩式阅读分析以及驳论这三个方面，学生也会得到三项分项分数。分项得分由作答正确的题目个数和所作答题目的难度系数共同决定，这样能确保每一项分项分数都有相同的平均数和标准差，所有的测验形式都可以进行结果比较。经过专家的多次修订，最终综合划定了初级、中级、高级三个标准（表2）。

（四）拓展用途范围

CLA利用ACT和SAT等学生入学考试成绩，计算学生在读大学期间的增值，能够较客观地测评学生通识能力的掌握情况。据此高等教育机构的教学和管理人员可以有针对性地改进教学方法，完善教学内容，提高教育质量；高校还可以以CLA数据为依据，了解自身在高等教育系统中所处的位置，明确自身的优缺点；最后，以CLA测试结果为依据，高校向社会公布其教学效果与学校特征，是高等教育机构对政府和社会问责的回应。

表2　CLA+学生综合能力掌握级别标准［10］

CLA+通过评估内容、评估工具等方面的改善和发展，也进一步拓宽了评价结果的用途范围。首先，较之于CLA，CLA+更侧重评价能在学生毕业后的社会生活中发挥重要作用的能力，也就是满足劳动力市场和用人单位需求的通识能力。当今社会大多数用人单位在选择雇员的时候，不仅看重雇员的专业文凭，还要求其具备阅读理解能力、分析和解决问题能力、审辩式思维能力、写作能力等通识能力。CLA+恰恰为雇主提供了一种能衡量学生通识能力的评价工具，从而有利于雇主高效识别合适的雇员。其次，从学生角度进行分析，较之于CLA仅为新生和毕业生提供总结性报告，CLA+不仅为各个年级的学生提供总结性结论，而且还为学生和高等教育机构提供信效度良好的结果报告。对测评结果报告进行分析不仅可以帮助在校的学生了解自己各项通识能力的发展水平以及自身的优缺点，而且还可以与校内外同年级、同层次的学生进行分析比较，明确自身在校内甚至整个高等教育系统中所处的位置，为今后的努力方向提供参照。对于毕业生而言，CLA+测评报告也是其通识能力发展的有力证据，不仅可以在求职的时候让用人单位更好地了解自己，从而增加就业机会，也可以为毕业后的职业生涯、人生发展指明规划的方向，培养自身的终身学习能力。最后，对于高校而言，CLA+提高了学生层面的信效度，学生层面的得分可以用来作为分班教学、奖学金评定、新生录取、毕业生就业等管理方面的参考依据，有利于合理配置资源，提高高校人力、物力、财力等资源的利用效率，实现效益最大化。

三、CLA+对中国高等教育质量测评的启示

我国高等教育已进入新的发展阶段。提高高等教育质量、培养优秀人才，对于把我国从人力资源大国转变为人力资源强国，对于科教兴国战略、人才强国战略的实现有重大意义。要有针对性地提高高等教育质量，就要对高等教育进行评估，明确有待改进的方面。从世界范围来看，学习效果评估是高等教育质量评估的热点和发展趋势。随着我国对高等教育质量的热切关注，学生学习效果评估也将成为我国高等教育质量测评不可缺少的方面。CLA+作为应用广泛的、测评学生学习效果的直接测量工具，其评估理念、评估方法等对我国高等教育质量测评有重要借鉴意义。

（一）树立以学生为中心的评价理念

“以学生为中心”的教育理念是以建构主义学习理论为理论基础提出来的。建构主义学习理论认为：以学生为中心就是强调学生对知识的主动探索、主动发现和对所学知识意义的主动建构，同时注意文化环境等因素对学生发展的影响。“以学生为中心”要着力于学生的发展、学生的学习以及学生的学习效果。［11］也就是说，不仅要把“以学生为中心”贯穿在教学过程、教学活动中，还要秉持“以学生为中心”的评价理念来评价学生的学习效果。

无论CLA还是CLA+贯彻的都是以学生为中心的评价理念，都把学生真正作为高等教育的主体。CLA+使高校更多地关注学生的发展，为学生发展提供支持。提高人才培养质量一直是我国高等教育改革和发展的重要任务。我国政府和高等教育机构也积极采取很多措施，投入大量的人力、物力、财力来提高、保障高等教育人才培养质量。当前教育部要求各高校《本科教学质量报告》应重点体现本科教育基本情况（专业设置、生源质量等）、师资与教学条件（教师数量结构、教学经费、教学设备等）、教学改革与建设（课程设置、培养方案）、质量保障体系（教学工作开展）等内容，而学生的学习效果也只是考察学生毕业率、就业率、满意度等。［12］整体来看，《本科教学质量报告》更注重的是对教学相关工作的总结，没有明显体现“以学生为中心”的思想。受高等教育质量评价声誉观、资源观和产出观的影响，当前我国高等教育评估更多的还是侧重对外在条件（如教学经费、教学设备、师资等）的评估，而忽视了教育教学实践过程和学生学习效果等核心问题，忽视了学生的学习发展才是高等教育质量的核心，没有对树立以学生为中心的评价理念给予足够的重视。坚持以学生为中心的评价理念，就是要以改进质量为根本目的，将高等教育质量评估体系建设的重心由外部转向内部。只有树立以学生为中心的评价理念，才更有利于高校直接了解人才培养方面的优势和不足，从而有针对性地从合理配置教育资源、改进教学内容和方法、完善教学管理等方面着手提高人才培养质量。

（二）注重学生学习效果评估

学习效果评估是高等教育质量评估的热点和发展趋势。在美国，在社会要求、政府问责、认证组织的推动下，高等教育的评估已经由注重学校的资源和声望转变为注重学生的学习效果。［13］CLA+就是测评学生学习效果的直接工具之一，具有广泛的影响力。世界上越来越多的国家和组织开始认可学生的学习效果是评价高等教育质量的核心，并开发出评估学习效果的工具，比如OECD的“高等教育学习成果测评”国际项目（AHELO）、澳大利亚的“毕业生技能评价”项目（Graduate Skill Assessment，GSA）等。高等教育质量的核心是学生的发展，而学生的学习效果恰恰是整个高等教育体验综合作用的结果。相比于高校的声誉、科研水平、毕业率、就业率以及学生的主观满意度，学生的学习效果（也就是经过四年的学习，学生的哪些能力获得何种程度的发展）能更客观地体现高等教育人才培养目标实现的程度。

对学生的学习效果进行评估，从政府、社会的角度来讲，可以客观了解资源的投入-产出情况，明确高等教育人才培养质量的优点和不足。从高等教育组织的角度来讲，学生学习效果评估不仅可以回应政府、社会和公众的问责，展现高等教育资源的利用效率和产出，还可以作为高校自身完善人才培养计划、改进教学方法、合理配置教育资源、提高教育质量的参考，对于高校进一步发展形成良性循环。从学生的角度来讲，学习效果评估有助于对自身各项能力的发展有一个较为客观的认识，对今后的学习、工作、生活进行合理规划。国内高校和学者应加强对学生学习效果的研究，可以借鉴CLA+的理念、技术和方法，构建符合我国国情的学生学习效果评估工具。

（三）研发本土化的标准化评估工具，建立多元化的评估系统

采用CLA+这种标准化的评估工具不仅有利于学生、高等院校根据自身情况进行纵向比较，使之对自身的发展有更加客观的认识，也为学生之间、高校之间的横向比较提供了便利，使其相互借鉴、取长补短，还有利于政府和社会对高等教育培养质量的整体了解。当前我国一些学者和大学已经开始致力于将美国大学生学习成果评价工具引入中国。例如：清华大学将NSSE进行汉化，并根据本土情况逐步改进；北京航空航天大学课题组对ETS水平轮廓测试（ETS Proficiency Profile，EPP）进行了汉化工作；南京大学参加了研究型大学学生就读经验调查（Student Experience in the Research University，SERU）等。然而，就目前来说，我国还有待进一步研发出本土化的标准化评估工具，也没有参与到OECD组织的“高等教育学习成果测评”国际项目中。考虑到国情、文化、高等教育培养目标、实践体系等因素，上述这些工具是否适合我国高等教育实践需要还有待进一步的检验，因此最好能研发出适合我国国情的标准化质量测评工具。

此外，我们需要着力建立多元化的评估体系。美国大学生学习成果评估形成了以高校内部组织评估为主体、第三方测评机构积极参与、政府部门辅助推动的评估体系。我国的高等教育评估目前还是以政府为主导。在当前我国高等教育主要靠政府拨款支持的现实条件下，各院校发布《本科教学质量报告》的首要目的是回应政府和社会的问责，其次才是自身教育质量的提高。因此，高校在对自身的教学质量进行评估的时候，可能会有意识地展现出良好的一面而掩饰有待提高的方面。因此，要构建多元化的评估体系，不仅需要高校与政府的合力，还需要第三方组织的辅助。

注释

①共同核心（州立）标准（The Common Core State Standards）是2010年美国各州政府发起制定的全国统一课程标准，主要是针对数学和英语语言艺术的学习而制定的一系列高标准，规定了学生从幼儿园到12年级应该掌握的知识与技能，目标是学生在高中毕业时为上大学和就业做好了充分的准备。

②自动评分系统（IEA）是上世纪90年代末由Pearson Knowledge Analysis Technology公司开发的。IEA注重对作文内容的分析，主要评价文章内容方面的质量，也可包含对语法、文体及写作机制方面的评价。

［1］赵婷婷,杨翊,刘欧,毛丽阳.大学生学习成果评价的新途径--EPP（中国）批判性思维能力试测报告［J］.教育研究,2015（9）:64-71.

［2］吴智泉.美国“大学生学习评价”（CLA）的特色与启示［J］.黑龙江高教研究,2015（3）:62-66.

［3］周海涛,景安磊.“高等教育学习结果评价”概述［J］.高教发展与评估,2014（1）:67-78.

［4］CAE.CLA+:StudentGuide［EB/OL］.［2015-06-09］.http://cae. org/images/uploads/pdf/CLA_Student_Guide_Individual.pdf.

［5］CAE.Comparing CLA to CLA+［EB/OL］.［2015-06-09］.http://cae. org/images/uploads/pdf/cla_vs_cla_plus.pdf.

［6］CAE.CLA+:College Sample Assessment［EB/OL］.［2015-06-09］. http://cae.org/images/uploads/pdf/CLA_Practice_Assessment.pdf.

［7］CAE.Reliability and Validity of CLA+［EB/OL］.［2015-06-08］.http: //cae.org/images/uploads/pdf/Reliability_and_Validity_of_CLA_Plus. pdf.

［8］周廷勇,杜瑞军,张歇雨.美国大学生学习成果标准化评估工具的分析研究［J］.复旦教育论坛,2014（5）:84-90.

［9］李珍,辛涛,陈平.标准设定:步骤、方法与评价指标［J］.考试研究, 2014（2）：83-95.

［10］CAE.Standard-Setting Study Final Report［EB/OL］.［2015-06-08］. http://cae.org/images/uploads/pdf/cla_ss.pdf.

［11］刘献君.论“以学生为中心”［J］.高等教育研究,2012（8）:1-6.

［12］教育部.教育部办公厅关于普通高等学校编制发布2013年《本科教学质量报告》的通知［EB/OL］.［2015-06-08］.http://www.moe.edu. cn/publicfiles/business/htmlfiles/moe/s5972/201409/175575.htm.

［13］熊耕.透视美国高等教育中的学生学习结果评价［J］.比较教育研究,2012（1）:33-38.

CLA+:The Enhanced Version of Collegiate Learning Assessment

LIANG Hui-qing，WEI Hong
（Institute of Higher Education，Beijing Normal University，Beijing 100875，China）

As the enhanced version of Collegiate Learning Assessment（CLA），CLA+includes new subscores，criterion-referenced Mastery Levels，and reliable information about performance at both student and institutional levels to play a greater role in the development of higher education institutions and college students.The idea and method of CLA+provides a valuable reference for the evaluation of teaching and learning in Chinese higher education institutions.

Learning Outcome；Collegiate Learning Assessment；CLA+

2015-07-12

2010年度全国教育科学“十一五”规划一般课题“我国高校教育服务学生满意度和高校改进管理研究”（BIA100077）

梁会青，1989年生，女，河南焦作人，北京师范大学高等教育研究所硕士研究生，从事高等教育管理研究；魏红（通信作者），1968年生，女，四川内江人，北京师范大学副研究员，心理学博士，从事高等教育评估研究。