基于输出的本科工科教育评估

Said+Easa+陈宝春+赵秋

摘要：基于输出的评估（ OBA ）是为确保工科专业毕业生获得成功职业生涯所具有的技能和知识的一种新的评估方法。目前，有15个国家或地区签署了执行这种评估方法的“华盛顿协议”。中国已经开始应用这种评估方法，可以预见在未来的几年也将执行这样的协议。除了传统的以输入为基础的评估标准，OBA代表一种新的工科专业教育的评估标准。文章首先介绍了国外在执行OBA过程中的经验，并简短地描述了评估过程原理，包括管理组织机构、评估原理、评估设计、数据收集和分析，以及通过反馈进行持续的改进。福州大学土木工程学院将OBA应用于评估路桥专业学生的口述表达能力。由于OBA在各个国家是相似的，当中国科技协会强制要求各高校执行OBA时，这篇文章将有助于中国各地高校顺利地实施。

关键词：工程教育；教育评估；华盛顿协议

中图分类号：G64922 文献标志码：A 文章编号：1005-2909（2014）04-0009-06

基于输出的评估（OBA）利用以往的经验慎重地选择用于评估的结果，包括一系列在本科生毕业时应获得的知识和技能。当他们即将毕业准备开始自己的职业生涯时，这些技能和知识将给予他们帮助。OBA补充了侧重于提供学生资源的以输入为基础的传统评估，例如，对特定的知识点，学生在课堂上花费的课时数。

华盛顿协议（WA）要求其签署国或地区执行以输出为基础的教育模式 [1]。该协议于1989年由6个国家（美国、加拿大、英国、澳大利亚、爱尔兰和新西兰）首先签定。WA是一个国际认可的协议，任何签约国或地区的毕业生通过该协议的评估，都会被其他签约国或地区承认具有符合进入工程实践能力的学历要求。许多国家为了加入该协议转变为以输出为目标的评估，以便在全球工程师的流动中受益。在1995—2006年期间，有4个国家或地区加入了该协议（中国香港、南非、日本和新加坡），随后于2007—2012年，又有5个国家或地区（中国台湾、韩国、马来西亚、俄罗斯和土耳其）也加入了该协议。目前的15个签署成员和其代表组织见表1。

WA同时还包括6个具有临时身份的成员（孟加拉国、中国、印度、巴基斯坦、菲律宾和斯里兰卡）。这些国家表明，他们的认证系统和上述签署国家或地区相类似，有潜力发展成为以输出为基础的评估体系。作为临时身份的成员需要有多于2/3的正式成员认可。临时身份成员要成为正式成员之前需要为OBA制定标准、政策和规程，另外，申请必须获得两个正式成员国家或地区推荐。该过程还包括需要到申请国家或地区进行考察访问并给出考察报告。接受新的正式成员需要所有成员一致认可。需要注意的是，中国是持有“华盛顿协议”临时身份的国家，代表组织是中国科学和技术协会（CA）。

一、管理组织机构

在学院或学校层面上，评估过程的管理组织机构包括：质量保证（QA）委员会、工作组和QA协调人。QA委员会包括学院院长或学校校长、联系人、分管本科教学和研究的副院长、学院或学校的代表（图书馆、计算机中心、科研和教学办公室、健康和安全办公室、学生）。工作组（任何一个工程系）将包括系主任、副主任和选定的将进行评估的教师，也可根据需要设立其他工作组。例如，所有公共专业基础课程工作组。

在协调人与该委员会合作的过程中，主要职责包括：监督评估过程；负责与一些工作组的协调会议，作为代表提供指导和回答问题；响应委员会提出的倡议，接收反馈信息（约每月一次）；为解释一些评估品质作准备；在评估过程中解决可能出现的问题；为一些评估教师解释有关评估方面事宜。

二、评估流程

在评估的第一年，评估过程包括以下任务（图1）：

（1）确定专业目标和计划；

（2）制定毕业生品质要求和指标；

（3）制定总课程图；

（4）制定评估时间表；

（5）评估方案设计；

（6）收集和分析数据；

（7）结果反馈与教学改进。

在随后的几年中，任务（2）～（5）是重复的，指标、总课程地图和评估方案可以修改，评估时间表要落实。任务（1）每三年修订一次。

图1中有阴影的任务是以学院或学校的层面来执行，而其他活动以专业或系的层面来进行。学院层面的活动包括制定和每一个品质相关的共有指标，制定一个共同的评估时间表和共同的间接评估方法。重要的是要得到委托方和利益相关者（包括顾问委员会和教职工）的反馈信息。

（一）制定专业目标和计划

专业目标和计划与以输出为基础的评估是没有直接关系的。然而，他们将根据工科专业的变化和评估信息的反馈而进行检验和修订。许多加拿大大学对那些与毕业生评估品质有联系的专业目标进行内部审查。在美国，专业教育目标大致描述毕业生在毕业后的几年内有望达到什么样的程度。工程与技术认证委员会（ABE）需要一个专业教育目标的定期审查和修订的正式记录过程[4]。

（二）制定毕业生品质和指标

在加拿大和美国，毕业生品质（学生的学习成果）被CEAB和ABE分别指定。预计中国科学技术协会将指定一组共性输出用于中国所有的大学。这个输出说明学生在毕业时应该知道和能够做什么。性能指标所代表的知识和能力，通过学生的展现可以建立能力与品质之间的联系。引用CEAB对毕业生品质的鉴定标准[2] 如下文所述。

（1）工程基础知识：具有大学水平的数学、自然科学、工程基础知识和专业工程知识。

（2）问题分析：为了得到需要证实的结论，使用适当的知识和技能去识别、归纳、分析和解决复杂工程问题的能力。

（3）调查：具有对一个复杂问题进行调查的能力，为了得到可靠的结论，应用的方法包括适当的实验、分析和数据解释，以及信息综合法。

（4）设计：解决复杂、开放式的工程问题能力。设计具有特殊要求的体系、组成或工艺的能力，如健康和安全风险， 适用的标准， 经济、 环境、 文化和社会等方面的特殊要求。

（5）工程工具使用：基于对限制条件的了解，具有创造、选择、应用、扩展适用技术、资源和现代工程工具的能力，以应用于从简单到复杂的工程活动。

（6）个人和团队的工作：最好是在一个多学科的设置下，作为团队成员和领导者具有高效工作效率的能力。

（7）沟通技巧：在行业内和社会中沟通复杂、大型工程事务的能力。包括阅读、写作、交谈、倾听、理解，以及设计文档和撰写报告的能力，并能给予有效、明确的指示。

（8）职业素质：了解专业工程师在社会中的角色和责任，特别是保护公众和公众利益方面的主要角色。

（9）工程对社会和环境的影响：分析工程活动对社会和环境影响的能力。这种能力包括了解工程和经济、社会、健康、安全、法律、社会文化方面的相互作用，了解这种相互作用在预测中的不确定性，了解可持续发展设计和环境管理的概念。

（10）道德与公平：具有职业道德，遵守义务，坚持公正原则。

（11）经济项目管理：适当地融入经济和商业做法，如进行策划、风险管理和改变工程管理习惯，以及了解他们的局限性。

（12）终身学习：能够识别和应对学生的教育需求，充分保持为知识提升作贡献的能力。

正如前面提到的，在学院或学校层面，每个工科专业可以指定一个或两个特定的品质并要求制定相应的指标。每个品质都可以有许多方面指标的建立（例如沟通技巧，可以通过“书写”“口语”“交流工具”“图形”展现 ）。所开发的指标可以用于全部工科专业中作为公共的学院或学校的文件进行讨论和准备。作为道德与公平品质的指标例子如下（学生具有的）：识别和理解商业管理的相关基本法律原则和法律制度、侵权行为、合同，以及其他工程师所面临的法律问题；评估竞争的法律规定，并对这些原则问题进行分析；评估道德风险和工程师职业道德专业规程方面的情况；评估和运用公平原则。

（三）制定总课程地图

总课程地图是一个矩阵，矩阵的行是具体课程，列是毕业生品质。除了课程，也可以包括其他学习经历（如实习、合作社和课外活动）。如果有与课程相对应的品质，相当于在总课程矩阵对应单元上做一个复选标记。每个专业教师将被邀请认可其所负责课程在矩阵行中的复选标记。这个矩阵可以用来确保将每个品质输入到所有课程中的至少一门课程中。总课程地图可以识别专业的优缺点。建立总课程地图所需的资料可以参考UFW [5] 和麦格纳出版物 [6] 。

（四）制定评估时间表

并非所有的品质都在一年内评估，最好将评估时间延长3年以上。表2显示了CEAB评估毕业生品质的6年认证周期（2014—2020年）的例子。如前所述，每个品质在评估周期过程中进行两次评估（每3年一次），这将提供两轮监测，在CEAB访问前可对每个品质进行修改。此外，评估的第一年，通常需要更多关注工科专业中最弱的技能品质。

（五）制定评估设计

此任务涉及两个方面的内容：选择用于评估的课程和确定评估方法。在第一个方面，除了公共专业课程和可能在第一学年进行评估的课程，每个专业选择5～6个分散在大学四年的课程。总课程地图是用来选择进行评估的专业课程。在2011—2012年期间对瑞尔森大学的土木工程课程中的第一年和中间学年的课程进行了评估。CVL313：结构分析；CVL420：材料力学II ；CVL553：环境科学与工程；CVL755：高级设计工程Ⅰ； CVL800：空间图像处理和分析；CVL853：空间信息管理系统2；CVL855：高级设计工程II。对两个公共专业课程同样进行了评估，CEN100：工程概论和CEN800：工程实践的法律和道德。

评估方法（或手段）分为两类：直接法和间接法。但是，每个品质必须由一个或多个直接方法评估。直接法指期末考试、口试、题目测试、档案分析、情景模拟和其他能通过直接询问和行为观察了解学生知识或技能等有关指标的方法[7]。间接法包括对他人评价或自我报告的评估以及离校面谈、校友调查、档案记录查阅等。Easa等人提出了评估大班的所有学生的新方法 [8-9]。

（六）收集和分析数据

在考试、作业和小测验等过程中通过遇到的问题可以收集到大多数品质的数据。其他品质可以应用量规进行更好地评估。例如，报告可以用来评估沟通技能品质。量规包括三个等级（优秀、一般、差）和五个要点（写作风格、报告重点和流畅性、语法、软件的使用和图形的使用）。以下是数据收集的一些技巧：（1）只进行可以帮助改善专业教学的必要数据收集；（2）应该向参加评估的教师强调评估的重点是课程本身，而不是教师；（3）采样是可以接受的，尤其是在人数多的班级里，因为评估对象是课程，而不是个别学生；（4）即使OBA要求演示学生在毕业时达到毕业品质，但所选进行评估的课程应跨越大学四年。

评估数据分析以图表的形式呈现。例如，口头报告可以使用量规评估，如在后面所描述的初步研究。每一个指标量规后，结果显示学生获得的差、中和优的百分比。对结果进行评估，考虑阈值（规定指标最低可接受的水平）与目标值（学习能力指标期望的水平）是十分必要的。如果表现是小于阈值时，将针对这个指标对专业教学进行改善。在同一个指标内的工科专业中和不同的工科专业中，阈值和目标水平可能会有所不同。这些指标水平可以进行讨论，并由工科专业教师确定。评估数据可以使用在工科专业中应用比较成熟的电子表格进行量规评估。评估数据输入后，电子表格可以自动计算相关的统计数据，并输出对评估指标有用的图表。

（七）改进课程

OBA的主要目标是不断提高工科专业教学水平，确定专业教学的优点，提出改善建议方案并实施改进。根据评估结果，可以对所有专业课程进行改进 [8]：（1）修改课程内容；（2）在一个课程内改变所用资料顺序；（3）改变课程的顺序或添加新课程；（4）在一个课程内增加实验或讨论的次数。此外，可以改变评估方案，包括指标、课程地图、量规评分、直接和间接的方法、数据分析和教师培训。

三、在福州大学的试点评估

虽然中国的大学还不需要正式的以输出为基础的评估，但是福州大学土木工程学院已决定进行试点研究，评估毕业品质中沟通技巧的一部分——口述表达能力。评估过程在道路与桥梁工程系生产实习考核环节进行。学生在汇报时需要有九个方面的展示。按下面口头陈述程度进行量规评估：组织、内容深度、语法和拼写、沟通辅助、幻灯片视觉效果、语境、表现风格和效果、连续性、时限性，图2中分别用1～9来表示。评价有三个等级（优秀、中等、差） ，每个等级包括相应标准的描述。以时限性为例，如果学生的演讲与规定的时间相差控制在2分钟内，评为优秀；如果相差在2～5分钟内，评为中等；如果与规定的时间超出5分钟，则评为差。口头陈述由14个教职工来判断。如果学生表现为差、中等、优秀，每一位教师给出的量规得分分别为1分、2分和3分，以此来完成量规评估。

这项评估对每个方面提供了126个数据点（14名教师，9个报告）。其结果如图2。A代表表现优秀和中等学生的百分比，B代表表现差的学生百分比。如前所述，表现较差的学生在五个方面（2，3，4，5和7）小于5%，在三个方面（6，8和9）约10%～20%，在一个方面超过20%。如果阈值是20%，那么学生将需要改进的方面主要集中在第1项（组织），或第6项（语境）和第9项（时限性）。在组织方面表现优良学生的标准为：（1）提出一种合乎逻辑、有趣的信息。（2）使用吸引人的或深思的结局。（3）总能平顺地从一个环节转移到下一环节。基于这些结果，道路与桥梁工程系打算为即将毕业的学生准备一次或多次关于口头陈述技能的讲座，并且将口头陈述作为1～3年级课程安排的必要条件。应该指出的是，学生没有了解评价内容或量规的标准，需要向学生介绍他们口头陈述得到反馈信息的情况。

四、结语

本文简要介绍了本科工程教育以输出为基础评估的内容。在评估过程中突出以下几个重点非常必要。

（1）在早期应进行简单的评估，一旦教师对评估过程比较熟悉以后，可以稍后进行高级任务和过程验证。此外，后期工作主要集中在修改和微调评估内容上。

（2）有些持续活动有助于评估过程，包括QA协调员和教师之间的持续互动，QA理事会例会制度，也可安排参与评估的教师几次休假。

（3）在评估过程中，可能会遇到一些新的挑战，包括教师对改变的抵触。学院或学校可以寻求管理或机构改革专家的帮助。在评估过程中涉及的不仅是程序和方案的问题，也包括人的问题。在这方面，读者可能会发现霍伊和Nault[10]所写的关于成功地掌握改变带来的负面影响，是一篇非常有用的文章。

（4）一旦中国成为“华盛顿协议”的成员，中国大学将必须执行这个评估过程。笔者希望此文将提供一个工科专业基于输出评估的框架。

参考文献：

[1]International Engineering Alliance[EB/OL].[2013-03-02]. Washington Accord. http：//www.washingtonaccord.org/Washington-Accord.

[2]Canadian Engineering Accreditation Board . Accreditation Criteria and Procedures. Ottawa， Ontario， Canada，2012.

[3]Easa . Framework and guidelines for graduate attribute assessment in engineering education[J]. Can. J. Civ. Eng.， 2013（40）：547–556.

[4]Accreditation Board for Engineering and echnology. Criteria for accrediting engineering programs. Baltimore， Maryland， 2011.

[5]University of West Florida.[EB/OL].[2013-03-02]. Guidelines for curriculum maps. http：//uwf.edu/cutla/curriculum_maps.cfm.

[6]Magna Publications. Enhance learning in your courses through curriculum mapping[EB/OL]. [2013-02-20] http：//www.magnapubs.com/about-us/press-releases/110310PR/.

[7]purlin J， Rajala A， Lavelle J P. Designing better engineering education through assessment[M]. tylus Publishing， 2008.

[8]Easa M， Rosen M A， D Robert， Beaumont D R. Innovative assessment of CEAB graduate attributes in large class： Law and ethics in engineering practice[C]. Canadian Engineering Education Association Conf.

[9]Easa M. Assessing graduate attributes in large classes without sampling[Z]. Australian Association for Engineering Education， Gold Coast， Qeensland， Australia.

[10]oey J， Nault E. Barriers and challenges to assessment in engineering education[M]// Designing better engineering education through assessment. tylus Publishing， 2008.

（编辑 周 沫）