问责与改进:美国大学开展学生学习结果评估的双重动力

2018-01-22 12:32谢晓宇
高教探索 2018年11期
关键词:改进问责

谢晓宇

摘 要:20世纪80年代以来,高等教育评估经历了由注重教育投入到教育产出的转变,学生学习结果评估受到广泛关注。作为开展学生学习结果评估的先行者,美国大学也经历了这一转变。本文通过对威斯康星大学麦迪逊分校实地调查所获得的访谈资料和本文资料进行分析发现,学生学习结果评估具有“问责”和“改进”的双重功能,一方面,在回应外部问责和证明大学效用上发挥作用;另一方面,在实现大学内部质量改进上起推动作用,成为美国高等教育质量保障的重要一环。

关键词:高等教育评估;学生学习结果;问责;改进

20世纪80年代以来,由于高等教育领域对质量评估的关注促使美國公立大学开始开展评估。但早期的评估关注的是教育经费的投入和教育资源的使用,不能衡量高等教育机构培养学生知识和技能的实际程度[1],不能直接反映高等教育质量。80年代中期,美国发表的三个国家报告《投入学习:开发美国高等教育的潜力》(1984年)[2]、《大学课程的完整性》(1985年)和《追求结果的时代》(1986年)[3]都十分强调学生学习结果的重要性,促使美国大学从关注教育投入到教育产出的转变,为开展学生学习结果评估(Student Learning Outcomes Assessment)提供了政策背景。那么,美国大学为什么开展学生学习结果评估?虽然已有文献对此问题进行初步探讨,但本文期望通过对美国威斯康星大学麦迪逊分校(University of Wisconsin-Madison,以下简称麦迪逊分校)实地调查所获得的访谈资料和文本资料进行分析获得研究发现。从2015年9月至2016年11月对该校进行实地调查,采用目的性抽样方式选取教师、管理者和学生进行半结构化访谈,同时收集各部门提供的评估计划和评估报告等。基于研究伦理的考虑,本文中访谈资料出现的人名皆为化名。

一、外部动力:回应问责

联邦政府、州政府和认证机构在高等教育质量管理中分别承担不同的责任。[4]联邦政府提供学生资助和科研资助,州政府授予学位和颁发职业证书,认证机构接受联邦政府的委托提供教育机构和专业项目的质量信息。三者构成了美国高等教育质量保障体系的三大问责主体。它们要求高等教育机构提供质量的证据,以证明其效用。除此之外,社会组织、学生和家长也要求高等教育机构提供实质性的证据,证明他们的投资能够产生显著的效果,他们选择的学校和专业能够促进学生发展。

(一)联邦政府

美国联邦政府没有直接管理教育事务的权力,其权力归为各州。《联邦宪法》第十修正案(The Tenth Amendment)规定:“联邦政府只拥有美国宪法赋予它的权力,其它权力都保留给州或人民。”[5]尽管联邦政府管理教育事务的权力十分有限,但它通过设立高等教育资助项目间接参与教育事务。

联邦政府在设立高等教育资助项目的初期主要通过州政府作为“中介”向高等院校提供资助。近几十年,联邦政府开始直接提供资助。资助项目主要包括两类:其一,学生资助。联邦政府主要通过立法设立各种资助项目。例如,1944年《退伍军人权利法》(The GI Bill of Rights)向二战退伍军人提供教育资助,促使大量退伍军人涌入高等院校。1958年《国防教育法》(National Defense Education)通过各种形式向州、地方和学校提供资助,确保接受培训的人员在数量和质量上能够满足国防需要。1965年《高等教育法》(Higher Education Act)引入教育机会平等的理念,增加了向贫困学生提供资助的条款。1972年《高等教育法》修正案创设了“佩尔助学金”(Pell Grants)为学生提供直接资助。[6]其二,科研资助。联邦政府设立的科研资助早于学生资助,可以追溯到1862年的《莫雷尔法案》(Morrill Land-Grant Act)。通过联邦政府赠地而建立起一批州立大学,如威斯康星大学、密歇根大学和伊利诺伊大学等。[7]但是,相比于学生资助,科研资助仅有少数研究型大学能够获得。虽然很多州立大学能够获得州政府的基本资助,但联邦政府的资助能够使大学获得更多的资源进而改善校园环境。

既然期望获得联邦政府的资助,高等院校就要提供质量证据以证明大学的效用。美国国会也曾提出只有教育质量良好的高等院校才有资格获得资助。由于联邦政府没有直接管理教育事务的权力,因此委托高等教育认证机构评估高等院校的教育质量。

(二)州政府和立法机关

美国高等院校获得联邦政府学生资助必须满足的条件之一就是获得州政府的办学许可。州政府对高等院校教育质量提出较高要求,这就涉及对高等院校的质量评估。在某些州,立法机关负责制定评估政策。目前已有超过80%的州制定了正式的评估政策,审查各州范围内的学生考试。根据自身的实际情况,各州制定的评估政策和开展的评估实践并不相同。例如,田纳西州采用定量方式收集能够直接影响预算决策的数据,密苏里州采用标准化测试收集数据。密歇根州立大学(Michigan State University)和艾维诺学院(Alverno College)则通过对大学内部施加压力来回应州政府的问责。[8]

在威斯康星大学麦迪逊分校,学术规划和院校研究(Academic Planning and Institutional Research,APIR)办公室每年都要向州长和立法机关提交问责报告。APIR的主要职能是收集、分析和报告院校数据,为制定政策和做出决策提供依据。伊莎贝拉是APIR的主任,她指出学校董事会和校长每年都要向州长和立法机关提交问责报告,包括绩效、财政、入学机会、本科教育和研究生教育等几个方面。

“我没有阅读过很多关于问责的学术性文章,因为我是一个实践者,仅能告诉你麦迪逊分校目前的实践状况是怎样的。麦迪逊分校每年都要向州长和立法机关提交问责报告,学生学习结果是其中一个方面,但不是唯一方面。如果你在谷歌中搜索College Portrait或者Voluntary System of Accountability,就会找到关于问责的公共信息,麦迪逊分校的问责信息也在里面。”(伊莎贝拉,学术规划和院校研究办公室)

自愿问责(Voluntary System of Accountability,VSA)是2006至2007年由美国公立大学和学院协会(AASCU)以及美国公立和赠地大学协会(APLU)发起,主要有三个目标:第一,为大学和学院提供基于“证据”的数据;第二,为公共机构提供透明的、可比较的信息;第三,为测量和报告学生学习结果提供支持。2008年还建立了大学肖像网站(College Portrait),提供四年制高等教育机构的信息。目前已有超过260个高等教育机构加入自愿问责,并在大学肖像网站上公布他们的信息。[9]

(三)认证机构

認证是美国大学开展学生学习结果评估的主要推动力。虽然认证早已有之,但直到20世纪90年代中期,联邦法规才要求将学生学习结果纳入到认证指标。1992年《高等教育法》(Higher Education Act,1965)修正案指出,认证机构应该更积极地收集关于学生学业成绩的证据。[10]到90年代末,认证机构要求所有美国高等院校都要开展学生学习结果评估。但是,认证机构不会要求具体的评估策略,而是强调应该由教师负责和参与制定评估政策和开展评估实践。[11]

1.区域认证

全美共有六个区域性高等教育认证机构对高等院校的整体水平和办学能力进行综合认证。麦迪逊分校接受中北部院校协会(Higher Learning Commission,HLC)的区域认证。HLC制定了认证标准并以此决定高等院校是否通过认证。该认证标准包括5个方面,其中标准4强调教学和学习以及评估和改进。“高等院校能够对其教育计划、学习环境和服务的质量负责,并通过持续的改进证明学生学习的有效性。”[12]

“中北部院校协会负责审查大学应该满足的标准和要求,每十年审查一次。它有5个具体的标准,如果你仅对学生学习感兴趣,就涉及到标准4,即教学和学习:评估和改进。认证标准中尤其强调学生学习结果,所以我们也不得不提供关于麦迪逊分校学生学习结果的信息,为此教务长办公室还成立了专门负责学生学习结果评估的部门。”(伊莎贝拉,学术规划和院校研究办公室)

凯瑟琳是教务长办公室负责学生学习结果评估的主任。她指出麦迪逊分校以前制定过评估计划,但有些脱离教师和课程,教务长办公室也没有推动计划,很难满足区域认证的标准,所以正在努力修订新的计划。新的计划要求每个学术项目十年审查一次,新项目五年审查一次,审查内容与学习结果密切相关。课程评估也必须包括学习结果,由教师负责设定课程层面的学习目标。

2.专业认证

除接受区域认证之外,麦迪逊分校部分学院和专业还需参加专业认证。专业认证侧重于学院、系和专业的质量保障,专业认证机构或得到美国高等教育认证委员会(CHEA)的认可,或得到教育部的认可,还有部分需要得到国际认证机构认可。[13]专业认证机构设有每个专业应该达到的标准和要求,其中也包括学习结果。例如,工程学院接受ABET认证,药学院接受ACPE认证,护理学院接受CCNE认证,商学院接受AACSB认证等。

菲奥娜是工程学院的教师,也是负责本科专业认证的协调员,这意味着她要准备12个专业的认证工作。工程学院接受工程和技术认证委员会(Accreditation Board for Engineering and Technology,ABET)认证,每六年一次。作为协调员,她负责监督和协调工程学院不同专业的认证,这些认证都与学习结果密切相关。安东尼奥也负责工程学院的专业认证,他提到,“工程学院制定了一个认证计划。如果学生想要毕业,需要获得专业学位项目的许可,而这些项目必须获得认证。并不是所有大学和所有工程学院都这样,但多数是这样。因为没有许可,学生就不能获得学位。因此,在工程学院的不同学科,尤其是土木工程、水工程和地质工程这三个特殊学科获得许可非常重要,这就需要认证。认证通过ABET来完成,它要求所有期望获得认证的工程专业项目列出关于学生学习结果的相关内容。”

“护理实践博士学位要接受护理教育协会(Commission on Collegiate Nursing Education,CCNE)的认证,CCNE是国家性的认证机构,每五年认证一次。认证的关键在于要提交一个90页左右的项目自评报告,CCNE的评估小组会来到麦迪逊分校现场考察,并与教师和学生会谈。这种自评过程促使我们再次考虑到学习目标,并设定一个模板,包括四个评估标准。”(切尔西,护理学院)

(四)社会组织

社会组织不是美国高等院校质量评估的问责主体,但是高等院校除了接受联邦政府和州政府的资助外,还接受包括基金会、校友会、公司和宗教组织等社会组织的捐赠。这些社会组织要求高等教育机构提供实质性的证据,证明他们的投资能够产生显著的效果。近几十年,社会组织逐渐将关注的焦点放在学生学习结果上。在麦迪逊分校的实地调查中发现,很多学院都在接受社会组织的捐赠,并要求接受捐赠的学院提供关于学生学习结果的证据。

乔安娜是教育学院院长办公室的工作人员,她提到教育学院共有10个系,但艺术系有点特殊。因为艺术系获得州政府的资助较少,主要资助来源于社会组织。所以,如果教育学院开展学生学习结果评估,艺术系的教师就会认为是大学的外部力量要求他们必须这么做,必须提供关于学生学习结果的证据,他们知道应该提供什么样的信息和数据来回应外部力量的要求。

(五)学生和家长

除了联邦政府、州政府、认证机构和社会组织,学生和家长也是高等院校的利益相关者。一方面,高等院校提供的质量信息影响学生和家长的择校行为;另一方面,学生和家长对教育质量的满意不仅能为高等院校带来良好的声誉,也利于高等院校获得更多社会支持,在激烈的教育市场竞争中脱颖而出。学生不仅是高等院校提供质量信息的利益相关者,还是质量评估的主要参与者。当学生进入高等院校时,他们就已经成为质量评估的主要成员。高等院校采用的直接测量学习结果的工具——学生档案袋(portfolio)就是学生为自身学习提供的证据。学生档案袋促使他们以学习者的身份思考学习经验。[14]

实际上,高等院校想要让学生和家长满意并不容易,因为多数高校仅提供关于教育成本和毕业率等基本信息,很少提供学生学习的信息。美国国家学习结果评估研究所(National Institute for Learning Outcomes Assessment,NILOA)的调查显示,学生和家长更倾向于获得高等院校提供的几方面信息:(1)学生进入高等院校后,在知识、能力、学业成就以及升学和就业方面能够获益多少;(2)高等院校能够为学生提供什么样的教育机会,有多少学生能够获益;(3)学生能否整合和应用所学内容;(4)高等院校内部如何保障学生学习质量,如何利用结果改进学习。[15]

值得庆幸的是,威斯康星州政府并没有要求对特定的学习结果负责,学习结果只是评估的一部分,因此评估结果并不会直接影响州政府拨款。这主要是考虑到整体的评估背景。由于高等教育成本增加,大学学费不断上涨,大学需要证明为学生提供的学习是有效的,这确实是大学开展学习结果评估的一个方面;另一方面,如果从更广泛的角度来看就涉及到高等教育的价值。公众想要了解高等教育的真正价值是什么,这也促使麦迪逊分校思考学生正在学习什么以及如何学习。在某些情况下,学习结果与学生毕业后的工作息息相关,麦迪逊分校希望学生能够获得成功,这种成功不仅是毕业后一段时间的体现,更重要的是通过长时间的工作和学习所体现的教育本身的价值和学生学习经验。

二、内部动力:改进质量

除了回应外部对大学效用的问责,改进内部教学质量和学习质量也是美国大学开展学生学习结果评估的又一动力。在美国的很多州,州政府和立法机关十分强调学生学习结果评估的改进功能。更具体的说,他们把改进质量作为开展学生学习结果评估的根本目的。[16]麦迪逊分校的学生学习结果评估也将改进作为评估的重点。

(一)改進教学质量

麦迪逊分校教务长办公室制定的学生学习结果评估计划将改进作为评估的重点,虽然评估计划所强调的是改进学生学习,但教师是学生学习的促进者,教学质量影响学习质量。在麦迪逊分校的访谈中教师内森提到,英语系在开展学生学习结果评估过程中非常重视教师教学,开展了很多关于教学的讨论。例如,他在培训课程助教时总是会问:“今天你教了什么?”实际上他想问的是:“今天学生学习到了什么?”可见,教师教学和学生学习密切相关。

与传统的教学质量评估相比,学习结果评估强调的教学质量更多的是以学生为主体。传统的教学质量评估是以教师为中心,强调教师的任务是教学,重视教学目标;而学习结果评估则是以学生为中心,强调教师的任务是帮助学生学习,重视学习结果。教学目标与学习结果并不相同。教学目标是对学生完成学习活动后的预期,侧重教学活动,教师为主导;学习结果是参与一段学习后所达到的可测量的认知性和情感性结果,侧重学习活动,学生为主体。但无论如何,学习结果评估所强调的学习质量与教学质量密不可分。

(二)改进学习质量

麦迪逊分校教务长办公室所制定的学生学习结果评估计划尤其强调改进学生学习。凯瑟琳提到,为了保证学生学习质量,教务长办公室将会持续、系统、全面的理解和改进学生学习。改进学生学习也可以理解为基于“证据”的学生学习。学生学习结果评估应该是持续的过程,具体包括:(1)确定学习目标;(2)确保学生获得足够的学习经验以实现这些目标;(3)收集证据(evidence)以确定学生学习在多大程度上实现目标;(4)使用评估结果来检验或改进学习。学生学习结果评估能够检验学生正在学习什么以及教师期望学生学习什么,开展评估活动所获得的证据能够显示哪些方面做的好,哪些方面需要改进。

“如果你问我评估的目的是什么,我会很确定的回答你除了回应外部问责以外,改进质量是非常重要的,这也是我负责的工作。我们开展评估主要是为了学生,而不是为了政府。当然政府告诉我们必须做,但是我们是为了学生而做。”(杰西卡,通识教育委员会)

“我期望开展学生学习结果评估能够真正改进学生学习。并且通过改进,教师能够和管理者一起找出差距,以实现学生所期望的学习结果。这也是我期望通过评估所达到的效果。所以如果威斯康星大学系统或认证机构问我评估开展的怎么样时,我会告诉他们这个想法。这也是目前我的岗位所赋予的角色和责任。”(凯瑟琳,教务长办公室)

评估的改进功能涉及到评估过程中不同的利益主体。改进的过程是持续的(sustaining),而是否能够真正实现改进与大学能否有效组织学习结果评估密切相关。大学有效组织学习结果评估在某种程度上取决于负责和参与评估的部门和人员,取决于评估目的仅是为了回应外部对大学效用的问责,还是真正做出努力来改进教学和学习质量。因此,大学在制定学习结果评估计划时,通常会考虑几个相关问题:由谁负责学生学习结果评估?谁参与和支持学生学习结果评估?回答这些类似问题需要探索大学开展学习结果评估不同部门的工作职责和具体作用。考虑到学生学习可能发生在校园的任何地方,增加校园内部不同部门之间的协作、共享评估计划和证据以及加强不同利益相关者之间的沟通成为有效评估工作应该考虑到的问题。只有通过这种概念化的评估方式,才能建立一个评估系统,使其对整个机构的学生学习产生影响。[17]

三、结语

如上所述,麦迪逊分校开展学生学习结果评估是由于外部问责和内部改进的双重驱动。从大学外部来看,联邦政府、州政府和认证机构提出相关的标准和要求,麦迪逊分校需要满足这些标准和要求以证明大学的效用。其中认证机构是麦迪逊分校开展学生学习结果评估的主要推动力。麦迪逊分校不仅要接受中北部院校协会的区域认证,部分学院和专业还要接受专业认证。从大学内部来看,以改进为目的的学习结果评估除了满足内部评估的需求外,更倾向于评估过程和有效性,强调不同利益相关者的参与和协作,获得和使用评估“证据”。

彼得·尤厄尔(Peter Ewell)将“问责”和“改进”看作是美国大学开展学生学习结果评估的两种范式(见表1)。从战略层面来看,问责范式的学习结果评估目的是判断质量,属于终结性评估,用于回应外部问责,证明大学能够满足相关的标准和要求;改进范式的学习结果评估目的是改进质量,属于形成性评估,由大学内部的教师和管理者参与,收集和使用评估数据,建立一种“证据文化”。从实施层面来看,问责范式的学习结果评估以定量方法为主,多采用标准化测试的方式收集数据,用以比较不同大学之间的评估状况,评估结果以报告的方式呈现;改进范式的学习结果评估采用定量和定性相结合的方式,多以课堂作业、评价量表(rubric)、学生档案袋和顶点课程来收集数据,强调结果反馈,评估的各个阶段形成一个“评估环”(assessment loops),不断反馈和循环。[18]问责和改进两种范式的基本区别意味着大学开展学生学习结果评估的差异。

参考文献:

[1]Deborah Nusche. Assessment of Learning Outcomes in Higher Education:A Comparative Review of Selected Practices[R]. OECD Education Working Papers,OECD Publishing,Paris,2008:5.

[2]Trudy W. Banta. Building Scholarship of Assessment[M]. San Francisco:Jossey-Bass,2002:7.

[3][10][18]Victor M.H. Borden&Gary; R. Pike. Assessing and Accounting for Student Learning:Beyond the Spellings Commission[M]. San Francisco:Jossey-Bass,2008:8,8-9,9-11.

[4]王建成.美国高等教育认证制度研究[M].北京:教育科学出版社,2007:130.

[5]United States Government. Tenth Amendment[EB/OL]. (2016-10-11).https://www.gpo.gov/fdsys/pkg/GPO-CONAN-1992/pdf/GPO-CONAN-1992-10-11.pdf.

[6]杨晓波.美国联邦政府的高等教育政策[J].外国教育研究,2003,30(10):31-36.

[7]王晓阳. 美国联邦政府资助大学科研的政策与机制[J].高等教育研究,2009,30(3):105-109.

[8][16]Jeffery P. Aper,Steven M. Cuver&Dennies; E. Hinkle. Coming to Terms with the Accountability Versus Improvement Debate in Assessment[J]. Higher Education,1990,20(4):471-483.

[9]College Portrait-Voluntary System of Accountability[EB/OL]. (2016-06-15).http://www.collegeportraits.org/.

[11][13][14][15][17]George D. Kuh& Stanley O. Ikenberry. Using Evidence of Student Learning to Improve Higher Education[M]. San Francisco:Jossey-Bass,2015:149,148,48-49,48-49,82-83.

[12]Higher Learning Commission. Criteria for Accreditation[EB/OL]. (2016-11-10)http://policy.hlcommission.org/Policies/criteria-for-accreditation.html.

(責任编辑 赖佳)

猜你喜欢
改进问责
让事故问责生威
监督执纪问责如何“备豫不虞”
“滥问责”的6幅画像
问题筛子“链”着问责筛子
问责不因潜害而“盲视”——不“点准穴位”的问责,就是糊弄百姓的“猫鼠游戏”
对“数字脱贫”要问责
论离婚损害赔偿制度的不足与完善
高校安全隐患与安全设施改进研究
“慕课”教学的“八年之痒”
浅析秦二厂设计基准洪水位提升对联合泵房的影响