陆一 林珊 陈嘉
摘 要:过去对本科教学质量的评价注重教学设计、教学模拟与课程建设,对实际教学过程中的师生互动与学生的学情关注不足,属于偏重静态的评价。本文提出了大学教学质量的动态评价观念与方法,基于大规模数据的学生反馈和教育学专业性编码转译,为每门课程提供教学“体检报告”,赋能教师改进教学,提升学习效果,促进形成全校合力重视教学的氛围。
关键词:教学评价;教学诊断;高能课;学习投入
提升大学课程质量取决于两个层面的努力,一是课程建设,二是教学实施过程。过去,不论是政府主导的外部评估,还是院校内部的自我评估,对课程质量的评价均侧重课程建设,只关注课程设计以及教师对这套设计的贯彻能力,而不考虑教学过程中学生的参与。然而,教师教学不是单向的讲授,学生在课程教学中不仅仅是在场的观众,而是足以影响教学实施过程、决定教学效果的重要参与方,应该被理解为能动的群体。
近五年来,我们团队先后在复旦大学、北京大学、清华大学、武汉大学、中国海洋大学、北京航空航天大学等高校开展了通识核心课程、大类基础课程、思政课程的教学质量监测、诊断与评估的研究。本文围绕教学质量评价问题,首先分析几种既有测量评价手段的不足与偏差,进而明晰教学各方恰如其分的权责关系,提出了符合中国大学实际情况的课程教学质量评价方法。
一、现行评教的缺陷与误用
1.学生评教的失效与反效果
目前大學教学质量的评价手段包括学生评教、领导评价、教师自评、同行评价等。学生评教因其便捷有效,且学生是教学的主要接受者而被广泛使用[1]。学生评教是指学生对教师课堂教学进行打分,分数的平均值和排名代表着教学质量和效果。管理部门基于这些数据认定教师教学工作业绩,并实施奖惩。
学生评教方式已经暴露出越来越多的问题。首先,大多数学生评教问卷缺乏测量的科学性、专业性和针对性,无法适应当前教学方式和师生关系的新变化。问卷设计的缺陷导致学生敷衍填答,缺少区分度[2]。其次,问卷存在问题过于笼统、概观、指向不明和过于注重满意度等主观感受的缺陷[3],学生的判断能力存在局限[4]。在课程教学过程中,学生无法做到统揽全局,不论其满意还是不满意,都不能等同于教学质量的优劣。师生关系不是服务员与消费者的关系,应用满意度模型工具相当于借管理之权威异化师生关系。再者,学生评教只起到了警告或惩罚排序在末位5%左右的教师的作用,缺少激励措施,更无法帮助和支持大部分教师优化教学。大多数教师不知道学生具体的学习感受和学习收获——“不知道”导致无从改进。管理层无法通过学生评教分数了解教师的具体教学情况,导致教学管理工作只能局限于粗糙的形式和武断的裁决。
有学者调查发现,高校学生评教显著受学生背景因素的影响而不能很好地反映教学情况,男生与女生、农村学生与城市学生、高年级生与低年级生、学生群众与学生干部之间具有明显的评教行为偏差[5]。从心理学角度看,由于评教过程中存在爱屋及乌、礼尚往来、感知平移等心理困境,学生评教的有效性大打折扣,可能带来降低学业要求、课堂教学肤浅化和娱乐化等负面影响[6]。
外国学者通过构建教师和学生的效用函数,发现适度使用学生评教可同时提高老师教学投入和学生学习投入与收获,但过度使用学生评教会导致分数膨胀[7]。教师和学生有可能发生“共谋”,即教师放松学术要求,给学生打高分,以换取学生在评教中的好评价,从而使教与学的关系异化成“教学相‘涨”的尴尬局面[8]。根据最近一项对我国高水平大学教师调查的实证分析发现,学生评教对教师投入热情具有显著的负面影响[9]。这意味着,即使在师生认知能力都相对较高的高水平大学,学生评教不仅不能支持和促进教学提升,还消耗了教师可贵的教学热情。
2.同行听评课的局限与文化约束
除了学生评教,目前常用的另一项课程质量管理手段是同行听评课。国际上比较提倡由教师同行而非管理者、政府等角色来评价教学和研究[10]。因此,同行听课能够为全面的课程教学评价提供一个无可代替的专家视角。但实践中仍存在一些局限。例如,同行听评课所能投入的时间精力有限,听课只能截取片段,无法把握课程教学全貌。同行听评课的视角是以“教”为中心,比较能够把握教师教授的方法和内容,却难以了解学生学习情况。听评课的同行可能富有相关教学经验,但未必是教学专家,难以将个人教学经验上升到更普遍的教学规律。同行之间在教学上更多的是切磋关系,而不是评价权威与被评价者的关系。同时,由于知识专门化程度正在不断加深,管理层要在校内组织起一批真正的同行来充分实现这项工作并不容易,而“外行评教”的结果难免引起争议。除此之外,教师在心理上排斥教学同行评价,塑造着不干涉、不参与的消极惯习,抑制了教师在教学同行评价场域中活动的深度与广度[11]。
总体而言,同行听评课的成本高昂,收效较小。作为科学、全面评价课程教学的一个环节,同行听评课应该被纳入到评价系统中一个恰当的位置,使其效用最大化,并减少副作用。
3.新技术在教学测量方面尚无实质性进步
近年来,依托信息化、视频监控与物联网等技术的大幅进展,在大学校园内外涌现出许多教学测量评价方面的新技术。
首先,以视频监控摄像和人脸识别为代表,对教与学的行为举动进行编码分析。这类技术的卖点在于使教学过程这个“黑箱”得到很大程度的透明化、客观化和数量化。但恰恰是这种信息化,诱使教学过程偏离其本质。理想的课程教学不仅在于可见的人际互动,更在于思想的碰撞、内在的共鸣。如果仅依靠视频监控技术开展教学评价,将不可避免地把管理上的注意力引向“外在化测量”,鼓励教师开展表演型教学和学生的“表面化听课”。这是对教育价值与意义认知的简单化,其评价模型刻意忽略对学生作为人的发展内在性、唯一性与完整性的关照,加剧了教育的功利性和工具化[12]。目前的人脸识别技术已经能够捕捉人类的主要表情,但还远远达不到精细地识别其深层心理活动、思维活动的程度。换言之,新技术在没有发展到能够深入“人的内在”去测量之前,这类自动测评所获得的只能是初步、表面化的,甚至引起误解的数据。
此外,由于中国大学较大的生师比,相对于需求而言教学供给并不充裕,教学组织安排也对课程教学质量有明显影响,比如选课规则设计、排课方式等,教师和学生都受此制约。因此,在中国大学课程教学质量的全局视野下,教务管理部门也应当作为影响质量的相关方纳入考虑,是“教与学”双中心之外的第三责任方。
既要倾听学生反馈,又不能将学生置于评价教学的凌驾性位置上。因此,我们需要一个中介角色来使教师和学生在教学关系中各归其位。于是,适合作为教学评价者的中介角色将是第四方。理论上,这个第四方应当兼具学科专业性和教育教学专业性,并且了解院校的实际情况。他们需要采取综合的全景视角,分析归因,并且有能力与各方开展良好沟通。目前,很少有大学拥有现成的这种团队,引入外部专家是一种办法,但仍离不开院校内部人士的倾心投入。
四、“高能课”教学质量测评系统的设计理念
1.高能:教学质量的动态标准
为了凸显教学实施过程质量的重要性,基于良好的课程建设与设计,我们用“高能课”来界定优秀的教学实施过程。如果说“金课”这个名称反映了对课程内容含金量的关注,侧重于教学设计,属于静态质量,那么,“高能课”的命名是为了提倡教师和学生在课程教学中的主体性行动。“高能”意味着高效能的教与学,并且以激活学习潜能为理想教学结果的标志,属于动态教学质量。
什么是教学质量的动态标准?“高效能”和“激活”等表述均避免了关于工作量、任务强度或取得“正确”知识的描述。高等教育与基础教育中教学与知识的关系存在质的差异。对基础教育而言,“知识”是个名词,是学习的固有对象。大学的教学目标不是传授固有的知识,而要使学生能够像学者那样思辨地看待知识、驾驭和运用知识、研究拓展和更新知识,不再是像中学生那样对待知识。对高等教育而言,“知识”不仅是名词,更是个动词,是一套理性求知的方法门径,包括学习态度与动机、特定专业对问题的思考架构、自我拓展学习的方法和对学问的判断力与品位等。大学教师要通过严谨的训练与师生互动,将学生领上学问的正途,有严格的“家法”却无绝对的权威。因此,对大学教学而言,“课好”“教得好”都不是第一性的,促使学生进入真正的主动学习状态才是最重要的。
因此,为了更好地把握大学教学的卓越特征,我们尤其强调这种高等教育特有的教学观念,侧重动态教学质量的评价,采用“高能课”来定义优秀的大学课程教学。
2.测量:以可见行动为依据
根据我们对高等教育教学质量的动态化理解,测量评价的对象便具象化为教与学的投入行为。数据要刻画真实的学习环境、课程学习过程表现和具体学习体验,并考虑学生的起点水平,以增值性作为评价标准,问卷的问题设计切中课程学习痛点,能够与学生共情。
表1列出了“高能课”教学质量测评系统的主要指标体系。一级指标的教学质量、学习投入等反映教与学过程的投入行为,即教师做了什么、学生做了什么。一级指标的学习收获则反映了对课程预设教学目标的达成度,以及这种收获的认知质量。二级指标则是一级指标的具体化操作。
3.诊断:区分评价与反馈
“高能课”教学质量测评系统的诊断理念是;课程质量需要师生共同承担责任。在表1中,评价指标兼顾了教与学两个方面。学生的反馈数据是了解教学过程的一把钥匙,得到了反馈数据后还需要透过数据发现学生学习的本质,了解影响质量的原因,这便是诊断环节的主要任务。在清理数据后,充分结合教育教学规律对数据进行分析,充分考虑教与学双方的相互作用,不仅仅把原因归于教师或学生的任何一方,也要将院校背景、教学管理机制等其他因素考虑进来。
基于前述大学教學评价的结构性原则,我们进一步将二级指标分列为评价指标与反馈指标。也就是说,存在一些确实影响着教学质量,但并非教师和学生的责任所致的因素。对希望改进教学的教师而言,他们有必要获知这些因素的存在,比如内容难度设置、课堂规模设置、学生客观上的学业准备等。因此,我们既要获取这些数据,又不用于评价,而作为要素信息反馈给教师。
前面我们已经指出,教学关系并非商业服务关系,满意度模型不适用于教学评价。但学生的学习体验和主观情意面向的因素仍旧是影响学习的重要因素,因而我们创造性地做出两点转换。一是将满意度指标归为反馈指标,通过消除其评价效力来使其合理反映学情。二是将学生对自己学习投入质量、学习收获的满意程度纳入二级指标,使学生在参与这项调查时更全面地意识到自己的责任,也使师生关系在这个指标结构中摆脱评价者与被评价者、服务者与消费者的桎梏,恢复本来的正常关系。
4.效用:赋能教师与支持管理
诊断环节过后,教师将获取关于其课程教学质量的分析报告。教师基于报告数据和初步诊断结果,进行进一步的自我诊断。例如,针对报告中提出的课堂优势与短板,教师可以针对性地调整教学环节。通过纵向比较多个学期的数据,教师就能清晰地看出教学手段和环节的效果及变换过程,发现问题的根源所在,找到解决问题的抓手,了解问题解决的程度。
对于教学管理部门而言,“高能课”教学质量测评系统提供纵观全局的视野,能够在一张至少四维的可视化图表中清晰地看到所有课程的动态分布情况。同时,为了破除学生评教残留的一维评价误区,我们反对“课程排序”,支持折中的办法,即根据诊断分析提供“课程归类”。归类的明确度能满足管理所需要识别功能,比如哪些是“水课”、哪些是“高能课”等,便于行政上的有效作为,也能避免排名带来的混淆与误导。
五、“高能课”测评系统的应用
在确定了测评理念和基本指标后,我们参考国内外的权威评教系统,结合大量现场听课的经验,针对指标内容设计出通俗易懂、问题指向明确的问卷。为了保证问卷的信效度,我们团队先在个别课堂进行了小范围的预测量,根据回收得到的数据,找出问卷中存在的问题,并有针对性地进行调整。同时,邀请部分学生与教师进行访谈,进一步优化问卷的内容与表述。经过多次反复修改与讨论,确保问卷能够引起学生的评教热情,真实地反映课堂问题。问卷成型后并非一成不变。随着核心课程结构的不断调整、教学形式与手段的革新,教学专家对测评指标及时优化更新。
自2015年起,我们团队应用“高能课”测评系统,对复旦大学、北京大学、武汉大学、清华大学等一流大学的数千门次课程进行了测评,其结果得到了教师和管理方的认可,并逐步嵌入大学整体的质量保障系统。
对于每位授课教师,在学期结束时得到一份有针对性的“课程体检”报告。根据“课程体检”报告中的各项指标高低,教师能够从总体上把握课程教学互动情况,特别是对学生的学习情况更加心中有数。
对于上述学校的教学管理部门,我们提出了构建课程质量保障闭环的建议。授课教师设计构建课程,进而实施教学,随后在恰当的期间,在专业团队支持下合理地落实学生调查,得到学生反馈。教学学术专家团队根据学生反馈以及综合定量和质性数据分析,给出总体诊断报告和每一门课的“课程体检”报告。教学管理部门将“课程体检”报告分发到教师,同时根据诊断报告中显示的特征进行分类管理与支持,对特定课程开展同行听评课或课堂观察,从而不断积累翔实的课程教学档案。教师可以根据“课程体检”报告中显示的问题修订优化课程设计,开始新一轮教学。
我们认为,管理评价只是提升质量的手段,并不是目的。单纯的“评教”更不足以概括这项工作。课程教学设计的质量主要取决于教师个人及其学科专业共同体的水平,而教学实施过程的质量更有赖于教师、学生、学校三方合力。中国大学的课程教学质量不仅仅是教师的责任,虽然教师在其中负有不小的责任。基于这样的认识,在几年的实践中我们意识到,教师的教学积极性居于整项工作的核心位置,评价不能妨碍教师发挥教学积极性[25]。比起“评价”,我们更乐意将这些工作描述为“尊重并解读学生反馈”与“为教师提供专业支持”。我们希望通过一套专业性方法来取得大规模的教学质量评价及提升,并使这种提升可观察、可把握,最终在大学内部构建人人关心教学、认真讨论教学、合力提升教学的氛围。
参考文献:
[1]Renaud R D , Murray H G . Factorial Validity of Student Ratings of Instruction[J]. Research in Higher Education, 2005, 46(8):929-953.
[2]李楠. 高校教师绩效考核中学生评教存在的问题及对策分析[J]. 首都经济贸易大学学报,2009,11(4):96-99.
[3]王瑛. 关于高校“学生评教”中若干问题的探
讨[J]. 中国大学教学,2006(7):46-47.
[4]Uttl B , White C A , Gonzalez D W . Meta-analysis of faculty\"s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related[J]. Studies in Educational Evaluation, 2016:S0191491X16300323.
[5]周继良,秦雍. 高校学生评教行为偏差基本类型及其与学生相关背景特征的关系[J]. 复旦教育论坛,2018,16(6):65-73.
[6]吴洪富. 学生评教的心理困境干预[J]. 高教发展与评估,2019,35(3):39-46+111.
[7]Weinberg B A , Fleisher B M , Hashimoto M. Evaluating Methods for Evaluating Instruction: The Case of Higher Education[M]. Social Science Electronic Publishing, 2007.
[8]哈巍,赵颖. 教学相“涨”:高校学生成绩和评教分数双重膨胀研究[J]. 社会学研究,2019,34(1):84-105+243-244.
[9]阎光才. 高水平大学教师本科教学投入及其影响因素分析[J]. 中国高教研究,2018,303(11):26-31.
[10]Atkinson R . Academic Freedom and the Research University[J]. Proceedings of the American Philosophical Society, 2004, 148(2):195-204.
[11]周玉容,沈红. 大学教学同行评价:优势、困境与出路[J].复旦教育论坛,2015,13(3):47-52.
[12]金生鈜. 大數据教育测评的规训隐忧——对教育工具化的哲学审视[J]. 教育研究,2019(8).
[13]梅萍, 贾月. 近十年我国高校学生评教有效性问题研究述评[J]. 现代大学教育,2013(4):29-34.
[14]白逸仙. 走向”以学生为中心”的评估模式——以中国《本科教学质量报告》与美国NSSE为比较对象[J]. 中国高教研究,2014(11):64-68.
[15]Taylor Terry. A value-added student assessment model Northeast Missouri state university[J]. Assessment & Evaluation in Higher Education, 1985, 10(3):190-202.
[16]涂冬波,史静寰,郭芳芳. 中国大学生学习性投入调查问卷的测量学研究[J]. 复旦教育论坛,2013,11(1):55-62.
[17]郭卉,韩婷. 大学生科研学习投入对学习收获影响的实证研究[J]. 教育研究,2018,39,461(6):62-71.
[18]陈佑清. 论有效教学的分析模型[J]. 课程·教材·教法,2012(11):3-9.
[19]Lizzio A , Wilson K , Simons R . University Students' Perceptions of the Learning Environment and Academic Outcomes: Implications for Theory and Practice[J]. Studies in Higher Education, 2002, 27:27-52.
[20]Astin A W . Four critical years[M]. San Francisco: The Jossey-Bass series in higher education, 1977.
[21][英]约翰·亨利·纽曼.大学的理想[M].徐辉,译. 杭州:浙江教育出版社,2001.
[22]郝晓玲. 关于大学教师课堂教学能力现状的调查与分析[J]. 中国大学教学,2011(2):84-85+6.
[23]王建中,刘畅,吴瑞林. 学生评教何去何从——基于美国、欧洲、澳洲4所大学的分析[J]. 中国高教研究,2018(10):87-92.
[24]赵炬明. 打开黑箱:学习与发展的科学基础(下)——美国“以学生为中心”的本科教学改革研究之二[J]. 高等工程教育研究,2017(4):35-51.
[25]徐全忠. 回归教师发展本位的综合教学评价研究[J]. 中国大学教学,2018(10):79-82.
[基金项目:国家社会科学基金“十三五”规划课题“中国大学通识教育建设成效分类评估研究”(CIA190274)]
[责任编辑:夏鲁惠]