陈琼娥
(厦门大学教育研究院,福建 厦门 361005)
在高等教育领域,“教学的问题不仅是大学教师怎样设计他们所教的课程,更是他们的学生如何理解教师所教的课程”的教学理念越来越成为众多有识之士的共鸣[1],使用学生评教方法,从学生视角对高校教学质量进行考量并改善,也成为国内外很多高校教学质量评价的重要组成部分,澳大利亚的大学生课程体验调查是其中的典型代表。
课堂体验研究兴起于澳大利亚,这与当时澳大利亚高等教育机构的改革有关。二十世纪八十年代末,澳大利亚社会要求高等教育机构应该对社会在高等教育领域的投入负责,呼吁开发能够有效评价高等教育机构绩效的指标体系,其中一项极重要的内容即是对教学质量的评价。当时的“绩效指标研究组” (Performance Indicators Research Group,简称PIRG)受任研究量化的评价指标,要求这些指标要考虑把学生的满意度[2]。
已有的评价方式如“增值评定”测试 (value added)和同行评定 (peer rating)等均未能取得理想的效果。所谓“增值评定”,指衡量学生在开始一个学习项目之前的成绩和学习之后的成绩之间的差距,这一方法看似有效但在实践中却困难重重:不同院校的测试内容和测试方式千差万别,很难做出比较,此外,这种测试方式更侧重评价学生的学业成就而不是评价教师教学质量,容易导致教师“为了成绩而教学”,从而扭曲了课堂教学的本意[3]。采用同行评定来评价教学又容易因为同行间的偏见等原因而失准[4],其他诸如“毕业率”、“辍学率”等评价指标又太过浮于表面且容易受到教学以外的因素的影响,因此都不适合用来评价教学质量[5]。
在这样的背景下,一个类似于“消费者”对高等教育满意度的评价指标,即从学生的视角对教学质量进行评价显得格外有吸引力。学者们认为,尽管教学质量涉及到多方面内容,“好的教学”毫无疑问也是一个很复杂的问题,但是“好的教学”同时也拥有一些较为本质的关键要素,正是有了这些关键要素,“好的教学”和“不好的教学”才能区别开来,这也是教学质量评价指标所要测量的内容[6]。而学生作为高等教育的主体,他们亲身经历和体验了大量的教学,能够区分老师的教学是不是“好的教学”,在评价教学质量上有独一无二的优势,这种优势是其他诸如学科专家、同行等群体所无法比拟的,是有效的、多维度的而且是可信的[4,7]。因此,研究者聚焦于学生的课堂体验,试图从学生的视角评价不同的课堂教学在关键要素上的差异,测量学生感知的教学质量的课堂体验问卷(Course Experience Questionnaire,简称CEQ)也就应运而生。
课堂体验问卷的研发是为了测量学生对课堂教学的感知情况,以此了解不同教学单位在教学质量上的差异。这里的课堂教学并不是指具体的某个教师的课堂教学,而是学生大学生涯所学的整体的课程 (如整个学位课程),测量内容聚焦在学生直接体验的课堂教学的关键要素上[6]。基于上述目的,PIRG在开发课堂体验量表时考虑了以下几条标准:1)将学生能够正确判断的课堂教学质量的重要方面全部包括在内;2)注意与外部评价标准的相关性;3)在制作及管理上以经济为原则;4)能普遍适用于澳大利亚高等教育课程;5)能够明确揭示不同单位间学生的感知差异[6]。这些相当苛刻的条件意味着大量的研发工作,其中不乏对以往研究的借鉴,研究者主要借鉴了早期开发的“课堂感知问卷”(Course Perceptions Questionnaire,简称CPQ)[8]、学校体验问卷 (School Experience Questionnaire,简称SEQ)[9],以及高等教育学习体验问卷(Experiences of Studying and Higher Education Questionnaire,简称 ESHEQ)[10],其中又以课堂感知问卷CPQ为主。
CPQ的开发始于二十世纪七十年代末,这与当时大学生学习研究的兴起有密切联系,1976年,瑞典哥德堡大学的马顿 (Marton)教授及其团队发现学生在应对学习任务时采用了两种不同的学习方式:深层学习方式和表层学习方式,采用深层学习方式的学生学习结果质量也较高[11]。以拉姆斯顿(Ramsden)为代表的一批研究者试图探讨导致学生学习方式不同的原因,着力探讨学习方式与学习情境的关系,并率先在英国兰卡斯特大学 (Lancaster University)开展量化研究,最终发现了学习环境中对学生学习方式影响较大的8个要素:与学生的关系、对教学的投入、学习负荷、教学方式的条理性、职业发展联系度、社交氛围、明确的目标和标准、学习自由度,这8个要素构成了初始版本的CPQ的八个维度[8]。在后来的研究中,研究者对初始版本的CPQ进行了一定的修订,如把其中“与学生的关系”和“对教学的投入”两个维度改为“对学生的开放态度”和“良好的教学”维度等,但整体上问卷结构并没有做出大的改动[12],这些维度在后来的CEQ中得到了部分采纳,为CEQ的形成奠定了良好的基础。
考虑到学生在CPQ各维度上的得分与学习方式相关较弱[13],以及PIRG在制定绩效指标的众多标准等因素,研究者并未将其直接应用到澳大利亚,而是以CPQ为基础,整合了SEQ等量表,同时结合了学生对“课程的最佳特征”和“最糟糕特征”的开放式回答,最终开发出了针对测量澳大利亚高等教育教学质量的CEQ,在经过多次的试测和改进之后,形成的问卷包括57道题,其信效度良好,能够有效区分不同课堂教学的好坏。澳大利亚高等教育绩效指标研究项目 (Australian Higher Education PerformanceIndicatorsResearch Project)因此建议将问卷缩减为30道题并用于全国性的毕业生调查,包括良好的教学 (8题)、明确的目标和标准 (5题)、适当的学习负荷 (5题)、恰当的评价方式 (6题),以及强调学习自主性 (6题)5个维度,简称为 CEQ30。1990年,CEQ30投入全国性的不同院校、不同专业的毕业生调查并有效回收了3372份,分析结果问卷信效度良好。研究者还分析了学生的课堂体验和学习方式的关系,发现良好的教学、明确的目标和深层学习方式有更大的相关,而过重的学习负荷、不当的评价方式则与表层学习方式有更大的相关。此外,研究者还分析了不同院校、不同学科在CEQ上的得分情况,发现量表能够对不同单位的教学质量作出有效的区分,是评价不同单位教学质量有效可靠的指标[6]。
随后,为了满足高等教育不断发展的需要和社会的要求,CEQ30进行了进一步修订。为了保证数据的可对比性,方便观察高等教育教学质量在时间上的纵向发展变化,研究者并未对CEQ30进行根本性的改变,而是根据实际情况做了局部调整:保留CEQ30中的良好的教学 (6题)、明确的目标和标准 (4题)、适当的负荷 (4题),以及恰当的评价方式 (3题)4个维度,原版中“强调学习自主性”维度因为其较弱的因子负荷被删除,新增“一般技能”(6题)维度,总计23题,因此被简称为CEQ23。进行这一调整主要是由于当时社会对高校毕业生一般技能方面的关注。人们越来越认识到高等教育不仅应该培养学生掌握专业领域内知识技能的能力,还应该培养他们在就业方面和终身学习等方面的能力,澳大利亚高等教育委员会(Higher Education Council)还因此做了专门的报告,强调毕业生应该掌握迁移、适应等一般技能[14],强调高等教育应该做出更多的努力,使得学生将来能够更好地适应社会、发挥才能、服务社会[15]。“一般技能”维度的设计即是为了测量学生是否感知到他们的课堂教学培养了这方面的技能,这些一般技能包括分析问题和解决问题的能力、团队协作、计划能力、沟通能力等[16]。
CEQ30和CEQ23在澳大利亚得到了广泛使用,一些研究和调查也把两个版本的问卷结合起来使用,即CEQ36,每个版本的CEQ都包含单独的一道测量总体满意度的题目,即“总体来说,我对课堂教学的质量感到满意”(三个版本的问卷结构见表 1)[16]。
表1 CEQ36、CEQ30以及CEQ23的因子结构
尽管CEQ在评价教学质量的有效性和可信度得到广泛认可,一些批评也随之而来。有研究者认为,课堂体验只是学生在大学期间众多体验的一部分,课堂教学质量也只是大学整体质量的一部分,其他诸如图书馆、信息支持等方面的服务对学生也至关重要,把它们排除在外是CEQ的一个局限,建议将那些在教室外能够影响学生经验的重要部分扩充进来[17]。这一建议为后来 CEQ的修订所接受,以2002年为分界点,2002年以前的CEQ版本主要考察课堂内的教学活动过程,这部分内容是课堂体验问卷的主体性部分,2002年以后使用的版本则增加了5个维度 (学生学习支持、学习资源、学习共同体、毕业生质量、激发学习兴趣)以及一道测量大学总体体验的题目,成为课堂体验问卷的补充部分。这一部分内容我国有学者已经做了详尽的介绍[18],在此不再赘述。
从1992年起,CEQ作为调查工具发放给所有完成课业的毕业生,了解毕业生对他们所学过的所有课程的感知情况,以此比较不同单位的教学质量。经过二十多年的实践,CEQ已经成为推动澳大利亚高校教学质量改善的一个重要工具,是国家高等教育教学质量调查项目和学生评教项目中的经典,给其他国家的研究者提供了借鉴和参考。
到目前为止,大学生课堂体验调查在澳大利亚已经实施了二十多年,如果追溯到更早的课堂感知问卷,则有近四十年的历史,期间产生了一系列很有价值的研究成果,同时也存在一些争议,其主要结论有:
1.不同学科领域的学生的课堂体验具有很大的差异性,总体来说人文艺术的学生课堂体验比理工科学生正面[19];
2.小学校似乎更能给学生产生满意的“光环效应”,那些规模小、入学要求较低的大学反而比传统意义上的“好大学”得分更高,这可能是因为小学校相对而言班级规模小、师生关系密切,使得学生的课堂体验较为良好,而那些在知名大学学习的学生很多在中学时就受到更多的关注和指导,进入大学后反而较为缺乏,这在一定程度上影响了他们的课堂体验,从而影响了知名大学的得分[20];
3.通过多年的调查,发现在大多数学科,不同单位课程之间学生的体验差异很小,而且历年都比较稳定[20];
4.学生的个体特征对学生的课堂体验有一定的影响,在毕业时的排名越高、大学生涯平均得分越高、毕业后继续深造等因素对学生的课堂体验有正面的影响,而大学期间成绩波动较大、所修课程较多、班级竞争大、大学期间挂科等因素将对学生的课堂体验产生负面影响[21];
5.学生的课堂体验将对学生的学习方式和学习质量产生影响,课堂体验越正面的学生越倾向于采用深层学习方式,导致更高质量的学习结果,课堂体验越负面的学生越有可能采用表层学习方式[22]。
其争议主要集中在以下问题:
1.以学生的课堂体验来衡量不同学术单位的教学质量的差异是否可靠?从学生的视角来评价教学质量,利用学生对课堂教学的感知来衡量不同学术单位在课堂教学上的差异,既是评价方法的一种独到之处同时也招致了一些批评,有研究者认为,限于学生的知识水平等因素,他们对课堂教学评价的能力是有限的,学生容易把类似的评估调查当成“苦差事”,产生应付心理[23];而且要把整个大学生涯的课堂体验浓缩到一份问卷中对学生而言无疑是困难的[24],此外,学生的课堂体验容易受到学生个体特征的影响,主观性较强,将这样的数据作为一项重要的衡量教学质量的指标似乎是有待考量的。[20]
2.学生的课堂体验能在多大程度上反映课堂教学质量?课堂体验问卷是测量学生课堂体验最经典、应用最广泛的量表之一,而课堂体验问卷只包括几个维度以及一道测量总体满意度的题目,这似乎意味着课堂教学的情况能够用这些维度反映出来,提供给各单位的反馈也局限于这几个方面[25],而许多被大学教学所珍视的因素难以测量,而且当把这些因素量化之后,一些重要的信息就会丢失[26]。
3.能否用学生的课堂体验来比较不同单位在教学上的差异?最近有研究者对用学生的课堂体验来比较不同单位的教学表现这一做法提出质疑,认为尽管课堂体验量表有良好的信效度,并不能说明它适合用来比较不同单位的教学质量。研究者发现,在控制了学科因素和学生背景信息之后,不同学校、不同院系在课堂体验问卷及其各维度上的差异均不明显;此外,在大多数情况下,学生只能进入到某所学校的某个院系学习,并没有体验到其他学校和其他院系的教学情况,通过对比这些学生的评价 (或体验)来比较不同单位的教学质量似乎是不太合理的[27]。
4.学生课堂体验调查的结果对高校教学质量的提升产生了多大影响?大学生课堂体验调查聚焦于学生的体验,而不是教师或者课程的特征,而且调查的是学生对大学生涯的整体课程的感知,具有很强的“集合性”,这就使得某个具体的老师甚至是院系、学校难以诊断出自己的教学所存在的问题,而他们的努力却与教学质量的提升有最直接的相关。此外,课堂体验调查具有较强的滞后性,从问卷发放给毕业生到回收就长达三四个月之久,到形成最终的报告通常要在一年以上,使得学校在利用这些数据来改善教学上存在一定的困难[28],事实上,研究结果表明在大多数学科,学生的课堂体验历年都比较稳定[20]。
5.如何平衡管理需要和教师自主性?大学生课程体验调查由澳大利亚毕业生就业委员会 (GCCA)和澳大利亚大学质量保障署 (AUQA)等机构承担,常常是出于一种对外界负责任的目的,很大程度上是一种自上而下的管理需要,部分教学人员可能在这种连年的数据集中采集之中找不到自主性,觉得是对他们教学工作的干预,此外,调查结果很难反馈到个体的教师,然而他们对教学质量改进所下的决心和所要采取的行动却负有最终的责任[26],如何平衡管理的需要和教师的自主性也因此成为富有争议性的话题。
历经二十余年,大学生课堂体验调查在澳大利亚得到了很好的发展,并作为一个常规的高等教育质量保障工具逐步走向制度化,尽管还存在一些争议,但基本已经形成了比较完善的体系。目前,大学生课堂体验调查年度报告已经成为澳大利亚各大学改进教育教学、考生及家长选择大学和专业的重要参考依据。这也给我国的教学质量评价尤其是学生评价提供了一些有益的启示:
首先,引导“学生评价教学”而非“学生评价教师”。学生评教并不是局限于简单、消极地对教师的劳动情况进行鉴定,而是要帮助教师扬长避短、推进课堂教学质量的改进。作为一项针对全国高校教学的调查,课堂体验调查并不着眼于个别的教师,而是多角度的整体的课堂教学,本质是“评价教学”而非“评价教师”,这在一定程度上能够避免老师为了得高分而去迎合学生,或者因为评分较低而去报复学生等现象,也更能发现教学中存在的问题进行针对性的改进。
其次,提倡多元的评教形式,与其他评价指标互为补充。对于课堂教学的评价,需要多方位的考虑,任何单一的评价形式都难免出现偏颇,研究者在开发课堂体验问卷时明确申明,学生的课堂体验不能作为单一的教学质量评价指标,而必须与其他教学质量评价指标互为补充,共同起作用[16]。事实上,澳大利亚的课堂体验调查往往与毕业生去向调查 (Graduate Destination Survey)、毕业生技能评估 (Graduate Skill Assessment)、结果绩效指标(Outcome Performance Indicators)相配合使用,与学生的课堂体验相比,毕业生去向调查的结果更为客观、毕业生技能评估更为准确、结果绩效指标更为综合,多种评价形式相互补充,有利于更全面地把握高校教学质量。
再次,保证调查持续性,进行教学质量的追踪。从1992年起,澳大利亚的大学生课堂体验调查在每年度都会展开,至今已有二十余年,因此可以进行教学质量纵向的年度比较,追踪教学改进情况。通过比较学校、院系每一年获得的评价结果,分析一个专业、一个院系乃至一个学校的教学改善情况,有利于更加客观、准确地评价不同单位的教学水平。
最后,进行横向比较,提高教学改善的针对性。课堂体验调查调查数据结果可以对同一学科领域内的不同学校、院系进行比较,即横向的跨校比较。此举一方面可以监控各学科领域教学质量的变化动态,并进行归因分析和有针对性的改进,另一方面可以让管理机构、评估机构等从整体上把握同类学科领域的教学质量状况,有利于对同一学科但教学质量迥异的单位采取不同的质量干预措施,提高教学改善的针对性。
[1]PROSSER M.TRIGWELL K.Understanding Learning and Teaching:the Experience in Higher Education[M].London:McGraw Hill Education.1999.
[2]LONG M.The course experience questionnaire and Australian universities[J].Unicorn.1995(21):27-35.
[3]POLLITT C.Measuring university performance:never mind the quality,never mind the width,Higher Education Quarterly.1990(44):61-81.
[4]MARSH H.W.Students'evaluations of university teaching:research findings,methodological issues,and directions for future research,International Journal of Educational Research.1987(11):253-388.
[5]ROMAINVILLE M.Quality evaluation of teaching in higher education,Higher Education in Europe.1999(24):415-424.
[6]RAMSDEN P.A performance indicator of teaching quality in higher education:The Course Experience Questionnaire[J].Studies in Higher Education.1991(16):129 -150.
[7]WACHTEL H.Student evaluation of college teaching effectiveness:a brief review,Assessment and Evaluation in Higher Education.1998(23):191-211.
[8]Ramsden P.Student Learning and Perceptions of the Academic Environment[J].Higher Education.1979(8):411-427.
[9]RAMSDEN P.MARTIN E.BOWDEN J.School environment and sixth form pupils’approaches to learning.British Journal of Educational Psychology [J].1989(59):129-142.
[10]ENTWISTLE N.J.TAIT H.Approaches to learning,evaluations of teaching,and preferences for contrasting academic environments[J].Higher Education.1990(19):169-194.
[11]MARTON F,SALJO R.On qualitative differences in learning-Outcome and process[J].British Journal of Educational Psychology.1976(46):4-11.
[12]ENTWISTLE N.J.RAMSDEN P.Understanding Student Learning[M].London,CroomHelm.1983.
[13]PARSONS,P.G.The Lancaster approaches to studying inventory and course perceptions questionnaire:A replicated study at the Cape Technikon.South African Journal of Higher Education.1988(2):103-111.
[14]Higher Education Council.Higher Education:the challenges ahead[R].Canberra.Australian Government Publishing Service.1990.
[15]Higher Education Council.Higher Education:achieving quality[R].Canberra.Australian Government Publishing Service.1990.
[16]WILSON K.L,LIZZIO A.The development,validation and application ofthe course experience questionnaire.Studies in Higher Education [J].1997(22):33-53.
[17]YORKE M.Siamese twins?Performance indicators in the service of accountability and enhancement[J].Quality in Higher Education1995(1):13-30.
[18]邵娟.澳大利亚高校学生评教指标体系解读 [J].中国高等教育评估.2012(3):56-60.
[19]NEUMANN R.Communicating student evaluation of teaching results:Rating interpretation guides(rigs).Assessment& Evaluation in Higher Education [J].2000(25):121-134.
[20]RICHARD JAMES.Academic Standards and the Assessment of Student Learning:Some Current Issues in Australian Higher Education [J].Tertiary Education and Management.2003(9):187-198.
[21]HIRSCHBERG J.LYE J.DAVIES M.ET AL.Measuring Student Experience:Relationships between Teaching Quality Instruments(TQI)and Course Experience Questionnaire(CEQ)[R].2011.
[22]DISETH A.Approaches to learning,course experience and examination grade among undergraduate psychology students:testing of mediator effects and construct validity[J].Studies in Higher Education.2007(32):373 -388.
[23]SIMPSON P.M.Siguaw J.A.Student evaluations of teaching:An exploratory study of the faculty response[J].Journal of Marketing Education.2000(22):199-213.
[24]Graduate Careers Council of Australia.Course Experience Questionnaire 2002[R].Canberra,Australian Capital Territory,Australia.2003.
[25]KEMBER D.LEUNG D.Y.P.Development of a questionnaire for assessing students’perceptions of the teaching and learning environment and its use in quality assurance[J].Learning Environ Res.2009(12):15-29.
[26]理查德·詹姆士.澳大利亚本科教育评估与改进的经验[J].陈运超,译.复旦教育论坛,2004(2):79-84.
[27]MARSH H.W.GINNS P.MORIN A.J.S.ET AL.Use of student ratings to benchmark universities:Multilevel modeling of responses to the Australian Course Experience Questionnaire(CEQ) [J].Journal of educational psychology.2011(103):733-748.
[28]HIRSCHBERG J.LYE J.DAVIES M.ET AL.Measuring Student Experience:Relationships between Teaching Quality Instruments(TQI)and Course Experience Questionnaire(CEQ)[R].2011.