周菁
摘 要:对教学质量进行全面有效的评估需要定期从不同渠道多方位收集持份者的反馈意见。而以促进和评审教学质量为目的的学生反馈问卷(SFQ)是搜集学生对学与教反馈意见的重要渠道。在过往20多年中,香港理工大学曾经一直以纸质问卷方法在课堂上搜集学生的反馈意见。从2014/2015年度起,学校全面启用在线电子问卷系统(eSFQ),替代了原先的纸质问卷。本文将介绍大学采用在线电子问卷系统的背景及目的,以及采用后发放和回收问卷的操作细节。除了技术操作之外,也会分享和探讨如何运用问卷结果来提升教学质量,以及在大学整体教学评估中一个学生反馈问卷能够担当的角色。
关键词:教学反馈;教学评估;学生反馈;教学质量;人事决策;问卷设计
学生反馈问卷(SFQ)历来被视为最常用和有效的促进及评审教学质量的手段之一[1][2],因此也被我校采纳为搜集学生对学与教反馈意见的重要渠道。此问卷既可以让任课老师用来反思和提升自身教学,也可以为学科小组提供依据找出课程的强项弱势加以改进。同时,问卷结果亦是评审教学表现的重要依据之一,为任课老师的年度工作总结以及续约、晋升和获聘终身制等人事决定提供佐证[3]。
一、背景与目的
运用问卷形式搜集学生对教学的反馈在香港理工大学已经有20多年的历史。在过去,学校以纸质问卷的方式在每学期最后一节课由行政工作人员邀请现场上课的学生进行反馈意见的填写。随着科技的发展和互联网的普及,采用在线电子问卷采集学生反馈已经被越来越多的高等学府所采纳和接受[4]。从2014/2015学年开始,学校也全面启用了在线反馈问卷系统,学生可以在课堂之外更加自由灵活的时间段对学科和教师做出反馈和评议。
根据调研结果,并结合学校的实际情况,学校全面启用电子系统的原因有以下几点:
(1)节省课堂时间[5]。
(2)自由的时间段和空间能让学生提供更为丰富和有价值的反馈意见[6]。
(3)减少行政开支,如打印、数据录入、储存问卷[6]。
(4)减少纸张,保护环境[6]。
虽然提供反馈的方式发生变化,但无论是传统的纸质课堂填写还是现行的在线自由填写,其目的都是一致的,即:
(1)定期收集学生反馈,运用这些反馈意见来保障和改善教学质量[7]。
(2)给所有学生提供正式渠道,不记名,很“安全”地提供自己的想法。这些想法包括两部分:教师个人的教学质量,以及对学科本身提供建议,比如学科的课程设计、考评方法等[7]。
(3)对任课老师的人事决定提供数据与参考,如年度考核、续约、晋升、获聘终身制。这些反馈不但是老师职业发展的需要,也是教学表现评审的重要依据之一[3]。
二、问卷结构与具体项目
学生反馈问卷由两大部分组成:学科部分和教师部分。
學科部分包括一组全校各院系统一的标准问卷项目和科目组长自定义的问卷项目。自定义项目不得超过五个。标准项目由封闭和开放项目组成。封闭项目如:“I have a clear understanding of what I am expected to learn from this subject.”要求学生从“非常认同”“认同”“中立”“不认同”“非常不认同”五个选项中选择最接近真实情况的表述。开放项目如:“What aspects of the subject were most useful to your learning?”要求学生自由作答。自定义项目可以是开放或者封闭式的。设置自定义项目的目的是为了提供一定的灵活度,针对本学期或学科的教学特性向学生收集定向的反馈意见。
教师部分包括一组其所在院系规定的核心问卷项目,如:“The staff members teaching was well-organised”;一组全校各院系统一的标准问卷项目,如:“The teaching of the staff member has provided me with a valuable learning experience”和“How would you like the teaching be changed (if at all), to help you learn better?”,以及教师本人的自定义问卷项目。自定义项不得超过五个。与学科部分相似,核心和标准项目包括封闭和开放两种类型,而自定义项也可以是开放或者封闭式的。
三、问卷的实施
学校规定只有担任学位课程主要授课任务的教师才需要进行学生反馈问卷的教学评估。主要授课任务在我校的语境中定义为授课时长达6周(共13周)或以上,以及授课内容达45%或以上。
学生反馈问卷的派发、填写、收集、分析等操作全部经由eSFQ在线系统完成。问卷进行的时间段有两个:期中(为教授上半学期的任课老师而设,第6周开始到第8周的周二结束)和期末(第12周开始到考试日的前一天结束)。两个时间段的问卷期时长都超过两周[5]。问卷期开始后,学生会收到电邮通知。如果一段时期没有提交反馈会收到电邮和短信提醒。学生提交问卷只需要登录在线系统便可操作,所有的反馈都是非强制性的自愿完成。
原则上,所有的问卷都是在课外和规定时间段内完成。在经提前批准后,任课老师也可选择不在以上两个时间段和在课堂内完成。这样的特殊安排主要是为了提高反馈率。
四、数据的收集、储存、管理和报告
反馈问卷所收集到的数据储存在eSFQ系统的数据库中,由资讯科技部和教学发展中心共同管理。数据的分析整理和报告由教学发展中心独立于所有院系自主完成。反馈问卷数据和结果的使用权限必须符合学校数据管理框架。
为了保护学生和教师的个人隐私,对于反馈问卷的数据管理有如下原则[5]:
(1)学生参与反馈问卷基于自愿和保密原则。
(2)教师看到的学生反馈是匿名的。
(3)在问卷的相关报告中,只有平均得分和无身份识别的意见是可见的。
(4)教师个人的教学表现是保密的,其得分和反馈意见只有其本人和系主任可见。
同样基于数据保护原则,问卷结果的使用权限有如下规定:
(1)学科反馈结果对其所有的授课老师可见。
(2)学科反馈结果对学系负责问卷的行政人员以及学科组长可见。
(3)所有学科反馈结果和教师反馈结果对系主任可见。
所有问卷反馈结果和报告都经由eSFQ系统发放,发放时间在所有学生学科成绩公布之后。这样做的目的是为了确保学生在填写问卷时不用担心自己的反馈内容会影响学科成绩[5]。
授课老师收到的报告数据包括:在学科和教师问卷中所有封闭式问题的平均分和无身份识别信息的开放式问题反馈意见;所有院系标准和核心项目的三年平均分;年度考核报告中包括个人得分与学院平均分的比较图表。
学生收到的报告数据包括所有学科部分的问卷项目平均分。
五、提高问卷反馈率
文献一致指出,在线问卷的反馈率通常情况下比纸质问卷要低。如果想要提高问卷反馈率,必须综合运用多种方法,结合学校和教师的共同力量才能达到理想结果[8][9]。有鉴于此,我校采用多种方法提高问卷反馈的回收率,包括:
(1)电邮每一位学生告知问卷期已经开始。
(2)在校园醒目处张贴宣传反馈问卷的海报。
(3)在线学习系统平台上悬挂电子横幅提醒学生填写问卷。
(4)多次电邮和短信提醒尚未完成问卷的学生。
(5)举办教师工作坊教授教师提高反馈回收率的方法。
(6)公开学科反馈结果提高学生的参与动机。
根據文献调研结果,教师的参与和态度与是否能成功提高回收率息息相关[10]。如果教师能直接对学生宣传填写反馈问卷的重要性,清晰地解释学生将如何运用这些反馈改进教学,并在问卷期跟进回收率且及时做出针对性的提醒,其所在班级的问卷回收率将会大大提高。
六、利用问卷结果提高教学质量
文献指出,即使不是同一学年的学生,对同一个老师给出的教学评价和反馈仍然十分稳定和一致[10]。有鉴于此,在解读问卷结果时,学校提倡综合考量多个学年的反馈数据,找准教学问题的难点和关键,重点击破和改善提高。
首先,在教师收到的反馈问卷结果报告中,对于每一个问卷项目都有相应的改善教学的方法和途径。如:对于“The staff member's teaching was well-organised with clear presentations.”的相关建议是:1) Use and refer to intended learning outcomes (ILOs) in your classes; build the class activities and assessment around them; 2) Prepare teaching materials (e.g. handouts, pop quizzes) and return student work in a timely manner; 3) Plan your learning activities with sufficient details and make sure you have everything you need and the learning activities can be done in the time allotted; 4) Be flexible and think on your feet; 5) Turn up on time and be professional; 6) Follow through on things you say you will do.教师可以遵循这里所列的方法和途径来改善自己的教学。另外,反馈问卷中设有开放问题,学生对这些问题的回应也能为教师找出教学弱点提供非常真实详细的依据。
其次,制定个性方案,持续改善教学。教学发展中心的专业人员和有需要的教师一起,综合分析和解读多个学年问卷反馈中一再出现的弱项。针对这些根本问题,制定教学改善计划,并在下学期施行和进一步收集施行效果反馈,最终进行总结和改善提高。总结的结果用作下一学期改善计划的基础。如此反复,循序渐进地在重点难点问题上逐步击破和改善。
七、学生反馈问卷在教学评估中的角色
教学评估如何去做,很大程度上与大学如何看待教学本身有着密切关系。我们认为,教学因其复杂性和多元性,对其评估也就不能仅凭单一指标或者单一数据资料来源就做出简单判断。可靠而合理的教学评估必须是充分考虑从不同来源取得的数据和证据,综合考量不同学科和教学环境的影响因素而最后得出的综合判断。
具体而言,可以将教学活动归纳为以下四个方面:
(1)教学发展。包括授课的准备、实施、作业批改、学生辅导等。
(2)课程和教学法的发展和创新。包括课程的开发和检讨,新的教学法的创造和应用等。
(3)学科和专业的管理。包括院系层级的学科管理,成为专业带头人,负责行政工作,主持专业检讨会议等。
(4)对优质教学的推广。
与此相对应,评估教学的标准也分为多个层面,包括自身授课的质量,对学科发展和专业管理的贡献以及教学领导力。然而,万法归宗,教是为了学,最终的评判标准还是对于学生学习的影响。这些影响包括学生学习的方方面面,如提交课业的质量,学习成果的达标,对学科兴趣的提升,学习态度的改变,终身学习能力的培养等。
综上所述,我们可以看出教学评估所涉及的范围非常广泛,而所要考虑的维度和领域也非常多。学生反馈问卷在整个教学评估中担当了重要角色,但并不是唯一的方法和数据来源。合理可靠的教学评估需要多维考察,收集多方的资料和证据,最后由院系和相關教学委员会作出综合判断。
八、结语
学生作为学科设计和教师教学的直接接受者,其关于授课的个人体验对于改善两者都举足轻重。基于此设计的学生反馈问卷能够系统而全面地提供有价值的信息,帮助教师个人和学科组改善和提升教学质量。在信息化时代,在线电子问卷系统能够提供传统纸质问卷所不具备的各种优势,同时,其填写地点、时间段和高灵活度也为收集有效反馈增加了挑战性和难度。因反馈数据的特殊性,个人隐私的保护和数据的分析管理也是每一所采用电子问卷的高等院校必须妥善处理的问题。对于每一位授课教师来说,如何将反馈结果变成促进其教学质量不断改进的动力,不仅需要对教学和学生的热忱,也需要学会相应的方式方法和持之以恒的精神。
参考文献:
[1] McKone K E (1999). Analysis of student feedback improves instructor effectiveness Journal of Management Education 23 (4) 396–415.
[2] Saroyan A and Amundsen C (2001). Evaluating university teaching: time to take stock Assessment and Evaluation in Higher Education 26 (4) 341–353.
[3] John T E Richardson (2005). Instruments for obtaining student feedback: a review of the literature, Assessment & Evaluation in Higher Education, 30:4, 387-415, DOI: 10.1080/02602930500099193
[4] Mayes J T (2001). Quality in an e-University Assessment and Evaluation in Higher Education 26 (5) 465–473.
[5] Dommeyer C J, P Baum, R W Hanna, et al (2004). Gathering faculty teaching evaluations by in-class and online surveys: their effects on response rates and evaluations. Assessment & Evaluation in Higher Education 29, no. 5: 611–623.
[6] Watt S, C Simpson, C McKillop, et al (2002). Electronic course surveys: does automating feedback and reporting give better results? Assessment & Evaluation in Higher Education 27, no. 4: 325–337.
[7] Marsh H W & Dunkin M J (1992). Students evaluations of university teaching: a multidimensional perspective, in: J. C. Smart (Ed.) Higher education: handbook of theory and research, volume 8 (New York, Agathon Press).
[8] Moss J & Hendry G (2002). Use of electronic surveys in course evaluation. British Journal of Educational Technology, 33(5), 583-592.
[9] Nulty D D (2008). The adequacy of response rates to online and paper surveys: what can be done?. Assessment & evaluation in higher education, 33(3), 301-314.
[10] Marsh H W & Hocevar D (1991). Students evaluations of teaching effectiveness: the stability of mean ratings of the same teachers over a 13-year period, Teaching and Teacher Education, 7, 303–314.
[责任编辑:周晓燕]