线上教学质量双面性：对照组检验与学生偏好评价的不同结果

方士心，陆 一，陈 嘉

（复旦大学高等教育研究所，上海20043）

一、问题的提出

2020 年初，新型冠状病毒肺炎疫情爆发。全国高校响应“停课不停学”号召，所有课程转型为线上教学。2020 年春季学期成为高等教育课程发展历史上的重要转折点。疫情前，国内只有少数大学提供线上课程，我国对于线上课程的理论探讨远多于有效的实证研究。此次疫情造成的授课方式转型，为学者们研究线上教学形式及发展方向提供了大量研究素材，创造了系统评估线上教学优劣势的研究条件。那么，我国在2020 年春季学期全国范围内的线上高等教育课程质量究竟如何？

测量线上课程的效果涉及两个角度：第一是学生是否喜欢线上教学形式和为什么喜欢；第二是相较于线下教学形式，线上课程实际教学效果如何。第一种角度的测量通常采取描述性统计和质性研究，通过学生汇报线上线下的主观偏好来衡量他们对于教学形式的喜好。第二种角度利用组间设计进行定量比较，通过线上线下课程对照组比较，评测线上教学的效果或质量。此类研究须拥有线上和线下两组数据。因为测量角度和方法的差异，两种方法各有优劣。过去的文献鲜有从两个角度进行梳理，形成系统的线上教学评测结论。结合这两个角度后还会引发新的疑问：学生对于线上课程的喜好可以代表线上课程的实际质量吗？线上课程教学质量高就可以赢得学生的喜爱吗？如果学生喜好和教学质量无法达成一致，那又是因为什么呢？

基于以上国际教育发展趋势和国内独特条件，本研究利用“中国高水平大学课程教与学追踪调查”（CUCE）数据库，探索2020 年春季学期线上课程的教学质量。CUCE 项目对国内多所顶尖大学进行了多年的通识课程评测工作，不仅收集了2020年春季学期的线上教学数据，更拥有过去四年线下课程评价数据。本文拟结合主观偏好和对照组比较两种方法，从两个层面回答关于线上课程相较于线下课程在课堂体验、学业投入和课程满意度三方面优劣的种种疑问。

二、文献综述

对于线上教学效果的评价，目前文献争议较多，各执一词。最早也最具代表性的研究来自于Russell[1]，他认为如能恰当运用有效教学方法，比如充分的师生互动[2]和清晰的课程设计[3]，线上课程教学效果不逊于现场课程教学。其他一些研究也发现了类似结论。当老师提供高质量教学和师生互动机会[4]，比如小组讨论、角色扮演、案例分析等[5]，线上高等教育课程可以促进学生的学业投入，保证线上教学效果。

过去线上教学没有成为学历教育中的主流，其课程设置和内容很难与线下课程进行系统性的比较。许多人认为线上教学无法提供媲美线下教学的高质量课程。有研究发现学生在线上课程的学业表现和现场课程接近[6]，但学生普遍的学业投入[7-8]、满意度[9]均低于线下课程。学生对于线上课程的复课率也较低[10-11]。主要原因是线上课程，尤其是录播课程，缺乏足够的师生互动，学生在课堂中难以产生强烈的参与感[12]，而课堂互动恰恰是影响学生课堂体验和学业投入最重要的因素[13]。同时线上课程需要学生投入更多时间和精力[6]，额外的时间投入会提升学生的学业成绩，但更多的学习时间不代表更好的课堂体验、学业投入和满意度。学生很可能纯粹为了成绩而去学习，对于课程质量本身并不认同。可见，学生的学习行为和主观满意度，不代表课程质量，更不等同于他们的学业表现。因此，衡量线上教学应该从多角度入手，汇总分析。

综上，线上线下教学形式孰优孰劣难以定论的原因是，学生是否喜欢一门课是课程提供的知识层面以外的因素在发挥作用，师生互动情况、教师的课堂行为、学业投入等均会造成影响。完整的授课形式比较研究不仅要考虑到课程本身各个层面的评测，也要结合学生主观倾向层面的影响。所以，本研究从学生主观偏好与对照组比较两个层面对线上教学效果进行评测，研究内容涉及三个方面：学生的课堂体验、学业投入和课程总体满意度。

三、研究设计

（一）主观偏好和对照组比较双重检验的必要性

如上所述，为了结合“学生喜好”和“课程质量程度”两点，并从研究方法上多角度完善对于线上教学的探索研究，本文采用了学生主观偏好和对照组比较两种方法检验线上教学效果。

首先，主观偏好评测对象通常为“学生对于线上课程的喜好和原因”，大多被使用于仅有线上课程数据的描述性统计研究，搭配少量定量比较分析。一般采用问卷的形式，让学生根据以往线下课程经验来对线上课程打分，自行汇报个人对于线上和线下两种教学形式在教与学方面的偏好。这样的研究有几大缺陷：第一，主观偏好问卷只能展现学生是否喜欢线上教学课程，以及教与学中哪些方面他们比较满意等，但无法评测课程实际的质量。第二，即使学生做出主观比较，学生对于过去线下课程的经验来自不同的课程，和线上课程不具备教学效果的可比性。第三，学生主观评课分数侧重于习惯和个人偏好。学生多年对于线下教学形式的依赖性，很容易使得线上教学形式分数较低，实际课程效果被低估。第四，主观打分的高等教育课程评价问卷很容易存在样本偏差[14]，愿意完成问卷调查的学生和未参加调查的学生存在样本差异，导致评分数据不一定能够反映真实且完整的教学体验[14]。碍于这四点，主观偏好的研究无法提供有效的线上线下客观质量优劣的比较结论。

虽然有很多局限性，但主观偏好研究仍可以提供大量学生对于线上教学的看法和感受。正因为其方法的主观性，缺陷正是优势。主观评分可以完美展现出学生对于线下教学形式的强烈习惯性，因而对于线下课程形式的依赖性在线上课堂实践中的影响是不能被忽略的，也是课程评价最重要的层面之一。所以应该将主观评价应用于学生对于线上教学形式的偏好和倾向性的研究中，同时弱化此方法对于线上线下教学形式效果的比较检验。因此，本文设计了一整套关于学生对线上课程偏好的问题，并且搭配对照组比较研究，弥补主观偏好测评在课程质量评价方面的局限性。

其次，线上线下对照组比较的研究方法，可以从统计上对两种教学形式在课堂体验、学业投入和课程满意度三方面的课程质量进行比较研究。这种方法着重于比较同一门课程在两种教学形式下的形态，来衡量线上教学形式对于这门课程质量的影响程度。但过去使用此方法的文献经常缺乏足够严谨的定量实验设计。主要原因是缺少针对本科生、严格对照组、跨越多个专业的线上线下对照组数据。这种局限性在国内在线高等教育课程的研究中尤为突出。首先，疫情前，线上高等教育课程通常并不会单纯移植线下课程，线上课程的目标学生、内容和老师一般都会为了网络授课而进行重新设定。其次，过去大部分在线高等教育课程都是录播形式，学生无法在网络课程中实时与老师互动，使得过去的线上课程和现场课程在师生互动模式上就存在根本性差异。另外，过去很多线上课程研究都是针对研究生、职业教育类或非学历类课程。针对本科生，并且跨越多个专业的研究较少。因此，形成严谨对照组的比较研究在线上课程领域存在大量研究空白。

对照组比较的优势显而易见，可以通过控制同一门课程在两种教学形式下，教材、老师、课程内容的统一，减少教学形式以外的潜在协变量，从而提供严谨的统计学计算，利用计算显著性和效应量，来回答同一门课程线上和线下教学效果差距的学术问题。定量比较结果可以从数字上精准回答“课程变成线上教学形式后，质量到底如何变化”这一问题。

结合主观偏好和对照组比较两种方法，既可以再次验证之前关于线上教学效果的理论，又可以在探索学生对于线上课程形式的偏好和习惯之外，提供一个更加科学有效的关于课程教学形式质量的结论，从而完成一项结合学生主观感受和教学效果，更加完整的关于线上课堂体验、学业投入和满意度的比较研究。

（二）研究问题与假设

基于以上的研究思路和设计，本文提出以下两个研究问题与相应假设：

问题及假设一：基于课堂体验、学业投入和课程总体满意度三个方面，学生在主观评价上是否更加喜欢线上教学形式？基于过去文献和学生多年线下学习经验，本文假设更多学生会倾向于他们熟悉的线下授课方式。

问题及假设二：基于课堂体验、学业投入和课程总体满意度三个方面，线上教学形式对于课程效果的影响有多大，即同一门课程从线下转移到线上后，学生对于课程效果评分有多大的变化？本文假设同一门课程在线下教学形式下会取得更加优异的学生评价数据，即线下教学形式在课堂体验、学业投入和课程总满意度三方面的效果会更好。

四、数据说明及描述

（一）数据基本情况

本研究数据来源于“中国高水平大学课程教与学追踪调查”（CUCE）数据库，选用了其中A、B、C 三所高校2016年至2019年的部分学期及2020年春季学期的通识课程面板数据。A、B、C 三所大学皆为我国知名“双一流”高校，两所位于北京，一所位于武汉。本文数据有两大特点，一是来自高水平大学，另一点是以通识课程为研究目标。选取高水平大学初衷是校内学生对于优质课程的体验较丰富，可以反馈更准确的评课数据，使研究结论更加科学可信。通识课程的选课学生囊括各个专业与年级，课程内容更为基础，而专业课程受专业差异的影响较大，故本文只选用通识课程数据。本文涵盖的三所学校的通识核心课程开设时间长，有成熟完整的课程体系，整体教学质量高，可以代表我国高水平本科课程教学的一般情况。

由于新冠肺炎疫情的影响，2020 年春季学期的通识课程实施形式皆为在线教学，因此线上数据全部来自2020年春季学期。线下课程数据来自2016 年到2019 年部分学期。数据采集包括网络问卷和教务处记录的客观课程教学数据两种方式，问卷在结课时通过课程助教或教务处网站进行发放与回收。

为了保证相对严格的比较研究，即线上课程作为实验组，线下课程作为对照组，本文选取了三所学校2016 年到2019年个别学期和2020年春季学期相同课程进行横向对比。由于疫情为突发状况，各高校临时将现场教学转为线上授课，该课程的授课教师、教材、授课内容、教学大纲等无法在短期内做出重大调整，可以推断两种教学形式除教学形式和学生群体具有差异性外，课程和老师的其他相关外在因素基本保持一致。

如表1 所示，本研究的有效样本共10715 份，线下教学样本占58.46%，在线教学样本占41.54%；其中56.05%为男生，43.95%为女生。样本囊括从大一到大四的学生，大四选修通识核心课程的人较少，大一占68.74%，大二到大四分别占17.01%、10.53% 和3.73%。根据学生高中生源省份，分为东中西部三个地区；将具体专业划分为人文学科、社会学科等五个专业大类。考虑到父母受教育程度的代际影响，按照学历层次，将父母受教育程度划分为五个层级，分别是初中及以下、高中及中专、大专技校、本科和硕博士。除性别和高中生源地信息缺失占6.5%左右外，各人口学和教育学背景变量样本缺失均在2.5%以内。因为性别和高中生源地作为协变量在后续定量分析中基本不显著，本文对于缺失值不做处理。

样本内的中部学生最多（47.00%），专业主要集中在工程技术科学（37.40%），父母整体受教育水平较高，父母受教育水平为大专以上分别占53.89%和46.69%，高于我国公民平均受教育程度。综上，样本对于我国高水平“双一流”大学的本科生具有良好的代表性。

（二）因变量设计

本文针对主观偏好比较和对照组比较两种不同研究角度使用了不同的评测量表。

主观偏好比较量表为本研究专门针对2020 年春季学期线上课程设计的13道题（表2）。学生自我汇报在各个教与学层面下，线上和线下哪种形式教学效果更好，主观上更加偏好于哪一种。这13道题基于线下课程的三个维度：课堂体验、学业投入和课程满意度。针对每一个题项，学生在“线上学习”“线下学习”“差不多或说不清”中选择一项，最终的比较数据即为每一道题项在三个答题选项中样本数量的百分比。

对照组评测为同一门课程在2020 年春季线上授课形式与过去线下授课形式中课程评价得分的横向比对。碍于疫情的突发性和线上形式转化的仓促性，线上线下两种形式中老师、教材、教学内容和教学大纲大致相同，形成较为严格的对照组。为了更加全面、整体地描绘学生在线上及线下课程的学习情况，研究参考了CEQ（Course Experience Questionnaire）、NSSE（National Survey of Student Engagement）、NSSEChina[15]等多个国内外成熟问卷，经过多次实践和适应性调整，设计了线上线下课堂体验、学业投入和课程满意度三个一级对照组比较指标，多角度测评教与学情况（表2）。

课程满意度采用李克特5 点量表，以1～5 等距赋值（1=不满意，2=不太满意，3=一般∕无所谓，4=比较满意，5=非常满意）；课堂体验和学业投入则以1～4 等距赋值（1=不同意，2=不太同意，3=比较同意，4=非常同意），回答者从中选择一项。

表2 主观偏好及对照组比较因变量题项汇总

虽然本文对于课程评价进行了各级别变量维度划分，但为了更加细致深入了解学生对课程教与学的反馈，将针对性地对每一道题项做出数据分析，即报告每一个题项线上线下对比数据结果。

除学生主观课程评价报告外，本文也曾考虑加入成绩变量作为学生课程收获的客观参考指标。但是我们了解到，受突发疫情影响，大量线上课程的作业、期末考核与评分形式临时进行了调整，使得2020年春季学期的课程成绩与往年历次课程成绩不具有可比性。

五、研究方法与结果

针对研究问题一，本文采用描述性统计，展现学生对于各个教与学课程评价维度下对于教学形式的主观偏好。对于研究问题二，本文采用协方差分析（Analysis of Covariance）。协方差分析是在有效控制协变量的情况下，用于检验两个或多个群组间平均值的显著差异[16]。检验前提假设均通过验证。协方差分析对照组间样本数量差异小于1.5 倍，针对方差不齐的题项，显著差异结果也可成立[17-18]。协方差分析中自变量为上课方式，取值为1=线上教学，0=线下教学。学校、性别、专业大类、年级、高中生源地区、父亲受教育程度和母亲受教育程度作为控制变量加入分析。

（一）主观偏好方面，学生更倾向于线下学习

学生的线上线下教学形式主观偏好分析显示，课堂体验、学业投入和课程满意度的13 个题项内，大部分学生更偏好于线下授课方式，与本文假设一致。尤其最后一道题，47.72%的学生明确表示自己更喜欢线下授课，只有32.53%的学生喜欢线上授课（表3）。而在“课外投入的时间更多”“同学们更乐于发言或提问”两个来自学业投入偏好的题项中，选择线上与线下教学形式的人数相近，说明学生主观上在两种授课形式下的学习行为投入没有明显的倾向性，更多是对现场授课本身的设置和互动形式上存在强烈的习惯性。该结果和以往研究相一致。线下课程更容易产生师生互动[19]，在语言交流外还有更多表情和肢体动作，让课堂体验更加立体，也符合人类社交有效沟通和知识传递的需求。另外，线下课程是沿袭千年的课堂形态。在进入大学之前，学生们12 年的基础教育都是在线下课堂中进行。线下传授和吸取知识的过程是他们熟知并且习惯的。且不论线上课程是否真的无法比拟现场课程的效果，从习惯转变角度来说，大学生确实很难在主观上接受线上课程。但学业投入中具体的学习行为排除了主观习惯性的影响，所以在学业投入两个题项中选择线上线下的人数接近。

表3 主观偏好比较各选项样本数量及百分比

（二）对照组比较中，线上效果优于线下

协方差分析结果表明，同一门课程所收集的2020 年线上课程数据，在课堂体验、学业投入和课程满意度三方面的各题项得分均显著高于此门课程在过去线下授课中的得分（表4）。效应值均不超过0.04，说明线上教学形式最多只提升了大约4%左右的课程效果。这意味着教学形式对于学生课堂体验和效果有影响，但影响程度非常小。这也从侧面反映了课程的形式，无论传统的线下授课还是通过移动互联网上课，并不会对学生的课堂体验产生很大的影响，课程本身内容质量才是其核心。

课堂体验方面，转为线上教学后学生们对于课堂听讲和互动方面更为满意。学生普遍认为老师准备更加充分且课程设置更加清晰，比如“老师对于开展线上课程有明确的要求和指导”，并“提供了明确的学业评价标准”。老师对于“激发学生的求知欲”和“师生互动上”也表现更为优异。学业投入方面，不论是课堂投入还是课后投入，线上学习都优于线下学习。学生在线上课程中，会更加频繁地参与课堂活动，和老师同学的讨论也相应增多；课后也花费了更多的时间学习和完成作业。课程满意度方面，学生对线上教学中教师、课堂及自身都更为满意。总体来说，在对照组比较中，无论是对老师的准备和安排，课堂的感受，还是对学生自我投入和收获的评价，2020 年春季线上课程得分都高于同一门通识课程在线下教学的得分。虽然和本文的假设相反，但本文对照组比较结果和过去文献相呼应：当线上课程运用了大量有效互动教学方法，比如课堂讨论和清晰的课程设置，线上课程效果和现场课程相接近，甚至超越现场课程。

表4 对照组比较协方差分析结果

对照组比较的发现与主观偏好比较的结果截然相反。学生主观上偏好线下课程，但对照组比较得分中，线上教学明显高于线下教学。无论主观偏好还是对照组比较，学生都认为两种教学形式需要大量的学业投入，线上学习甚至需要额外在课前课后有所投入。

六、结论与讨论

在试图解答“学生是否喜欢线上课程”和“线上课程质量程度高低”两个问题过程中，本文发现了似乎相互矛盾的结论。结论的差异性主要是由不同的评测角度和线上课程的实际应用现状导致。

（一）学生喜好不代表教学效果

如上所述，主观偏好侧重于学生个人对于两种教学形式的感受，而对照组比较是在衡量两种教学形式对于同一门课程效果的影响程度，所以相反的结论恰恰描绘了完整的线上教学形式现状。2020 年春季学期线上课程是在应急和社会隔离状态下展开的。这样前所未有的紧张社会环境，无所适从的全新教学形式，以及额外的学业量，都容易让学生对线上教学产生主观抵触情绪和压力。并且，学生在主观上还无法摆脱对于线下学习习惯多年以来的依赖性，对于线上形式还有诸多的不适应。但这并不能代表线上教学效果不好。学生一边自我汇报自己偏好线下教学，一边在对照组比较实验中对线上课程给予更高的评价，恰好反映了这种矛盾的状态。

（二）授课教师为适应线上教学投入增加

转变为在线教学后，老师的投入和准备工作明显增加，在全新的授课条件下或主动或被动地开展教学创新，并且更关注学生的反馈。这些教学努力很可能提升了学生的课堂体验并使学生增加了学业投入。对照组比较数据中发现，学生能感受到老师对于课程的准备工作更加认真。比如在“老师为上好这门课做了充足的准备”“老师的教授过程能够照顾到我们的接受程度”“在学期初老师明确给出了课程规划”这三个题项上，线上教学组的得分远高于线下教学对照组。当然，本文只关注高水平大学，由于该群体教师和学生的素质较高，样本代表了中国目前大规模在线教学所能实现的最佳状态。顶尖大学掌握更多硬件资源和教育资源，可以最大程度保证线上课程的技术支持的稳定性，同时可以为老师开展一系列线上课程培训项目，帮助老师从线下教学过渡到线上教学[13]。普通高校教师对于全新线上教学形式的适应性、投入程度和学校的支持程度，都可能降低[12]。因此，本文的结论应用到资源有限的普通高等院校时具有一定局限性。对于不同水平高等院校线上课程的研究还有待学者的分层分析。

（三）线上教学成为一种选择

本文对照组比较结果的低效应量表明，线上教学形式提高了课程效果，影响存在但影响程度有限。所以就课程质量提升而言，线上教学形式只会在有限程度内影响课程质量。老师的专业水平和课程内容才是影响课程质量更本质的要素。当师生互动、课程设置、课前准备等教师行为达到一定水准，线下线上便不是主要影响课程质量的因素。所以，线上教学形式作为一种教学工具，不存在较大的对于课程优劣性的影响。疫情大大推进了全体师生对线上教学软硬件的应用，使线上教学成为一种没有太多技术性障碍的选择项，而未来要进一步提升课程教学质量和学习效果，讨论依旧还要回到人的层面。

疫情突发导致线下教学无法开展，线上教学临危受命。这不仅是对学生的巨大考验，更是对高校管理层和老师们的挑战[20]。我们的研究明确显示，虽然学生还无法完全接受线上教学，但老师和学生都积极应对线上教学，投入了大量时间和精力，使得线上课程效果甚至超越了线下课程。从这一角度，疫情下我们国家对于线上高等教育课程的扶持，及高校对于线上课程的工作投入，应该予以肯定。未来如果在线教学成为高校在正常情况下的一种自然选择，那么在线教学的利弊得失，在线技术对师生关系的影响，对学生学习驱动力和学习方式的塑造等理论问题有待深入研究，以便我们能够更加明确地回答什么样的课程能够扬长避短地利用好在线教学技术与资源，什么样的课程不适合在线教学，由此达成高校教学质量的全面提升。