线上教学效果的实证研究

■林慧君

（湛江幼儿师范专科学校，广东 湛江 524037）

一、线上教学效果研究

2020年上半年，一场突如其来的新冠疫情使得大部分学校教育由线下教学转换为依托网络、平台开展的线上教学，教学媒体、教学方法、教学评价方式等发生了很大的改变。所有的老师和学生都在学习网络环境下教和学的技术、方法、评价方式等，努力适应新环境、新平台、新技术。一学期的线上教学任务基本完成，线上教学效果如何？本文将对线上教学效果开展实证研究，为学校教育教学质量监控、线上教学方法的改进提供事实依据和决策支持，为线上线下教学融合应用提供支持服务。

目前线上教学效果的实证有不少的研究成果，如孙慧玲等[1]通过对学生期末卷面考试成绩进行对比分析，得出传统授课、MOOC及翻转课堂教学三种不同的教学方法对期末卷面成绩影响的差异无显著性的结论；李小娟等[2]则使用结构方程探究了线上学习中学生课程阅读、总结反思等行为对教学绩效的影响等。现有的线上教学效果的实证研究文献存在如下问题。

（1）从理论层面指出了线上教学对学生成绩的潜在影响，但是使用数据评估线上教学效果的实证研究有限，且大部分实证研究采用问卷调查或访谈的方式获取数据，此类数据存在样本量小、误报错报、问卷回收率低、抽样方法不科学等问题。

（2）实证研究的数据以学生自主汇报效果（self-reported effect）方式来收集，该类数据带有学生主观意识，无法反映学生的真实水平和线上教学的实际效果。

（3）实证研究的数据来源局限于线上教学课程，为横向数据。一个专业由不同性质的课程组成，课程与课程之间学生成绩不具备可比性，学生能力的差异也会带来遗漏变量偏误或选择性偏误问题。

笔者抽取了某高校2019—2020学年度学生的各门课程考试成绩，其中第一学期为线上教学，第二学期为线下教学。首先对线下教学和线上教学数据进行整理和描述性统计，直观展现了数据统计的初步结果，发现线上教学课程学生卷面成绩和标准化成绩比线下教学课程的成绩有所提升，但在不同组别的学生中提升程度不同。

假设线上教学有可能对不同成绩组学生的影响存在差异。为研究这种差异，我们构建模型，使用DID（Difference In Difference，双重差分法）衡量线上教学对学生成绩的平均处置效应（average treatment effect），排除部分潜在的内生性问题，识别线上教学和学生成绩之间是否为因果关系；将样本数据按照平均成绩的5分位数划分为5个成绩组，然后将成绩组虚拟变量与DID变量交乘，对模型进行OLS估算，分析结果，同时对模型进行了安慰剂检验以及稳健性检验。本论文阐述了整个实证过程以及相关的结论。

二、样本数据及假设

本研究共抽取了273名学生162门课程成绩，共有20087个观测值。

首先对数据进行整理，去除缺失值和分数小于10分的观测值（这些观测值是由学生缺席考试所造成的），去除少于10人选修的课程。数据经整理后，我们得到10699个观测值。

然后对数据进行描述性统计，计算学生各学期平均成绩、标准差和四分位数，纵向对比线上、线下教学学生成绩。表1所示为统计情况，第二行为考试卷面分数的均值，第三行为标准差，第四至六行分别为分数的四分位数，列（1）至列（4）分别表示全样本、第一学期样本、第二学期样本、第一第二学期的卷面分数均值差。

由表1以看出，使用线上教学模式的第二学期的平均成绩较使用线下教学模式的第一学期的平均成绩高2.15分，且差异在0.01的水平上显著；成绩的变化在各分位数上也有所不同，P25和P50均增加了3分，而上四分位数P75仅增加1分。

表1 描述性统计

根据上述描述性统计结果，我们作出如下假设:线上教学对不同成绩组学生的影响存在差异。

三、DID回归模型

对于高校而言，各门课程性质不同，难易程度不同，授课老师不同，课程与课程之间不具备可比性，且含有大量的选修课程，学生在选课时带有主观意愿，与学生的兴趣、学生个人的学习能力等方面有关。要解决不同课程之间成绩无法比较以及选课过程存在的问题，一种可行的方法是使用计量手段去除部分内生性并识别相关的因果效应。

我们采用课程内标准成绩取代成绩作为被解释变量。具体计算方法如式（1）。

基准回归模型采取经典DID设置，如式（2）所示。

其中被解释变量CMarki,j,t为观测值的标准成绩；θi、φj分别为学生层面和课程层面的固定效应；Tt为学期虚拟变量，若观测值属于第一学期，则Tt=1，反之为0；Onlinej,t为DID变量，若学年t的课程j为线上教学，则Onlinej,t=1，反之为0；Numj,t为连续型控制变量，表示课程j在学年t时的选修人数；εij,t为随机误差；个体固定效应θi和课程固定效应φj吸收了所有不随学生、课程而变化的因素；如学生能力差异、不同课程的难度差异均会被固定效应捕捉，Tt则捕捉了第一和第二学期之间的平均成绩差异，在该设定下，双重差分估计量 β 估计 ΔE[CMark│Treatj=1]-ΔE[CMark|Treatj=0]，表示相较于第二学期不使用线上教学而言，采用线上教学为学生成绩带来了额外变化。因此，为线上教学对学生成绩的平均处置效应（Average Treatment Effect,ATE）。

其中，Bki为成绩组虚拟变量 ，k∈{1,2,3,4,5}。若学生i处于成绩组k中，则Bki=1。以中等成绩的学生band=3为基准成绩组，将k=3排除在加分之外。此时，β0为双重差分估计量，捕捉线上教学对基准组学生成绩的影响；而β0+βk则估计线上教学对成绩组k的影响。该识别策略为三重差分设定，因此引进了成绩组和课程的交互固定效应φj,k来捕捉各个课程中不同成绩组的异质性。我们使用最小二乘法OLS来估计基准回归（2）和（3）。表2所示为各回归变量的基本情况。

表2 回归变量

四、结果分析及模型校验

（一）结果分析

附表1 中列（1）和列（3）为回归（2）双重差分法估计结果。列（1）中，在没有控制课程固定效应情况下，线上教学的虚拟变量在0.01的水平下显著为正。列（2）和列（3）逐步控制了课程固定效应和选修人数，DID估计量β约为1，且均在0.05的水平下显著为正。上述结果表明，与线下教学相比，线上教学使学生的标准成绩提升约1分。其次，我们注意到在控制课程选修人数后，学期虚拟变量Tt不显著，这说明在控制组中，第一学期和第二学期的平均分数在统计意义上没有显著差异。

附表1 中列（4）和列（5）回归（3）的估计结果。其中，第二行为β0的估计结果，反映线上教学对基准成绩组（band 3）的边际影响。可见DID估计量为负，且在统计意义上不显著，因此我们认为，线上教学对于中等成绩组的学生的作用并不明显，且有可能产生负面影响。图1所示为式（2）中βk的估计结果，其中横坐标表示成绩区间；纵坐标为估计值；实心圆点表示估计量；而垂直实线则表示估计量的90%置信区间。我们发现，β1和β5的估计量均显著为正，而β2和β4估计量为正，但并不显著。这说明我们有90%的把握认为，线上教学让线下教学成绩最差20%的学生平均提升3.152个标准分，成绩最好20%的学生平均提升3.837分。而对于线下教学中等成绩学生而言，我们没有90%以上的把握说明线上教学能提升他们的成绩。

附表1 基准回归结果

图1 基准回归结果

（二）因果关系检验

在回归模型中，我们使用双重差分法捕捉线上教学对学生成绩的处置效应。为了验证双重差分设置是否能准确识别两者之间的因果关系，我们对模型进行安慰剂检验，具体步骤如下:

（1）去除2019—2020学年第二学期线上教学的样本；

（2）随机抽取19门课程作为虚拟处理组（imaginary treatment group）；

（3）对回归进行估算，并重复该过程1000次，然后作出βk的概率分布图。

图2 所示为安慰剂检验的结果。其中，横坐标为βk的估计值；纵坐标表示βk；黑色实线为βk的概率密度分布函数；灰色点表示每次安慰剂回归中βk的取值；垂直实线从左至右分别为估计值分布的10%、50%、90%分位数；黑色三角形则表示使用真实处理组时的估计值。可见，βk的估计值分布大致为均值为0的正态分布，且使用真实处理组的估计量均大于分布的90%分位数。因此我们认为，基准回归结论并不是偶然的结果。

图2 安慰剂检验结果

（三）稳健性检验

附表 2中列（2）和列（4）为式（2）的结果，图 3所示为βk的系数图。据图3（Panel A），与图1类似，我们发现与基准成绩组相比，线上教学对成绩最差20%和最好20%的学生的积极影响最大，他们的平均卷面成绩分别提高了1.564分和2.33分。图3（Panel B）则使用相对排名Ranking作为被解释变量，最差20%成绩组的DID估计量为0.0882，且在0.1的水平下显著，这表明在线上教学模式中，平均成绩倒数20%的学生的相对排名平均能提高8.8%。值得注意的是，β5的估计值接近于0，这说明对于成绩最好的学生而言，虽然他们的线上教学的课程卷面分数显著提高（如图1 Panel A），但对他们的排名并不会产生显著影响，他们的相对排名不会随着分数的提高而继续上升。对于中等学生而言，如附表2列（4）所示，β0估计为负，这说明在线上教学模式中，中等成绩的学生排名有可能下降，与基准回归结果一致。

附表2 稳健性检验

图3 稳健性检验

五、结语

通过模型结果的分析，我们发现，当教学模式由线下转为线上后，成绩较差组与中等成绩组学生的成绩差距在缩小，而优秀成绩组和中等成绩组的差距却被拉大，这意味着中等成绩组学生在线上教学中相较其他成绩组学生表现不佳，我们认为导致该结果的原因有以下几点。

1.对于优秀成绩组的学生（band 5）而言，他们具有较强的学习自觉性、专注力、理解能力和学习基础。在疫情期相对隔离的环境下进行线上学习时，来自外界因素的干扰降低，这便使这部分学生的成绩得以进一步提高。

2.中等学生（band 3）的自我监控能力较弱[13-14]，他们在学习中更依靠教师的督促和答疑。此外。同学间合作学习对于中等生而言更加重要[15]。然而在线上教学模式中，师生互动、学生间合作的时间被大大压缩，因此，线上学习对中等成绩组的积极性相对于其他成绩组而言并不明显。

3.对于平均成绩最差的20%的学生而言，由于该组学生的成绩基数小，故成绩提高更加明显；成绩较差的学生相对更容易受到外界“非学习”因素的干扰（如电子产品），而在疫情期居家的线上学习中，相对封闭的环境、家长的监督反而一定程度地保障了他们的学习时间和质量。另外，线上教学允许学生反复观看教学录像，这一定程度上弥补了学生在理解能力、学习能力上的不足，使他们的标准化成绩有所提升。

由此可见，我们在开展线上教学时应更多地关注中等成绩组的学生群体，探究中等成绩组表现不佳的原因，对症下药，提升线上教学模式在各个成绩组中的积极效果。