基于柯氏模型的高校线上教学效果评价研究

苏伯文 ,赵树平 ,胡其亮

(1.安徽国际商务职业学院 商贸流通学院,安徽 合肥 230013;2.合肥工业大学 管理学院,安徽 合肥 230009;3.安徽工商职业学院 管理学院,安徽 合肥 231131)

2020年,新冠肺炎疫情暴发,全国高校及中小学全部延期开学。为了保证各类学生能按时学习,教育部先后发布通知,要求各级学校实行线上教学[1]。高校在实施线上教学时,采取多样化线上教学形式,教育部以及各类教学资源平台开放了1 291门免费资源课程,涵盖12个本科及18个高职专科的专业大类[2]。全国各地的高校结合自身的教学特点和学情制定线上教学的方案,并有序开展。全国实行大规模的线上教学,教师需要转变教学观念和教学方式,学生需要转变学习观念和学习方式[3]。因此,在疫情下,评价高校线上教学的教学效果,提高线上教学质量势在必行。

1 研究设计

1.1 基于柯氏模型的线上教学效果评价体系构建

柯氏模型最早由Kirkpatrick于1959年提出最初的评估模型,并在1994年对该模型进行完善,使之满足社会的需要。柯氏模型主要有反应层(Raction)、学习层(Learning)、行为层(Behavior)和结果层(Result)等四个层级[4]。反应层(Raction)是评估学生对教学的反应和感受;学习层(Learning)是评估学生的学习效果;行为层(Behavior)是评估学生对知识和技能的掌握以及学习态度;结果层是评估学生通过学习获得的学习效果[5]。根据柯氏模型的四个层次确定四项一级指标,反应层的一级指标主要反映教学的相关指标,含有10项二级指标;学习层的一级指标主要反映学生的技能获得,含有10项二级指标;行为层的一级指标主要反映学生对知识技能的输出,含有6项二级指标;结果层是反映学生成绩的指标[6],具体见表1。

表1 疫情下线上教学效果评价指标体系

1.2 线上教学效果指标权重构建

通过主成分分析法构建线上教学的教学效果指标权重,主成分分析法是将各级具有相关性的指标数据以降维的方式重新组合成没有关联性的数据,新的数据反映原来的指标[7－8]。通过SPSS软件降维,然后根据主成分计算得出每项指标的权重,从而构建线上教学效果的指标权重。

2 问卷设计与收集

2.1 调查对象及调查总体

学生是教育受训的对象,在教学效果的评价中,从学生视角来评价其在受教育的期间从反应层、学习层、行为层及结果层的变化,以此来评价线上教学的效果。因此,本次调查对象为疫情期间接受线上教育的高职及本科学生。调查总体为疫情期间,全国所有接受线上教育的高校学生。同时,为了更全面地评价线上教学效果,除了从学生层面采用问卷调查的方法来收集其对在线教学效果的评价和感知外,还从教师的角度来评价学生在线上教学模式下的学习效果。

2.2 抽样设计及问卷发放

因为受疫情影响,线上调查采用便利抽样的方法。在样本设计时根据时间因素来进行控制。第一阶段时间为2020年2月24日－2020年3月6日,针对刚开始进行线上教学的高校;第二阶段的调查为2020年5月11日－2020年5月17日,为保证数据的可比性,根据第一阶段的统计数据,只针对第一阶段的受访人发放问卷。问卷变量量表采用李克特5点量表,“非常认同”赋值为5,“非常不认同”赋值为1。

3 数据统计及权重确定

3.1 数据统计

本次调查总计回收问卷2 897份,有效问卷数为2 258 份,问卷有效回收率为77.9%。第一阶段共回收问卷1 532份,按照时间和学历剔除无效问卷后,共回收有效问卷1 132份,有效回收率为73.9%。第二阶段共回收问卷1 365份,其中有效问卷1 126份,问卷有效回收率为82.5%。

调查样本以高职或大专学历居多,占到了80%,这与调查小组根据学缘关系进行问卷发放相关。但本科的样本总数也达到了444份,符合分析的要求。在专业类别上,管理学(43.3%)、经济学(27.5%)、文学(14.3%)、教育学(11.2%)、工学(1.2%)、理学(1.0%)占比位列前六位。从专业类别来看,样本覆盖经济、管理、文学、教育几大类。理工科类的样本虽少,但因为前后两次都有追踪到,也具有一定的代表性。开课数量大体集中在4门及以上(累计占比达92%),其中开课数量达6门以上占比49.1%。

3.2 信效度检验

信度检验,两个阶段问卷信度的Cronbachɑ系数均为0.961,远大于0.6,说明问卷在线上教学效果的测评上具有较高的可信度[9]。同时两个阶段的问卷信度检测值相同也说明问卷的测量具有良好的稳定性[10]。

效度检验,两个阶段调查问卷整体效度分别为0.963和0.981,远大于0.7,说明因子分析效度较高,可以进行因子分析[11]。另外,两个阶段问卷整体Bartlett检验的P 值均为0.00,远小于0.05。说明所选取的变量适合做因子分析。

3.3 权重确定

通过SPSS24.0对数据进行降维,再进行主成分分析,得出4个主成分,根据主成分的权重公式,系统计算得出一级指标和二级指标的权重。一级指标权重分布为:教学组织(8.34%)、教师(11.75%)、教学内容(8.10%)、教学资源(4.07%)、教学条件(8.21%)、知识获得(11.54%)、技能获得(3.88%)、态度获得(7.46%)、学习兴趣提高(7.38%)、学习能力提高(3.78%)、解决问题能力提高(3.65%)、行为变化(7.23%)、态度变化(7.29%)、理念变化(7.32%)。二级指标权重分别为教学组织(})、教学监督(})、授课教师(3.85%)、授课方法(3.99%)、授课态度(3.90%)、教学内容细化(4.00%)、重点难点突出(410%)、教学资源丰富(4.07%)、平台稳定流畅(4.06%)、硬件环境(4.15%)、知识习得(3.87%)、知识掌握(3.79%)、专业了解(3.88%)、技能习得(3.88%)、自主学习(3.64%)、合作学习(3.82%)、学习兴趣提高(3.72%)、学习欲望提高(3.67%)、学习能力提高(3.78%)、解决问题能力提高(3.65%)、学习计划性(3.62%)、交流学习(3.61%)、主动学习(3.60%)、主动检查(3.69%)、团队学习(3.68%)、分享学习(3.64%)。

4 高校线上教学效果对比分析

4.1 反应层效果分析

反应层(Raction)评估学生对学习的反应和感受,了解学生对学习的满意程度。从教学组织、师资评价、课程内容和形式、教学环境等维度进行测评。

4.1.1 反应层评价显著性差异分析

由表2得知,反应层效果评价中有6个观测变量在两阶段测试存在显著性差异。分别是教师满意、授课方法、授课态度、教学内容细化、重点难点突出、平台稳定流畅。

4.1.2 反应层评价均值分析

从表2中的第一、第二阶段对反应层各观测点评分的均值图得知,学生对教师整体满意程度(3.99),对教师授课态度(4.08)、授课方法(3.96)、授课内容(3.95)及重难点突出情况(3.9)的评分较高,并且前后两次的评价趋势基本保持一致。

4.1.3 反应层评价变化率分析

进一步分析表2中两个阶段反应层评价的变化,平台稳定流畅度评价变化程度最大(3.63 VS 3.46),变化率为4.91%。说明随着在线教学的开展,学生感知到各线上教学平台在运行稳定性和流畅度上有比较大的改进。但从评价得分来看并不是很高(3.63),说明线上教学平台还有较大的改进空间。对于教师的整体满意、授课态度、重难点突出、授课方法等方面评价前后两阶段的变化率也较大,分别为4.88%、4.18%、3.39%、3.72%。同时,在均值分析中得出教师的这几个方面的评价得分较高。对比前后两阶段评分变化情况,学校教学组织(3.62 VS 3.62)、教学监督(3.63 VS 3.66)和硬件环境(3.62 VS 3.64)的评价变化较小,变化率分别为0、0.83%、0.55%。

表2 反应层教学效果评价分析表

4.2 学习层效果分析

学习层(Learning)评估学生的学习效果,即学生在学习结束时,是否在知识、技能、态度等方面得到了提高。此环节是对线上教学模式教学评估中至关重要的一个环节,能有效地反映这一教学模式的实施情况和实施效果。

4.2.1 学习层评价显著性差异分析

按照新的指标体系对学习层观测变量进行前后两个阶段评价差异显著性分析,由表3得知,学习层效果评价的10个观测变量有6个观测变量在两个阶段测试存在显著性差异。分别是知识习得、知识掌握、专业了解、自主学习、合作学习、学习能力提高。

表3 学习层教学效果评价分析表

4.2.2 学习层评价均值分析

从表3中第一、第二阶段对学习层各观测点评分的均值得知,学生对知识习得(3.6)、专业了解(3.57)、知识掌握(3.56)、合作学习(3.54)、自主学习(3.52)评分较高。在线上教学模式中,学生对学习欲望(3.42)、学习兴趣(3.42)的提高感知并不很明显(F值均大于0.005),评价分数也不高。

4.2.3 学习层评价变化率分析

进一步分析表3中两个阶段学习层评价的变化,和观测点指标的评分保持了相同的趋势。两个阶段学生对知识习得(5.57%)、知识掌握(4.71%)、专业了解(4.69%)、合作学习(4.42%)、学习能力提高(4.23%)、自主学习(4.14%)等六个方面的评价变化率较大。解决问题能力提高(2.66%)、学习兴趣提高(3.32%)这两个观测点学生在前后两次的评价中差异并不是很明显。

4.3 行为层效果分析

行为层(Behavior)评估学生在学习之后,行为上所发生的改变,如学习提升行为及学习习惯的改变,或者是否能自觉地运用教学中所学的知识和技能。在指标体系中,从行为(计划性、交流学习等)、态度(主动学习、主动检查)及理念(团队学习、分享学习)的变化来评估。

4.3.1 行为层评价显著性差异分析

由表4得知,学习层效果评价的6个观测变量有4个观测变量在两个阶段测试存在显著性差异。分别是主动学习、主动检查、交流学习、分享学习四个方面。行为层观测的三个方面各有相应指标入选。学习的计划性和团队学习在两个阶段的调查中学生感知变化不是很明显。

4.3.2 行为层评价均值分析

从表4中第一、第二阶段对行为层各观测点评分的均值得知,各观测点得分情况按高到低分别为:主动检查(3.83)、主动学习(3.65)、交流学习(3.64)、团队学习(3.54)、分享学习(3.52)、学习计划性(3.47)。

4.3.3 行为层评价变化率分析

进一步分析表4中两个阶段行为层评价的变化,通过三个月线上学习,学生在主动检查学习任务完成情况(6.09%)、交流学习(5.20%)、主动学习(3.99%)方面发生了较大的变化。其中,主动检查学习任务完成情况(6.09%)是所有观测变量中变化率最大的。另外,学生在交流学习(5.20%)、主动学习(3.99%)方面的变化也较大。线上教学虽然帮助学生养成了主动学习的习惯,但对于学习的计划性(3.27%)和团队学习(2.02%)的影响并不明显。

表4 行为层教学效果评价分析表

4.4 结果层效果分析

结果层(Result)评估学生通过学习所产生的个人绩效效果,最为常见的评估方式为进行标准化考试,通过学生学习成绩来衡量其有效性。

4.4.1 结果层效果评价设计

在结果层的效果评价上,通过设置对照组合实验组对比进行评价。同课程、同授课教师、同专业、同年级、同作业与测试内容条件下,将传统模式授课班级作为对照组,将线上教学班级作为实验组,通过比较对照组和实验组学生作业及测试得分情况,以此作为结果层效果评价的依据。

4.4.2 结果层评价分析

在结果层效果评估中,对实验组和对照组作业及测试成绩作方差检验(见表5)。除了作业1和作业2外,其他几次作业及测试在实验组和对照组间存在着显著的差异。

表5 作业及测试方差检验表

进一步分析线上教学和传统教学模式下每次作业和测试的具体得分及变化情况(见表6),发现线上组每次作业测试平均分均在90分以上,传统组成绩波动比较大。但线上组的每次作业和测试成绩均高于传统组。第二次作业(2.7%)和最后测试成绩差异(7.6%)相对较小,第三次作业(67.6%)和第六次作业(40.5%)差异最大。

表6 传统组和线上组均值及变化率表

5 研究结论

5.1 教学方法有较大改进,学生认可度高

在线上教学中,面对线上教学这一新的授课模式,教师经历了一个摸索的阶段,在前期虽然做出了努力,但学生效果感知相对较低。而经过三个月的实践,教师们在授课方法、授课重点难点把握等方面有了较大的改进,学生们对教师授课方法、授课内容及整体评价都有了较大的提升。学生对教师、对教师的教学活动的认可度比较高。虽然学校在教学组织和监督上的执行具有较好的前后连贯性和持续性,但硬件环境在短时间内确实不具备较大变动的可能性。该模式并不能对学生产生持续的学习兴趣激励。

5.2 线上教学的教学效果良好

在疫情期间的线上教学过程中,学生在知识获取、态度获取和习惯养成上获得了比较好的效果。线上教学模式因场地、条件等限制,对学生技能培养效果的影响并不明显。通过三个月的线上学习,学生自主学习并掌握了一定的知识。学生在学习的态度和习惯上也有所收获,如自学习惯的培养以及和同学合作学习的养成,线上教学在知识的传授上学生感知效果比较明显。线上教学对培养学生自学的能力也有成效,学生自主学习能力得到了提高。

5.3 学生的学习主动性提高

线上教学因为无法直观掌控学生课堂听课状态,课前课后学习任务的发布成了授课教师了解学生学习情况的重要手段。学生在持续的训练下,养成了良好的主动检查学习任务完成情况的习惯,这是线上教学在学生行为变化上的显著效果。线上教学的模式下,学生的学习模式也发生了改变,为了较好地掌握专业知识、完成学习任务,学生们渐渐学会了和同学或老师沟通交流的模式。因此,疫情期间,经过持续性的在线学习,学生的学习习惯、学习理念和学习态度都发生了积极的变化,他们变得更主动、更自觉,也学会了通过交流沟通来解决学习问题。

5.4 学生的学习效果显著提高

在线上教学模式中,学生们养成交流学习和主动学习的习惯,能主动检查作业完成情况,也提高了作业的正确率。对于课程测试,关系到该门课程学分能否获得,不管传统教学模式还是线上教学模式,学生都会比较重视,所以最后测试成绩相对来说差异较小。因此,通过线上教学,学生的学习成绩得到显著提高。

6 提高线上教学效果的对策建议

6.1 改善教学条件,提升反应层效果

教学条件包括教学平台的稳定流畅性和硬件环境。在教学平台的改善上要从不同参与主体出发,做到有针对性、有可实施性。超星等学习平台,既要“勤练内功”满足大批量、集中式的在线教学需求,又要“苦修外功”通过政策扶持等方式,提高优秀师资入驻率与使用率,逐步实现从平台完善到用户增加之间的良性循环。硬件环境建设若要切中要害,就要完善教师教学过程中视、听、说、写多方面环境建设,具体可以从视频摄像与录像设备、音频接受设备、音频输出设备、电子手写板等基本硬件的配备入手,让学生看得清、听得明、答得上、学得会,从而提升反应层的教学效果。

6.2 激发学习兴趣和培养学习技能,提升学习层效果

通过丰富课堂内容,激发学生的学习兴趣和培养学习技能。借助智慧教室利用多平台联动进行课堂直播实现智慧教室与线上教学的融合,丰富课堂内容。线上教学可以重点放在专业知识的介绍和讲解,而线下课堂主要进行技能训练和疑问解答。对于课程中的重点和难点,课程授课教师可以进行有针对性的“个别答疑”,关注到每一个学生,进行分层、分类教学。同时实现校际、省际,甚至全国范围的共享课堂,让更多的学生享有名师课程,以此提高学生的学习兴趣和培养学生的学习技能,从而提升学习层的教学效果。

6.3 鼓励团队学习和分享学习,提升行为层效果

通过线上直播授课以及安排团队任务,鼓励学生加强团队的合作以及分享式学习。学生在团队合作完成任务的同时,团队的学习和分享式的学习也在形成,渐渐地形成一种习惯。同时经过持续性的在线团队学习和分享式学习,学生的学习习惯、学习理念和学习态度都会发生显著变化,从而提升行为层的教学效果。

6.4 加强线上教学质量的评估和监督,提升结果层效果

在线教学不仅仅是疫情下的产物,在百万扩招背景下,在线教学有着实际的意义。若要加强线上教学质量的评估和监督,需要从学校到院系到班级建立三级一体的日常教学管理监督体系。班级主要负责日常出勤及课程任务完成的统计,并向授课教师及时反馈。院系主要负责对教师的教学规范性进行管理,并做好教学质量的考核,同时也要对师生在在线教学过程中出现的问题进行及时协调处理,组织院系教师进行在线教学经验交流。学校主要从制度层面对在线教学进行管理,同时要为师生在线教学提供良好的硬件及软件条件,组织学校或校际教师分享交流在线教学经验等,从而提升结果层的教学效果。

7 结语

在疫情下,所有高校都利用实施线上教学的契机来发展线上教学。同时,信息化技术的发展也促进了线上教学的发展。线上教学的发展反哺线下教学的不足,线上线下相辅相成的教学提高了课堂教学的教学效果。因此,线上线下的混合式教学势必成为未来教育的主流。这种主流的出现,最终的目的是促进课堂教学,提高教学效果,提升学生能力,从而使得高校教育得到长足良性的发展。