线上课程教学全过程质量评价体系构建研究

关丽梅?高静?武装?王雅婷

摘要：高质量的在线课程是保障在线教学效果的关键，对在线课程进行有效评价可以提高课程质量，在梳理相关文献的基础上，综合运用SPSS、Matlab等软件，结合BP神经网络，对线上课程教学的评价指标体系进行研究。首先建立了三级线上课程评价指标体系，其中，二级指标包括学习支持、课程内容与资源、课程教学设计、交互与学习效果，细化的三级指标有18个。基于此设计发放了调查问卷，构建了基于BP神经网络的线上课程教学质量评价模型。

关键词：线上教学；质量评价指标体系；BP神经网络

一、前言

随着互联网和计算机技术以及线上课程的日益发展，线上教学以其成本低、效率高，不受时间、空间等因素影响的特点，吸引了大量的师生。中国大学MOOC平台因其能够在线上提供大量丰富、优质的免费课程而受到关注，但同时仍存在很多问题，如完成率低、参与度弱、教学质量的低社会认可度，以及课程资源虽广泛，但重复性较高、质量参差不齐、平台自身存在技术问题等。如何构建一个线上课程的全过程质量评价体系并促进其应用，已成为目前发展、规划、管理的重要内容。因此，本研究构建了基于线上课程教学全过程的课程质量评价指标体系，并根据指标进行问卷调查，对数据进行分析，为线上课程质量评价的研究提供了有效的素材和方法参考，促进了线上课程评价体系的完善和发展，丰富了线上课程质量管理理论的意义[1]。覃红霞等人[2]通过感知有用性、感知易用性与感知环境三个维度，建立了在线教学满意度与持续使用意愿的研究模型。项聪等人[3]在高校层面、教师层面、学生层面三个维度对在线教学效果及其影响因素进行了实证研究。郭建鹏等人[4]基于大学教学模式提出了“前期－过程－结果”三阶段模型，进而分析在线教学模式对大学教学的影响。

本文主要采用以下五种方法进行研究分析，一是文献分析法，是收集国内外相关在线课程质量评价的文献，整理关于在线课程质量评价的研究成果，归纳出在线课程质量的影响因素，建立在线课程评价指标体系。二是访谈法，是访谈者和被访者通过深入的访谈或面对面的交流，了解被访者对在线课程的关注点，收集被访者对评价体系的意见。三是问卷调查法，是根据建立的评价体系编制在线课程全过程质量调查问卷，收集数据素材并进行分析。四是量表评价法，是对评价指标给出评价的等级，在评价过程中，使用者对照线上课堂教学的实际状况，逐项给出相应的等级评分。五是人工智能中的机器学习方法，是根据构建的线上课程教学质量评价指标体系，运用机器学习BP神经网络模型进行课程教学质量评价[5-6]。

二、评价指标体系构建与调研设计

本文选用中国大学MOOC平台作为线上课程教学全过程质量评价的研究对象。中国大学MOOC是由网易与高教社携手推出的在线教育平台，它是教育与信息技术、网络技术相结合的产物，支持线上教学活动，实现了远距离教育。MOOC即大规模在线开放课程，其中“M”是Massive大规模，第一个“O”是Open开放，第二个“O”是Online在线，“C”是Course课程。MOOC平台是大规模在线开放课程平台，可以满足大规模人群的学习需求，只要能上网，就能通过平台进行学习，平台大部分课程是免费的，以简短精悍的视频呈现，用户可以利用碎片化时间进行学习，每个视频会有独立的小标题，方便用户有目的地观看，也会中途弹出一些测试题，测试用户对知识的掌握情况。用户可查阅课件文档，对于上课时的疑难问题可通过讨论区向老师请教，或与同学进行讨论交流，每周，老师会布置小练习以及测试，帮助用户巩固所学知识，并进行检测。中国大学MOOC平台所提供的课程一般由六部分组成，即公告、评分标准、课件、测验与作业、考试、讨论区。其中，课件、测验与作业、考试、讨论区是主要的学习模块。

本研究首先建立評价指标体系，分析体系合理性，再根据评价指标体系设计调查问卷收集数据，最后根据数据建立线上课程质量评价模型。一个合理、有效的评价指标体系应遵循科学性与客观性原则、整体性原则、定量与定性相结合原则[5-6]。

在线上教学模式中，教师将教学资料、试题等发布在网站上，学生通过访问学习系统进行学习。线上教学模式的特殊性，决定了对线上学习成效的评价不能像传统教育一样只采用终结性评价，要重视学习的过程，重视学生在学习中的体验，强调评价中多种因素的交互作用，重视师生交流。因此，在对相关文献进行阅读并总结后大致得出需要考察的指标，并对有使用体验的同学进行简单访谈，得出本文线上课程教学全过程质量评价体系，包含一级指标四个，二级指标18个，如图1所示。四个一级指标分别为学习支持、课程内容与资源、课程教学设计、交互与学习效果，其具体含义如下：

（一）学习支持。指用户通过MOOC平台的学习，感知平台提供的服务等是否对自己的学习有所帮助，包括登录方式、导航栏、检索工具资讯信息、平台反应时间等都影响着用户对线上教学的体验。

（二）线上课程教学最主要的是教会学生知识与能力，因此，必须对线上课程平台的教学内容与资源进行考察，在课程资源的丰富程度、学科覆盖范围以及内容完整性等方面进行调查。另外，平台一般会有一些付费的课程，主要针对考研或提升工作技能等，这类课程也受到了学生的青睐，因此，从以上方面对用户进行调研更能反映出其对线上教学使用过程的质量感知。

（三）课程教学设计。这一教学环节的设计影响着学生的使用体验，通过访谈得知短小紧凑的视频能够使学生在学习过程中减少压力并且更有目的性，提升了效率。教师的授课风格以及教学演示也会对学生的学习兴趣造成影响，课堂测试、作业、考试用来检验学习效果非常重要。

（四）师生之间主要通过讨论区进行交流互动，反馈学习效果，老师也可据此进行微调，对学生不容易理解的知识点进行细致讲解。同时也要对学生学习完本门课程后所掌握的知识与技能进行考查，对线上课程质量管理具有重要意义。

本文采用问卷调查的方式收集数据，从而得到学生对线上课程教学全过程的质量感知，明确在线课程教学现状，进而为改善在线课程质量提供建议。问卷设计包括两部分，第一部分是用户的基本情况以及使用MOOC学习的情况。第二部分是用户对MOOC平台满意度的调查。问卷主体部分使用李克特五级量表进行测量。对第二部分的每个题项设置了“很不满意”“不满意”“一般”“满意”“很满意”五个选项，方便受访者根据自己实际情况做出选择。可依次按顺序给选项记分，如“很不满意”记1分，“很满意”记5分，对每份问卷不同维度的得分进行求和取均值即可得出用户对MOOC平台不同方面的满意度如何，得分越高，表明用户对平台此维度越满意。问卷主要通过三种形式进行发放：第一， 将问卷链接发放班级微信群及以前的同学群中，请班级内用过MOOC平台学习的同学填写。第二， 将问卷链接发放到MOOC平台课程讨论区中，选择不同类型课程的讨论区进行问卷发放，请平台用户填写。第三，在微博“中国大学MOOC”（已被微博认证为网易中国大学MOOC官网微博）博文评论区中挑选评论者，通过私聊发放问卷，被挑选的评论者需满足基本信息中年龄在18-30岁之间，且基本资料中标明就读学校，从而保证调研数据的有效性。

本次问卷回收了251份，筛选掉无中国大学MOOC平台学习经历、作答时间不足50s、不同题项均选择同一答案等无效问卷。通过筛选得到有效问卷155份，有效回收率为0.618，据此进行数据分析。

信度是指量表或测验的可靠性及稳定性，可以用于检验总量表和量表各层面的可靠性及稳定性。效度即有效性，用来反映测量得到的结果及所要考查内容的程度。经过检验，除交互与学习效果外，其余变量α值均在0.8以上，问卷信度高，变量交互与学习效果的α系数值为0.783，在0.7-0.8之间，量表可以接受，且总量表α系数值为0.967，信度极高，说明问卷的可靠性水平很高。KMO值为0.945，表明各个变量之间不是独立的，具有一定的相关性，非常适合做因子分析，测量得到的结果与所要考查的内容非常吻合。

三、基于BP神经网络的线上课程教学质量评价模型

对于新建立的评价指标体系还需检验各维度对整体满意度以及持续使用意愿的相关程度，才能保证后续使用整体满意度以及持续使用意愿作为BP神经网络输出的合理性，因此本节简单使用各维度平均值研究其相关性。

统计学上一般用相关关系来表示变量之间的不确定性关系以及关系的亲密程度。用来描述两个变量相互之间变化方向及密切程度的数字特征量称为相关系数，用r表示。相关系数的取值范围在[-1，1]之间，r>0表示正相关，r<0表示负相关。r的绝对值表示两个变量之间的相关密切程度，r的绝对值越大表明二者越相关，反之，二者相关性越小。相关系数在0.8-1.0之间表明二者极强相关，相关系数在0.6-0.8之间表明二者强相关，相关系数在0.4-0.6之间表明二者中等程度相关，相关系数在0.2-0.4之间表明二者弱相关，相关系数在0.0-0.2之间表明二者极弱相关或无相关。本研究采用皮尔森相关分析方法来探究变量之间的相关关系，主要涉及学习支持、课程内容与资源、课程教学设计、交互与学习效果和整体满意度、持续使用意愿。结果显示在对满意度和持续使用意愿产生影响的维度上，显著性水平均低于0.05，即有超过95%的概率说明变量之间存在相关性，有显著正相关关系。

随后建立基于BP神经网络的线上课程教学质量评价模型，采用梯度下降法构建神经网络，并设置隐含层节点数，将样本数据分为训练集和测试集，使用训练样本数据放入网络中进行训练，直到误差精度达到要求。最后用测试组输入训练好的网络模型中，通过检验测试组误差精度，验证模型的正确性。

在构建BP神经网络模型前首先要对数据进行预处理，本文数据通过网络问卷进行收集，共获取251份数据，对无效问卷进行删除后剩余155份，每份数据包含了18条评价指标。问卷对满意度维度以及持续使用意愿维度分别设置了三个评价指标，更加准确地反映出学生对平台的感知质量，分别对这三条评价数据取平均值作为评价结果。数据的归一化处理其实是将数据根据一定的规则将其映射到一定的区间范围内，归一化操作如公式（1）所示。

（1）

同时通过Matlab对网络设置不同的隐含层节点数量，并将训练集、验证集、测试集按照4：1：1进行随机分配，通过训练得到其均方误差以及回归能力作为损失函数。设定隐含层神经元个数在[5，15]之间，将训练集归一化处理后输入BP模型中，取不同隐含层神经元数，用验证集记录MSE以及R均值。由于初始权值及训练集、验证集、测试集随机分配，相同个数的隐含层神经元运行的结果也不相同。设定对不同神经元个数都训练10次，误差取平均值，寻找最优隐含层节点数。通过多次实验，发现隐含层神经元个数为11时，MSE最小且R最大，说明此时该BP神经网络的预测性最好。因此，本文隐含层神经元数设为11。当隐含层神经元个数为11时，用Matlab软件进行BP神经网络数据运算。结果显示经过4个epoch后模型达到最优，总体精度R达到0.91，训练集精度R为0.95792，验证集精度R为0.97337，模型精度较高，测试结果较准确。

将满意度与持续使用意愿两个输出值与对应的目标值进行比较，分析拟合程度，发现使用BP神经网络构建的模型能够较好地对线上课程的教学质量进行分析，从而据此采取相应措施。此质量评价理论模型可在学习支持、课程内容与资源、课程教学设计、交互与学习效果四个方面提升线上教学质量，从而实现对线上教学全过程质量的评价与反馈。

使用BP神经网络模型对线上教学的全过程质量进行评价的优点在于：第一，针对线上教学构建的质量评价体系不需要类似于AHP层次分析法确定指标权重，在很大程度上降低了主观性；第二，当环境改变或指标体系改变时，只需要使用新的样本数据对BP神经网络进行训练即可得到新的权重信息。本研究基于中国大学MOOC平台，以进行过在线课程学习的大学生为研究对象，根据教育评价理论、绩效理论、管理学、测量学等理论，通过文献回顾、问卷调查、专家访谈、数理统计和神经网络等研究方法，构建了线上课程质量评价指标体系，并设计调查问卷，通过问卷回收数据构建了BP神经网络模型。对数据进行了信度、效度检验，保证了数据的可靠性及有效性。针对在线课程教学的不同方面，细化了评价指标体系，并初步检验了各维度对整体满意度以及持续使用意愿的相关性，从而在一定程度上保证了满意度、持续使用意愿在神经网络中作为输出的可靠性。随着时间和条件变化，本文的研究深度需进一步提高。在线教学模式的进一步成熟和实践案例的增加将促进本研究进一步丰富和完善。

四、结语

通过对文献进行研究，发现现有研究大多采用AHP层次分析法与德尔菲法相结合来构建线上课程评价指标体系，投入的人力、物力较大，且主观性较强。因此，本文采用机器学习方法，根据构建的线上课程教学质量评价指标体系来发放问卷回收数据，进而运用机器学习中BP神经网络模型确定指标权重。本文从学习者角度，运用感知价值理论，综合ASCI模型与价值接受模型等进行用户对MOOC平台的满意度研究，构建了用户对线上课程教学的全过程质量评价体系。并分别从学习支持、课程内容与资源、课程教学设计、交互与学习效果四个方面设计调查问卷进行测量，最终对收集到的数据进行分析研究。

本文在研究线上课程教学全过程的质量时构建了评价指标体系，但仍存在一些不足，例如，样本数据量不大时不能有效反映出用户对线上课程教学质量的态度，评价指标体系应随着后续线上课程建设进一步改进。线上课程教学仍存在一定的机遇与挑战，本研究在一定程度上为院校及线上课程平台持续建设规范、优质的在线课程提供了有益参考。

参考文献

[1]薛文飞，李军，张攀峰.教育信息化2.0背景下全日制研究生在线学习满意度分析研究[J].河北师范大学学报（教育科学版），2022，24（03）：69-73.

[2]覃紅霞，方芳，周建华.大学生在线教学满意度和持续使用意愿的性别差异研究[J].大学教育科学，2022（01）：44-53+104.

[3]项聪，陈小平，卢开聪.高校在线教学效果及其影响因素的实证研究[J].中国大学教学，2021（Z1）：93-99.

[4]郭建鹏，陈江，甘雅娟，等.大规模疫情时期如何开展在线教学——高校在线教学模式及其作用机制的实证研究[J].教育学报，2020，16（06）：32-41.

[5]赖玲玲，彭丽芳.高校在线教学服务质量评价指标体系构建研究[J].黑龙江高教研究，2021，39（06）：147-154.

[6]梅钰博.基于ANP模型的在线课程质量评价研究[D].武汉：武汉工程大学，2018.

责任编辑：王颖振、周航