在线网课的教学质量评价指标及其算法设计

黄振永

摘要：当前，在线教学模式已成为高等院校重要的教学模式。按质量管理领域中的戴明环（PDCA理论），教学质量评价是PDCA理论的C環节，是检验和评价在线网课教学质量的重要环节。该文以智慧树平台中的国家级在线开放课程《C君带你玩编程》的近四年数据为依托，列举了12个在线教学质量评价指标及其算法。研究表明：详实的统计数据能清晰地表征学生“学”网课的质量和教师的“教”网课的质量，也能清晰地揭示在线网课存在的问题和变化规律；就同一个平台的同一门课程而言，虽然选课单位、选课师生形形色色，但是用该校的数据和所有选用该课程产生的平均数据相比较，由于参照数据是确定的和一致的，所以这种相对性评价是具备可比性的。

关键词：智慧树平台 在线网课 慕课课程 教学质量评价 评价指标 评价算法

中图分类号：G642 文献标识码：Ａ

Design of Teaching Quality Evaluation Indexes and Their Algorithms of Online Courses

HUANG Zhenyong

（School of Information Technology， Beijing Institute of Technology， Zhuhai， Zhuhai， Guangdong Province， 519088 China ）

Abstract： At present， the online teaching mode has become an important teaching mode in colleges and universities. According to the Deming Circle （PDCA theory） in the field of quality management， teaching quality evaluation is the C link of PDCA theory， which is an important link to test and evaluate the teaching quality of online courses. Based on the data of the past four years of the national online open course Mr. C Takes You to Play Programming in the Zhihuishu platform， this paper lists 12 online teaching quality evaluation indicators and their algorithms. The research shows that detailed statistical data can clearly represent the quality of students' "learning" of online courses and the quality of teachers' "teaching" of online courses and can also clearly reveal the problems and change laws of online courses， and that， as far as the same course on the same platform is concerned， although there are various course selection units and teachers and students， this relative evaluation is comparable because the reference data is determined and consistent when comparing the date of the school with the average data generated by all participants in the course.

Key Words： Zhihuishu platform; Online course; MOOCs course; Teaching quality evaluation; Evaluation indicator; Evaluation algorithm

2019 年中国慕课大会在北京召开，在会议上发布的《中国慕课行动宣言》赢得了广泛的共识[1]。2020 年中央全面深化改革委员会审议通过的《深化新时代教育评价改革总体方案》指出，要推进教育评价关键领域改革取得实质性突破，坚持科学有效，改进结果评价，强化过程评价，探索增值评价，健全综合评价，充分利用信息技术，提高教育评价的科学性、专业性、客观性[2]。王晓凡等人[3]采用文本挖掘技术，选取中国大学MOOC平台上12门国家精品在线开放课程作为代表，结合国内外的评价规范和学习体验的特征与构成要素，构建了基于学习体验的线上“金课”评价指标体系。吳淑娟[4]认为：教学评价制度是高校教学管理制度的重要组成部分，基于新时代教育评价制度深化改革新要求，高校应不断深化教学评价制度改革，优化教学评价体系，构建多元化教学评价制度体系。

文章的数据来源于智慧树平台中的国家级精品在线开放课程《C君带你玩编程》。借助慕课平台的强大功能，学生除了可以进行在线视频学习外，还可以进行互动问答、作业提交、测验考试、视频见面课等交互活动[5]。隔屏授课的在线教学与面对面讲授的传统课堂教学相比，其学习效果应该如何评价、用什么标准来评价值得研究[6]。

1研究背景与特色

按照戴明环PDCA理论，质量管理可以分为四个阶段，即：Plan（计划）、Do（执行）、Check（检查）和Act（处理）。PDCA理论要求：在质量管理活动中需要各项管理工作遵照制定计划→实施计划→检查实施效果→将成功的解决方案纳入标准或在下一轮PDCA循环中找出成功的解决方案。PDCA理论是质量管理的基本理论之一，同样适用于教学管理。教学质量评价是PDCA理论的Check环节，是检验和提升在线网课教学质量的重要环节。在疫情防控的大背景下，在线教学模式已经成为线下传统教学模式的重要补充。种类繁多的网课平台的教学质量良莠不齐，如何客观的、准确的、全面的评价在线网课的教学质量是当前在线教育的研究热点之一。

文章以北京理工大学珠海学院信息学院的“线上线下混合式一流课程”《程序设计基础及应用》配套的智慧树平台中的慕课《C君带你玩编程》的近四年（2019—2022年）教学数据为依托，研究了12个在线网课的教学质量评价指标及其算法。考虑到在最近四年里，每次开课时都有几十所高校、数百个教学班、过万名学生选修《C君带你玩编程》，由于各高校的办学层次和所在地市不同、各教学班班型和教学进度不同、选课学生更是多样化、教学模式又分在线模式和线上线下混合式，所以该课程团队认为：用绝对的数据来评价在线网课的教学质量是不合适的（这就好比问：一个学生身高150 cm，是高还是低？在没有参照系的情况下，“高还是低”是无法比较的），因此笔者选用相对性的指标及其加权算法来评价在线网课的教学质量。换言之，不同平台中的、不同学科的、不同院校的在线网课质量是千差万别的，“有可比性”是评价网课质量高低的重要前提；就同一个平台的同一门课程而言，虽然选课单位、选课师生形形色色，但是用本校的数据和所有选用该课程产生的平均数据相比较，由于参照数据是确定的和一致的，所以这种相对性评价是具备可比性的。

2 在线网课的教学质量评价指标及其算法设计

2.1 选修比率

在教学实践中发现：个别学生因为种种原因出现了在线网课“选而不修”的现象。为表征学生“选而不修”的情况，“选修比率”定义为：选修比率=实际修读人数÷应选课人数×100%。由表1可知：（1）在近四年里，本校的选修比率高于总体的选修比率，且都呈先降后升的变化规律；（2）19202学期是恰逢疫情突发的首个学期，因为师生受疫情防控限制不能及时地、面对面地沟通交流、师生不适应居家上网课的教学模式，所以选修比率呈下降变化；（3）在经历了两年的疫情背景下的在线教学模式后，因为师生积累了相关的教学经验，所以选修比率又呈上升变化。

2.2 成绩合格率与成绩优秀率

为表征学生修读在线网课的成绩分布，“成绩合格率”定义为：成绩合格率=网课总成绩大于60分（含）的人数÷实际修读人数×100%，“成绩优秀率”定义为：成绩优秀率=网课总成绩大于90分（含）的人数÷实际修读人数×100%。由表2可知以下结果。（1）总体合格率、总体优秀率、平均成绩（百分制，下同）都呈先降后升的变化规律，首个疫情学期（19202）的数据是低谷值。（2）该校的合格率与、优秀率、平均成绩都呈逐年下降规律，形成鲜明对比的是18192学期的本校情况均好于总体情况，但是21222学期的本校情况却都逊于总体情况，这些数据的变化给教学团队敲响了警钟。经研究分析出现这些问题的主要原因是21222学期的任课教师团队出现了重大变动，即：更换了课程负责人、多名教师出现新老交替（新任课教师的教学经验不足）。这些数据的变化启迪教学管理者：作为全学院的核心基础课程，维持其教师团队的稳定、循序渐进地培养新人是确保教学质量的重要保障。（3）就近四年课程平均情况而言，该校的平均成绩、合格率、优秀率均高于总体情况。

2.3 在线课程完成比率

为表征学生实际修读网课的学习进度、了解学生自主学习网课的规律，“在线课程完成比率”定义为：以学生完成在线学习进度90%为基准，超过基准算完成；在线课程完成比率=实际完成学生人数÷实际修读学生人数×100%。由表3可知：（1）本校的在线课程完成比率与总体情况相比较高；（2）本校的在线课程完成比率与总体情况都呈先降后升的变化规律，首个疫情学期（19202）的数据是低谷值；（3）在线课程完成比率表现出的变化规律与合格率、优秀率、平均成绩的变化规律相似。

2.4 见面课学习完成比率

见面课（即网络直播课）是在线课程实现教学互动的重要途径，也是线上线下混合式教学的重要桥梁。为表征学生修读网课中的见面课（该课程有四次网络直播课）的完成情况，“见面课学习完成比率”定义为：以学生参与见面课直播或录播回放的进度90%为基准，超过算完成；见面课学习完成比率=实际完成学生人数÷实际修读学生人数×100%。由表4可知：（1）本校的见面课学习完成比率与总体情况相比较高或相差不多；（2）本校的见面课完成比率与总体情况都呈先降后升的变化规律；（3）在见面课学习完成比率表现出的变化规律与在线课程整体完成比率的变化规律相似；（4）见面课的平均出勤率与学习完成比率变化规律相似且密切关联。

2.5 视频学习时间比率

视频是在线课程的重要教学资源，为表征学生学习网课中视频的情况，“视频学习时间比率”定义为：实际平均观看时长÷视频时长×100%。该指标反映了学生重复学习视频的情况；同一个视频被累计学习时间越长则该指标的值就越大，也侧面说明网课对学生学习的重要性越强。释义：当学生学习某一章節时，当课堂时间不足以让学生明白时，学生就会通过学习网课来弥补，当看视频一遍看不懂时，学生会看视频多次，直到看明白为止；这正是线上线下混合式教学的意义和价值所在。“视频学习时间比率”也可用来表征每一章的视频学习情况。由表5可知：（1）本校的视频学习时间比率和总体情况都呈先升后降的变化规律；（2）本校情况与总体情况相比明显落伍了，尤其是20212学期差异显著；（3）近三年的视频学习时间比率都超过了100%，这说明学生重复观看了网课中的视频，学生已经适应了线上线下混合式教学模式。

2.6 每章作业的未完成比率

每章作业也是网课的重要教学资源，是检验网课中每章视频学习成效的重要途径。“每章作业的未完成比率”定义为：每章作业的未完成比率=本章未完成人数÷实际修读人数×100%。由表6可知：（1）在疫情发生的前两个学期，学生缺交网课每章作业的比率较高，最近一个学期的数据有所改善；（2）首章和最后一章的缺交作业的比率较低，中间各章的缺交作业的比率较高，这和学生的学习习惯与学风、教风有关：两头紧，中间松。

2.7 课程整体满意度值

在网课结束后，按教学管理要求，学生需要填写课程问卷。近四年的课程整体满意度的问卷数据如表7所示。利用加权处理的方法，“课程整体满意度值”定义为：课程整体满意度值=100×非常满意比率+80×满意比率+60×一般满意比率+0×不满意比率。课程整体满意度值的取值范围是60～100（含端值）。

参考上述计算办法，可以算出其余学期的课程整体满意度值，如表8所示。由表8可知：（1）在疫情发生期间，本校的课程整体满意度值与总体情况相比较低；（2）本校的课程整体满意度值呈先降后升的变化规律，谷底值发生在首个疫情学期；（3）如果设定90%（含）以上为优秀，90%以下为良好，则网课的总体教学质量为优秀等级，本校的首个疫情学期的教学质量为良好等级、其它学期的教学质量为优秀等级，但都比总体情况低，这说明本校的教学质量未达到同门课程的全国平均水平，后续工作需要反思和改善。

2.8 在线视频质量满意度值

为表征网课的在线视频的教学设计是否科学合理、讲解是否条理清晰、学生对视频质量的满意程度，“在线视频质量满意度值”定义为：在线视频质量满意度值=100×非常满意比率+80×满意比率+60×一般满意比率+0×不满意比率。近四年的在线视频质量满意度的问卷数据如表9所示。18192学期的在线视频质量满意度值计算办法如下：

本校：100×70.0%+80×24.1%+60×3.6%+0×2.3%=72.16%；

总体：100×67.7%+80×25.3%+60×4.7%+0×2.3%=70.52%。

参考上述计算办法，可以算出其余学期的在线视频质量满意度值，如表10所示。由表10可知：学生对在线视频质量的满意度值普遍较低。经调研分析其原因是：视频中的案例与教材中的案例不太一致、视频内容与教材章节的进程不太一致、运行编程软件类的界面字号过小（看不清楚内容）。这些数据对开课方制作优质网课视频提出了高要求，也为国家级精品课、金课、一流课程建设指明了努力的方向。

2.9 见面课质量满意度值

因为见面课的开课方是昆明理工大学，见面课的时间安排与本校的时间安排经常冲突，所以一些学生不能参与直播课，只能看回放视频，从而降低了本校的直播课堂互动指标值。为表征见面课的内容设计是否科学合理、讲授是否精彩和学生参与情况，“见面课质量满意度值”定义为：见面课质量满意度值=100×非常满意比率+80×满意比率+60×一般满意比率+0×不满意比率。近四年的见面课质量满意度的问卷数据如表11所示。18192学期的见面课质量满意度值计算办法如下：

本校：100×69.2%+80×24.8%+60×4.1%+0×2.0%=91.50%；

总体：100×66.5%+80×26.0%+60×5.2%+0×2.4%=90.42%。

参考上述计算办法，可以算出其余学期的见面课质量满意度值，如表12所示。由表12可知：（1）在疫情发生期间，本校的见面课质量满意度值与总体情况相比较低；（2）本校的见面课质量满意度值呈先降后升的变化规律；（3）本校的前两个疫情学期的教学质量为良好等级、其他学期的教学质量为优秀等级，但都比总体情况低，这说明了见面课时间冲突造成的网课学习体验感和满意度较差。

2.10 本校教师指导满意度值

本校教师指导学生学习网课是确保在线网课教学质量或线上线下混合式课程教学质量的重要保障。为表征学生对本校教师指导学习网课的满意情况，“本校教师指导满意度值”定义为：本校教师指导满意度值=100×非常满意比率+80×满意比率+60×一般满意比率+0×不满意比率。近四年的本校教师指导满意度的问卷数据如表13所示。18192学期的本校教师指导满意度值计算办法如下：

本校：100×69.8%+80×25.4%+60×2.9%+0×1.8%=91.86%；

总体：100×67.1%+80×25.3%+60×5.0%+0×2.6%=90.34%。

参考上述计算办法，可以算出其余学期的本校教师指导满意度值，如表14所示。由表14可知：在首个疫情突然发生的学期，由于教师对在线网课的准备不充分、缺少成功的在线教学经验、教学管理信息混乱、网课和课程群只安排一人专管且没有发挥教师团队的集体作用等原因，学生对本校教师指导的满意度低于总体情况，这种情况在21222学期有所改善，但仍有进步空间。

2.11 校园网络条件满意度值

校园网络条件建设是影响网课教学体验的重要基础工程，在线视频观看是否流畅，声音、画面是否清晰，都会直接影响网课的教学质量。为表征学生对校园网络条件的满意情况，“校园网络条件满意度值”定义为：校园网络条件满意度值=100×非常满意比率+80×满意比率+60×一般满意比率+0×不满意比率。近四年的校园网络条件满意度的问卷数据如表15所示。18192学期的校园网络条件满意度值计算办法如下：

本校：100×68.4%+80×26.3%+60×3.8%+0×1.6%=91.72%；

总体：100×66.4%+80×25.9%+60×5.3%+0×2.5%=90.30%。

参考上述计算办法，可以算出其余学期的校园网络条件满意度值，如表16所示。由表16可知：学生对校园网络条件建设满意度的统计规律与学生对课程整体满意度的统计规律相似。

3 结语

科学合理的教学评价体系是衡量和提升线上教学效果的关键。本校的“校级一流课程”《程序设计基础及应用》与智慧树网中的“国家级精品在线开放课程”《C君带你玩编程》密切合作并开展线上线下混合式教学已有五年的历史，本文依托近四年的网课数据，列举了12个在线教学质量评价指标及其算法。为进一步构建在线教学学习效果评价体系提供了借鉴经验，有助于评价和提升在线教学的质量。

参考文献

[1]杨荣泰，张晓丽，杨春尧，等.高校慕课教学效果的统计分析[J].计算机教育，2020（1）：96-99.

[2]李璠.基于OBE理念的大规模在线教学课程评价指标体系设计：以《计算机程序设计基础》为例[J].南昌工程学院学报，2021，40（5）：103-108.

[3]王晓凡，马力，汪娟.线上“金课”评价指标体系构建研究[J].湖北成人教育學院学报，2021，27（5）：26-31.

[4]吴淑娟.地方高校教学评价制度的审视与优化[J].高教论坛，2022（6）：79-82.

[5]姜迪，潘晟旻，方娇莉.疫情期间基于MOOC的翻转课堂模式在线上教学中的实践[J].计算机教育，2021（6）：65-68.

[6]徐迎磊.在线教学学习效果评价指标体系的构建研究[J].黑龙江生态工程职业学院学报，2022，35（1）：136-138.