基于大数据分析的在线课程学习过程测评和优化*

郭 玲，郭泽睿

基于大数据分析的在线课程学习过程测评和优化*

郭 玲1，郭泽睿2

（1.珠海城市职业技术学院，广东 珠海 519090；2.华中师范大学 数学与统计学院，湖北 武汉 430070）

随着在线学习迅速发展，如何构建在线课程教学评价体系，有效发挥评价机制成为亟需解决的问题．由于在线学习无法进行课堂上的面对面交流和对学生能力的准确定位，往往存在评价单向性、忽视过程评价、评价形式简单等问题与局限．文章在对在线课程教学评估现状分析的基础上，通过对课程在线学习测评数据进行大数据分析，提出了基于形成性评价的在线课程教学评价优化方案，并以语言类、程序语言类等课程为例，验证了文中所提算法可以给出优化的评价策略，保证学生的学习质量，提升课程的利用率．

大数据；在线课程；需求匹配

学生的需求和能力评估一直都是提高课程教学效果的重要组成部分．恰当的需求、能力评估和引导方法能够提高学生的学习兴趣，增进学生在学习过程中的能动性，促使学生全方位能力的增强[1-3]．目前，大部分教师采用传统的评估和引导手段，重点关注学生的成绩，而忽略了学习的过程、时间、学习方法、教学手段等因素的影响[4-5]．对于在线学习这一新兴事物而言，课程评价方式的不足就更为突出[6-7]．单一的评分机制很难真实反映学生在线学习的效果和存在的问题[8]．相比于传统的面对面教学方式，在线教学模式下教材是事先准备好的，教学内容也是事先录制的，在提升教学质量和教学效果等方面几乎无据可依，成为在线学习课程利用与课程效果评估的一大难点问题[9-11]．本文在分析在线课程教学评价辅助手段发展的基础上，提出在线课程教学评测系统的优化方案，并对所提方案的效果进行了系统分析和评估．

1 在线教学的课程效果评估发展及现状

传统评价关注学生最终的学习成绩，忽略了学习过程．而形成性评价将关注点的一部分转移到学生的学习过程，比如，学生在这个过程中的行动、效果、意愿等，能够帮助学生纠正学习习惯、调整学习方法和学习目标，检测其学习效果，最终达到完成课程学习，提升学生能力的目标．Scriven提出形成性评价和最终评价的概念及彼此的差异[12]．该理论极大地影响了教育界，特别在语言类、程序语言类等课程教学的效果尤为明显．根据Scriven的理论，形成性评价因其可通过对教学过程中出现的问题进行诊断，及时与学生形成沟通，从而实现教学质量地提升．形成性评价的主要目标并不是区分学生之间的等级次序，也不是证明或者评估学生的成绩，只是在学习过程中帮助学生关注学习本身，提高学生的弱项能力，最终提升相应的技能．

Bloom于20世纪70年代提出将教学评价分为诊断性评价、形成性评价和最终评价3类，并认为这3类评价在教学过程的不同发展阶段使用，有不同的评估目标，也将产生不同的评估效果[1]．诊断性评价一般用于某一门课程刚刚确定和兴起的阶段，其评价目标是了解环境条件、明确起点并诊断问题的成因．形成性评价主要用于课程逐步成熟发展阶段，用于监控能力的发展过程并收集反馈信息、提供改进建议等．最终评价在完成一门课程的成熟发展和授课之后，对整个学习过程进行整体性评估．

通过对教学发展过程的研究，可以发现教学评估正逐渐成为对课程质量和教学效果的评估手段，在教学发展和教学效果增强两方面都有举足轻重的地位，从而增强教学手段的丰富程度、教学效果的全程跟踪、学生对所学知识的灵活运用等．教学评估涵盖了所有在教学过程中对授课过程和学生发展相关的影响因素的作用效果评价，通常采用跟踪教学过程、提供教学反馈、根据课程设置目标提升学生全面素质等方式．无论是在线或离线教学，对于促进学生自主学习能力的培养，教学评估所起的作用都非常重要．

2 基于形成性评价的在线课程学习测评和优化方案

2.1 在线课程学习过程测评和优化方案

形成性评价强调及时的信息反馈，以帮助教师修订并改进其课程设置，从而提高教学效果和学生的学习成效．因此，形成性评价应包括的任务有：

1）跟踪学习过程：为实现对学习过程的跟踪，形成性评价要求教师在每个学习阶段分配不同的学习任务，明确描述学习目标，并设计这些目标的评估方法．为达到学习目标，学生将根据评估结果调整他们的学习方法．

2）测试学习效果：形成性评价应让学生清楚地了解他们是否完成了本阶段的学习，以及下一阶段的学习目标．这有助于提升学生的学习兴趣、增强学生的学习信心和改善他们的学习方法．

3）找到存在的问题：根据反馈和此前评估的分析，教师和学生都可以通过形成性评价找出问题的原因，并寻求解决问题的最佳方案．

4）纠正学生学习策略：根据学习过程中的问题，教师可以及时与学生联系，并与学生一起构建和改进学习策略与学习方法，这个过程将极大提升学生潜在能力．

尽管形成性评价早已提出，但是在实际教学中应用却具有很大的难度．本文基于在线学习的大量交互数据，尝试融入形成性评价机制来进行基于大数据分析的在线课程学习测评优化研究，实现学生自我评估、学生相互评估和教师评估等对学习效果的综合评估．为了能够更全面准确地评估学生的学习效果，可将学生在学校的学习情况作为辅助信息用于在线课程评估．因此收集的信息包括进行在线课程学习的学生的在校学习情况信息、在线课程兴趣点、学习成绩、访谈等多方位信息．传统教学中这样的匹配是很难做到的．

实现本方案的具体步骤如下：

1）为不同的测试学生设置独立账户以便于信息汇总和分析．为每个学生分配一个独立的信息账户．无论何时何地进行在线学习，学生必须使用这个账户登录．这样就可以收集到完整的在线学习行为信息；后台则同步记录学生登录的次数、在线时间长度、每次在线学习时间，及给定学习周期内总的花费时间长度等．

2）记录学生每次学习的内容．学生每次学习的内容对事后分析学生的学习行为和问题十分有帮助．如果学生在进行特定的学习内容上花费大量时间的话，可能表明对于这个学生来讲，这部分内容是他的学习难点，应予以恰当的疏导、指导．

3）设定最低完成率．对学生在线提交的所有练习结果应进行评分并记录．为了便于在线学习成绩的记录，教师需要通过小型测试或练习来获得学生在相应的学习部分的掌握程度，以便于对学习效果进行评价．对于每个测试或练习，应设置最低的正确率．假设设定为50%，就表明如果学生在测试或练习的正确率未达到一半时，就需要及时纠正其在这部分的学习．

4）设置讨论区．设置讨论区可以更好地激发学生学习兴趣，促进学生自主学习．以语言类、程序语言类等课程的学习为例，应以学以致用为教学的目标，那么就应该设置相应的讨论区，让学生可以自由发挥和实践．通过对学生在讨论区表现的评估，可以更好地掌握学生对在线课程后续内容的需求程度．

5）对学习效果欠佳学生设置回访．根据在线学习文档和学习过程中收集的效果反馈，可以明确判定哪些学生通过在线学习的学习效果欠佳，需要教师进行人为干预．针对这些学生，通过系统数据很难发现导致其学习效果不佳的关键原因，这时需要在在线课程设置机制中引入对学生的回访机制，防止学生因在线学习效果不好而丧失了学习兴趣．考虑到技术实现的难度，一般可以采用网页对话或400回拨等方式实现．

6）为每个学生建立一份成绩记录表．在在线学习的过程中，需要为每位学生建立一份学习成绩的记录表．这份记录表详细记载了在线学习的过程、问题、解决方案和解决效果，并记录了基于目前学习表现得到的后续学习兴趣点等情况．这样在进行在线课程检索和自动推荐过程中，可以有针对性地实现对学生的在线课程推荐和匹配．

基于上述步骤，本文建立的在线课程学习过程测评和优化方案流程图如图1所示．通过如图1所示的流程，可以实现在线学习效果的全程追踪，记录和检查全部学习过程．

2.2 测评优化方法建模

为了更好运用算法，主要考虑加权系数，将变量延续图1的归类进行细化，从以下几个方面对测评优化方法进行建模．

2.2.1 AHP权重设置

AHP是一种系统分析方法，20世纪70年代由T.L.Satty提出．AHP的基本原则如下：将包含对某一复杂问题特定相关因素的一组变量进行复合结构模型建模，通过逐一比对的方式对每个层级上的因素之间的重要性进行比较排序．最后决定在决策问题中每个影响因素的影响权重．

步骤1：为比对设置判定矩阵．

参考T.L.Satty的具体方案，对每个比对进行排序，生成判定矩阵A=(aij)n*n，其中，n是相关对评估的总数．

图1 在线课程学习过程测评和优化方案流程图

步骤2：通过AHP对评估权重进行确认．

对判定矩阵A的秩进行求解特征值，得到最大特征值Rmax和对应的特征向量W．根据特征值的排序在不同层级排列权重计算结果．

步骤3：判断矩阵的一致性检验．

判定矩阵的一致性检验需要计算一致性索引CI=(Rmax-n)/(n-1)，当随机一致性比例满足CR=CI/RI<0.10时，认为判定矩阵是满足一致性要求的．否则需要调整判定矩阵使之满足一致性条件要求．

2.2.2 确定评估标准集合

假设评估条件集合为：

C={C1,C2,C3,C4,C5}=

{佳，较好，一般，较差，差}与之对应的评分以向量表示．

评估条件集C的评估标准评价可表示为：

E=( e1, e2, e3, e4, e5)．

2.2.3 建立模糊综合评价模型

步骤1：确定Xij的模糊矩阵．

计算Xij的rij(t)值．rij(t)属于标记t的维度值．构建成员函数rij(t)为：

建立Xij的Ri的模糊评估矩阵为：

步骤2：Xij的模糊评估向量计算．

将Xij的模糊评估向量定义为Ki：

步骤3：计算X的模糊评估向量．

将X的模糊符合评估向量表示为Q，可通过下式得到：

其中，

q′t=，得到Q的标准化矩阵为：

步骤4：建立模糊评估模型．

从上述步骤中，已具备了模糊评估模型的计算基础，可通过下式计算评估值：

3 方案性能分析

为验证上面所提方案在在线课程学习过程测评的实施效果，本文基于国内主要的几个在线教学课程网站的后台数据进行提取分析．为了增强验证效果的可靠性，本文将进行形成性评价优化匹配课程教学前后的结果进行了对比．

本文所选测试数据来自网站脚本数据提取，去除不完整记录，并通过关键词索引进行数据信息的归类，图2给出了本文测试所用的在线课程数据采集分布．由图2可见，所采集的数据基本服从正态分布特征，从数据统计上来看，基础数据采集基本符合测试需求．从统计数据分布来看，受测课程记录了每位选修该课程的学生学习记录，并较完整地保存了学生的课程笔记和学习登陆历史数据．由于课程自身教学内容的差异，课程进行过程中的问答及咨询发生的频次会明显低于学生登陆在线课程学习的频次，这一规律在图2的统计数据中也得到了印证．由于本文所提出的方案在在线课程的关键知识点的测试中增加了课程练习的最低完成率，所以总体的学习时长相应有所增加，约束了学生的学习惰性，从而使学生通过更多时间的练习增强对关键知识点的理解和运用．

为进一步分析课程优化匹配前后的效果，本文对课程匹配前和匹配后，相同课程下学生的学习内容及学习时长进行统计对比．

本文提出的方案中，首先为不同的测试学生设置独立账户，随后，记录学生每次学习的内容，并设定最低完成率、讨论区，为每个学生建立一份成绩记录表．

在课程配置调整中，参照上一章节围绕图1流程进行．在权重方面，重点考虑课程中所需的基础知识的量和难度、课程目标中拟使学生掌握的新知识的量和掌握所需难度、掌握新的知识所需的练习的强度等因素，以及因素之间的制约关系．例如，对于基础性强的课程，学习基础知识的课时比例应更高，所对应的权重应更大；对于新的专业知识类课程，往往需要学生具备一定的基础课程的前提下学习才能够达到较好的效果，这类课程中则需对学生具备的基础知识程度的权重值有所增加；对于需要大量练习来强化知识的课程，课程设置中的练习时间的权重则相对更大．

图2 在线学习数据采集情况分布

由于涉及的课程种类较多，在统计中，本文将每门课程中的关键知识点相对于课程自身的关系分类为：基础知识、关键理论、练习实践、知识拓展这几个类别，将对应的内容的学生在线学习时长进行累计．为便于统计观察，本文进一步将各类别的学习时长与总的课程学习时长求商，从而实现各类别学习时长的归一化处理．即，例如全部学习时长为100%，其中基础知识学习时长为40%．通过这种统计数据预处理方式，可以更直接地观测课程优化的效果．经过统计预处理后，整理的数据如图3所示．

测试中共涉及15门课程，每门课程分别按基础知识、关键理论、联系实践和知识拓展四方面的学习时长进行统计．每门课程分别统计课程匹配优化前和优化后的时间差异．

如图3所示，在基础知识部分，匹配优化之后所用时间均低于优化之前所用时间，这表明课程与学生的基础匹配度更好，学生在学习课程时具有更贴合课程需要的基础知识．在关键理论部分，可以看到呈现与基础知识相似的学习时长缩短的规律，进一步验证了课程与学生自身基础的匹配优化效果．同时，注意到由于课程自身的差异，同一课程内部所需的基础知识和关键理论的知识量不同，因此在课程之间可以看到这两部分学习时长比例的差异．

在练习实践部分，课程优化后所用学时明显增加．主要原因是配置优化中增加了最低完成率的设置，学生在学习中无法通过囫囵吞枣式地快进来完成课程，而是必须在关键的练习中达到一定的完成度才能够进行下一个环节的学习，因此通过课程练习的完成，保障了学生对所学知识的应用和固化，加强了学习效果．这一点地影响，可以联合观察知识拓展方面消耗的学习时长得到印证．

在知识拓展消耗学时方面，那些基础知识及关键理论的知识点较多的课程，在进行课程调整前，学生的绝大部分时间消耗在前两部分内容的学习中，而练习实践的时间比例很小，到知识拓展部分有的课程甚至几乎没有学生进行知识拓展的学习．而在课程调整之后，这些课程的学习中，用于前两项学习内容的时间比例有所降低，在练习实践和知识拓展方面的学习时间有明显的增加．这表示着一方面学生能力与课程之间实现了优化的匹配，另外一方面通过上述机制的引导，学生更倾向于实际运用，并增加了更多基于课程内容的延伸学习的意愿和行动．这些效果都是有助于培养学生自主学习能力和提高动手应用能力．

本次的优化方案设置了讨论区和学生回访,来保障部分不适应课程的学生能够及时得到帮助．本测试给出了受测课程中讨论区活跃度和回访次数，如图4所示．从图4的对比可以看出，对于讨论区相对活跃的课程（如帖子数量超过50个），对应的回访次数明显较低（回访次数一般低于5次）．可以发现，通过设置讨论区并由教师通过讨论区与学生保持课程中的互动，可以有效降低学生难以完成预计课程内容的风险．

图3 在线学习的课程不同内容耗时对比

图4 讨论区活跃度和回访次数

最后，从15门课程的匹配优化总体性方面，与专家人工建议分类进行了对比分析，从另外一个维度验证本文所提匹配理论的可靠性．本测试给出了所提方案的自动匹配结果、目前网站上课程匹配现状、专家人工建议分类结果的对比，如图5所示．从图5分析可知，所提方案和专家建议的匹配度在大部分受测课程数据分析结果方面来看，优于网站上目前未进行任何匹配优化的结果．也可以看到，所提方案在有些课程方面有些课程的判断结果低于专家判断，主要因为在匹配考虑因素中缺少完整的信息引导会产生一些偏差．

图5 在线学习需求匹配度分析

4 结 论

本文针对在线学习课程教学评价优化问题，基于对教学中三类评价特征的分析，采取将形成性评价融入到问题建模当中展开研究，通过收集教学过程中的各环节信息进行综合分析评判，给出适用于学生的在线课程教学评价优化方案．通过网站脚本提取数据进行分析，对前后学习耗时分析、讨论区与学生回访次数对比等方面验证了所提方案的性能，并引入专家评判从宏观维度加以印证．分析结果表明所提方案可以较好地优化当前在线课程教学评价体系．

[1] Bloom B S. Evaluation to improve learning[M]. New York: McGrawHill，Inc, 1977．

[2] Cheng W &Warren Martin. Peer assessment of language proficiency[M].http://ira.lib.polyu.edu.hk/bitstream/ 10397/618/1/LT_298.pdf. 2005．

[3] 黄婷婷．学堂在线网络课程的互动行为研究[J]．教育现代化，2015（9）：11-13．

[4] Edgier. Approaches to measurement and evaluation. studies in educational evaluation[M]. Educational Leadership, 1993．

[5] 吴会琴，居海清．慕课背景下的“电机与电气控制”在线课程开发的探索[J]．机械职业教育，2015（10）：21-24．

[6] 赵赳．云南干部在线课程资源建设现状分析及对策研究[J]．软件导刊教育技术，2015，14（1）：70-73．

[7] Higher Education Department. College English curriculum requirement[M]. Higher Education Press, 2007．

[8] McMillan J H. Classroom assessment[M]. Boston: Allyn & Bacon, 2004．

[9] 李红霞，曾英姿．OCs在线课程时代高校图书馆的角色定位——基于MOOC、SOOC及SPOC的探索[J]．现代教育技术，2015，25（5）：59-64．

[10] 金瑾慧．大规模开放在线课程的国内现状分析及发展研究[J]．亚太教育，2015（09）：292-292．

[11] 穆肃．机遇与挑战：从开放教育资源到开放教学过程——从远程教育视野出发对开放在线课程的思考[J]．中国电化教育，2015（8）：52-58．

[12] Scriven. The methodology of evaluation[M]. Washington DC：American Educational Research, 1967．

Evaluation and Optimization of Online Course Learning—Based on Big Data Analysis

GUO Ling1, GUO Zerui2

（1. Zhuhai City Polytechinc, Zhuhai, Guangdong519090; 2. Mathematical And Statistical School ,Central China Normal University，Wuhan, Hubei 430070, China）

How to build up a teaching evaluation system for online courses is a pressing issue in an era when online learning is becoming more and more popular. Lacking a face-to-face communication and an accurate classroom appraisal of students’ ability, online learning overlooks process evaluation, which results in a one-way and oversimplified evaluation. After analyzing the existing problems and the evaluation data, this article puts forward an optimized evaluation system for online course learning. Linguistics and program language courses are taken as examples to prove that the above mentioned optimized evaluation strategies can help students improve their study and make better use of the courses.

Big data; online courses; demand match

TP399

：A

：1672-0318（2017）01-0045-07

10.13899/j.cnki.szptxb.2017.01.010

2016-05-19

*项目来源：中国成人教育协会“十二五”成人教育科研规划2015年度一般课题《终身学习理念下学历与非学历教育一体化设计研究》（课题批准号：2015-095Y）

郭 玲（1970-），女，湖南长沙人，讲师，双学士，研究方向：计算机应用、教育技术．

郭泽睿（1998-），男，本科，研究领域：应用数学．