基于HMM模型的网络课程学习过程多维评价研究

魏勍颋 邹宏 左有遊

摘要：网络课程学习过程评价形式单一的问题亟待解决。因此提出一种基于隐马尔可夫模型的多维评价方法，对学生学习事件进行持续跟踪和统计，运用隐马尔可夫模型识别隐含在学习事件序列中不同维度学习状态序列，将其作为网络课程学习过程多维度评价结果。实验表明，该评价方法准确率、精度和召回率分别平均达到0.64、0.75和0.80。基于HMM模型的网络课程学习过程多维评价结果可有效反映学生学习状态过程性变化。

关键词：网络课程;学习过程;多维评价;隐马尔可夫模型

DOI：10. 11907/rjdk. 192679 开放科学（资源服务）标识码（OSID）：

中图分类号：G434文献标识码：A 文章编号：1672-7800（2020）005-0247-05

0 引言

网络课程因其交互、共享和开放的优势，已成为传统课堂教学改革的一种重要形式。与传统课堂教学一样，学习评价是网络课程学习的一个重要环节，是检验学习效果是否达到预期教学目标的有效手段。近年来，网络课程学习评价不再以关注学习成果作为唯一评价指标，而是把关注点更多地放在对学习过程的考核上[1]。但是网络课程学习活动大部分是由学生自主进行的，教师无法面对面地了解学生学习状态。即使许多学习平台提供了作业、测验、讨论和学习统计等功能，在一定程度上可反映学生学习状态，但教师仍然很难完整地把握每个学生学习过程，只能简单地根据一些指标给出终结性或阶段性分数或等级。

因此本文针对网络课程学习过程，提出一种有效的评价方法——基于隐马尔可夫模型（Hidden Markov Model，HMM）[2]的多维评价方法。该方法可综合分析和评价学习者整个学习过程，不同于传统单一的分数或等级评价。具体指对每位学习者学习过程中的学习事件进行持续跟踪和统计，运用隐马尔可夫模型识别隐含在学习事件序列中不同维度学习状态的序列，作为网络课程学习过程多维度评价结果。应用该方法的学习过程评价目的不再是分出优劣，而是让教师和学生把握学习状态变化，找到学习进步或退步的内在规律，从而更好地促进学习。同时本文还提供一套可进行学习数据分析与学习过程评价的自动化软件工具，可较方便地利用现有网络教学平台学习数据，对平台上已开设的课程进行学习过程评价。

1 网络课程学习过程评价研究现状

网络课程学习过程评价指在网络课程学习过程中，在过程性评价等理论指导下，依据相关评价标准，利用计算机网络记录和跟踪技术，从学习者学习过程中学习动机、学习方法和学习效果等多维角度进行的持续跟踪评价活动[3]。目前国内大多数高校已建立网络教学平台，并在互联网上开放了慕课、微课，由此网络课程学习过程评价研究成为教育技术研究热点。相关研究工作可分为评价标准、评价指标体系、评价方法和评价工具等几个方面。本文研究工作可归于评价方法与工具范畴。

评价标准方面的研究工作国外居多。比较著名的网络学习评价标准包括Lynette Gillis等[4]提出的“网络学习认证标准（E-Learning Certification Standards）”、英国Wales Bangor大学Sandy Britain等[5]完成的“虚拟学习环境的教育评价框架（A Framework for Pedagogical Evaluation of Virtual Learning Environments）”，以及美国国家教育政策研究所和BlackBoard公司联合发布的“在线基准质量（Quality On The Line）”[6]。朱凌云等[7]通过比较分析以上标准，总结出网络课程评价应遵循全面、客观和唯一原则。此外，还有美国社会训练与发展组织制定的网络课程认证标准（E-learning Courseware Certification Standards）[8]、欧洲标准委员会制定的质量保证指南（Quality Assurance Standard）[9]和我国教育部科技司开展的现代远程教育标准研究项目[10]。高丹丹[11]指出，国内外制定的标准在评价组织、数据定量、学习效果评价等方面涉及不多。

评价指标体系方面的研究工作集中在国内。王均霞等[12]就“现代教育技术”课程确定了学习能力目标、 知识理解目标和技能应用目标为课程的评价目标，并基于此设计了相应评价指标体系;赵蔚等[13]从动机、过程和效果3个维度构建网络学习评价体系，设计了不同的功能模块;王江[14]建立了包含知识成果、资源利用、交流协作及网络态度4个维度的网絡学习过程评价模型，并使用层次分析法确定了各评价指标的权重;杜茹娟[15]以实际网络学习平台为基础，从用户日志及数据库中提取用户行为数据作为指标，找出其中与学习成绩显著相关的16项指标;李君玉等[16]研究了学生对网络学习平台的访问时长与其学习成绩的相关性。但这些评价指标体系研究大多从教育学意义上进行分析和描述，因此相关模型一般无法采用计算机进行模拟和仿真。

网络学习评价方法主要包括总分法、加权平均法、模糊综合分析法和层次分析法[14]。肖凤翔等[17]在课程评价上提出采用3种方法：①通过等级评价量表测评予以量化分值最终得出加权平均值;②一级指标采用模糊综合评价统计模糊综合评价结果;③采用苏格拉底式研讨评定法进行质性研究。郑志高等[18]在对xMooc的学习评价研究中，通过对Coursera、ed X及 Udacity 3个平台各门课程学习评价方法进行梳理和统计分析，认为这些网络课程评价还是近似于传统学习评价，缺少学习过程评价。

常见学习过程评价工具包括：电子档案袋、问卷评估表、学习契约等。电子档案袋评价是以音频、视频、图片、文本等多种媒体形式记录学习过程的数据，并收集和组织在电子档案袋中，是学习者学习过程的全纪录[19];问卷评估表是以问题或评价条目组织的表单，让学习者通过回答预选设计好的问题启发反思;学习契约是一份学习者拟定了学习目标、学习内容和方法、学习时间和评估方式的合同，通过检查学习者是否履行契约达到学习过程评价的目的。但这些评价工具操作比较复杂，容易让学习者产生回避评价的心理，而且评价可能存在主观性误差，使评价结果无法准确反映网络课程学习者各阶段学习状态变化。

2 基于隐马尔可夫模型的网络课程学习过程多维评价

学习评价不但需关注学习结果，更应关注学习过程中的进步[20]。遵循该思想，本文将模式识别领域经典的隐马尔可夫模型运用到网络课程学习过程评价中。从学习动机、学习方法或学习效果3个维度，通过识别学习过程状态序列，从本质上理解学习过程中的现象和规律，提出不同于现有研究常用的分数（量性）或等级（质性）评价的一种评价结果形式。

2.1 评价维度

网络课程的学习是一个多元素协同作用的复杂过程，包含学习者学习动机、学习方法和学习效果等要素。学习动机是引发与维持学习行为、并使之指向一定学业目标的一种动力倾向，是学习的起因;学习方法是通过学习实践总结出的快速掌握知识的方法，是学习过程的推动因素;学习效果是学习过程的成效和结果。三者缺一不可。因此，参照文献[3]对网络课程学习过程评价的定义，本文从学习动机、学习方法和学习效果3个维度入手，研究网络课程学习过程多维评价方法。

2.2 评价结果形式

学习动机、学习方法和学习效果这3个维度，对应网络课程学习过程的不同要素，其在某个学习阶段总处于一定的状态。例如，学习动机的状态可以是强或一般，学习方法状态可以是适合或不适合，学习效果状态可以是理想或不理想。本文将各维度网络课程学习过程评价结果表示为维度要素在不同学习阶段所处状态的序列，采取一种简化的维度要素状态集合，如图1所示。

以学习动机维度为例，如果评价时间范围为4个连续的教学单元，评价结果可能表示为学习动机要素的状态序列“q1q2q2q1”。将几个维度的状态序列综合在一起，构成整个网络课程学习过程评价结果。

2.3 评价依据

学习动机、学习方法和学习效果在不同学习阶段所处状态是隐含的，并不能被直接观测到，只能通过观察各阶段与网络课程学习活动相关事件，分析各维度要素状态变化序列。这些事件往往是特定学习状态下才会产生。譬如，学习动机强时进入课程的次数增多，学习方法适合时参与课程活动的次数增多，学习效果令人满意时阶段测验分数也会同时提高。最终本文选择了比较容易观测和统计的3种类型事件，即访问数、任务完成比例、测验成绩，分别作为与学习动机、学习方法和学习效果状态相关的代表性事件，如图2所示。其中任务是指教师布置的学习任务，包含学习PPT、观看视频及上交作业等。d1、d2和d3均为设置的阈值，通过实验反复比较，本文方法将其分别设为10、0.5和60。

2.4 评价模型

为识别网络课程学习过程中各维度学习状态序列，本文使用模式识别领域的隐马尔可夫模型（Hidden Markov Model，HMM）。HMM是一种统计模型，用来描述一个含有隐含未知参数的马尔可夫过程。该类过程在每个时间点处于某个状态，每个状态的转移只依赖于状态序列中前k个状态。当k=1时，称为一阶马尔可夫过程。隐马尔可夫模型实际上是标准马尔可夫模型的扩展，其过程中各时刻状态是隐藏的，不能直接被观察到，只能通过分析观测状态序列获得。任意时刻是哪一种可观测状态仅依赖于当前时刻隐藏状态。

在网络课程学习过程中，学习动机、学习方法和学习效果变化也可认为是具有马尔可夫性质的随机过程。以网络课程学习动机状态变化为例，当表示为随机变量S，则P（St+1=s | S0，…， St）=P（St+1=s | St），符合马尔可夫过程特征。同时学习过程状态是隐藏的，只能通过观测学习事件状态，倒推学习过程状态。因此，本文分别构建学习动机、学习方法和学习效果的隐马尔可夫模型，评价网络课程学习过程。

2.4.1 模型定义

通常隐马尔可夫模型可以用5个元素描述λ=（Q，V，π，A，B），包括2个状态集合（隐含状态集合Q、可观测状态集合V）和3个概率矩阵（初始状态概率矩阵π、隐含状态转移概率矩阵A、观测状态转移概率矩阵B）。对于学习动机、学习方法和学习效果的HMM模型，隐含状态集合分别为图1所示的Qa、Qb和Qc。可观测状态是各维度要素的学习事件，集合分别为Va、Vb和Vc，如图2所示。而另外3个参数定义如下（以包含N个隐含状态和M个可观测状态的HMM为例）：

2.4.2 模型参数设置

构建隐马尔可夫模型的一个重要问题是模型参数π、A和B的设置。如果已知样本观测序列和隐藏状态序列，可用极大似然估计方法，先統计初始隐藏状态、隐藏状态转移以及观测状态转移频数，再计算参数近似估计。但在多数情况下，只有样本观测序列，无法得到对应隐藏状态序列。

本文采用Baum-Welch算法[21]，对学习动机、学习方法和学习效果的HMM模型中参数π、A和B分别进行估计。该算法利用已知样本观测序列，通过学习反推最有可能导致这样结果的参数值，即求解使P（O|λ）最大化的π、A和B。参数学习的过程由最大期望算法（Expectation-Maximization Algorithm，EM）[22]实现：先确定观测序列O和隐藏状态序列I的对数似然函数logP（O，I|λ），再求该函数关于随机变量I的数学期望Q，然后通过求偏导计算使Q极大化的各个参数式，在多次迭代后获得模型参数π、A和B。

2.4.3 基于HMM模型的状态序列解码

在本文方法中，网络课程学习过程的评价等价于：根据学习动机、学习方法和学习效果的观测序列求取最有可能的状态序列。该问题实际上是隐马尔可夫模型解码问题，即根据模型λ为观测序列O=O1O2…OT寻找一条最有可能的状态序列P*，模型在状态序列的每一个隐藏状态下均生成一个可观测事件，要求使得P（O|P*）最大。

本文采用Viterbi算法[21]解决该问题。Viterbi算法使用动态规划求解概率最大（最优）路径。从t=1时刻开始，递推计算在时刻t状态为i（1≤i≤N）的各条部分路径最大概率。直到计算到时刻T，各条路径最大概率即为最优路径概率。将每个时刻部分路径概率最大状态连接起来，即得到最优路径所有节点。

3 实验

为对本文方法进行验证，从南昌大学网络课程学习平台导出2019年生物信息学课程378名学生连续4个月的真实学习数据。根据图2所示的学习事件的定义，将数据转换为学习动机、学习方法和学习效果观测序列集合。观测序列集被分为3个子集：训练集、验证集和测试集，序列样本数分别为131、125和122。

先使用训练集观测序列学习HMM模型的参数，对验证集学生发放调查问卷，获取学生对各阶段学习动机、学习方法和学习效果状态自我评价;使用验证集观测序列预测状态序列结果，与调查问卷相比较，检验模型有效性并调节模型;最后对测试集学生的学习动机、学习方法和学习效果的状态序列进行预测，作为网络课程学习过程评价结果。

3.1 评价准备

3.2 模型验证

以调查问卷的结果作为参照，采用准确率（Accuracy）、精度（Precision）和召回率（Recall）3个指标，衡量建立的HMM模型对验证集学生的学习动机、学习方法和学习效果预测结果是否符合学生自我评价。指标定义如下：

其中TP代表预测正确的正样本，TN代表预测正确的负样本。正样本指状态为“q1”的样本，负样本指状态为“q2”的样本。FP和FN则代表错误的正/负预测。模型对验证集的预测结果如表1所示。

从对验证集预测结果来看，本文建立的HMM模型预测准确率、精度和召回率分别平均达到0.64、0.75和0.80。尤其是对学习动机正样本的预测，召回率可高达0.98，说明模型对学习动机处于“强”的状态比较敏感。

3.3 预测分析

使用验证并调节后的HMM模型，对测试集122名学生的学习动机、学习方法和学习效果的状态序列进行预测，作为网络课程学习过程的评价结果。预测结果中，第1个月的学习状态始终为q1，这表明课程学习开始时，学生学习动机均为“强”，学习方法为“适合”，学习效果为“理想”。但是，从第2个月开始，学生学习状态出现了分化。表2列出了3个维度8种可能的状态序列实际对应的预测样本数。图5给出了表2预测结果的时间变化示意图，圆圈代表状态（图中只有q1和q2两种状态），带箭头的线条代表状态在不同月之间的跳转，线条粗细程度根据状态序列预测样本数进行设定。

从表2和图5可以看出，测试集107名学生（107/122=87.7%）在4个月的学习过程中学习动机始终保持“强”的状态，15名学生（12.3%）学习动机从第2个月起持续为“弱”。这说明，学生学习动机具有时间连续性，课程学习的第2个月对激发学生的学习兴趣至关重要。

测试集28名学生（23.0%）的学习方法始终为“适合”的状态，67名学生（54.9%）的学习方法从第2个月起变为“不适合”，其它3种状态序列的27名学生（22.1%）学习方法在中间某一个月或者两个月暂时为“不适合”，最后变为“适合”，没有学生在学习的最后一个或两个月学习方法由“适合”变为“不适合”。这说明学习方法的掌握一般在学习过程前期，有部分学生一开始就掌握了适合自己的学习方法，大部分学生从第2个月被困于错误的学习方法，少量学生可在学习中间阶段纠正错误的学习方法。

测试集52名学生（42.6%）的学习效果始终为“理想”状态，18名学生（14.8%）从第2个月起学习效果变为“不理想”并一直陷于該状态，33名学生（27.0%）在中间两个月学习效果为“不理想”，最后一个月才变为“理想”，其它两种状态序列的19名学生（15.6%）在学习的最后一个或两个月学习效果由“理想”变为“不理想”，没有学生可在中间某一个月学习效果由为“不理想”突变为“理想”。这说明学习效果的负作用周期较长，一旦某个月的学习效果变差，将严重打击学生学习积极性，使后续一个或多个月学习效果持续不佳。

4 结语

基于隐马尔可夫模型的网络课程学习过程多维评价是网络课程教学方法改革的一种新探索。在跟踪和统计学习事件的基础上，构建不同维度学习状态的隐马尔可夫模型，根据学习事件序列预测学习状态序列，并将其作为网络课程学习过程多维评价结果。课题组已在生物信息学课程网络辅助教学中运用该学习过程评价方法。实践表明，学习状态序列形式的评价结果比较符合学生对各阶段学习动机、学习方法和学习效果的自我评价。基于该方法的评价结果，任课教师可较全面地把握学生学习状态变化过程，在课程成绩评定时考虑该评价结果。此外，本文方法还可以推广到国内其它高校网络教学平台，或在互联网慕课、微课中使用，为我国教育现代化建设助力。

下一步将把基于隐马尔可夫模型的网络课程学习过程多维评价方法应用于南昌大学网络教学平台其它的网络课程，改革学习过程评价形式，以期激发学生学习兴趣，提高课程教学质量，改进课程管理流程，创新课程学习考核方式。

参考文献：

[1] 万正刚. 基于SCLEs 的网络学习过程评价方法研究[J]. 科教导刊，2012（3）：45，49.

[2] RABINER L， JUANG B. An Introduction to Hidden Markov Models[J]. IEEE ASSP Magazine， 1986（3）： 4-16.

[3] 王娜. 网络课程中学习过程评价的方法研究[D]. 长春：东北师范大学，2010.

[4] 黄荣怀，张进宝，董艳. 关于网络教学过程认证标准的研究[J]. 开放教育研究，2003（5）：5-9.

[5] BRITAIN S，LIBER O. A framework for pedagogical evaluation of virtual learning environments[R].  U.S.： Joint Information Systems Committee （JISC），1999.