学习行为分析与质量评估的技术和模型研究

曹 菡，亓 瑶，于汪洋，刘永勃

（陕西师范大学 计算机科学学院，陕西 西安 710062）

学习行为分析与质量评估的技术和模型研究

曹 菡，亓 瑶，于汪洋，刘永勃

（陕西师范大学 计算机科学学院，陕西 西安 710062）

探讨学生网络学习行为分析与质量评估的技术与模型，提出一套完整的学习行为分析与质量评估方案，并以Blackboard网络教学平台的学习分析实例指出学习分析技术在网络学习分析中的应用。

混合式教学模式；学习行为分析；网络学习评估；评估指标；Blackboard教学平台

1 背 景

目前，网络学习行为分析与效果评估已成为教育界普遍关注的热点问题。早在2005年，Romero等就开始对Moodle教学平台日志的学习分析[1]。近年来国内顾小清、李青、祝智庭等也从不同角度对学习分析的研究和发展做了综述性研究[24]。魏顺平以实例从管理者、辅导教师和学习者等多个视角展示了学习分析技术在网络学习分析中的应用[5]，李杏研究了教师网络学习行为分析及其系统模型[6]，王均霞给出了现代教育技术网络课程学习评价的设计[7]。然而现有的网络学习行为分析及评估模型还存在着评估指标不完善，不能很好地处理不确定性和分析网络学习轨迹等方面的问题，而且也很少有教学行为分析和质量评估模型在网络教学中真正发挥作用。

2 学习行为分析与质量评估体系的构建

指标体系构建是学生网络学习行为分析与质量评估的基础，为行为分析与质量评估提供依据，行为分析与评估系统反过来验证指标体系的正确性，检测指标体系的构建是否科学合理。

1）多级评估指标体系的构建。

指标体系的构建通常基于德尔菲法和层次分析法。评估指标体系设计的一般过程是：先对目标进行分解，导出评估对象特征，然后建立评估标准，进行标准的描述，确立价值取向的原则，最后确定指标的权重。

以AHP层次分析法构建学生网络学习行为及效果评估指标体系为例。构建学生网络学习行为及效果评估体系时，应针对学生网络学习行为分析与质量评估普遍关注的问题，结合网络学习学生群体的主要特征，参考中国网络教育技术标准CELTS的近30项规范，以指导性标准、学习环境相关标准、学习资源相关标准、学习者相关标准、教育管理相关标准等5类标准为目标。以学习成绩、参与程度等各项重点考虑的目标因素为基础，选取多位不同学科专业的专家，利用层次分析法中的成对比较法对模型中的各个影响因素即指标进行赋值。在此基础上对专家赋值的结果进行反复的回溯与求证，直至各位专家对各个因素的赋值结果趋于一致，得到基于目标的多级评估指标体系。图1为基于层次分析法构建的学习资源易用性指标AHP模型。

专家对各指标进行赋值，建立层次模型后，为保障决策结果的正确性，还需构造各层次的判断矩阵，并对所构建的指标体系的判断矩阵进行一致性检验。

2）权值寻优。

图1 学习资源易用性指标AHP层次模型

在求得初始指标权重的基础上，采用蚁群算法、粒子群算法等，根据不同专家的历史值数据对权值进行寻优，获得更加合理准确的指标权重。

3）评估数据加权融合。

运用证据理论合成法则，对合成法则进行加权处理。由专家对各个指标的重要程度进行评分选择，并进行权值优化以获取最终较为客观的指标权重；最后，运用证据理论的合成法则将多个指标的评估值结合获取的各指标权值进行数据融合，综合评估出最终的指标等级。

4） “不确定”性处理。

由于获取的各项指标的评估信息必然存在诸多的“不确定”性，在云模型理论的基础上，利用主观的AHP法和客观的熵权法相结合来确定各指标的权重，进行权重的优化融合，这样在对指标进行评估时结果更加客观精确。

云模型的特性：云模型所表达概念的整体特性可以用云的数字特征来反映，云用期望（expected value）、 熵（entropy）、 超 熵（hyper entropy）3个属性作为云的数字特征。

基于云模型处理网络教育资源评估的“不确定”性，首先要建立网络教育资源及网络学习行为质量评估多级指标体系，方法如前所述；其次是结合层次分析法和熵权法确定指标综合权重。针对网络教育资源的易用性评估，基于云模型的网络教育资源及网络学习行为质量评估模型如图2所示。

图2 基于云模型的网络教育资源及网络学习行为质量评估模型

网络教育资源及网络学习行为质量评估是一个多目标决策问题，需要以指导性标准、学习环境相关标准、学习资源相关标准、学习者相关标准、教育管理相关标准等5类标准为目标进行合理分析比较。

（1）AHP确定指标主观权重，利用层次分析法确定指标权重步骤与前（2）同。

（2）熵权法确定指标客观权重，利用熵权法确定指标权重的步骤如下：

步骤1：构造指标评估矩阵如下：

其中：m为评估指标个数，n为评估对象个数。

步骤2： 将评估矩阵进行标准化处理得R=(rij)mn，其中rij称为第j个度量对象在指标i上的值，且rij∈[0,1]。

步骤3：计算评估指标熵值为

步骤4 由熵值计算评估指标熵权值为

（3）确定指标综合权重，层次分析法（AHP）对指标主观赋权，忽视了评估指标权重的客观性。AHP难以避免人为因素和模糊随机性对指标重要程度的影响；熵权法不能充分体现专家和决策者的建议，可能会造成指标的实际重要程度与权重值不相符合。基于此，采用AHP法和熵权法相结合来确定指标的综合权重。

设采用AHP法确定的权重为λi，熵权法确定的权重为θi，则指标 综合权重为

（2）、B磨分离器挡板开度为30°、40°、50°时，煤粉细度R90分别为22.8%、24.0%、24.4%，随着分离器挡板逐步开大，煤粉细度虽逐步增大，但调节范围较小，因此可见B磨分离器挡板对煤粉细度的调节能力较差；

由式（4）可得综合权重 ω=(ω1,ω2,ω3, ωm）。

5）仿真实验。

对已构建的多级指标体系和质量评估模型，采集网络教学平台的学习数据，进行仿真实验，评估该指标体系的科学性和有效性。

3 学习行为分析与质量评估模型的设计

单纯以定性评估的模型、方法或定量评估的模型、方法都无法有效、全面进行学习行为分析与质量评估，因此需要采用定性评估和定量评估相结合的评估模型和方法。①定性评估和定量评估相结合；②人工智能与机器学习；③社会网络模型；④数据挖掘与数据仓库。

网络学习行为及效果评估的模型、方法如图3所示。

图3 网络学习行为及效果评估的模型与方法

4 教育云服务平台总体架构

教育云服务平台综合运用多种成熟的信息技术手段，建立完整的教学资源管理与评估平台，其总体架构如图4所示。

5 学生学习行为分析实例

本节通过Blackboard网络教学平台的学习分析实例来展示学习分析技术在网络学习分析中的应用。研究对象选取了陕西师范大学2015年4—7月在Blackboard平台中注册并使用数据库课程资源的计算机科学与技术专业两个班的学生，共71人。研究过程中所使用的数据均来自Blackboard平台。

图4 教育云服务平台总体架构

5.1 研究过程

5.1.1 学习者学习行为分析

图5 点击量与成绩关系散点图

5.1.2 关联分析

本节通过关联分析得出学生Blackboard平台的学习行为与其学习成绩的相关性。

1）点击量与成绩。

通过分析学生的考试成绩并进行抽样对比，发现大多数期末成绩较高的学生，他们对平台的点击量相对也较高，期末成绩较低的学生，平台的点击量相对也较低。在进行相关分析前，可以通过散点图初步确定两个变量间是否存在相关趋势。如图5所示，通过散点图，可以得到点击量和成绩两组数据的分布关系。通过总计拟合线，发现点击量和成绩之间有正相关关系，线性相关系数为0.400。确定了两组数据的相关关系后，下一步进行相关性分析，以获得点击量和成绩之间更为精准的相关关系数据。从相关分析的结果可以看出，平台访问量和期末成绩之间不相关的假设检验值P为0.000，小于0.01，所以否定原假设，认为平台访问量和期末成绩之间是相关的。平台访问量和期末成绩之间的相关系数是r=0.632，0.5＜r＜0.8,所以平台访问量和期末成绩之间是中度相关的关系。平台点击量越高的学习者，其期末成绩越高。

2）点击量与参与度。

单从研究对象的点击量来说，可能存在数据误差，影响最终的结果，比如某一部分学习者只是访问了平台，点击了某一部分学习内容，其本身并未习得知识，所以为了确保分析结果的正确性和准确性，本研究对研究对象在平台中的题库和章节习题中的完成情况作了统计，并把这些情况转化成参与度这一属性，重新获取一组数据，再次对参与度和成绩进行相关性分析。从结果中可以看出，平台参与度和期末成绩之间不相关的假设检验值P为0.000，所以平台参与度和期末成绩之间是相关的。平台访问量和期末成绩之间的相关系数是r=0.784，平台参与度和期末成绩之间是中度相关的关系。平台参与度越高的学生，其期末成绩也越高。

3）内部差异性。

进一步把两个班的学生分别看作是一个独立的样本进行分析，1班的样本数量是37，2班的样本数量是34。两个班由同一位老师教授，上课时间也相同。采用控制变量法的思想，通过对两个班的成绩进行差异性检验，得到统计结果如表1、表2所示。

表1 方差Levene检验

表2 均值T检验

根据方差Levene检验值和均值T检验判断两个班成绩是否有差异性。表2的方差Levene检验值中，方差相等的情况下，F值是3.627，相伴概率Sig=0.61，大于0.05，不能拒绝原假设，即这时方差是齐性的。再考察均值T检验中“假设方差相等”的情况，Sig=0.011，小于0.05，达到了显著水平，拒绝T检验的零假设。也就是说，两个班的人均平均成绩存在显著差异。表2中，从样本的均值差的95%置信区间看，区间没有跨0，也说明两个班的成绩平均值存在显著差异。

另外对比点击量数据可以发现，1班的平均平台点击量为130.73，而2班的平均点击量为110.21，1班的平均点击量比2班高出了18.7%，由此从另一个角度说明了，平台的访问量越高，学习者取得的成绩越好。

6 结 语

我们提出的理论研究和实例分析，只有实时、全面地采集、分析学习者的学习行为信息，才能为学习者量身定做最适合的指导。解决这个问题的首要方法是在国家权威部门的评估指标体系基础上，借鉴国内外网络教育标准和规范，探索制定多级多样的高等教育、中小学教育网络学习评估指标体系，进而根据指标体系来研究构建学习者的行为模型，再根据模型采集学习行为数据，进行合理分析评估，给出指导建议。

[1] Romero C, Ventura S, Garcia E. Data mining in course management systems: Moodle case study and tutorial[J]. Computers &Education, 2008(1): 368-384.

[2] 顾小清, 张进良, 蔡慧英. 学习分析: 正在浮现中的数据技术[J]. 远程教育杂志, 2012(1): 18-25.

[3] 李青, 王涛. 学习分析技术研究与应用现状述评[J]. 中国电化教育, 2012(8): 129-133.

[4] 祝智庭. 学习分析学: 智慧教育的科学力量[J]. 电化教育研究, 2013(5): 5-12.

[5] 魏顺平. 学习分析技术: 挖掘大数据时代下教育数据的价值[J]. 现代教育技术, 2013(2): 5-11.

[6] 李杏, 谢先成. 教师网络学习行为分析及其系统模型探究[J]. 天津电大学报, 2015(1): 62-66.

[7] 王均霞, 陈明选. 高校网络课程学习评价的设计与实现——以“现代教育技术”网络课程为例[J]. 中国电化教育, 2011(8): 70-72, 76.

[8] 李德毅, 刘常昱. 论正态云模型的普适性[J]. 中国工程科学, 2004(8): 28-34.

1672-5913(2017)11-0043-05

G642

2016年陕西师范大学校级重点教学改革综合研究项目“面向师范院校计算机专业本科生的工程能力培养与评估研究”；陕西师范大学教师教育招标项目“基于信息技术教学的中小学教师教学方法和教学效果研究”；陕西师范大学“名师工作室”专项建设经费资助项目。

曹菡，女，教授，研究方向为学习分析、空间数据挖掘、智慧旅游，caohan@snnu.edu.cn。

（编辑：郭田珍）