在线学习自动评价模式构建与应用研究

【摘 要】

2011年以来，在美国顶尖大学中迅速发展起来并广泛影响世界的MOOCs（大规模开放在线课程）无疑给“在线学习”树立了成功应用的典范。不同于以往的开放教育资源运动，MOOCs既有优质资源的共享，更有学习支持服务的提供。这使开放在线课程提供者面临一个严峻问题，即日益增长的学习者和有限的师资之间的矛盾。本文尝试采用技术方法缓解这一矛盾，以在线学习的评价问题为突破口，从辅导教师视角提出了“基于学习过程数据挖掘的在线学习自动评价模式”，并选取基于Moodle平台开展的纯在线培训日志数据为样本开展模式应用，借鉴已有研究成果构建在线学习评价指标体系，并设计了指标评分算法，采用层次分析法确定评价指标体系权重，并以新的评价指标体系，基于学习过程数据挖掘为某课程学生自动评分。结果表明，自动计算得出的成绩与课程辅导教师人工给出的成绩有着较高的一致性，从而验证了在线学习自动评价模式的有效性。

【关键词】 MOOCs；在线学习；学习分析；自动评价；层次分析法

【中图分类号】 G40-057 【文献标识码】 A 【文章编号】 1009—458x（2015）03—0038—08

引 言

2011年以来，在美国顶尖大学中迅速发展起来并广泛影响世界的MOOCs（大规模开放在线课程）逐渐发展成为在线学习的成功应用典范。MOOCs模式表明，只有当教学各要素（包括课程资源、课堂教学、师生交流、学生练习等）系统、完整呈现，并由辅导教师提供各种学生支持服务时，在线学习才表现出一定的效果[1]。不同于以往的开放教育资源运动，MOOCs既有优质资源的共享，更有学习支持服务的提供。这就带来一个矛盾，即全世界学习者选择学习名校课程的需要与名校有限师资的矛盾。以MOOCs edX为例，它曾经开设的“Circuits and Electronics” （6.002x）课程有155，000名学生注册，教学团队仅有12名教师[2]，势必要借助各种技术手段来自动完成一些教学任务，如批改作业、答疑、学习提醒、评价学习成绩等。本文将以在线学习的自动评价模式和方法为对象展开研究。

在线学习情境下，辅导教师虽然不能像在面授教学中那样亲眼看到每位学生的学习表现，但是学习平台却能记下教师不能记下的学生做出的各种行为，包括登录平台、浏览资源、做作业、参与讨论，等等。基于这些数据记录，辅导教师可以间接了解到每位学生的学习表现，并基于这些表现做出客观的学习评价。可以说，通过在线学习平台对学习过程的记录，计算机对学生的在线学习表现做出自动评价的做法不仅是可能的，而且对缓解“庞大的学习者群体与紧缺的教师资源”之间的矛盾也是必要的。

目前，分析利用教学与学习过程数据，逐渐成为一个新的研究方向，即“大数据与学习分析技术”。学习分析在许多方面指的是应用于教育领域的“大数据”分析[3]。学习分析是一个新兴的研究领域，旨在应用数据分析为教育系统的各级决策提供参考。对教育工作者和研究人员而言，学习分析在剖析学生与在线文本、课件之间的互动中发挥着至关重要的作用。学生也受益于学习分析的成果，通过开发用于分析学生具体数据的移动软件和在线平台，为学生提供符合他们学习需求的支持服务系统。

从已有在线学习分析研究来看，国内的研究主要处在引进国外研究成果，综述相关概念、工具、模式阶段[4][5][6][7][8][9]，而将学习分析技术应用于解决实际教学问题的实证研究相对较少[10][11]，国外在实证研究方面则走得更快一些。2014年召开的学习分析与知识国际会议，专门设置分论坛对“教与学过程挖掘和评价”这一议题进行讨论，有研究者对当前广受关注的MOOCs课程学习过程展开研究。Coffrin等人采用可视化方法对比呈现学生学习两门MOOCs课程的行为，结果发现两门课程的区别很小，其共同特点是课程刚开始时学生的参与率很高但随后却迅速下降[12]。针对MOOCs课程学生参与程度低的问题，Hickey等选择若干大学的在线课程开展教学实验，提出了13条参与度改善策略，包括开展学生互评、教师颁发奖章等活动来促进彼此间的交流和互相帮助，为学生提供个性化学习建议，并提高学生参与度[13]。本文的重点是将学习分析技术应用于在线学习评价。Leah P. Macfadyen等人尝试采用回归分析方法建立预测模型来预测学生学习成绩，可以看作是一种应用。Leah P. Macfadyen等人以基于BlackBoard平台的在线生物课程学习过程数据为研究对象，选取118名学生为样本，将平台中发生的各类学习活动量的统计值与最终的学习成绩进行回归分析，发现了论坛参与度、邮件发送数量和考试完成数量等三个与学生学习成绩显著相关的关键变量，并建立回归模型，以预测学生的学习成绩[14]。实验表明，该模型预测某门课程不及格学习者的准确率为81%。在国内，马杰等人做了类似的研究，他们对教育技术初级能力培训在线课程相关数据进行分析，构建了各教学模块得分与课程总分之间的预测模型，发现了与学生课程总分呈显著相关的教学模块，由此教师和学生可以通过预测模块快速定位重点模块，从而提高教学效果[15]。可以说，国内在利用在线学习平台开展学习分析技术实证研究方面还比较少，本文提出的基于学习过程数据挖掘的在线学习自动评价与构建学生学习成绩预测模型有所不同，后者的价值是提供了一个预警系统，帮助教师提前发现可能不及格的学生，而前者是为教师提供一个更为客观且省力的评价方案。

来自英国开放大学教育技术研究所的研究表明，要让教师和学生参与到学习分析过程中来，而不仅仅是利用他们产生的数据，他们的介入是解读数据分析结果并使分析结论应用于改进教学和学习的关键[16]。因此，本文拟与某门课程的辅导教师合作，发掘用学习分析技术辅助教师开展在线学习自动评价所用的方法和模式，通过了解辅导教师开展在线学习自动评价的需求，提出“基于学习过程数据挖掘的在线学习自动评价模式”，然后获取教学和学习过程数据进行分析挖掘，并与辅导教师分享分析结论，让辅导教师介入学习分析当中，而不是仅作为研究对象或旁观者。

一、基于学习过程数据挖掘的

在线学习自动评价模式构建

在线学习自动评价是辅导教师按照一定的评价指标体系对学习管理系统记录的学生学习过程数据进行自动挖掘分析并自动转换汇总为学习成绩的过程。利用平台中存储的学习过程数据进行在线学习自动评价也是学习分析技术的一类应用形式，其流程与学习分析流程具有一致性，在线教学绩效评估模式构建可以在一般学习分析模式基础上细化完成。

学习分析模式由“学习分析流程”、“工具与算法”以及“数据与信息”三要素构成，“工具与算法”为“学习分析流程”提供支撑，并产生相应的“数据与信息”，如图1所示。

图1 学习分析模式构成要素

具体到本文提出的在线学习自动评价模式，“分析流程”的关键环节包括学生在线学习自动评价指标体系建立、各观测点数据采集与转换、评价成绩生成与有效性检验等，“工具与算法”包括数据库查询分析器以及“统计分析与可视化”方法、文本挖掘（用于处理讨论区的帖子）、层次分析法等，所用到的“数据与信息”将主要有在线学习平台日志数据表以及讨论区数据表、作业数据表等。该模式的详细情况如图2所示。

该模式建立的关键之处是结合课程特点构建在线学习评价指标体系，可根据在线学习平台记录的学习过程数据特点形成学习评价指标集，如学习态度、协作与互动表现以及作业成绩等一级指标以及若干二级指标；并构建学习评价层次模型，根据指标体系的特点定义相应的权值，结合数学领域的模糊理论和层次分析法，建立非量化与量化相结合的综合评价体系。

二、研究样本

本文的研究样本来自“网络教育从业人员培训”（由国家开放大学主办）。网络教育从业人员培训系列课程包括“在线学习辅导”“在线课程设计”“学生支持服务”“网络教育英语”“新技术教育应用”等10门课程。学生学习基于Moodle平台（网址：http：//etutor.crtvu.cn）开展，并由辅导教师和教学管理人员提供各种学生支持服务。Moodle是目前世界范围内使用最为广泛的开源学习管理系统之一，得到广大师生的普遍认可。Moodle平台的日志功能较为完善，可较完整地记录用户在平台各模块包括讨论（Forum）模块、资源（Resource）模块、作业（Assignment）模块、Wiki模块等发生的多种行为（浏览、写入、修改、删除等），并存储在日志数据表（mdl_log）中。这些完善的日志为开展基于学习过程数据挖掘的在线学习自动评价带来可能。

本文选择“在线学习辅导”课程第N期培训班作为研究样本。“在线学习辅导”第N期培训班有学员23名，辅导教师1名，培训时间从2011年5月3日至6月12日，学习时间为6周，这6周不包含1周的大论文的撰写时间，实际培训时间为7周。培训数据采集时间范围比培训时间要长，从2011年3月1日至12月31日。

三、在线学习自动

评价模式应用

下面以网络教育从业人员培训中的“在线学习辅导”课程学习评价为例，介绍在线学习自动评价模式的应用。

（一）已有评价指标现状

在未参考基于Moodle日志的统计数据的前提下，辅导教师与培训管理者制定了“在线学习辅导”课程评价指标体系（如表1所示）。

表 1 原有课程评价指标

[一级指标＼&权重＼&打分依据＼&评价标准＼&Wiki＼&15%＼&WIKI 百科，学生分组利用WIKI 协作完成主题活动，辅导教师根据参与度、完成情况等进行评分，学生要至少参与一次WIKI 活动＼&合格/不合格＼&论坛＼&15%＼&在线讨论，辅导教师根据学生参与各单元的论坛讨论情况，给予相应分数＼&合格/不合格＼&小论文＼&20%＼&提交一次至少 500 字的小论文＼&合格/不合格＼&大论文＼&50%＼&一篇终期大论文＼&合格/不合格＼&]

据该课程辅导教师反映，该评价指标体系并不能完整反映学生的学习表现，更多的是关注学习的产出，而不考察学习的投入情况。由于只有一级指标，打分单位过大，难以精确给分，往往只能模糊评分，如“合格”“不合格”两种。总的来说，辅导教师在使用评价指标进行评分时难以操作，除大论文外，难以获得精确的评分依据，无法差异化地给出成绩，导致了评价指标难以发挥评价的引导、激励作用。

（二）新在线学习评价指标体系的初步构建

对于在职人员培训而言，过程体验很重要，不仅关注学员的最终结果——学习产出，也应关注平时表现。因此，借鉴胡艺龄等[17]、张生等[18]在在线学习评价指标体系方面的研究成果，作者与辅导教师共同确定从“学习投入”“学习产出”两大维度来评价本课程的学习，并初步拟定在线学习评价指标体系（如表2所示）。其中，每项三级指标（或二级指标）均有一个评分算法，并通过编写SQL查询语句或其他计算机程序加以实现，所得分值均在0到1分范围内，这是实现自动评分的关键。

接下来，将采用层次分析法来确定各级评价指标的权重。

（三）利用层次分析法构建在线学习评价指标体系

1. 层次分析法概述

层次分析法（Analytic Hierarchy Process，简称AHP）是美国运筹学家、匹兹堡大学T. L. Saaty教授在20世纪70年代初期提出的，是对定性问题进行定量分析的一种简便、灵活而又实用的多准则决策方 法[19]。它的特点是把复杂问题中的各种因素通过划分为相互联系的有序层次，使之条理化，根据对一定客观现实的主观判断结构（主要是两两比较）把专家意见和分析者的客观判断结果直接而有效地结合起来，将一层次元素两两比较的重要性进行定量描述。而后，利用数学方法计算反映每一层次元素的相对重要性次序的权值，通过所有层次之间的总排序计算所有元素的相对权重并进行排序。

层次分析法应用的基本步骤包括确定系统总目标、建立多层次递阶结构、确定各层次元素间相对权值、确定各元素整体权重、分析计算结果并提供决策参考等五个环节[20]。

在本研究中，层次分析法主要用来确定各级指标的相对权重和整体权重。我们先根据表2所示的层级评价指标体系构造判断矩阵。

2. 构造判断矩阵并赋值

构造判断矩阵的方法是：每一个具有向下隶属关系的元素如一级指标（称为准则）作为判断矩阵的第一个元素（位于左上角），隶属于它的各个下一级指标依次排列在其后的第一行和第一列。重要的是填写判断矩阵。填写判断矩阵的方法是：向填写人（专家）反复询问，针对判断矩阵的准则，其中两个元素两两比较哪个重要，重要多少，对重要性程度按1～9赋值（重要性标度值见表3）[21]。

表 3 重要性标度含义表

[重要性标度＼&含 义＼&1＼&表示两个元素相比，具有同等重要性＼&3＼&表示两个元素相比，前者比后者稍重要＼&5＼&表示两个元素相比，前者比后者明显重要＼&7＼&表示两个元素相比，前者比后者强烈重要＼&9＼&表示两个元素相比，前者比后者极端重要＼&2，4，6，8＼&表示上述判断的中间值＼&倒数＼&若元素i与元素j的重要性之比为aij， 则元素j与元素i的重要性之比为aji=1/aij＼&]

作者邀请参与网络教育从业人员培训的辅导教师共计6人（涉及三门课程），分成两组，每小组3人（涉及三门课程），按照上述方法，分别将两两比较结果在组内进行算术平均，取其与算术平均值最相近的“1～9”尺度值，得到的统计结果经规整后如表4至表10所示。

表4 两组教师对一级指标两两比较的平均近似值表

[一级指标＼&投入情况（A1）＼&产出情况（A2）＼&投入情况（A1）＼&组1＼&1＼&1＼&投入情况（A1）＼&组2＼&1＼&1/2＼&产出情况（A2）＼&组1＼&1＼&1＼&产出情况（A2）＼&组2＼&2＼&1＼&]

表5 两组教师对二级指标两两比较的平均近似值表（1）

[二级指标＼&时间出勤率

（B1）＼&活动参与率

（B2）＼&参与活动及时性

（B3）＼&时间出勤率（B1）＼&组1＼&1＼&1/2＼&2＼&时间出勤率（B1）＼&组2＼&1＼&1/3＼&3＼&活动参与率（B2）＼&组1＼&2＼&1＼&4＼&活动参与率（B2）＼&组2＼&3＼&1＼&5＼&参与活动及时性（B3）＼&组1＼&1/2＼&1/4＼&1＼&参与活动及时性（B3）＼&组2＼&1/3＼&1/5＼&1＼&]

表6 两组教师对二级指标两两比较的平均近似值表（2）

[二级指标＼&活动频次

（B4）＼&Wiki

（B5）＼&论坛发帖

（B6）＼&小论文

（B7）＼&大论文

（B8）＼&活动频次（B4）＼&组1＼&1＼&1/2＼&1/3＼&1/2＼&1/3＼&活动频次（B4）＼&组2＼&1＼&1/2＼&1/4＼&1/3＼&1/4＼&Wiki（B5）＼&组1＼&2＼&1＼&1/4＼&1/2＼&1/4＼&Wiki（B5）＼&组2＼&2＼&1＼&1/5＼&1/3＼&1/6＼&论坛发帖（B6）＼&组1＼&3＼&4＼&1＼&2＼&1＼&论坛发帖（B6）＼&组2＼&4＼&5＼&1＼&3＼&1/2＼&小论文（B7）＼&组1＼&2＼&2＼&1/2＼&1＼&1/4＼&小论文（B7）＼&组2＼&3＼&3＼&1/3＼&1＼&1/3＼&大论文（B8）＼&组1＼&3＼&4＼&1＼&4＼&1＼&大论文（B8）＼&组2＼&4＼&6＼&2＼&3＼&1＼&]

表7 两组教师对三级指标两两比较的平均近似值表（1）

[三级指标＼&周出勤率

（C1）＼&天出勤率

（C2）＼&周平均学习

小时次数（C3）＼&周出勤率（C1）＼&组1＼&1＼&1/3＼&1/3＼&周出勤率（C1）＼&组2＼&1＼&1/4＼&1/4＼&天出勤率（C2）＼&组1＼&3＼&1＼&1＼&天出勤率（C2）＼&组2＼&4＼&1＼&1＼&周平均学习

小时次数（C3）＼&组1＼&3＼&1＼&1＼&周平均学习

小时次数（C3）＼&组2＼&4＼&1＼&1＼&]

表8 两组教师对三级指标两两比较的平均近似值表（2）

[三级指标＼&参与单元

讨论率（C4）＼&参与平时

作业率（C5）＼&资源

浏览率（C6）＼&参与单元讨论率（C4）＼&组1＼&1＼&2＼&2＼&参与单元讨论率（C4）＼&组2＼&1＼&3＼&3＼&参与平时作业率（C5）＼&组1＼&1/2＼&1＼&1＼&参与平时作业率（C5）＼&组2＼&1/3＼&1＼&1＼&资源浏览率（C6）＼&组1＼&1/2＼&1＼&1＼&资源浏览率（C6）＼&组2＼&1/3＼&1＼&1＼&]

表9 两组教师对三级指标两两比较的平均近似值表（3）

[三级指标＼&参与单元讨论

及时性（C7）＼&参与平时作业

及时性（C8）＼&参与单元讨论及时性（C7）＼&组1＼&1＼&3＼&参与单元讨论及时性（C7）＼&组2＼&1＼&5＼&参与平时作业及时性（C8）＼&组1＼&1/3＼&1＼&参与平时作业及时性（C8）＼&组2＼&1/5＼&1＼&]

表10 两组教师对三级指标两两比较的平均近似值表（4）

[三级指标＼&帖子数（C9）＼&帖子字数（C10）＼&有效术语数（C11）＼&帖子数（C9）＼&组1＼&1＼&2＼&3＼&帖子数（C9）＼&组2＼&1＼&1＼&2＼&帖子字数（C10）＼&组1＼&1/2＼&1＼&2＼&帖子字数（C10）＼&组2＼&1＼&1＼&1＼&有效术语数（C11）＼&组1＼&1/3＼&1/2＼&1＼&有效术语数（C11）＼&组2＼&1/2＼&1＼&1＼&]

3. 计算权向量与检验

计算权向量的方法主要有和法、根法、幂法和特征根法，并要进行一致性检验，以判断矩阵满足一致性情况[22]。下面利用和法分别求取上述表4至表10所示矩阵的特征向量，从而得到各级指标的相对权重。以表4为例，根据表4可分别建立两组教师“一级指标两两比较的平均近似值”组成的矩阵，如下所示。

[AG1=1 11 1]

[AG2=1 122 1]

经一致性检验，C.R.<0.1，利用和法求取这两个矩阵的特征向量，结果如下：

[ωAG1=（0.5，0.5）T]

[ωAG2=（0.33，0.67）T]

通过上述两组教师的权重列向量算数平均最终得出两个一级指标的权重向量为：

[ωA=（0.42 ，0.58）T]

采用同样的方法，进一步计算表5至表10所示矩阵的特征向量，从而得到二、三级指标的权重向量。经检验，表5至表10所示的矩阵，其C.R.<0.1，可以认为每个判断矩阵的一致性都是可以接受的。

[ωB1B2B3=（0.29，0.59，0.12）TωB4B5B6B7B8=（0.06，0.10，0.31，0.17，0.36）TωC1C2C3=（0.13，0.44，0.44）TωC4C5C6=（0.55，0.23，0.23）TωC7C8=（0.79，0.21）TωC9C10C11=（0.48，0.31，0.21）T]

4. 组合权重表的确定

由于指标体系级与级之间存在依存关系，经对二级指标和三级指标的整体权重进行计算，最终得到基于Moodle平台的纯在线学习评价指标体系一级指标、二级指标、三级指标的组合权重体系（如表11所示）。

从指标权重体系来看，“活动参与率（B2）”“时间出勤率（B1）”“大论文（B8）”“论坛发帖（B6）”等二级指标权重较高，是衡量学习成绩好坏的重要指标。

（四）新评价指标体系的应用

依照上述评价指标体系的各项指标，计算“在线学习辅导”课程第N期培训班23名学员各项指标得分（统一采用1分制，即得分在0～1之间），然后根据权重计算总分，最后将总分转换为百分制。最终成绩如表12所示。

可见，基于Moodle日志和新评价指标体系计算得出的成绩与“在线学习辅导”课程第N期培训班辅导教师给出的成绩有较高的一致性，验证了“基于Moodle平台的纯在线学习评价指标体系”的有效性。当然，我们也发现了两处不一致的地方，即学员406和433的得分并不算高，却给了“优秀”的成绩。通过与“在线学习辅导”课程第N期培训班辅导教师交流，得知学员406在参与论坛讨论方面非常活跃，从上表中可看到学员406在“发帖数C9”“发帖字数C10”“使用术语数C11”等三项指标上得分均为1；但406学员在平时作业提交方面表现较差，这是辅导员不曾注意到的。学员433各项表现并非突出，辅导教师承认将该学员评为“优秀”是一种失误，并表示这种基于数据的分析可以辅助辅导教师做出更为精确、省力的打分。

四、研究结论

MOOCs实践证明，开放在线课程对于共享优质资源、提升学习者学习体验具有重大价值，但是在线学习产品与服务提供者必须面对日益增多的在线学习者与有限的在线教学辅导教师之间的矛盾，技术无疑是解决问题的有效途径。本研究从辅导教师视角提出了“基于学习过程数据挖掘的在线学习自动评价模式”，接着收集来自网络教育从业人员培训课程“在线学习辅导”的教学与学习过程数据开展模式应用，并请辅导教师参与评价指标体系制定，最后与辅导教师分享分析结果，帮助他们反思教学中可能存在的问题，真正让辅导教师参与到学习分析中来。本研究的主要结论有：

（1）从辅导教师的角度定义了学习分析技术的应用内涵，提出了“在线学习自动评价”这一概念。在线学习自动评价是辅导教师按照一定的评价指标体系对学习管理系统中的学生学习过程数据进行挖掘分析并自动转换汇总为学习成绩的过程。

（2）基于一般的学习分析模式，从辅导教师视角构建了基于学习过程数据挖掘的在线学习自动评价模式。该模式在“分析流程”方面的关键环节包括学生在线学习自动评价指标体系建立、各观测点数据采集与转换、评价成绩生成与有效性检验等，所用到的“工具与算法”主要有数据库管理系统查询分析器以及“统计分析与可视化”方法、文本挖掘（用于处理讨论区的帖子）、层次分析法等，所用到的“数据与信息”主要有Moodle平台日志数据表以及讨论区数据表、作业数据表等。

（3）选取在Moodle平台进行的在线培训学习过程数据作为研究样本，检验了在线学习自动评价模式的有效性。研究选取国家开放大学网络教育从业人员培训课程“在线学习辅导”第N期培训班的培训过程记录作为研究样本，与课程辅导教师一起建立了新的“基于Moodle平台的纯在线学习评价指标体系”，采用层次分析法确定了各级评价指标的权重，并采用新的评价指标体系为学生自动评分。结果表明，基于Moodle日志和新的评价指标体系计算得出的成绩与辅导教师给出的成绩有较高的一致性，并纠正了辅导教师的某些评分失误。

虽然本研究是以Moodle平台为例检验了在线学习自动评价模式的有效性，但对于其他开源学习管理系统如Claroline、Atutor、Sakai等以及各类商用学习管理系统如Blackboard、网梯远程教育平台等同样适用，因为任何学习管理系统都会记录在平台上发生的各类活动，并汇总成为网络日志，这些日志即是开展在线学习自动评价的基础。当然，不同课程会有不同的考核内容和评价重点，其他课程在参考本研究制定的评价指标体系时应对评价指标进行增减并对指标权重进行重新分配，方可达到预期的效果。

[参考文献]

[1] 李曼丽，张羽，黄振中. 大规模开放在线课程：正在酝酿高等教育革新[N]. 中国科学报，2013-5-30.

[2] Lori Breslow， David E. Pritchard， Jennifer DeBoer， Glenda S. Stump， Andrew D. Ho and Daniel T. Seaton. Studying Learning in the Worldwide Classroom Research into edX’s First MOOC. Research & Practice in Assessment， special summer 2013 issue.

[3] Johnson， L.， Adams Becker， S.， Estrada， V.， Freeman， A. （2014）. NMCHorizon Report： 2014 Higher Education Edition. Austin， Texas： The NewMedia Consortium.

[4] 魏顺平. 学习分析技术：挖掘大数据时代下教育数据的价值[J]. 现代教育技术，2013，（02）：5-11.

[5] 顾小清，张进良，蔡慧英. 学习分析：正在浮现中的数据技术[J]. 远程教育杂志，2012，（01）：18-25.

[6] 李青，王涛. 学习分析技术研究与应用现状述评[J]. 中国电化教育，2012，（08）：129-133.

[7] 张进良，何高大. 学习分析：助推大数据时代高校教师在线专业发展[J]. 远程教育杂志，2014，（01）：56-62.

[8] 李艳燕，马韶茜，黄荣怀. 学习分析技术：服务学习过程设计和优化[J]. 开放教育研究，2012，（05）：18-24.

[9] 徐鹏，王以宁，刘艳华，张海. 大数据视角分析学习变革——美国《通过教育数据挖掘和学习分析促进教与学》报告解读及启示[J]. 远程教育杂志，2013，（06）：11-17.

[10] 郁晓华，顾小清. 学习活动流：一个学习分析的行为模型[J]. 远程教育杂志，2013，（04）：20-28.

[11] 魏顺平. 在线教育管理者视角下的学习分析——在线教学绩效评估模式构建与应用[J]. 现代教育技术，2014，（09）：79-85、93.

[12] Coffrin， C. ， Corrin， L. ， de Barba， P. ， & Kennedy， G. （2014）. Visualizing patterns of student engagement and performance in MOOCs[ A]. In Proceedings of the Fourth International Conference on Learning Analytics And Knowledge[C]. 83-92. ACM.

[13] Hickey， D. T. ， Kelley， T. A. ， & Shen， X. （2014）. Small to big before massive： scaling up participatory learning analytics[A]. In Proceedings of the Fourth International Conference on Learning Analytics And Knowledge[C]. 93-97. ACM.

[14] Macfayden， L. P.， and S. Dawson. 2010. “Mining LMS Data to Develop an ‘Early Warning’ System for Educators： A Proof of Concept.” Computers & Education 54 （2）： 588-599.

[15] 马杰，赵蔚，张洁，赵艳. 基于学习分析技术的预测模型构建与实证研究[J]. 现代教育技术，2014，（11）：30-38.

[16] Sharples， M.， McAndrew， P.， Weller， M.， Ferguson， R.， FitzGerald， E.， Hirst， T.， and Gaved， M. （2013）.Innovating Pedagogy 2013： Open University Innovation Report 2. Milton Keynes： The Open University.

[17] 魏顺平. 学习分析技术：挖掘大数据时代下教育数据的价值[J]. 现代教育技术，2013，（02）：-11.

[18] 胡艺龄，顾小清. 基于sakai 平台的在线学习行为评价模型设计研究[A]. 第十七届全球华人计算机应用大会论文集，2013：598-601.

[19] 张生，何克抗，韩骏. 中小学教师教育技术能力培训中的形成性评价指标体系的构建[J]. 中国电化教育，2007，（05）：11-14.

[20] 百度百科.层次分析法（AHP）[DB/OL]. http：//baike.baidu.com/link？url=BCivStdEd4RtPnHJe18-14kvoLMQ6703RykyMzdZgbCILvDBl7mcgybAe_bwFTSs.

[21][22] 百度文库. 层次分析法步骤[DB/OL]. http：//wenku.baidu.com/view/95fc165077232f60ddcca192.html.

收稿日期：2014-10-30

作者简介：魏顺平，国家开放大学信息化部（工程中心） （100039）。

责任编辑 石 子

责任校对 日 新