国内外近五年学习分析技术应用比较研究

林炜婷 杨 宁

国内外近五年学习分析技术应用比较研究

林炜婷 杨 宁

（福建师范大学，福建福州，350007）

近年来，随着教育信息化的推进，教育数据陡增，对海量信息加以利用来优化教育愈加重要。学习分析技术自2011年提出以来，倍受国内外学者的重视，并在日趋完善的理论指导下，逐渐在教学实践中投入应用。现以学习分析的数据类型为切入点，对国内外近五年学习分析的方法、工具及在教育领域的应用现状进行比较分析，发现非结构化数据分析成为学习分析的研究重点，数据来源从用户的行为层面延伸至生理与心理层面，应用领域多集中于高等教育与远程教育。国内相关研究视角多元，应用领域广，但在数据多样性、分析结果可视化等方面研究深度不足，与国外研究相比仍有一定差距。

学习分析；数据；分析技术

一、引言

近年来，随着科学技术的进步，教育领域的信息化不断发展、变革。随着教育信息化的推进，由此产生的教育大数据潜藏着与学习者息息相关的深层内容，具有一定的挖掘价值。因此，将教育大数据的价值体现出来，达成智慧教育的愿景，无论是从设计者的视角建构学习环境的支撑，从教育者的视角设计教学方法的催导，还是从学习者的视角实施学习过程的实践，学习分析技术（Learning analytics）都是其中不可或缺的核心技术的推动力。[1]

学习分析技术在国际学术界日益受到关注。美国新媒体联盟（New Media Consortium, NMC）与美国高校教育信息化协会（EDUCAUSE Learning Initiative, ELI）合作的“地平线项目（The New Media Consortiums Horizon Project）”在其2010和2011两年的年度报告中均预测学习分析技术将在未来的四到五年内成为主流，并在2012年至2014年的年度报告中，将其列为2015至2016年可实现的技术之一。[2]2011年举行的首届学习分析技术与知识国际会议(International Conference on Learning Analytics and Knowledge，LAK)提出了学习分析的定义，指出学习分析是测量、收集、分析和报告有关学生的学习行为以及学习环境的数据，用以理解和优化学习及其产生的环境的技术的总称。[3]由该定义可以看出，数据是学习分析的重要前提，数据收集是学习分析开展的首要环节，也是学习分析技术得以全面剖析学生学习过程的重要基础。因此，笔者以学习分析的数据入手，围绕数据的获取、处理分析以及结果应用等方面对相关文献开展研究，以期了解当前国内外研究者对于学习分析技术的理解和共识，了解目前学习分析技术的实现程度和研究成果，总结当前的发展现状与存在的问题。

二、文献概况

笔者以中国知网的期刊数据库为国内文献来源，以“学习分析”“学习分析技术”等关键词进行检索，在2011-2016年间发表的文献中剔除医学、经济学等与教育学类的无关文献，最终筛选出61篇。国外文献选自Web of Science核心合集数据库，采用相同方法检索得到242个结果，剔除会议文献和其他领域的无关文献，最终筛选出52篇。国内外一共113篇文献为本研究的综述对象。

笔者从发表年份、来源期刊以及关键词词频三个方面对文献进行了一番基本梳理。根据文献发表年份的统计结果来看，学习分析从2011年提出以来，国外该领域的研究数量呈现逐年平稳上升的趋势，2012年开始进入国内研究者视野，尽管步伐略慢于国外，但从2014年开始数量明显增长，可见国内学者对于这一新兴领域保持足够的重视和研究热情。从发表期刊来看，国内文献主要集中于中国电化教育（13.11%）、电化教育研究（9.84%）、现代教育技术（8.20%）、开放教育研究（6.56%）等教育技术学的核心期刊上，而外文文献多发表于COMPUTERS IN HUMAN BEHAVIOR（15.38%）和JOURNAL OF UNIVERSAL COMPUTER SCIENCE（11.54%）等计算机领域的核心期刊，这与学习分析的发展历程有一定关系。文献关键词词频统计结果显示，“教育数据挖掘/Educational data mining”、“社会网络分析/Social network analysis”和“大数据/Big data”都在国内外文献中高频出现，可见目前学习分析技术的关注热点多集中于这三个内容上，外文研究中关键词数量多且词频相差不大，研究范围广泛，而国内情况与之相反，新兴热点往往能吸引更多研究者的注意，容易形成“扎堆”现象。

三、学习分析的数据类型

数据是学习分析的基础，传统的学习分析着眼于学生的群体水平，数据多以组、班或年级为分析单位，而随着教育大数据的热度不断升高，学习分析逐渐转向于关注每一个学生个体的微观表现，实时记录学生的即时性行为、生理心理的变化等，力求获得用户行为习惯、学习效果等各项指标的数据支撑。

学习分析的数据繁多，数据的来源也是广泛而多样的。若以数据依托的平台来看，能记录下学习行为数据有MOOC平台、Moodle、WISE、Blackboard在线教学管理平台等等。若从收集对象来看，包括学习活动的参与者、管理者、决策者等相关人员数据与软硬件设备上的记录数据，比如顾小清结合Siemens学习分析的过程将数据来源分为学生数据（learners off-put data）和智能化数据（intelligent data）[4]两大类。若从数据本身的类型来看，包括学生互动信息、测评成绩、情绪状态、注意力水平等等。综合前人的研究成果，笔者将学习分析的数据分为结构化数据与非结构化数据两大类，结构化数据的类别依据魏顺平提出的学习要素框架，[5]将学习行为划分为“学习者”“内容”“处所”“时间”“结果”五要素（其中“时间”涵盖在其他几类数据中），非结构化数据依据数据承载形式分为图片数据、文本数据、音频数据和视频数据，将各数据类型的量化指标、目的与采集技术总结至下表1。

表1 学习分析的数据类型

数据类型 量 化 指 标 目 的 数据采集技术结构化数据学习内容数据（包括学习资源的上传下载数、讨论话题量、作业完成度与错误率等） 对学习者的学习过程与资源以及学习者学习反应的反馈信息进行定量和定性的分析，探索学习者的行为模式并进行预测。学习管理平台自动采集、日志检索分析技术、网络爬虫技术、移动APP技术、网评技术等学习处所数据（分为学习平台与课程学习单元两类处所的数据，如在学习平台的浏览内容、讨论次数，在学习单元中的学习时长，反馈的频率与正确率等）学习结果数据（包括论坛发帖量、测验成绩、问卷得分等）帮助学生查缺补漏，检验学习成果，帮助教师开展教学反思图片数据（包括以图片形式记录下来的教师与学生的手势、面部表情等）获取师生的肢体语言，了解学生的注意力水平与理解程度人脸识别技术、动作捕捉技术文本数据（包括日志、讨论区、学习笔记等产生的文本内容，）非结构化数据学习管理平台自动采集、日志检索分析技术、网络爬虫技术音频数据（包括线下的面对面对话和线上同步、异步的交流内容）识别学习者的观点和态度，揭示学习者的自我管理与反思过程通过交流中的文本内涵，了解学习者知识产生和建构、意义表达和与同伴共享的过程语音识别技术视频数据（记录教学过程与学习过程）促进教师的教学反思，提高教学技能视频监控技术、智能录播技术

四、学习分析方法

学习过程中所产生的数据复杂多样，学习分析技术在解决这一问题的过程中，也逐渐产生了多种应对的分析方法。传统的学习分析多关注于结构化数据的分析，分析方法相对简单，学习时间、测试成绩等可以直接通过数据看出信息，也常用到数理统计学中的统计分析法，如方差分析、因子分析、相关性分析等将数据进行处理，以获取基本变量之间的相关性。与传统学习分析相对的现代学习分析技术，将更多关注点放在非结构化数据上，比如针对文本数据产生的文本挖掘技术，针对学生对话互动产生的话语分析法，针对教学视频产生的视频分析法等。随着科研成果的不断推进，除了沿用教育数据统计的统计分析法、文本分析的内容分析方法等普适分析技术，学习分析也在不断跨领域、跨学科地吸收与整合其他方法，从而形成具有其自身特点的分析方法。这些方法与技术为多样化学习数据的处理带来了丰富的分析策略。下面对学习分析技术中具有代表性技术进行介绍。

第一，文本挖掘技术（Text mining technology）。针对文本数据的文本挖掘技术发展相对成熟。文本挖掘从数据挖掘发展而来，但并不意味着简单地将数据挖掘技术运用到大量文本的集合上就可以实现文本挖掘。与结构化数据相比，文本的结构有限，甚至没有结构。文本挖掘工作的开展先要将文本进行“预处理”，即抽取文本中具有代表特征的元数据，进行特定的结构化形式保存以便进行特征修剪，再应用文档聚类、文档分类和摘要抽取等技术进行分析。部分音频文件的分析需要先将音频内容转为文本，本质上也是进行文本挖掘。

第二，社会网络分析（Social Network Analysis）。学习分析方法中，应用较为广泛的社会网络分析法是以关系作为基本分析单位，描绘和测量行动者之间的关系及通过这些关系流动的各种有形或无形的数据，包括交流频次等结构化数据和交流内容等非结构化数据，据此分析学习者的社会网络结构、协作模式和协作过程，加强学习者的社会网络连接，以提高在线学习的效果。比如，Palonen和Hakkarainen利用社会网络分析工具测量成员的有向交互强度（密度）、活动参与范围（点度中心度）、整个社区整体的交互模式（中心势），分析学生在CSILE网络协作平台上的交互过程，并对学生网络协作学习情况与性别、成绩之间的关系进行研究。[5]

第三，仪表盘技术（Dashboard Technology）。它相当于“个人信息系统”的另类应用，集学习、分析、反馈、评价于一身，将个体学习信息（包括学习行为、习惯、情绪、兴趣等）及情境信息（学习时长、错题类型及数量，在线活动参与率，论坛活跃度与发帖量等）以可视化、个性化的图表呈现形式，为在线教育的学习者、教师、研究者、管理者等提供多层次的学习支持，帮助学习者实现自我认知、学习反思以及意义建构,促进学习新方法或模式的产生。Kim,Jeonghyun等利用学习分析仪表盘辅助学生的网络学习，结果表明实验组成绩相对于对照组有明显提高。[6]国内“快乐学”利用仪表盘技术为K12阶段学生提供英语学习的个性化服务，为教师提升教学效率。

第四，内容分析（Content Analysis）。学习分析方法中的内容分析法有别于文本分析的内容分析法，该方法的数据范围涵盖传播过程中产生的内容，并对数据进行定量和定性分析，得到学习者的行为模式，从而预测学习者行为并提供个性化资源服务。

第五，网站分析（Web Analysis）。通过收集用户在浏览网站时产生的数据（如网站流量引入来源、访问的界面、网页停留时间、访客浏览跟踪等），将网站数据与站内学习资源、教学设计、教学策略结合分析，为网站改进与完善提供依据。美国德克萨斯大学运用SimilarWeb分析科学仿真网站PhET近13个月以来的访问量，以预测用户偏好、用户层次和网站未来发展趋势。

第六，多模态学习分析（Multimodal learning Analytics）。在2012年的“多模态交互国际会议”（International Conference on Multimodal Interaction，ICMI）上，多模态研究领域尝试将视频、语言、文字、手势、表情等多模态数据与学习科学相结合并建立工作坊，由此产生多模态学习分析。多模态数据具有互补性特点，多模态学习分析将被试不同模态的同步数据进行记录并按照人的多重感知模式分析数据，比如同步记录分析眼球的运动轨迹、脑电、心电等生物信号。多模态整合分析可以使实验结果更加客观和全面，能够更加深入地揭示学习者的信息感知和认知加工规律。[7]Ez-Zaouia M等将学习者的多模态数据与仪表盘相结合，使教师在在线学习活动中可视学习者的情绪，保持与学习者的社会情感关系，通过学生学习的音频、视频、自我报告、交互轨迹四方面获取数据，构建以教师为导向的多模态和情境情感仪表盘。[8]

数据分析是学习分析的核心环节，除了上述列举，学习分析方法还有教育数据挖掘、潜在语义分析、话语分析法等等，随着技术的进步和研究者的探索仍将不断扩充。不同的分析方法适用于不同的数据情境，选择恰当的数据处理方法是学习分析成功应用的关键。

五、学习分析工具

学习分析工具依据不同规则可以进行不同种类的划分，孟玲玲、顾小清等人根据各学习工具所侧重的分析对象与类型，对24种学习分析工具的特点及其功能作了一个系统全面的分析。[9]本文结合上述分析方法，列举部分常用典型的分析工具。

WMatrix是一款文本分析工具，可以对文本内容进行定量分析。它通过浏览器上传分析的文本、语料库，对文本进行自动标注，统计词频并按字母或频数排序，通过查看相应单词的频率，了解单词出现次数是否异常，从而对文本进行语义分析、频次分析，形成频数云(O'Halloran)。类似的工具还有Nvivo、Transana等。

SNAPP是社会网络分析的常用工具，它是一套可视化分析软件，专用于Blackboard 和Moodle等学习平台，可以直接从学习管理系统中提取用户数据，显示学习内容以及学生间的互动频次、时长，并绘制社会化网络图，它可以帮助教师快速识别课程教学活动中的各种学生行为。

LOCO－Analyst是内容分析的常用工具，专用于网站上的用户行为分析，通过跟踪学生的行为轨迹和浏览内容，自动记录用户访问数据，据此分析学生参与的各种活动以及虚拟学习环境中学生基于情境的互助情况。帮助教师跟踪和分析在线学习环境中学生学习过程，以改进网络课程的内容和结构。

Socrato是专用于试题分析的学习分析工具，用途不局限于分析学习者的测试结果，形成学习者的个人学习绩效，它还能同时跟踪记录下学习过程，进行形成性评价与总结性评价。

六、教育领域的实践应用

在教育领域不同层次的应用不仅能反映出学习分析技术的普及程度，也能从一定程度上反映其应用的深度。笔者将目标文献中涉及学习分析在教育中实践应用的文献进行了统计，统计结果如图1所示。

由图1统计结果来看，国内外学习分析技术在教育领域的应用分布情况相对一致。其中，高等教育领域的研究数量最为突出，这与分析技术本身有一定关系。由于学习分析技术从理解理论到掌握方法再到应用于实际或者提出框架模型有一定的难度，需要具备一定的研究水平，所以国内外普遍将学习分析技术的实证研究集中于高等教育与远程教育中。一方面，高校教育工作者对于学习分析技术这一新兴技术更易于接受、乐于实践；另一方面，高等教育阶段的学习者受教育程度高，学习行为模式复杂多元，课程难度较高，学习分析的各项数据来源更加全面。比如吴爱婷以本科《电磁场与电磁波》课程为例收集到了多角度多层次的教育数据，以可视化结果反馈给用户，改善了教学过程，[10]魏顺平等人通过选取中央广播电视大学的学习管理系统和日志数据阐述了管理者、学习者和教师在网络学习过程分析中应用学习分析技术的过程。国外的典型案例有澳大利亚伍伦贡大学开发了一款学习分析应用软件——SNAPP，它能从学习管理系统和论坛中自动收集学习者的相关数据和行为活动数据，并实现分析结构可视化，[11]美国斯坦福大学多模态学习分析，可以通过学生手势、语音和其他表达方式来评估以项目为基础的活动。

远程教育领域研究的兴起，主要归功于基于网络的在线课程不断崛起，近几年Moodle、MOOC、可汗学院等网络课程形式在全球范围内掀起热潮，教育数据普遍数字化，获取和加工更为方便。对于远程教育领域的研究很大部分与上述课程相关。比如Devan Rosen 等采用社会网络分析、内容分析、语义分析等方法对虚拟学习社区中的聊天内容进行了分析与测量，探索学习社区中的整体结构、小组交互情况及学者学习成果。[12]姜蔺等关注到MOOCs课程学习者存在高退课率与低通过率问题，通过MOOCs的用户数据对学习者的特征、学习动机与效果进行分析，试图解释该现象的背后成因并对学习者、教学者与管理者提出改进建议。[13]

国内学习分析研究在一至十二年级的基础教育领域、职业教育领域和社区教育领域均有涉及，说明国内学者对于学习分析技术的认可度较高并积极将其应用于各领域的教学实践中。比如，在学习分析技术引入国内之初，顾晓构建了一个结合实施环境的学习分析技术与高中信息技术相结合的教学模式，来印证该技术对于高中信息技术的学科教学是否有促进作用。[14]而外文文献所查找到的一篇来自美国学者Martin等，他们专注于本国K12教育阶段的分数学习问题，用学习分析方法对细粒度的日志数据进行分析，发现游戏对分数学习有显著帮助。[15]

从学习分析技术应用的案例分析可以看出，与国内的研究相比较，国外对于学习分析技术的研究偏向验证工具、平台或框架模型的有效性，并不向使用者所处的不同教育阶段或受教育程度侧重。国内学者研究视角多元，在各教育阶段均有涉及，、研究由简单的应用探究逐渐过渡到学习分析的应用框架设计或平台搭建，学术水平较研究之初逐年提高。

七、小结

根据对国内外文献内容分析的结果，大致勾勒出当前世界各国对学习分析技术研究的基本脉络。下文将从未来的发展趋势与可能面临的挑战两个方面对分析结果进行总结。

（一）未来发展趋势

1.数据来源途径拓广

智慧教育与可穿戴设备的兴起使学习分析的数据来源有了更多可能。这里的“智慧教育”包括了智慧学习、智慧教室、智慧校园等等。近几年国内智慧教育在高校及中小学的普及速度明显加快，智慧课堂、智慧校园产生的海量数据需要分析技术的支持。而可穿戴设备自2012年谷歌眼镜亮相以来成为智能产业的热点，如智能手环、智能跑鞋等一系列智能设备时下正在流行起来，可穿戴设备不仅仅是一种硬件设备，还需要通过软件支持以及数据交互、云端交互来实现强大的功能，通过这些设备获取的数据将是未来学习分析对象的重要一类。

2.数据范围突破教育领域

如今教育领域的学科专家逐渐开始寻求跨学科合作，这使得学习分析的数据范围从学习者的学习行为扩大到学习者的生理指标甚至是心理状况，如武法提团队尝试结合心理学的眼动设备了解学习者的思维过程及学习路径等。学习分析技术作为新兴技术，一开始便是从商用领域向教育领域的跨越应用，在专家学者的带领下，与机器学习、教育心理甚至是脑科学领域的合作可能将逐渐增多。未来要实现学习分析技术的深入发展，需要研究者勇于跨越尝试与其他学科合作探索，整合多方面理论、技术等资源，创造性地解决学与教问题。因此未来学习分析技术的研究范围和应用领域将突破学科界限，研究者的学科背景也将更加多元。

3.个性化服务程度提高

信息时代下的网络学习逐渐发展为学习者依据自身的能力和需求自主选择学习资源、参加学习活动。大量由学习者产生的数据进入学习分析技术的分析范围，必然使数据的前期分析更加精确，随着学习分析方法的完善，为学习者提供的反馈与干预将更加贴合特定学习者的学习习惯与认知水平，学习者依据数据分析结果调整学习进度和学习内容，自我管理并自我激励，在智能化的预警和提醒下最终顺利完成学习活动，这将是未来学习分析的重要研究内容。

4.智能化贯彻教学始终

学习分析技术不仅服务于学生，也服务于教师。学生的分析结果反馈给教师既能提高教师的工作效率，了解学生之间的个体差异，还能为教师针对性备课提供依据，在教学过程中实时进行有效干预并答疑解惑。教师的教学数据同样被后台收集，加以分析，个性化地反馈分析结果和改进意见，并在课后自动评教，这些功能都有效促进教师的专业发展。

（二）面临的挑战

1.获取：原始数据的收集与预处理

教育界有大量的数据，但没有大数据，究其本质是大数据的结构性问题突出，教育数据数量庞大，性质差异明显，在时间和空间上分布零散，无法聚集，如何从学习者本身、人机交互过程中、学习资源上获取数据是学习分析的一大难题，另外，所获取的数据并非全部有效，在数据的筛选和判断上如何构建合适的框架模型以提高学习分析效率将是一大挑战。

2.使用：数据隐私

数据包含信息，如果要实现更加精确的个性化，要求数据更加精准详尽，从而更加透明化。因此在收集和使用过程中需要注意数据的归属问题，确保数据来源者的知情同意、使用过程的存储安全、利益相关者的访问权限等，目前国内对于数据隐私的重视程度正逐渐提高，应增强安全隐患意识，避免出现用户信任危机。

3.推广：数据划分规则

数据有多种划分标准，这使得同一种数据在不同的使用环境或不同的软件平台中会出现不同的表达形式，这样的情况一方面可能会导致数据收集的不足和冗余，另一方面阻碍了不同平台之间的技术合作以及信息共享。如若创建领域内相对统一的数据划分规则，对未来学习分析领域的研究和探索将起到一定的推动作用。

[1]祝智庭，贺斌．智慧教育：教育信息化的新境界[J]．电化教育研究，2012，（12）：5-13．

[2] The Horizon Report 2011 edition[DB/OL]．（2012-06-25）[2017-07-21]． http ：//wp．nmc．org/horizon．

[3] Siemens， G．， &Gasevic， D． ． Proceedings of the 1st conference onLearning Analytics and Knowledge[M]． New York，NY： ACM， 2011：1-185

[4]顾小清，张进良，蔡慧英．学习分析：正在浮现中的数据技术[J]． 远程教育杂志，2012，（1）：18-25．

[5]魏顺平 ． 学习分析数据模型及数据处理方法研究 [J]． 中国电化教育， 2016，（2）：8-16．

[6] Lipponen L， Rahikainen M， Hakkarainen K， et al． Effective Participation and Discourse through a Computer Network ： Investigating Elementary Students' Computer Supported Interaction．[J]． Journal of Educational Computing Research， 2002， 27（4）：355-384．

[7] Kim J， Jo I H， Park Y． Effects of learning analytics dashboard ： analyzing the relations among dashboard utilization，satisfaction， and learning achievement[J]． Asia Pacific Education Review， 2015， 17（1）：1-12．

[8] Merceron A，Blikstein P，Siemens G． Learning Analytics： From Big Data to Meaningful Data．[J]． Journal of Learning Analytics．2016，（3）：4-8．

[9] Ez-Zaouia M， Lavou， Elise． EMODA ： a tutor oriented multimodal and contextual emotional dashboard[C]//International Learning Analytics & Knowledge Conference． ACM， 2017 ：429-438．

[10]孟玲玲，顾小清，李泽．学习分析工具比较研究[J]．开放教育研究 ，2014，（4）：66-75．

[11]吴爱婷，刘欣． 学习分析系统在高校课程中的实践研究[J]． 电脑知识与技术，2016，12（10）：162-163．

[12]魏顺平．学习分析技术：挖掘大数据时代下教育数据的价值[J]．现代教育技术，2013，（2）：5-11．

[13] Bakharia A， Dawson S． SNAPP ：a bird's-eye view of temporal participant interaction[C]// International Conference on Learning Analytics and Knowledge， Lak 2011， Banff， Ab， Canada， February 27 - March． DBLP， 2011 ：168-173．

[14] Devan Rosen， Victor Miagkikhm，DanielSuthers． Social and Semantic Network Analysis of Chat Logs [A]． Long，P．，Siemens，G．，Conole，G．，&Gasevic，D．Proceedings of the 1st International Conference on Learning Analytics and Knowledge [C]． New York ：Association for Computing Machinery，2011 ： 134-139．

[15]姜蔺，韩锡斌，程建钢． MOOCs学习者特征及学习效果分析研究[J]． 中国电化教育，2013，（11）．

G40-057

A

1008-7346（2017）05-0008-07

2017-09-21

林炜婷，女，福建闽清人，福建师范大学教育学院教育技术学硕士。

杨宁，女，吉林长春人，福建师范大学教育学院教育技术系主任，副教授。

[责任编辑：姚青群]