赵蔚 程诺 徐晓青 姜强
[摘 要] 学习分析仪表盘作为可视化反馈工具越来越受重视,但它在促进自我调节学习的成效方面仍然存在争议。研究采用元分析方法,对学习分析仪表盘促进自我调节学习进行系统文献分析。纳入的24项实验分析表明:学习分析仪表盘对自我调节学习有正向促进作用,合并效应值为0.415。研究进一步从实验特征、表征形式和设计依据三个维度进行深入的调节变量分析,结果表明:实验时长、环境和对象等实验特征并不影响学习分析仪表盘对自我调节学习的促进效果,但学习分析仪表盘的内容、形式、挖掘程度以及是否有理论基础都会对促进效果产生影响。基于此,研究从教育教学融合视角,建议学习分析仪表应强化与教学理论的联结,形成平衡认知负荷,兼顾数据素养的设计原则,为提升自我调节学习提供有效支持。
[关键词] 学习分析仪表盘; 自我调节学习; 元分析; 数据素养; 认知负荷
[中图分类号] G434 [文献标志码] A
[作者简介] 赵蔚(1963—),女,吉林长春人。教授,博士,主要从事学习分析、自我调节学习研究。E-mail:zhaow577@nenu.edu.cn。
一、 引 言
自我调节学习(Self-regulated Learning,SRL)是维持学习状态、决定在线学习成功的关键要素[1]。如何提升自我调节学习能力已经成为在线教育研究的核心关注点。学习分析仪表盘(Learning Analytics Dashboard,LAD)是优化学习和体验的干预工具。它通过提供学习状态、指导反思等方式,帮助学习者监控学习过程,从而改善自我调节学习,最终提高学业成绩。当前学习分析仪表盘对自我调节学习影响的研究结论并不一致。部分研究肯定了学习分析仪表盘的作用:“有效”的学习分析仪表盘会影响学习者的自我调节行为,最终影响学习行为和结果[2-3]。部分研究指出:当前几乎没有证据表明学习者利用学习分析发展自我调节学习[4],学习分析仪表盘不被建议支持元认知[5]。由此可见,LAD对于SRL的作用仍存在结论不统一问题。其次,SRL和学习分析之间的交叉点未被充分研究,LAD作为学习分析反馈工具,在高等教育应用越来越广泛,研究LAD在多大程度上支持自我调节学习依旧很有必要。
鉴于学习分析仪表盘在支持自我调节学习方面的广泛认可,本研究通过综述现有LAD的实证文章,利用元分析方法,从宏观层面上解决研究结论及解释存在争议的问题,进一步验证LAD是否促进SRL,探究LAD在多大程度上促进SRL,实施过程中,LAD的哪些关键要素会影响SRL效果,以期为学习分析仪表盘的研究、设计和实施更好地促进自我调节学习提供一定借鉴和参考。
二、研究设计
(一)研究方法与工具
研究采用元分析方法,对国内外LAD对SRL影响的相关文献进行统计分析,以探究LAD对SRL的促进效果。元分析过程包括文献检索与编码、数据分析(异质性检验、效应值计算、发表偏倚检验等)和证据解释。研究使用Comprehensive Meta Analysis Version 3.0(CMA-v3.0)作为分析工具。该软件可以依据内置的计算公式,对输入的样本量、均值、标准差进行计算,直接给出效应量表格,是教育领域元分析使用频率较高的软件。
(二)文献搜索与筛选
英文以“Learning Dashboard & Self-regulated”和“Learning Analytics Dashboard & Self-regulated”为主题,检索了WOS、Science Direct、Google Scholar等数据库的教育领域文献,包括学习分析领域较为权威的LAK会议论文,检索时间为2012年1月至2022年9月。中文以“仪表盘+自我调节”为主题,在CNKI进行检索。为保证文献的代表性和全面性,对已获取文献的参考文献进行二次检索,同时扩大数据库到ACM和书籍进行文献补充。
文献筛选过程如图1所示。首先,通过阅读文献标题和摘要对检索的1368篇文献进行初筛。筛选过程中剔除仅在文中提到相关主题,但研究核心或重点不是LAD和SRL的文献,同時剔除综述类、概念类等非实证研究文献和重复文献,初筛得到有效文献131篇。其次,全文阅读阶段,用于分析的文献需报告均值、标准差和样本量或效应量。按照元分析数据要求剔除非实证、实验数据不全、数据不符合标准的文献,剩余有效文献20篇[6-25]。20篇文献中可纳入元分析的实验共24项。
(三)文献编码
研究旨在探索LAD对SRL的影响,同时研究可能会对该影响产生作用的调节变量。因此,自变量为LAD,因变量为SRL效果。参考相关研究[26]选取标准,结合自身研究内容,将调节变量归纳为三类,分别为研究特征、LAD表征形式和LAD设计依据,见表1。
研究特征包括研究对象、干预时长和实验环境。实验涉及大学、小学两个教育阶段,考虑到MOOC课程特殊性,将研究对象划分为大学、小学、MOOC。参考既往元分析文献,将干预时长划分为0~2月、2~4月、4个月及以上三个阶段。实验环境划分为线上、线下和混合三类。
表征形式指LAD界面呈现方式,共四个调节变量:(1)LAD内容划分为行为信息、表现信息、交互信息三类。行为信息指学习者登录平台次数、时长和点击数据等行为指标。表现信息指学习者获得的成绩、测试得分等信息。交互信息指学习者与同伴互动的信息。同时包括多个信息编码为混合信息。(2)LAD形式划分为图文、图表。图表指LAD以可视化图表展示。同时由图表和文字解释编码为图文。若文献未展示LAD,编码为未说明。(3)根据LAD内容分析程度将挖掘程度划分为简单分析、深入分析和假设信息。(4)根据LAD是否包含个人与集体的对比信息分成两类。
设计依据方面包含干预目的和理论基础两个调节变量。LAD的干预目的分为阶段、行为、元认知和动机四类。具体来说,支持计划、监控、反思等一个或多个过程划分为“阶段”,帮助学习者改变行为、制定计划等划分为“行为”,自我评估、反思和元认知划分为元认知,情绪和动机划分为动机。根据文献中LAD是否有理论基础,编码为两类。
为保证元分析编码的质量与可靠性。研究由两名成员共同完成编码,先以两篇文献为例,对编码框架进行协商讨论,达成一致性后,独立对剩余文献进行编码。编码一致性采用Kappa系数,计算得出一致性为0.82,说明编码一致性较高,编码具有可靠性。不一致编码由两名成员再次协商确定。
三、数据分析
(一)效应值和异质性检验
效应值是衡量实验效果大小的指标,常用的效应值包括Cohen's d和Hedges' g。在本研究中,由于样本较小,因此采用Hedges' g作为效应值。参考Cohen提出的效应值标准,效应值绝对值为0.2代表小效应,0.5为中等效应,0.8为大效应。合并的效应值取值越大,代表实验效应越好。
计算合并效应值前需要进行异质性检验,即判断纳入的研究是否存在异质性。如果异质性较大采用随机效应模型,异质性较小采用固定效应模型。采用的模型不同,得到的效应值也不同,医学通常建议采用随机效应模型。异质性检验包括Q检验和I2两种方法。本研究Q=117.78(p<0.05),说明样本之间存在异质性;I2=80.47,说明80.5%的变异是由效应值的真实差异引起,19.5%的差异是由误差导致。因此,采用随机效应模型来综合考虑研究间和研究内的变异。
(二)整体效应检验结果
LAD对SRL的整体作用效果见表2,分析共包含24个样本量,合并效应值g=0.415,p<0.05。g值处于0.2到0.5之间,是中等的效应量。无论固定效应模型还是随机效应模型都表明LAD对SRL有显著的促进作用,作用效果中等。接下来对可能引起研究结果存在差异的调节变量进行分析,确定最优干预方式。
(三)调节效应检验结果
1. 研究特征对SRL效果的调节作用分析
在进行调节变量分析时,只有亚组的样本量大于3才具有分析价值。根据调节变量组间效应量是否显著,判断该变量是否为造成元分析结果差异的因素。见表3,研究对象的组间效应QB=0.360,p>0.05,说明研究对象并没有发挥调节变量的作用,其中MOOC研究样本量小于3,则MOOC的效应值不具备参考价值。以此类推,研究特征维度没有发现造成效应值存在差异的因素,具体而言:
研究对象方面,大学阶段实施LAD对SRL的促进效果达到显著性(p<0.05),促进作用中等(g=0.402);MOOC和小学阶段的研究对象,因为纳入的实验数量较少,未达到分析标准。由此可知,在大学及以上阶段实施LAD对SRL具有促进作用,其余学段在本研究中未得到准确结论。
干预时长方面,0~2月的实验数量最多,效应值g=0.514,为中等偏上影响水平且达到显著性(p<0.05);2~4月的实验数量次之,促进效果中等偏下(g=0.384,p<0.05)。由此說明,0~2月时长的研究效果要好于2~4月时长,实施较短时间的LAD对SRL促进作用较好。
实验环境方面,线下环境LAD对SRL的作用效果中等偏上(g=0.575),但样本量为4,刚超过分析标准;线上环境的实验数量最多,和混合环境效应值相似,为中等偏下的影响水平(g=0.37)。初步得出实验环境方面对SRL的促进作用无差异。
除了考虑上述三个研究特征,我们还尝试对研究对象的国别进行分析以期为我国研究提出更多针对性意见。分析发现,24项实验中的研究对象分布在11个国家,其中美国有7项,荷兰、土耳其、澳大利亚各有3项,剩余国家如韩国、意大利、芬兰等研究数量小于3。总体而言,研究对象所处地域是影响元分析结果差异的原因(QB=33.916,p=0.000),说明不同国家实验研究中LAD对SRL的作用不一。其中美国的实验分析表明LAD对SRL有较小的促进作用,但未达到显著水平(g=0.243,p=0.18)。
2. 表征方式对SRL效果的调节作用分析
由表4可知,表征方式维度中,LAD内容、形式和挖掘程度是造成异质性的原因,在促进SRL效果方面发挥了调节变量的作用。在设计LAD时,要重点关注这些调节变量的影响。具体分析如下:
就LAD的内容而言(QB=18.402,p<0.05),效果最好的是行为信息(g=0.634),为中等偏上效应量;表现信息具有较小促进作用(g=0.237);混合信息也有促进作用但结果不显著(p>0.05)。因此,相对于表现信息,使用行为信息作为干预内容效果更好。
LAD形式方面(QB=20.689,p<0.05),图表形式LAD具有中等偏下的影响效果(g=0.363,p<0.05);图文效果略小于图表效果(g=0.347,p<0.05)。也就是说,LAD的形式无论是图文还是图表都会对SRL产生促进作用。
就挖掘程度而言(QB=8.752,p<0.05),简单分析的数据具有中等偏上效果(g=0.574,p<0.05);深入分析的数据效应值为0.324(p<0.05),为中等偏下的影响水平。挖掘程度是影响SRL效果的调节变量,其中,简单分析的LAD作用效果更优。
是否有对比信息不影响LAD对SRL的促进作用。没有对比信息的LAD对SRL促进效果一般(g=0.476,p<0.05),有对比信息的LAD促进效果较小(g=0.310,p<0.05)。
3. 设计依据对SRL效果的调节作用分析
设计依据中理论基础是影响SRL效果的因素,干预目的未发现调节作用,见表5。
干预目的中,促进SRL“阶段”的干预效果最好(g=0.578);其次为动机(g=0.256);行为的效果最小,且没有达到显著性(p>0.05)。
就理论基础而言(QB=5.113,p<0.05),具有理论基础的LAD对SRL促进效果较好(g=0.707);没有理论基础的LAD效应值为g=0.298。相较而言,有理论基础的LAD对SRL促进效果更大。
(四)发表偏倚检验
一般来说,统计显著的结果更容易发表,这会造成文献检索时,某些文献很难被覆盖到,导致元分析效应值与真实值有所差异,影响结果可靠性。发表偏倚检验是判断效应值可靠性的重要一步。发表偏倚检验通常采用漏斗图、Egger检验以及失安全系数法来判断。本研究纳入分析的效应量分布漏斗图如图2所示。图中的数据点零散地分布在对称轴中部两侧,基本呈左右对称,左侧的效应值略少于右侧。采用Egger检验进一步验证发表偏倚(B0=2.505,t=1.802,p1=0.042,p2=0.085),t值小于1.96,p2大于0.05,初步得出研究选取的文献存在发表偏倚可能性较小。
图2 效应值分布漏斗图
采用失安全系数法进行敏感性验证,即判断因为发表偏倚造成元分析结果出现相反结论的可能性,该方法的标准是元分析数量的5倍加10。本研究的Classic失安全系数N=638(α=0.050,p<0.0001),远大于样本数量×5+10。综合以上数据表明,元分析的结果比较稳定,发表偏倚不明显。
四、讨 论
研究对LAD促进SRL的作用进行元分析,结果表明,纳入的24项实验存在异质性。故而对结论可能产生影响的LAD表征形式、设计依据等调节变量进行详细讨论。
(一)LAD对SRL具有正向的促进作用
研究旨在分析LAD促进SRL的作用大小。结果表明,学习分析仪表盘对SRL有正向促进作用,作用大小中等。一方面说明纳入本研究的实验进一步验证LAD的促进作用,与经验证据相一致。该结论与现有LAD综述文章结论相互认证:“学习分析”结合视觉仪表盘等技术可以支持诸如翻转课堂的自我调节学习、个性化反馈等[27];使用学习分析来促进SRL是未来研究方向[28]。虽然LAD能促进SRL发展,但元分析效应值为0.415,促进效果中等。我们还需要考虑可能对结果有影响的调节变量。
(二)研究特征不影响对SRL的促进效果
本文研究对象、干预时长和实现环境等归入研究特征的调节变量并没有造成明显差异,即研究对象、干预时长、实验环境不会影响LAD对SRL的促进作用。换句话说,LAD对SRL的促进作用具有稳健性,不会因实验对象的学段、实验时长和环境而变化。
研究对象虽然被划分为大学、小学和MOOC,但实际上小学、MOOC的实验数量较少,不足以构成元分析调节变量分析的最少实验组数。因此,只能得出在大学阶段的研究对象中实施LAD对SRL有一定促进作用。考虑到儿童实验的困难程度,大部分SRL的文献都在高等教育中实验,但事实上,SRL必须从小就开始培养。无论SRL被视为一套可明确传授的技能还是源于经验的自我调整过程,教师都应该为各个年龄段的学生提供信息,幫助他们成为独立的学习者[29]。SRL作为终身学习的核心技能之一,增加其在国内初等教育,乃至幼儿教育的实证数量,以补充国内研究经验仍然很有必要。此外,在梳理文献时发现,国内关于LAD促进SRL的实证文献寥寥可数,国外就LAD设计及应用开展了诸多研究,美国的研究数量最多。虽然地域不同的LAD在促进SRL方面有差异,但总体都是正向促进作用。因此,在LAD设计、应用和与智能平台融合方面,都可借鉴国外研究成果。
在干预时长方面,实施0~2月的LAD对SRL促进作用最大。分析其原因,一方面,可能是高等教育以学期为周期进行授课,实验时长多控制在一学期,所以4月及以上时长的研究数量较少,实验结果仍有待验证。另一方面,自我调节学习能力培养方法的研究中指出,渐隐式的脚手架可以帮助学习者自我调节学习[30]。即在课程之初提供脚手架,在学习者可以自我调节学习某些内容时淡化支持。我们可以推测在0~2月的干预时间内,学习者慢慢适应LAD,并且能自主调整行为或计划向预期学习目标进展,在2月及以上时间,LAD的促进作用减少。无独有偶,教育机器人对学习成果影响的元分析结果指出,实验周期超过半年的效果反而不如半年以内的[31]。总体而言,研究时长并不是造成研究结论产生差异的原因,但在实施LAD时可以优先考虑0~2月的研究时长。与此同时,开展长时间的干预研究,探索随着时间推移LAD在促进SRL作用的变化规律仍有价值。
实验环境方面,研究虽划分三种学习环境,但LAD一般都需要相应的网站或平台去实施。严格来说,实验都涉及线上部分,差别在于课程安排时长和关注程度不同。本研究并未明确得出何种授课环境最优的结论,建议教师依据课程内容和条件合理安排授课方式。
(三)LAD的表征方式影响对SRL的促进效果
LAD内容是造成文献效应值差异的原因之一,其中行为信息效果优于表现信息。学习管理系统中日志的点击流数据可以通过编码框架与行为相对应[7],学习者能从行为信息中直观得出需要增加或改进的行为。相对来说,表现信息倾向于总结性评价,更多作用在目标和动机水平上,对学习者指导的直观性较弱。虽然没有发现混合信息在促进SRL的显著作用,但我们有理由认为行为信息、表现信息通过合理的设计会有更好的促进效果。交互信息的LAD多应用在协作学习中,通过展示小组成员之间交流合作的信息,减少协作学习中搭便车、投入不足等问题。LAD可以改善协作学习体验,但在LAD中捕获团队的学习过程,及其与学习成果建立深入联系方面还有很多工作要做[32]。协作学习仪表盘的设计也应该结合认知理论和社会互动理论的分析要素,以促进自我调节学习和社会共享调节学习[33]。由此可见,交互信息的LAD在支持协作学习中仍面临着挑战和机遇。
LAD形式是影响SRL促进作用的因素之一,图文和图表两种LAD形式作用大小相似,主要差异在于是否包含文字型信息。Cha等[34]在LAD可视化设计指南的研究中,第一轮专家访谈建议:简单的信息架构和设计可能要比过多的信息更加有效和直观,因此,删除了LAD原型中重复的特征和数据。经过第二轮学习者访谈后,增加了部分说明性提示。也就是说,LAD的形式既要简单、直观,以降低过多信息带来的认知负荷,同时需要描述性信息帮助学习者理解LAD的内容。本研究的结果证实了LAD形式在干预中的重要性,但没有显著性的对比结论表明图文和图表形式何种最优。正如丽姿等[35]在研究中讨论的那样,学习者使用LAD的方法高度个性化,我们应该在数据呈现形式上给予学习者选择机会,即允许学习者个性化自己的LAD。
挖掘程度在促进SRL的效果方面也发挥了调节作用,简单分析的效果最好,深入挖掘的效果一般。对开发者来说,将有意义的数据合成为学习者可以直观理解的内容并不是一件简单的事情;对学习者来说,学习者数据素养能否支持其理解数据背后的信息也是需要思考的问题[36]。有学者[37]指出,学习者很难解释LAD上的数据,他建议依据用户的特定要求来确定LAD显示信息的粒度级别。我们可以推测,相对于更易理解的简单分析,深入挖掘的数据与学习者数据素养不匹配是造成其效果较小的原因。学习者能否在理解、评价LAD表征信息的基础上进行监控和反思,取决于数据素养和自我调节学习的共同效力。如何平衡LAD数据的分析维度进而与学习者数据素养相匹配是接下来要研究的问题。
研究没有发现对比信息的调节作用。是否包含对比信息一直是饱受争议的话题。因为对比信息会影响到学习者的情绪和动机,但影响的方向却是不确定的,可能激发动机,增加学习投入,亦可能造成挫败感[38]。包含个人信息的对比还涉及隐私问题。因此,多数研究选择了中庸方式,即在LAD中添加可选择按钮,学习者可根据个人情况选择是否查看集体对比信息。
(四)LAD的理论基础影响对SRL的促进效果
LAD是否有理论基础是造成研究效应值异质性的原因之一。结果表明,有理论基础的LAD共7篇,对SRL促进作用中等偏上;没有理论基础的类别有17篇,作用效果较小。其中自我调节学习理论是指导LAD设计的常见理论。当前LAD的设计大部分还是缺少理论基础的,该结论与Matcha[5]总结出的缺少理论基础的结论相同。有研究指出,除自我调节学习理论外,设计者还可以考虑如动机理论、目标导向理论、自我决定理论等[39]去指导LAD的设计。
LAD干预目的包括阶段、行为、元认知和动机,不同目的LAD对SRL促进作用没有差异。其中,支持“阶段”的LAD具有中等偏上的促进作用,提升“动机”的LAD作用效果一般,其余目的效果没有达到显著水平。Pintrich[40]提出的SRL模型分为要素和阶段两个维度,要素包括认知、动机、行为和背景,阶段包括预见、监测、控制和反思。徐晓青等[41]在研究学习分析对SRL的影响机理中,就每个阶段中各个要素的变化都进行了分析。由此可见,对于SRL的研究可从要素和阶段两方面入手。但无论要素还是阶段,都应有相应的理论和框架支撑。
五、启 示
本研究不仅验证了LAD作为干预反馈工具在促进SRL的积极作用,也从研究对象、LAD设计依据等视角综合探究LAD对SRL的影响。研究在对结果讨论的基础上得到如下建议和启示:
(一)深化LAD与教育教学融合,以提升SRL能力
LAD对SRL的促进作用具有稳定性,不因实验时长、环境等因素的改变而变化。但目前多数结论是以小范围的准实验课堂为实验条件,缺少大规模真实环境中的实施效果。另外,LAD的实施对SRL具有促进作用,但与教育的融合仍处于初始阶段。想要进一步发挥LAD在教育教学,乃至在教育信息化的作用,仍有两方面需要思考:其一是LAD本身设计与教学隐喻、数字徽章、游戏化理念等结合[42],如部分LAD使用花草的生长状态表示当前的学习进展[43];其二是LAD与教学过程的融合,工具之于课堂,不是杂乱无章的堆叠使用,更需要融合到教学的具体环节。已有可借鉴的文献将LAD与翻转课堂、PBL等教学模式相结合,综合考虑教学流程、教学需求、LAD的作用和课程目的,将LAD真正嵌入课堂,融入课程,发挥其促进SRL的作用。
(二)形成平衡认知负荷、兼顾数据素养的LAD设计原则
LAD以数据可视化的方式帮助学习者快速定位和理解当前状态。在结果讨论中,我们发现LAD的设计需要注意或遵循两个原则。一是平衡认知负荷、调和极简和极繁主义原则,具体来说就是去除LAD中重复、冗余的元素和内容,增加引导性的线索和说明性信息。这里我们可以参考梅耶的多媒体学习理论,但需要注意的是,认知负荷并不是越低越好,适当的认知负荷更有助于学习者的加工和理解。二是LAD的设计应满足兼顾数据素养的原则。多数LAD在设计过程中都忽略了学习者本身的数据素养,仅从需求的应然与理论的必然出发。实际上,学习者共同参与设计LAD是匹配数据素养的有效方式。在此过程中,学习者不仅意识到如何评估学习状况与目标期望的达成度,同时增加了个人对数据的理解、反思和信任。
(三)强化LAD与理论的联结
LAD需要在教育理论的支撑下,不断改进、探索和创新。研究证实有理论基础的LAD对SRL具有促进作用,但目前多数LAD研究没有理论依据,更多的是在以往研究基础上,根据自身研究对LAD的内容进行增补。应该重视理论在LAD设计和实施中发挥的顶层设计作用,强化LAD和理论的联结。正如Matcha[5]所建议的,LAD指标选择应该在理论为导向的前提下,尋求用户意见。理论为LAD指标和SRL策略相对应提供依据,用户意见满足部分个性化需求。在LAD的实施过程中,经典的SRL理论将自我调节过程分为了详细的循环阶段,LAD可以根据每个阶段特点和目的提供相应的反馈和支持,最终促进SRL提升。还需要注意的是,收集和呈现有关学习过程或者交互模式的LAD信息,不仅可以帮助学习者自我调节学习,亦可以帮助研究者理解自我调节学习本身发展和内部的变化机理,扩充SRL理论的应用范围。
六、結 语
研究采用元分析方法,对国内外近十年有关LAD对SRL促进的实证研究进行客观分析,验证了LAD在促进和提升SRL的作用,探索了研究特征、表征方式、设计依据等在支持SRL方面的调节作用。结果表明,LAD表征形式和设计依据都会对SRL促进效果产生影响。为此研究提出了几点建议和启示:一是深化LAD与教育教学融合;二是形成平衡认知负荷,兼顾数据素养的设计原则;三是强化LAD与理论联结。研究仍存在一定局限,受文献数据来源和样本量的限制,未从我国教育国情为SRL的培养提供本土化建议,同时,需要综合更多国内有关少儿SRL培养的研究,形成更为全面的结论。
[参考文献]
[1] 蔡旻君,郭婉瑢,娄颜超.在线学习过程中如何实施有效的反馈——基于自我调节学习理论的在线反馈探讨[J].电化教育研究,2020,41(10):82-88.
[2] PARK Y, JO I H. Factors that affect the success of learning analytics dashboards[J]. Educational technology research and development,2019,67(6):1547-1571.
[3] AGUILAR S J, KARABENICK S A, TEASLEY S D,et al. Associations between learning analytics dashboard exposure and motivation and self-regulated learning[J]. Computers & education,2021,162(3):104085.
[4] TSAI Y S, RATES D, MORENO-MARCOS P M, et al. Learning analytics in European higher education—trends and barriers[J]. Computers & education,2020,155(13):103933.
[5] MATCHA W,UZIR N A,GASEVIC D,et al. A systematic review of empirical studies on learning analytics dashboards:a self-regulated learning perspective[J]. IEEE transactions on learning technologies,2020,13(2):226-245.
[6] YOON M, HILL J, KIM D. Designing supports for promoting self-regulated learning in the flipped classroom[J]. Journal of computing in higher education,2021,33(2):398-418.
[7] MANGANELLO F, POZZI F, PASSARELLI M, et al. A dashboard to monitor self-regulated learning behaviours in online professional development[J]. International journal of distance education technologies,2021,19(1):18-34.
[8] AL-SHANFARI L, EPP C D, BABER C. Evaluating the effect of uncertainty visualisation in open learner models on students' metacognitive skills[C]// ANDRE E, BAKER R, HU X, et al. Artificial intelligence in education, AIED 2017,2017:15-27.
[9] MOLENAAR I, HORVERS A, DIJKSTRA R, et al. personalized visualizations to promote young learners' srl the learning path App[C]// LAK20: The Tenth International Conference on Learning Analytics & Knowledge.2020:330-339.
[10] HOWELL J A, ROBERTS L D, MANCINI V O. Learning analytics messages: impact of grade, sender, comparative information and message style on student affect and academic resilience[J]. Computers in human behavior,2018,89(12):8-15.
[11] CHEN C H, SU C Y. Using the BookRoll E-Book system to promote self-regulated learning, self-efficacy and academic achievement for university students[J]. Educational technology & society,2019,22(4):33-46.
[12] VALLE N, ANTONENKO P, VALLE D, et al. Predict or describe? How learning analytics dashboard design influences motivation and statistics anxiety in an online statistics course[J]. Educational technology research and development, 2021,69(3):1405-1431.
[13] KIM J, JO I H, PARK Y. Effects of learning analytics dashboard: analyzing the relations among dashboard utilization, satisfaction, and learning achievement[J]. Asia pacific education review, 2016,17(1):13-24.
[14] KARAOGLAN YILMAZ F G. The effect of learning analytics assisted recommendations and guidance feedback on students' metacognitive awareness and academic achievements[J]. Journal of computing in higher education,2022,34(2):396-415.
[15] HAN J, KIM K H, RHEE W, et al. Learning analytics dashboards for adaptive support in face-to-face collaborative argumentation[J]. Computers & education,2021,163(4):104041.
[16] VALLE N, ANTONENKO P, VALLE D, et al. The influence of task-value scaffolding in a predictive learning analytics dashboard on learners' statistics anxiety, motivation, and performance[J]. Computers & education,2021,173(14):104288.
[17] TABUENCA B, KALZ M, DRACHSLER H, et al. time will tell: the role of mobile learning analytics in self-regulated learning[J]. Computers & education,2015,89(10):53-74.
[18] DUAN X, WANG C, ROUAMBA G. Designing a learning analytics dashboard to provide students with actionable feedback and evaluating its impacts[C]// Proceedings of the 14th International Conference on Computer Supported Education. Online Streaming, Science and technology publications,2022:117-127.
[19] WAMBSGANSS T, SOELLNER M, KOEDINGER K R, et al. Adaptive empathy learning support in peer review scenarios[C]// CHI Conference on Human Factors in Computing Systems. New orleans LA USA:ACM,2022:1-17.
[20] JIVET I, WONG J, SCHEFFEL M, et al. Quantum of choice: how learners' feedback monitoring decisions, goals and self-regulated learning skills are related[C]// LAK21: 11th International Learning Analytics and Knowledge Conference. New York, NY, USA: Association for computing machinery,2021:416-427.
[21] 李綠山,赵蔚,刘凤娟.基于学习分析的大学英语网络学习可视化监控和反馈研究[J].外语电化教学,2022(2):23-31,115.
[22] ALEXIOU A, PARASKEVA F. Inspiring key competencies through the implementation of an ePortfolio for undergraduate students[J]. Procedia - social and behavioral sciences,2015,197(33):2435-2442.
[23] HAYNES C C. The role of self-regulated learning in the design, implementation, and evaluation of learning analytics dashboards[C]// Proceedings of the Seventh ACM Conference on Learning @ Scale. New York, NY, USA: Association for Computing Machinery, 2020:297-300.
[24] UYSAL M, HORZUM M B. Designing and developing a learning analytics dashboard to support self-regulated learning[M]// SAHIN M, IFENTHALER D. Visualizations and Dashboards for Learning Analytics. Cham:Springer international publishing,2021:477-496.
[25] AUVINEN T, HAKULINEN L, MALMI L. Increasing students' awareness of their behavior in online learning environments with visualizations and achievement badges[J]. IEEE transactions on learning technologies,2015,8(3):261-273.
[26] 曾昭炳,姚继军.寻找“最佳证据”:如何运用元分析进行文献综述——以STEM教育对学生成绩的影响研究为例[J].华东师范大学学报(教育科学版),2020,38(6):70-85.
[27] CHEN X, ZOU D, XIE H. A decade of learning analytics: structural topic modeling based bibliometric analysis[J]. Education and information technologies,2022,27(8):10517–10561.
[28] ARAKA E, MAINA E, GITONGA R, et al. Research trends in measurement and intervention tools for self-regulated learning for e-learning environments—systematic review (2008-2018)[J]. Research and practice in technology enhanced learning,2020,15(1): 6.
[29] PARIS S, PARIS A. Classroom applications of research on self-regulated learning[J]. Educational psychologist - EDUC PSYCHOL, 2001,36(2):89-101.
[30] AZEVEDO R, HADWIN A F. Scaffolding self-regulated learning and metacognition - Implications for the design of computer-based scaffolds[J]. Instructional science, 2005, 33(5-6): 367-379.
[31] 单俊豪,宫玲玲,李玉,闫寒冰.教育机器人对学生学习成果的影响——基于49篇实验或准实验研究论文的元分析[J].中国电化教育,2019(5):76-83.
[32] ZAMECNIK A, KOVANOVI V, GROSSMANN G, et al. Team interactions with learning analytics dashboards[J]. Computers & education,2022,185(10):104514.
[33] LIU A L, NESBIT J C. Dashboards for computer-supported collaborative learning[M]// VIRVOU M, ALEPIS E, TSIHRINTZIS G A, et al. Machine learning paradigms: advances in learning analytics. Cham: Springer international publishing,2020:157-182.
[34] CHA H J, PARK TAEJUNG. Applying and evaluating visualization design guidelines for a MOOC dashboard to facilitate self-regulated learning based on learning analytics[J]. KSII transactions on internet and information systems,2019,13(6):2799-2823.
[35] 麗姿·贝内特,肖俊洪.从学习的角度看学生对仪表盘数据的反应[J].中国远程教育,2019(1):67-78,93.
[36] JIVET I, SCHEFFEL M, SCHMITZ M, et al. From students with love: an empirical study on learner goals, self-regulated learning and sense-making of learning analytics in higher education[J]. The internet and higher education,2020,47(4):100758.
[37] SCHWENDIMANN B A, RODR?魱GUEZ-TRIANA M J, VOZNIUK A, et al. Perceiving learning at a glance: a systematic literature review of learning dashboard research[J]. IEEE transactions on learning technologies, 2017,10(1):30-41.
[38] SAFSOUF Y, MANSOURI K, POIRIER F. TABAT: design and experimentation of a learning analysis dashboard for teachers and learners[J]. Journal of information technology education-research,2021,20(1):331-350.
[39] VALLE N, ANTONENKO P, DAWSON K, et al. Staying on target: a systematic literature review on learner-facing learning analytics dashboards[J]. British journal of educational technology, 2021,52(4):1724-1748.
[40] PINTRICH P R. A conceptual framework for assessing motivation and self-regulated learning in college students[J]. Educational psychology review,2004,16(4):385-407.
[41] 徐曉青,赵蔚,刘红霞,姜强.自我调节学习中学习分析的应用框架和融合路径研究[J].电化教育研究,2021,42(6):96-104.
[42] DE QUINCEY E, BRIGGS C, KYRIACOU T, et al. Student centred design of a learning analytics System[C]//Proceedings of the 9th International Conference on Learning Analytics & Knowledge. New York, NY, USA: Association for computing Machinery, 2019:353-362.
[43] 姜强,赵蔚,李勇帆,等.基于大数据的学习分析仪表盘研究[J].中国电化教育,2017(1):112-120.
Study on Impact of Learning Analytics Dashboard on Self-regulated Learning?
—A Meta-analysis Based on 24 Experimental and Quasi-experimental Studies
ZHAO Wei, CHENG Nuo, XU Xiaoqing, JIANG Qiang
(School of Information Science and Technology, Northeast Normal University, Changchun Jilin 130117)
[Abstract] Learning analytics dashboards are increasingly valued as visual feedback tools, but their effectiveness in facilitating self-regulated learning remains controversial. This study employs a meta-analytic approach to conduct a systematic literature analysis of learning analytics dashboards for promoting self-regulated learning. The analysis of 24 included experiments demonstrates that the learning analytics dashboard has a positive facilitative effect on self-regulated learning, with a combined effect value of 0.415. An in-depth moderating variable analysis is conducted in three dimensions: experimental characteristics, representational form, and design rationale. The results show that experimental characteristics such as length of experiment, environment, and subjects do not affect the facilitation effect of learning analytics dashboards on self-regulated learning. However, the content, format, degree of tapping, and the presence of theoretical bases of learning analytics dashboards all have an impact on the facilitation effect. Based on these findings, this study suggests that learning analytics dashboards should strengthen the linkage with pedagogical theories from the perspective of education and teaching integration, and form the design principles that balance cognitive load and take into account data literacy to provide effective support for enhancing self-regulated learning.
[Keywords] Learning Analytics Dashboard; Self-regulated Learning; Meta-analysis; Data Literacy; Cognitive Load