摘 要:主流学习分析侧重于数据采集、分析挖掘、算法建模等工具理性研究,而关于如何使用学习分析的价值理性研究未受到足够重视,教育数据要素的开发利用研究在工具理性与价值理性上发生取向失衡现象。为此,研究概念化了学习分析的价值理性目标“可行动见解”,明确了其内涵定义,重点构建了可行动见解的概念结构,刻画了可行动见解的叙述特征,提出了支持可行动见解生成的分析推理过程和设计策略。研究认为,可行动见解是终端用户从学习分析中生成的可付诸行动的有意义知识或信息,包括事实性见解、解释性见解、反思性见解与行动性见解四个层级化成分。为了实现可行动见解的有效生成,建议在设计学习分析系统时采取以用户为中心的参与式设计方法、引入数据故事化设计理念、整合教育理论或学习构念等策略。
关键词:可行动见解;学习分析;数据要素;价值理性;数据故事化
作者简介:汪维富,江西师范大学新闻与传播学院讲师(南昌 330022);毛美娟,江西外语外贸职业学院电子商务学院讲师(南昌 330099)
基金项目:江西省社会科学基金2023年青年项目“数据要素赋能教育高质量发展的价值转化实践策略研究”(项目编号:23JY12)
中图分类号:G442 文献标识码:A 文章编号:1009-458x(2024)10-0060-13
一、引言
学习分析日益成为数据要素赋能教育高质量发展的重要方法与技术。然而,学习分析尚未给教育系统带来实质性的改进(Pelletier et al., 2022),其研究内容聚焦数据建模、分析挖掘、机器学习等方面(胡航 等, 2021; 赵帅 等, 2022)。假设通过分析大数据就会直接改进实践,这是天真的(Spillane, 2012)。例如,教师在应用学生数据时经常面临数据解读困难、缺乏建设性干预等问题(白雪梅 等, 2022)。数据具有原材料的性质,其本身并不能说明或解决学习问题,数据价值转化需要用户认知的深度参与,将分析转化为具有本地化、情境性、有意义的见解。教育技术研究需要技术理性的再平衡,突出价值理性的主导地位,避免工具理性的过度张扬(李芒, 2008)。同样,学习分析的研究焦点需要从数据采集、算法建模的工具理性转向如何利用数据要素来影响教育实践的价值理性(汪维富 & 毛美娟, 2021)。当数据获取不再掣肘时,数据价值成为教育数据应用实践的首要指向,当下需要从数据处理转向教育数据的人为解读过程,加强数据认知规律的研究(林书兵 & 张学波, 2021)。类似地,坎波斯(Campos, F. C.)等认为急需一种用户话语体系来考察学习分析的应用过程(Campos et al., 2021)。然而,终端用户如何应用学习分析,怎样开展数据价值转化,仍是一个尚未被深入探索的重要议题(Wise et al., 2016)。
最近,学习分析研究共同体日益达成了共识,教育数据的实践影响取决于能否为终端用户提供高质量的“可付诸行动的数据见解”,即可行动见解,英文为actionable insights,类似表述还有actionable knowledge、actionable feedback、actionable information、actionable data、actionable analytics、actionable recourse等(Clow, 2013; Colvin et al., 2016; Gaševi et al., 2016; Liu et al., 2017; 祝智庭 等, 2017; Van Leeuwen, 2019; Hilliger et al., 2020; Iraj et al., 2021; Rasouli & Chieh, 2022)。在一个关于学习分析的早期定义中,就将“可行动信息”(actionable information)作为关键目标,即学习分析是应用技术分析教育数据,提供可行动信息以改善学习相关活动(Van Harmelen & Workman, 2012)。库珀(Cooper, A.)甚至直接将学习分析视为可行动分析(actionable analytics)(Cooper, 2012)。然而,还没有研究完整地探讨过学习分析的“可行动见解”概念,多数研究默认让终端用户自行从特定化的数据分析情境中感知数据的意义,可行动见解的生成过程还是一个“黑箱”。因此,本研究将对“可行动见解”进行系统的概念化。
二、可行动见解的内涵界定
学术产出是一个持续积累与创新的过程,本研究将先考察见解与可行动的定义,再界定学习分析中的可行动见解。
(一)见解与可行动
见解(insight)在剑桥词典中被定义为“对复杂问题或情况的清晰、深刻、突然的理解”。直觉(intuition)是人们已经习得或熟练的思考模式,而见解(insight)是新生成的关系模式,即“理解事物方式的意外转变”。在信息可视化领域,见解有两种理解向度:1)一个信息或知识单元,“数据探究时发现的一个信息单位”(Saraiya et al., 2005);2)一种心理状态,即一种顿悟性、自发性的心理体验,从不知道如何解决问题过渡到明白怎样解决问题(Mai et al., 2004)。因此,见解既是用户对数据信息的分析推理过程,又是可以外显衡量的信息或知识发现单元。
可行动(actionable)是指信息能否在未来的行动进程中被实践者有效利用(商丽丽 等,2022)。苏(Su, P.)等提出了可行动的规则,若人们可依据该规则采取使自身获益的行动,那该规则就是可行动的(Su et al., 2012)。“可行动”既强调了数据信息的实践性效用标准,又提出了支持用户决策的信息设计要求。
(二)可行动见解的内涵界定
学习分析的可行动见解是从教育数据分析中提取的、可支持用户采取干预决策的有意义信息或知识发现。第一,可行动见解是特定的终端用户深入推理数据分析结果而做出的理性判断,他们具有特定的问题解决需求、专业领域知识或现场经验,而不是模糊、泛在的“用户”。第二,可行动见解具有自发性与顿悟性特征,用户需要关联其他丰富情境信息,调动心理模型或原有图式,进行认知加工。第三,可行动见解关注学习分析所带来的行动决策潜力,而不仅仅是关系描述或表征。第四,可行动见解是为制定行动而建立改进流程或反馈循环的信息(Jørnø & Gynther, 2018),强调数据应用的循环性特征,从学习分析中推断的新假设仍需在新一轮教育实践中得到验证。第五,可行动见解旨在帮助用户使用学习分析来解决特定问题,是个人化理论假设(personal theorizing)或情境化实践知识,并非一般化的普遍知识。第六,可行动见解是一个信息发现的单元,可以用主观语言、出声思维或话语分析来描述与评估。综上所述,可行动见解是终端用户从学习分析中获得的可付诸行动的有意义信息或知识发现,是一个兼具知识性与实践性的复合型概念,既要分析、理解数据分析中特定的关系模式,又要结合知识专长或教育情境来作出推断、干预并持续验证。
可行动见解与数据素养较为相关,但在概念界定与应用定位上有所不同。数据素养是指个体采集、处理、管理、应用数据的意识与技能,属于能力或素养范畴。可行动见解是特定用户应用数据解决问题过程中生成的有意义信息或知识发现,属于数据实践主客体之间的交互结果。利用数据要素解决教育问题,一方面需要提升教育者、学习者、教育管理者的数据素养,另一方面需要开发适合其消费数据的高质量制品或服务(De Laet et al., 2020)。考察学习分析的可行动见解,可以揭示终端用户与数据产品的交互机制,以更好地帮助研发者设计、开发与评价学习分析系统或数据应用支架,而不仅仅是要求他们提升数据素养。
三、可行动见解的概念结构
学习分析的目标是为用户提供可行动见解,使用户做出具有证据依据、实际意义的决策。因此,与纯粹的数据分析不同,学习分析的目的是双重的,低层次目的是促进用户理解数据分析本身,高层次目的是通过分析决策来发现并解决教育现实问题。可见,可行动见解是一个多成分、层次化的概念(Tan & Chan, 2015; Koh & Tan, 2017),但其生成过程在很大程度上仍被掩盖,本研究将剖析可行动见解的概念结构。
(一)可行动见解的相关研究基础
为了刻画可行动见解的概念结构,本研究借鉴数据转化模型、意义建构、学习分析应用过程模型、数据可视化解读与数据素养等相关成果。这些成果在一定程度上阐述了可行动见解的某些方面,但还缺乏针对教育情境的细致性阐述与有机整合。
1. DIKW数据转化模型
“数据—信息—知识—智慧”(Data-Information-Knowledge-Wisdom, DIKW)模型是经典的数据转化理论(Ackoff, 1989)。其中,信息是被组织、筛选、分类或合成过的结构化数据;通过有意义地组织、关联各种信息,可以获得有价值的知识,知识反映了使用信息的特定立场、视角或意图;而智慧是能有效整合并灵活应用各类知识,更具完整性、稳定性、前瞻性,主要体现在制定最佳行动方案上。由于这三个层次经常交织在一起,有学者在知识与智慧之间加入“见解”层次(Kozlov, 2020)。见解是个人、暂时、零散的闪光点或顿悟知识,但还没有与其他知识贯通成具有普适性、稳定性的智慧。其中,见解与智慧的主要区别在于,前者是只适用于特定情境的本地化、临时性知识,而后者是经过实践验证的体系化知识。见解既是对特定知识的情境化理解,又是凝练行动智慧的重要桥梁。可见,见解在不同程度上代表了基于数据分析而产生的信息、知识与智慧。信息层侧重于见解的事实性,知识层侧重于见解的原理性或解释性,而智慧层侧重于见解的行动性。因此,可以从事实性、原理性、行动性等层面来考察可行动见解的概念结构。
2. 数据的意义建构过程
可行动见解在本质上是用户对数据信息的意义建构。意义建构(Sense-making)是人类信息加工的关键过程,将事物赋予意义的过程,以有意图、持续性地回溯事物之间的联系,使其得到合理化解释,从而稳定地预测其关系模式并高效地行动(Klein et al., 2006)。意义建构主张对现实世界的主动建构,而不只是发现隐藏在数字、文本或事件中的已有事物(Brown et al., 2015)。皮罗尔斯(Pirolli, P.)与卡德(Card, S.)概述了数据信息的意义建构过程,包括两个认知任务循环:自下而上的搜索循环,以信息搜索与组织为中心,涉及检索、阅读、过滤、提取、系统化组织等过程;自上而下的意义建构循环,包括重新评估见解、寻找见解支持、考察见解证据、探索新关系、获取更多数据等过程(Pirolli & Card, 2005)。同样,托马斯(Thomas, J.)等将意义建构描述为一个“扫描—解释—行动—绩效”的序列化过程(Thomas et al., 1993)。可见,可行动见解不仅是对数据中关系模式的有意义发现,而且需要经过用户的探索、验证、提炼的持续构建。
3. 学习分析应用过程模型
从学习者角度,韦伯特(Verbert, K.)等提出了学习分析的应用过程模型:1)意识,感知数据或可视化;2)反思,考察数据表现并提出相应的问题;3)意义建构,根据经验或专业知识,试图回答问题并形成新意义(即新图式或框架);4)影响,固化新意义并据此改变行为(Verbert et al., 2013)。类似地,怀斯(Wise, A. F.)等凝练了基于学习分析的自我调节过程,将应用学习分析视为学习者反思性实践循环的重要部分,包括接触、目标设定、行动、反思等过程(Wise et al., 2016)。
从教师角度,怀斯与荣格(Jung, Y.)考察了教师利用学习分析来启发教学法的探究过程(Wise & Jung, 2019):1)提出问题,带着特定的目标或兴趣感知数据;2)解释数据,发现值得注意的关系模式,并利用参照标准、情境信息来研判、分析价值,对关系模式进行归因分组;3)行动决策,针对特定的数据发现采取教学响应,如提供针对全班或个人的教学支架、修改课程教学设计等,或深度反思教学;4)检查影响,探究行动策略对教学改进的有效性。最近,李(Li, Q.)等发现专家教师在应用学习分析时有三个关注点(Li et al., 2021):1)目标,教学目标、有效学习或学习愿景的实现程度;2)问题,学习中存在问题的范围、潜在原因和后果;3)行动,有根据地改进教学实践或实时干预。类似地,坎波斯等(Campose et al., 2021)将教师对学习分析的响应行为分为情绪性、分析性和意图性三类。这些实证研究极大地丰富了刻画可行动见解的精确性、过程性特征。
4. 数据可视化素养
可视化是非数据专业用户使用数据的关键机制,其相关研究发现对于剖析可行动见解的概念结构具有很好的启发作用。怀纳(Wainer, H.)提出了图表理解任务的三个层次(Wainer, 1992):1)字面任务,读取数据图形中特定的数值或对象;2)比较任务,确定数据图形的关系、趋势、模式等;3)扩展任务,构建图形之外的数据见解,如根据预测制定新意义或干预决策。这三个层次依次称为读取数据本身、读取数据之间的关系和读取数据之外的意义(Curcio, 1987)。类似地,克拉斯(Claes, S.)等定义了可视化见解的三个层次(Claes et al., 2015):1)事实性见解,感知数据事实及其关系模式;2)解释性见解,对数据事实或关系模式进行情境化理解;3)反思性见解,结合外部信息、专业经验来合理化数据发现等。陈(Chen, Y.)等提出了可视化见解的层次模型(Chen et al., 2009):1)从数据可视化中提取的事实发现;2)调用评估这些数据发现的心智模型,即激活与数据发现相关的个人经验知识;3)对这些数据发现的客观和主观评价,合理化数据发现并衡量其使用价值。卡彭特(Carpenter, P. A.)与沙阿(Shah, P.)提出了图形理解的认知模型(Carpenter & Shah, 1988):1)识别,感知并识别图形中数据关系模式;2)解释,从关系模式中进行检索、构造定性和定量意义;3)整合,将定性或定量意义与标签、图例、标题、文本等信息联系起来推断发现。这些研究为描绘可行动见解的概念结构提供了丰富多样的理解细节。
5. 数据素养的内涵结构
数据素养是有效地理解和使用数据并将其转化为决策信息的能力,学习分析在功能上也是支持用户对教育数据的处理与利用,考察数据素养对于刻画可行动见解具有较好的参考价值。早在2011年,美国教育部针对大数据时代的教师提出了五大数据技能要求:1)数据定位,能找到相关数据;2)数据理解,理解数据的重要性、多样性表征形式;3)数据解释,明白数据的潜在意义,能对其教育价值做出关联性解读;4)数据驱动的教学决策,对分析结果做出价值研判并制定相应决策;5)提出新问题、新观点的能力,对教学成效进行评价与验证,不断调整教学计划(Barbara et al., 2011)。类似地,曼迪纳奇(Mandinach, E. B.)与古默(Gummer, E. S.)概述了教师使用数据的过程(Mandinach & Gummer, 2016):1)确定问题,识别可通过数据分析解决的教学问题;2)使用数据,识别可能的数据源,收集数据,结合问题来分析数据;3)将数据转换为信息,使用多样化方式组织数据,结合教学法知识来解释分析结果;4)将信息转换为可付诸实践的知识见解,以采取干预、调整教学或改进设计;5)评估有效性,采取干预行动之后,收集新数据来评估干预措施的有效性。
(二)刻画可行动见解的概念结构
DIKW数据转化模型厘清了可行动见解的内容边际和结构化特征,意义建构明确了可行动见解的数据意义赋予的建构性过程,学习分析应用过程模型勾勒了可行动见解的关键结构,而数据可视化素养和数据素养为概述可行动见解提供了丰富的内容给养。据此,本研究归纳了可行动见解的概念结构(如表1所示)。从中可以看出,可行动见解是一个层次化的概念结构,包括“事实性见解—解释性见解—反思性见解—行动性见解”四种关联的见解。
1.事实性见解
事实性见解是用户从数据分析或可视化中直接发现的观测结果,如明显的指标变化、特定的关系模式等。为了获得这类见解,用户需要与学习分析过程、系统或工具进行持续的交互,感知到特定数据变量之间的关系,具体内容有数值、趋势、分布、相关、交集、预测、对比、向下钻取、指标合成或拆解、聚类、异常值、排序或复合见解等(Chen et al., 2009; 朝乐门 & 张晨, 2019)。事实性见解涉及客观性、无需评判性的信息发现,但仅凭事实性见解不太可能对现象理解、行动决策和问题解决产生直接影响。
2. 解释性见解
解释性见解是对学习分析的事实性见解进行情境化诠释、意义赋予和回溯性解析,明确这些观察发现对于当前的教育情境或用户对象意味着什么。学习分析在本质上是对教育数据的去情境化抽象、处理与表征,而要准确理解数据事实的实际含义,需要再次还原其情境细节,重新赋予其教与学意义上的内涵。用户综合教育情境、参照基准、关联数据、相关理论等软性证据(soft evidence),对事实性见解的硬性证据(hard evidence)进行关联思考、意义赋予、问题凝练、假设生成等,将数据价值转化焦点从单纯的“数据事实与图表”转向数据背后的“教育情境与学习问题”。
3. 反思性见解
反思性见解是用户整合专业知识、心理图式、教育情境或其他三角互证信息,对解释性见解进行批判性、有效性的价值衡量,判断其是否符合预期目标或一般规律,研判造成这种结果的可能原因是什么,推断这种状态持续下去可能会引发怎样的后果。其实,用户经常很难理解为什么会出现特定的学习行为模式或使用特定学习策略,如赵(Zhao, F.)等提出了一个基于结果确认的学习行为分析框架,以探索学习模式和策略选择背后的深层原因和发生机理(Zhao et al., 2021)。对数据分析过程和结果重新赋予新的图式化、关联性意义,为制定行动策略做好深思熟虑的准备。因此,反思性见解反映了数据发现与相关理论、预期目标、学习意图或具身经验的切合性,不再局限于数据分析过程或可视化系统中能够提供的信息情境。
4. 行动性见解
行动性见解关注如何深思熟虑做出并实施证据导向的行动决策,在解释与反思特定关系模式的基础上,结合发展目标与知识经验,针对性地提出可付诸实践的干预策略。学习分析的关键目标是务实性或实践性的,主要是为了做什么,而不仅仅是为了发现或解释数据。首先,数据见解是否具有可行动性,涉及能否获知数据中的特定关系模式(事实性见解),能否理解关系模式背后的教育情境及其意义(解释性见解),能否合理化关系模式的原因及其后果(反思性见解)。其次,行动性见解的生成一般依赖于专业知识、具体经验或教育理论等方面的指导。如采用学习探究共同体理论指导在线课程干预措施的制定(Rienties et al., 2016)。最后,用户实施特定的干预行动之后,需要开始新一轮的数据见解探索过程,以持续验证干预行动的实际影响,即生成新的事实性见解或产生新的问题假设。
教师或学习者在使用教育数据和学习分析系统时并不一定都会生成所有层次的数据见解(特别是第四个层次的行动性见解),如使用数据大屏列出机构运行的基本数据。一方面,可行动见解是一个从低可行动到高可行动的连续统,但支持所有四层见解生成的学习分析设计对于教育数据价值转化的影响是最深刻的。尤其是生成第四层见解,实施基于数据证据的干预行动,能够完整地闭合学习分析的应用回路。另一方面,四层见解的产生过程不一定是线性连续的,用户既可以从行动性见解(如用户根据自身经验获得的干预决策猜想)到事实性见解(即找到支持其决策猜想的数据证据),又可以根据事实性见解来建立其对学习情境的初步理解,结合其他相关软性证据来确定潜在问题,构建问题情境,提出相关假设,预测后果,以制定最优的解决方案。
四、可行动见解的叙述特征
与信息可视化领域对见解的特征界定一样,可行动见解也具有明显的叙述特征,是一种需要通过语言符号、出声思维或话语分析才可表征、可量化的数据见解。诺森(North, C.)阐述了数据见解的五个叙述特征(North, 2006):复杂、深刻、定性、意外、相关。类似地,洛(Law, P. M.)等认为数据见解具有可行动性、协同性、意外性、可验证性、自发性、可信赖性和互联性等特征(Law et al., 2020)。在学习分析领域,数据见解具有三个特征:1)实践性,主要是为了做什么,而不仅是解释或报告;2)依据性,任何行动都是经过深思熟虑、有证据导向的;3)实证性,有相关基准帮助用户衡量数据发现的重要程度(Cooper, 2012)。综上所述,本研究归纳了学习分析的可行动见解的八个叙述特征:情境性、深刻性、主观性、意外性、自发性、整合性、特异性和证实性(如表2所示)。
语言即思维。叙述特征实际上代表了用户应用学习分析的思维推理过程。多数相关研究侧重于从研究者、研发者或数据分析者角度来考察教育实践,关注数据建模准确率、精准率、召回率、泛化程度等(Baker, 2019)。而可行动见解的叙述特征是面向学习者、教师、教育管理者等非数据专业用户而构建的,可以作为学习分析系统设计的内核理论(kernel theory),指导教育数据要素的开发利用实践。例如,“情境性”特征说明学习分析的数据结构(或指标)要与具体的学习情境或任务紧密对齐,以确保数据的教育意义;“特异性”特征要求学习分析过程或结果有足够细致的颗粒度和指向性,以聚焦可付诸行动的施策主体、对象、时间、强度等;而“证实性”特征表明需为数据分析提供特定的价值判断基准或可追溯的成功实例,帮助用户确认需要实施干预的临界值等。
表2 可行动见解的叙述特征
[特征 说明 情境性 见解是嵌入到教育情境之中的,涉及学习过程、学习设计、学习结果、学习资源、教学活动、时间管理、学习者特征等教育性意义,而非纯粹的数据处理和分析 深刻性 见解是用户结合机器算法、经验知识的推理结果,涉及多维时空、种类多样的数据,而不仅是单个抽象数值,具有一定的深度、广度与高度 主观性 见解往往是不确定的,可能有多样化的理解向度、验证路径或解决方案 意外性 见解往往是不可预测的、偶然的,经常会出现难以猜测、意想不到的关系模式 自发性 见解意味着“从不知道如何解决问题突然迁移到知道怎样解决问题”,这依赖于人类特有的直觉、关联思维、顿悟、经验与因果推理 整合性 见解生成时会调动用户的期望、预感、知觉、假设、知识、经验或心理模型,参考外部信息、工具、理论、基准、调查信息,主动开展统整性反思、验证 特异性 见解具有足够的特异性、具体性、指向性才具有实践价值,从特定的用户、时间、位置、对象、活动或关系角度来制定可施行的干预措施 证实性 可从定量上或定性上判断数据发现的显著性、可靠性、有效性、可追溯性,明白什么样的预期范围是达标的或存在问题,特征值达到什么阈值或条件才值得关注 ]
五、支持可行动见解生成的分析推理过程
学习分析是一项社会性技术,数据价值的转化需要终端用户的分析推理,积极调用心理图式,以开展基于密集数据资源的复杂认知活动,而可行动见解正是这些认知活动的信息输出。其中,分析推理是终端用户应用信息可视化的核心加工过程,理性地对数据信息的逻辑价值开展推断和评价(Leighton, 2004)。同样,为了支持可行动见解的生成,学习分析系统或工具需要有效地支持用户的分析推理,以协同、补充、增强、引导终端用户的信息加工过程。
然而,还没有研究概述终端用户使用学习分析的分析推理过程,借助数据工具实现人类推理的过程仍然是一个高度未开发的领域(Meyer, et al., 2010),更没有颗粒细致的理论框架来解释学习分析的意义建构过程(Duval, 2011)。值得注意的是,塞迪格(Sedig, K.)和帕森斯(Parsons, P.)梳理了关于数据可视化支持用户分析推理的思维框架,从专业可视化软件中提炼了数十种认识行为(epistemic action),包括筛选、检索、注释、翻转等(Sedig & Parsons, 2013)。不过,该框架针对的是数据专业人员的分析推理过程,并不是从教师、学习者等非数据专业用户的视角出发,但为其数据分析推理活动提供了重要的理论构建指引。通过整合最新研究成果,本研究将构建使用学习分析的分析推理过程,包括感知探索、意义建构、整合推理和干预决策,以对应可行动见解的四个层次结构(如表3所示)。
(一)感知探索
在接触到学习分析过程或系统之后,用户带着问题、好奇心或自由地探索与感知数据,结合对关键教与学事件、现象的回忆,或凭借已有知识经验,逐渐形成探究焦点,构建特定的数据发现或关系模式,识别新问题或出现认知冲突,可能会出现一定的情绪响应,或者继续等待分析推理时机。该阶段主要生成事实性见解,以“看见”数据中“发生了什么”(What)。
(二)意义建构
用户对特定的数据现象或关系模式进行情境化理解和本地化解释,在数据信息与可理解的教育概念之间建立关联和映射。例如,与预期目标和数据基准对比,将数据发现还原至关联的学习情境,联合多个数据对象、变量、特征、实例进行跨时空、立体化比较,判断数据发现的价值性与可信度,提出教与学的相关假设,赋予数据以教育教学意义并将其整合到其他先前存在的心理图式当中,其实质是诊断和明确现状问题与预期目标之间的差距。该阶段主要生成解释性见解,以“洞见”这些数据发现“意味着什么”(So What)。
(三)整合推理
用户结合专业知识、相关理论、辅助数据、外部工具等,调用数据以外的信息、理论、信念对数据发现或意义进行补充说明,对数据发现进行分析推理、价值确认、后果预测、恰当归因、论证假设,或引发有待验证的质疑、困惑或假设,激发对教育现象本身的预测性、假设性、移情性反省。整合推理实际上是对数据背后的教育现象进行合理化,该阶段主要生成反思性见解,以“预见”数据背后教育现象的发生机制(Why)。
(四)干预决策
在对数据发现进行情境化的解释与深思熟虑的反思之后,用户根据相关教育理论、分析目标、特定基准、个人或团队经验,对数据背后的教育问题做出针对性的行动响应,向利益相关者提供反馈,引发对教与学策略的深度思考,完善或改变已有心理图式,也可能继续观察、有待补充更多数据或寻求更多说明信息。干预决策意味着根据相关理论或自身知识经验,或者参考机器学习模型生成的反事实解释(Counterfactual explanation)(Rasouli & Chieh Yu, 2022),制定可实施的行动策略,以弥合问题现状与预期目标之间的鸿沟。该阶段主要生成行动性见解,以“创见”解决教育相关问题的新措施(How)。同样地,在实施新干预之后会引发下一轮感知探索,运用新的事实性见解来验证上一轮干预的有效性,以支持可行动见解的迭代生成,从而形成教与学的新观点或理论(Wong et al., 2019)。
六、支持可行动见解生成的学习
分析系统设计建议
学习分析系统或学习仪表盘为数据要素的价值转化提供了规模化机制,但师生在解释学习分析并据此采取行动上还存在较大挑战(Li et al., 2021;Susnjak et al., 2022)。尽管直观地显示数据可以一目了然,但是仅仅表征或报告数据,对于用户生成可行动见解是远远不够的,学习分析制品还需要帮助用户对数据背后的教育现象进行合理地解释、反思与干预决策。数据用户面临的最大挑战之一就是应用分析结果来解决现实世界中的问题(You, 2010)。换句话说,单纯的数据分析往往很难实现其更高层次的目的,即支持有效的干预决策。为了促进可行动见解的生成,建议在开发学习分析系统或学习仪表盘时采取一些对应的设计策略。
(一)采用以终端用户为中心的参与式设计策略,提高学习分析的相关性与可用性
可行动见解的生成包括感知探索、意义建构、整合推理、干预决策等多个阶段,设计良好的学习分析应该支持用户从事这些复杂认知的思维过程。以终端用户为中心的参与式设计方法被认为是支持可行动见解生成的关键方法(Buckingham Shum et al., 2019)。分析与推理数据信息时可能存在“偏差发现”、质疑等倾向,终端用户也可能会得出与需求无关的“意外性”“自发性”“主观性”见解,所以调查并满足终端用户的真实需求显得至关重要。直接邀请终端用户参与学习分析应用的设计全程,充分考虑其需求、愿望、经验、应用情境与限制,提升学习分析设计的相关性、可用性、可解释性。如马丁内斯-马尔多纳多(Martinez-Maldonado, R.)在开发课堂协作学习仪表盘时,就充分调查与挖掘了教师关于如何使用协作学习分析的观点、痛点及其支持需求(Martinez-Maldonado, 2019)。类似地,基施纳(Kirschner, P. A.)提出以用户为中心的CSCL可视化设计流程(Kirschner, 2002):1)在设计和开发工具之前,观察学习者实际做了什么;2)确定可以做些什么来支持学习者;3)确定学习环境中的约束和行为习惯;4)确定学习者怎样感知和体验所提供的支持;5)确定学习者实际如何使用支持;6)利用习得的经验教训,不断修正设计。
(二)采用数据故事化设计理念,促进数据要素的深度意义建构与价值转化
数据故事化(Data Storytelling)主张结合叙事要素、模型与方法来帮助用户洞察数据中的见解发现,是数据价值转化的深度设计逻辑(汪维富 等, 2023)。朝乐门与张晨(2019)认为,数据故事化能将“数据”还原或关联至特定情境,并以叙述方式呈现过程,能有效地促进用户从数据的表面感知转向数据的深度认知,让学习分析的设计倾向从探索性特征转为解释性特征,使终端用户像数据科学家一样从数据中洞察价值。根据可行动见解的概念结构,除了获知事实性见解,还需要对这些数据发现进行解释和反思,甚至执行对应的干预,易于理解的叙事文本作为数据的情境再植方法与理解支架,能高效地引导用户对教育数据进行意义建构、整合推理与干预决策。如在仪表盘中增加关于复杂数据指标的文本解释,将相关情境要素信息植入可视化当中,为预测模型探寻可行动的反事实解释列表,为达到特定基准的对象设定干预反馈规则等。
(三)融合教育理论或学习构念,实现从低阶数据向可行动见解的话语转变
纯粹地基于大量低阶数据(如点击流、眼睛注视、心电信号等)而创建的分析模型存在可理解性和可用性的困境,因为这些数据无法转化为教师和学习者可以理解的概念形式。因此,学习分析研究者纷纷强调教育理论或学习构念在发展可行动见解上的关键作用(Dawson et al., 2015)。教育理论能够指导设计者如何从诸多数据变量中选择和生成可靠的关键指标,实现从点击流到有效学习构念的转换,赋予低阶的初始数据以用户可解释、可操作的高阶学习构念,在解释性见解、反思性见解、行动性见解层面实现数据点击流到教育概念的关联映射和话语转换。如果没有理论,缺乏将数据联系起来的整体框架,学习分析可能只是杂乱无章的数据处理。事实上,若没有教育概念,学习仪表盘只是简易的数据描述呈现,可能只停留在事实性见解层面,很难提供进一步的可行动见解。
七、总结与展望
数据发挥价值需要经过一套完整的增值过程(郝祥军 & 顾小清, 2023),不仅包括工具理性导向的数据统计与分析挖掘,而且涉及价值理性导向的用户推理与实践验证。本研究从终端用户的输出角度,全面刻画了可行动见解的概念框架,包括内涵定义、概念结构、叙述特征和分析推理过程,这些成果对于促进教育数据要素的开发利用和价值转化具有一定的理论与实践意义。一方面,面对学习分析研究充斥着数据处理和算法建模等工具理性目标,可行动见解为用户使用学习分析提供了过程性的价值理性目标,较好地回应了学习分析研究中工具理性与价值理性的失衡问题,构建了学习分析研究的新话语体系。另一方面,教育数据要素只有经过深度的开发加工,产出高品质的教育数据服务,才能激活与发挥其潜在价值(杨现民 等, 2022)。可行动见解的概念结构、叙述特征与分析推理过程,能在细致颗粒度上直接指导教育数据产品的深度开发与可用性评价。
尽管本研究较系统地概述了学习分析的可行动见解,但在理论刻画上均使用了基于文献研究的归纳推理方法,没有在现实情境中进行科学验证,可能存在概述不全面、归纳不深入等缺陷,需要进一步在具体教育数据情境中开展实践应用,并持续提炼可行动见解的概念框架。
参考文献
白雪梅,顾小清,尹欢欢,武美玖,& 胡碧皓. (2022). 数据驱动精准教学:实践路径、感知理解与现实困境. 电化教育研究(4),77-84.
朝乐门,& 张晨. (2019). 数据故事化:从数据感知到数据认知. 中国图书馆学报(5),61-78.
郝祥军,& 顾小清. (2023). AI重塑知识观:数据科学影响下的知识创造与教育发展. 中国远程教育(5),13-23.
胡航,杜爽,梁佳柔,& 康忠琳. (2021). 学习绩效预测模型构建:源于学习行为大数据分析. 中国远程教育(4),8-20,76.
李芒. (2008). 对教育技术“工具理性”的批判. 教育研究(5),56-61.
林书兵,& 张学波. (2021). 教育数据解读的认知解密与技能解锁. 开放教育研究(4),17-26.
商丽丽,唐华云,王延昭,& 左美云. (2022). 在线评论可行动信息识别研究. 数据分析与知识发现(12),1-12.
汪维富,& 毛美娟. (2021). 超越工具理性:促进学习分析研究成熟的发展进路. 现代教育技术(12),35-41.
汪维富,闫寒冰,& 毛美娟. (2023). 数据故事化:教育数据要素价值转化的新视角. 电化教育研究(5),13-19,28.
杨现民,吴贵芬,& 李新. (2022). 教育数字化转型中数据要素的价值发挥与管理. 现代教育技术(8),5-13.
赵帅,王炜,江毅,& 刘艳. (2022). 面向数智化决策的学习分析研究要旨与动向——基于2011—2021年LAK会议论文的质性元分析. 中国远程教育(10),10-20.
祝智庭,彭红超,& 雷云鹤. (2017). 解读教育数据智慧. 开放教育研究(5),21-29.
Ackoff, R. (1989). From data to wisdom. Journal of Applied Systems Analysis, 16, 3-9.
Alhadad, S. S. (2016). Attentional and cognitive processing of analytics visualizations: Can design features affect interpretations and decisions about learning and teaching? In Proceedings of the 33rd Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education(pp. 20-32). ASCLTE.
Baker, R. S. (2019). Challenges for the future of educational data mining: The Baker learning analytics prizes. Journal of Educational Data Mining, 11(1), 1-17.
Barbara, M., Chen, E., DeBarger, A. H., & Padilla, C. (2011). Teachers’ ability to use data to inform instruction: Challenges and supports.
OPEPD.
Brown, A. D., Colville, I., & Pye, A. (2015). Making sense of sensemaking in organization studies. Organization Studies, 36(2), 265-277.
Buckingham Shum, S., Ferguson, R., & Martinez-Maldonado, R. (2019). Human-centred learning analytics. Journal of Learning Analytics, 6(2), 1-9.
Campos, F. C., Ahn, J., Digiacomo, D. K., Nguyen, H., & Hays, M. (2021). Making sense of sensemaking: Understanding how K-12 teachers and coaches react to visual analytics. Journal of Learning Analytics, 8(3), 1-21.
Carpenter, P. A., & Shah, P. (1998). A model of the perceptual and conceptual processes in graph comprehension. Journal of Experimental Psychology: Applied, 2(4), 75-100.
Chen, Y., Yang, J., & Ribarsky, W. (2009). Toward effective insight management in visual analytics systems. In Proceedings of the 2009 IEEE Pacific Visualization Symposium(pp. 49-56). IEEE.
Claes, S., Wouters, N., Slegers, K., & Moere, A. V. (2015). Controlling in-the-wild evaluation studies of public displays. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems(pp. 81-84). ACM.
Clow, D. (2013). An overview of learning analytics. Teaching in Higher Education, 18(6), 683-695.
Colvin, C., Rogers, T., Wade, A., Dawson, S., Gasevic, D., Buckingham Shum, S., Nelson, K., Alexander, S., Lockyer, L., Kennedy, G., Corrin, L., & Fisher , J. (2016). Student retention and learning analytics: A snapshot of Australian practices and a framework for advancement. AGOLT.
Conijn, R., Van Waes, L., & van Zaanen, M. (2020). Human-Centered design of a dashboard on students’ revisions during writing. In C. Alario-Hoyos, M. J. Rodríguez-Triana, M. Scheffel, I. Arnedillo-Sánchez, & S. M. Dennerlein (Eds.), Addressing global challenges and quality education(pp.30-44). Springer.
Cooper, A. (2012). What is analytics? Definition and essential characteristics.CETIS Analytics Series, 1(5), 1-10.
Curcio, F. R. (1987). Comprehension of mathematical relationships expressed in graphs. Journal for Research in Mathematics Education, 18(5), 382-393.
Dawson, S., Mirriahi, N., & Gasevic, D. (2015). Importance of theory in learning analytics in formal and workplace settings.Journal of Learning Analytics, 2(2), 1-4.
De Laet, T., Verbert, K., Millecamp, M., Broos, Tom., Chatti, M.A., & Muslim, A. (2020). XLA: Explainable learning analytics. In Adjunct proceedings of the 10th International Conference on Learning Analytics & Knowledge(pp. 477-479). ACM.
Duval, E. (2011). Attention please! Learning analytics for visualization and recommendation. In Proceedings of the 1st International Conference on Learning Analytics & Knowledge(pp. 9-17). ACM.
Gaševi , D., Dawson, S., & Pardo, A. (2016). How do we start? State and directions of learning analytics adoption. International Council for Open and Distance Education.
Hilliger, I., Ortiz-Rojas, M., Pesántez-Cabrera, P., Scheihing, E., Tsai, Y. S., Muñoz-Merino, P. J., Broos, T., Whitelock-Wainwright, A., & Pérez-Sanagustín, M. (2020). Identifying needs for learning analytics adoption in Latin American universities: A mixed-methods approach.The Internet and Higher Education, 45, 100726.
Iraj, H., Fudge, A., Khan, H. J., Faulkner, M., Pardo, A., & Kovanovíc, V. (2021). Narrowing the feedback gap: Examining student engagement with personalized and actionable feedback messages. Journal of Learning Analytics, 8(3), 1-16.
Jørnø, R. L., & Gynther, K. (2018). What constitutes an ‘actionable insight’ in learning analytics? Journal of Learning Analytics, 5(3), 198-221.
Kirschner, P. A. (2002). Can we support CSCL? Educational, social and technological affordances for learning(pp. 7-47).OUNL.
Klein, G., Moon, B., & Hoffman, R. R. (2006). Making sense of sensemaking 1: Alternative perspectives . IEEE Intelligent Systems, 21(4), 70-73.
Koh, E., & Tan, J. (2017). A taxonomy for teacher-actionable insights in learning analytics. In Proceedings of the 25th International Conference on Computers in Education(pp. 517-519). Asia-Pacific Society for Computers in Education.
Kozlov, V. (2020-8-25). What is data, information, knowledge, insight? http://victorkozlov.com/blog/data-information-knowledge-
insight/
Law, P. M., Endert, A., & Stasko, J. T. (2020). What are data insights to professional visualization users. In 2020 IEEE Visualization Conference(pp. 181-185). IEEE.
Leighton, J. P. (2004).The nature of reasoning. Cambridge University Press.
Li, Q., Jung, Y., & Wise, A. F. (2021). Beyond first encounters with analytics: Questions, techniques and challenges in instructors’ sensemaking. In Proceedings of the 11th International Conference on Learning Analytics & Knowledge(pp. 344-353).ACM.
Liu, D. Y. T., Bartimote-Aufflick, K., Pardo, A., & Bridgeman, A.J. (2017). Data-driven personalization of student learning support in higher education. In A. Peña-Ayala (Ed.), Learning analytics: Fundaments, applications, and trends(pp. 143-170). Springer.
Mai, X. Q., Luo, J., Wu, J. H., & Luo, Y. J. (2004). “Aha!” effects in a guessing riddle task: An event-related potential study. Human Brain Mapping, 22(4), 261-270.
Mandinach, E. B., & Gummer, E. S. (2016). Every teacher should succeed with data literacy. Phi Delta Kappan, 97(8), 43-46.
Martinez-Maldonado, R. (2019). A handheld classroom dashboard: Teachers’ perspectives on the use of real-time collaborative learning analytics.International Journal of Computer-Supported Collaborative Learning, 14, 383-411.
Meyer, J., Thomas, J., Diehl, S., Fisher, B., &; Keim, D. (2010). From visualization to visually enabled reasoning. In H. Hagen (Ed.), Scientific visualization: Advanced concepts(pp. 227-245).Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik.
Molenaar, I., & Knoop-van Campen, C. A. N. (2019). How teachers make dashboard information actionable. IEEE Transactions on Learning Technologies, 13(3), 347-355.
North, C. (2006). Toward measuring visualization insight. IEEE Computer Graphics & Applications, 26(3), 6-9.
Pelletier, K., McCormack, M., Reeves, J., Robert, J., Arbino, N., Al-Freih, M., Dickson-Deane, C., Guevara, C., Koster, L., Sánchez-Mendiola, M., Bessette, L. S., & Stine, J. (2022). EDUCAUSE Horizon Report (Teaching and Learning Edition).EDUCAUSE.
Pirolli, P., & Card, S. (2005). The sensemaking process and leverage points for analyst technology as identified through cognitive task analysis.Proceedings of International Conference on Intelligence Analysis (5), 2-4.
Rasouli, P., & Chieh Yu, I. (2022). CARE: coherent actionable recourse based on sound counterfactual explanations. International Journal of Data Science and Analytics. http://doi.org/10.1007/s41060-022-00365-6.
Rienties, B., Boroowa, A., Cross, S., Kubiak, C., Mayles, K., & Murphy, S. (2016). Analytics4Action evaluation framework: A review of evidence-based learning analytics interventions at the Open University UK. Journal of Interactive Media in Education (1), 1-11.
Saraiya, P., North, C., & Duca. C. (2005). An insight-based methodology for evaluating bioinformatics visualizations. IEEE Transactions on Visualization and Computer Graphics, 11(4), 443-456.
Sedig, K., & Parsons, P. (2013). Interaction design for complex cognitive activities with visual representations: A pattern-based approach. AIS Transactions on Human-Computer Interaction, 5(2), 84-133.
Spillane, J. P. (2012). Data in practice: Conceptualizing the data-based decision-making phenomena. American Journal of Education, 118(2), 113-141.
Su, P., Mao, W., Zeng, D., & Zhao, H. (2012). Mining actionable behavioral rules. Decision Support Systems, 54(1), 142-152.
Susnjak, T., Ramaswami, G. S., & Mathrani, A. (2022). Learning analytics dashboard: A tool for providing actionable insights to learners. International Journal of Educational Technology in Higher Education, 19(12). https://doi.org/10.1186/s41239-021-00
313-7.
Tan, S. Y., & Chan, T. (2015). Defining and conceptualizing actionable insight: A conceptual framework for decision-centric analytics. In ACIS 2015 Proceedings(pp.1-11). AIS Electronic Library.
Thomas, J., Clark, S., & Gioia, D. (1993). Strategic sensemaking and organizational performance: Linkages among scanning, interpretation, and outcomes. Academy of Management Journal, 36(2), 239-70.
Van Harmelen, M., & Workman, D. (2012). Analytics for learning and teaching. CETIS Analytics Series, 1(3), 1-40.
Van Leeuwen, A. (2019). Teachers’ perceptions of the usability of learning analytics reports in a flipped university course: When and how does information become actionable knowledge? Educational Technology Research and Development, 67(5), 1043-1064.
Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning analytics dashboard applications. American Behavioral Scientist, 57, 1500-1509.
Wainer, H., (1992). Understanding graphs and tables. Educational Researcher, 21(1), 14-23.
Wise, A. F., & Jung, Y. (2019). Teaching with analytics: Towards a situated model of instructional decision-making. Journal of Learning Analytics, 6(2), 53-69.
Wise, A. F., Vytasek, J. M., Hausknecht, S. N., & Zhao, Y. (2016). Developing learning analytics design knowledge in the “Middle Space”: The student tuning model and align design framework for learning analytics use. Journal of Asynchronous Learning Networks, 20, 155-182.
Wong, J., Baars, M., de Koning, B. B., der Zee, T., Davis, D., Khalil, M., Houben, G-J., & Paas, F. (2019). Educational theories and learning analytics: From data to knowledge. In D. Ifenthaler, D. K. Mah, & J. K. Yau (Eds.), Utilizing learning analytics to support study success(pp. 3-25). Springer.
You, H. (2010). A knowledge management approach for real-time business intelligence. In 2nd International Workshop on Intelligent Systems and Applications(pp. 1-4). IEEE.
Zhao, F., Hwang, G. J., & Yin, C. (2021). A result confirmation-based learning behavior analysis framework for exploring the hidden reasons behind patterns and strategies. Educational Technology & Society, 24(1), 138-151.
Actionable Insights of Learning Analytics: Connotation
Understanding and Conceptual Structure
Wang Weifu and Mao Meijuan
Abstract: Mainstream learning analytics focuses on instrumental rationality, such as data collection, analysis and mining, and algorithmic modeling, while the value rationality research on how to use learning analytics has been overlooked. As a result, there is a significant imbalance between instrumental rationality and value rationality on the development and utilization of educational data elements. Therefore, this study conceptualizes the value rationality goal of learning analytics, which is referred to as “actionable insights”. Then, the connotation of actionable insights is clarified, the conceptual structure of actionable insights is constructed, the narrative features of actionable insights are characterized, and the analytical reasoning processes and design strategies that support the generation of actionable insights are proposed. The study argues that actionable insights represent meaningful knowledge or information that can be acted upon by end-users from learning analytics, including four hierarchical components: factual, interpretive, reflective and actionable insights. To effectively support the generation of actionable insights, it is recommended to adopt user-centered participatory design methods, incorporate the design concept of data storytelling, and integrate educational theories or learning constructs when designing and developing learning analytics systems.
Keywords: actionable insights; learning analytics; data element; value rationality; data storytelling
Authors: Wang Weifu, lecturer of the School of Journalism and Communication, Jiangxi Normal University (Nanchang 330022); Mao Meijuan, lecturer of the E-Commerce School, Jiangxi College of Foreign Studies (Nanchang 330099)
责任编辑 郝 丹 韩世梅