学习分析研究:基本框架和核心问题
——2022版《学习分析手册》的要点与思考

2022-11-29 03:23:54李海峰
开放教育研究 2022年6期
关键词:黑箱网络分析学习者

李海峰 王 炜

(新疆师范大学 教育科学学院,新疆 乌鲁木齐 830017)

人们对“人是如何学习”的追问与探索是人类打开学习者“学习黑箱”,从“学习黑箱”向“学习白箱”揭秘学习本质的重要前提。所谓学习黑箱指未探明的学习者内部心理加工学习机制、学习规律及内部与外部相互作用的学习原理(李振亭,2006)。教育信息化产生的庞杂的、多态的学习数据使“学习黑箱”变得更加神秘,但是学习者与外界互动的大量数据也为解密学习黑箱提供了线索和机会。以人工智能、大数据和自然语言处理等为代表的数智技术,为解密学习黑箱提供了高效的解决路径。学习分析是数智时代解密学习黑箱的重要途径,《学习分析手册》是解密学习黑箱的理论、技术、方法和实践的经典集合。

2022版《学习分析手册》是继2017版后由学习分析研究协会出版的第二版学习分析手册(以下简称《手册2》)。《手册2》由23章组成,分四部分。第一部分阐述了学习分析界定的复杂性,批判了“学习分析即关于学习的分析”的错误解释。第二部分探讨了学习分析的方法与技术,涉及教与学预测模型、网络分析、多模态学习分析和时序性学习分析。第三部分探索了学习分析的应用领域,涉及自我调节、协作学习、写作、教育会话、情感分析和职业分析等。第四部分描述了学习分析的使用和制度,诸如数据素养、公平和公正的数据分析、学习分析政策等。

学习分析作为探究学习本质的新兴研究领域,将为探索与揭示“学习黑箱”提供丰富的技术与方法。《手册2》是数智时代探索学习分析的重要著作,系统阐述了学习分析揭示学习本质的技术、方法、实践和规范,为解密大规模、多态以及复杂的学习数据提供了理论处方、工具集、方法论和实践方案。本文以《手册2》的学习分析基本理论、关键方法和技术为基础,构建了基于学习分析研究成果的学习分析解密学习黑箱的基本模型,探讨了学习分析解密学习黑箱的精准度和伦理规范等核心问题,提出学习分析未来发展的可能。

一、基本框架

学习分析的研究史实质上是解密学习者学习黑箱的发展史。为系统揭示学习分析解密学习黑箱的基本原理、关键技术和伦理规范,本研究以《手册2》为基础,结合当前学习分析的研究成果,总结得出“学习分析黑箱模型”(见图1)。

图1 学习分析黑箱模型

学习分析黑箱模型刻画了学习分析的过程和组成部分,包括基本过程、应用领域、方法与技术、使用与伦理四部分。基本过程是学习分析黑箱模型的核心,其它三个部分调节、指导和促进学习黑箱解密过程。四个部分相互联系、相互作用、协同发展,共同构成以学习黑箱解密为核心的学习分析系统。

(一)基本过程

学习分析的基本过程源自学习分析本质的刻画。第一届国际学习分析和知识会议认为,学习分析是对学习者及其环境的数据进行测量、收集、分析与报告,旨在理解和优化学习及其环境(Siemens et al.,2011)。可见,学习者和学习环境是学习分析的数据来源和分析对象,测量、收集、分析和报告是具体方法和阶段,理解和优化学习及其环境是根本目的。顾小清等(2012)将学习分析看作一种促进有效学习的技术,以相关学习数据为核心,运用数据模型和分析方法解释数据,探究学习者的学习情境、学习过程、学习规律和学习绩效,提供相应的反馈支持。这一定义将学习情境和学习过程作为分析对象,掌握学习规律、学习绩效和提供反馈、促进学习作为学习分析的目的,学习数据是解密学习黑箱的主要依据,数据模型和分析方法是解密学习黑箱的方法和技术。

学习分析尽管定义不同,但是蕴含着学习分析解密学习黑箱的基本过程。可以看出,以教学设计为核心的学习环境、学习过程、学习内容和学习者是学习分析的主要对象。学习环境、学习过程和学习者是学习分析的重要数据来源。学习内容及其设计影响着学习环境和学习过程的数据生成和数据类型,有助于理解不同类型学习内容对学习黑箱的影响。 测量、收集、分析和报告是解密学习黑箱的基本环节,数据模型、分析方法和分析技术是解密学习黑箱的主要方法。以学习数据为核心揭示学习规律、提升学习绩效和促进身心发展是学习分析的主要目的,学习数据是实现学习分析目的的关键切入点。解密学习者和学习群体构成的学习黑箱是最终目标,学习分析利用刺激与反应的学习数据,理解、反馈和预测学习者黑箱及其学习行为,促进、优化和改进学习环境、学习过程和学习内容等的设计。

(二)应用领域

根据数据类型和研究目的,学习分析解密学习黑箱的应用领域主要包括自我调节学习、协作学习、教育会话、写作、情感和社会认知网络。自我调节学习分析关注自我元认知和元认知监控的调节能力,涉及搜寻、监控、收集、排练和迁移五种认知操作(Winne,2022)。协作学习分析聚焦学习者的协作学习过程,关注真实环境中如何设计和利用数据分析促进协作(Chen & Teasley,2022)。教育会话和写作分析是利用自然语言处理技术对语言与人工制品进行学习分析,旨在为改进学习提供反馈信息(Gibson & Shibani,2022)。情感学习分析将学习分析与来自情感和学习科学的教育数据挖掘相结合(D'Mello,2017),涉及成就情感、话题情感、社交情感和认知情感(D'Mello & Jensen,2022)。社会认知网络分析可用于识别、量化和表征被编码数据中的元素关系,测量和解释网络结构的关系、强度和变化 (Shaffer et al.,2016)。

根据学习类型,学习分析解密学习黑箱的应用领域涉及游戏化学习、职业学习、正式学习和非正式学习。游戏化学习是诱发学习兴趣的普遍存在的文化现象,代理、参与、成长和社会联结是引发游戏体验和有意义学习的四条原则,是理解和开展游戏化学习分析的切入点(Reardon et al.,2022)。在以正式培训和非正式学习为主的职业学习中,学习分析通过职业者的网络协作学习数据和点击流数据,追踪和可视化正式和非正式学习的学习过程,可用于解决情感和动机的学习问题,支持和促进职业学习(Littlejohn,2022)。以社交媒体为代表的非正式学习发展迅速,数以亿计的社交媒体使用者在网站和交互的支持下实现了个人学习和参与讨论。学习者如何加入社区、参与活动、会话交互、建立社会学习网络、保持社交媒体中的学习与正式学习和学习者导向的学习一致,是社交媒体非正式学习的主要分析内容(Haythornthwaite,2022)。

(三)方法与技术

学习分析主要通过预测模型和解释模型解密学习黑箱。第一,预测模型分析方法。预测性学习分析是对未来事件进行推理的一组技术或方法,包括线性回归、逻辑回归、决策树、贝叶斯网络和支持向量机等(Brooks & Thompson,2017)。教与学预测模型是预测教与学的主要方法,可用于预测学业成绩和学习成功的个性化因素和机制(Brooks &Thompson,2022)。从学习分析方法论意义上看,学习分析方法主要揭示和建立学习环境中可观察的数据与学习行为、学习构念或者研究目的之间的关系(Gray & Bergner,2022)。第二,解释模型分析方法。学习分析方法正在从教与学的预测研究转向利用可观察的数据信息推论出有意义的学习分析。创建教育数据的可解释性模型将成为超越教育数据预测的另一种重要学习分析方法,它旨在探索构念之间的可解释性因果关系,改进学习结果或者学习理论(Liu & Koedinger,2017)。

《手册2》为解密学习黑箱提供了全面的学习分析技术工具集,包括关系学习分析、学习过程分析、多模态学习分析和时间维度学习分析等。关系学习分析利用社会网络分析和社会认知网络分析,揭示社会整体、社会资本、社会归属感(Poquet &Joksimović,2022)和 认 知 水 平(Vandenberg et al.,2021)。学习过程分析主要利用自然语言处理技术分析和回应人类语言,涉及学习者对各种学习任务和作业的回应(Allen et al.,2022)。多模态学习分析指对已知学习分析项目进行语境化的一系列技术和方法,围绕数据收集、分析与推论、反馈与数据传播三个维度展开,形成了多模态接入、多模态数据控制和人类推理等十二种关键承诺(Worsley et al.,2021)。时间维度分析以时间观念通用框架为主要代表,在学习分析中嵌入时间因素,从时间推移和时间序列维度探析事件流和学习事件时间变化(Molenaar & Wise,2022)。

(四)使用与规范

解密学习黑箱需要科学地使用数据,制定公平的分析政策,构建以人为本的数据反馈方法。首先,数据使用素养指教育工作者有效和负责任地使用数据的能力,不仅包括数据驱动决策与学习分析能力,而且涉及学习分析策略和数据素养应用策略(Mandinach & Abrams,2022)。其次,制定公平、公正、无偏见的学习分析政策的关键是构建学习分析的算法公平,避免学习分析算法偏差导致的信息茧房、偏好成瘾和行为偏差(Uttamchandani & Quick,2022)。第三,构建以人为本的数据反馈方法,支持和增强学习。有效的反馈不仅提供了学习相关的信息,而且提供了评价者的信息、生成或解释评价信息。以人为本的方法对基于数据驱动反馈的有效性至关重要,促进协作学习和持续学习是以人为本的本质体现(Tsai & Martinez-Maldonado,2022)。

为了确保学习分析解密学习黑箱的规范性,学习分析需要确保学生隐私,有效和负责任地使用学习分析。首先,保护学生隐私是学习分析解密学习黑箱的基本底线。学习分析需要确保数据安全、隐私安全和人身安全,制定功能自主选择、功能公开透明和数据收集可供选择的学习分析制度与法律。学习者应获得学习分析内容的知情权、功能选择权和参与退出权,影响学习者身心健康的分析工具、方法或理论应被禁止(Zeide,2017)。其次,有效和负责任地使用学习分析是确保解密学习黑箱科学性、规范性和持续性的保障。尽管近年来学习分析持续推进,但是依然缺乏系统性、大规模实施。为了促进学习分析的采用和可持续发展,教育机构需要将学习分析活动与他们的目标保持一致,制定一系列指导方针和原则,确保学习分析有效和负责任地使用(Scheffel et al.,2022)。

二、核心问题

学习分析黑箱模型由解密学习黑箱的基本过程、应用领域、方法与技术、使用与伦理四部分组成。学习分析解密学习黑箱研究已取得较大进步,但是学习分析的精准度和应用规范依然面临诸多问题。《手册2》围绕这些问题展开了深度讨论,旨在提升学习分析解密学习黑箱的效果、质量、准确性和伦理规范。

(一)如何提升学习分析的精准度

如何提升学习分析的精准度及其预测能力是学习分析研究的核心问题之一,主要涉及预测学习模型、网络分析、自然语言处理和多模态学习分析。

1. 预测模型如何有效地应用于教与学过程

预测模型能否有效地应用到教与学过程涉及两个关键内容:区分与选择解释模型和预测模型、预测模型工作流程的关键环节(Brooks & Thompson,2022)。

1)区分和选择解释模型和预测模型。解释模型和预测模型是学习分析的两种主要分析方法,如何根据它们的特征进行适切的学习分析和教学系统设计至关重要。解释模型一般用于检验因果假设,运用所有变量的证据对已知结果进行解释,是典型的事后检验和反思活动。相比之下,预测模型以已知数据为基础,预测观察数据的价值或分类,对未来作出声明或判断。两种模型的选择都需要根据研究目的或研究问题确定,以便确定学习分析系统的功能,是刻画学生学术成就,还是提供学习干预方法。

2)预测模型工作流程的关键关节。如何确保预测模型工作流程的科学性和准确性是学习分析精准预测的关键。预测模型工作流程包括问题识别、数据收集、分类与回归、特征解析与特征选择、预测模型的建构方法和模型评价。问题识别是预测模型工作流程的关键环节,关注预测模型如何精确地描述指定学习者在没有教学干预下的学习结果;数据的稀疏性和噪音会干扰预测模型的精准构建,可能导致预测结果与伦理实践、公平实践相互矛盾,甚至使学习建议存在风险。基于学习者全面数据的预测模型是提升模型预测精准性和提出正确建议的关键,增加关键数据的收集方式有助于解决这一问题。

数据收集的全面性和数据类型决定了预测模型的预测准确程度。学习状态数据和学习事件数据决定了预测模型的准确性及后续教学干预的适切性。特别是如何将庞大的、复杂的事件数据转化为机器学习能够识别的有意义特征,是数据收集和转化的关键。事件驱动的数据不一定适合生成预测模型,因为数据获取的质量和广度更多地取决于在线学习模式。大规模在线开放课程很少收集学习者的社会经济地位信息,这使预测结果难以准确反映学习者的辍学原因,最终导致学习干预的设计偏见和干预效果欠佳。为提升预测模型的精准度,数据的分类与回归、特征选择等需要根据预测目的和问题加以筛选。

预测模型建构的方法选择与模型评价是确保预测精准的最终保障。线性回归、逻辑回归、决策树、朴素贝叶斯分类器、支持向量机和神经网络是预测模型构建的主要方法,但是构建精准的学习预测模型不仅需要充分考虑不同算法的功能特征,而且需要根据预测的数据类型、预测目的和研究问题等进行选择与组合。预测模型构建需要利用学习者数据,以实现对未来学习行为的精准预测。简单地将数据分为训练和测试两部分进行模型构建,可能导致模型的预测准确性不高。解决这一问题的最佳方法是使用交叉数据集验证,使每个数据点均能用于模型验证。

2. 如何实现学习分析中网络分析的协调发展

根据社会性学习活动有助于提高学习质量和学生体验这一假设,学习分析研究利用网络分析理解人与人和人与物之间的关系,主要关注节点特征、节点位置和节点结果之间的关系本质、网络关系成因、节点对网络信息的影响、网络结构影响网络属性的内在机制等。然而,网络分析提供的洞见较为有限,原因是网络分析与学习分析的交叉增加了分析决策的复杂性,导致难以综合表达脱节的实验结果。网络分析的直觉性一定程度上导致了网络分析的幼稚应用。由于任何关系都可以被看作网络关系,因此人们常用网络分析工具提供描述它们的评价指标。当网络分析的度量指标被用于解释学习的指标、结构或过程时,这些网络分析的幼稚应用问题就会出现(Poquet & Joksimović,2022)。

当用网络分析度量学习的结构、过程和指标时,网络分析就不再是一种分析工具,而是有独立理论假设的方法论。假设中包含网络代表何物的基本理解,但是这些假设往往隐藏在研究选择中。对研究假设关注不足将导致网络分析的幼稚选择,但是研究者经常没有反思与之相关的方法论就选择了网络分析,最终导致运用“和设计不兼容的、潜在的、选择性主张”解释假设时可能存在较大风险(Yanchar & Williams,2006)。网络分析方法论不清楚将导致难以得出与测量标准有关的任何有价值结论,这种问题被看作学习分析中网络分析方法的不协调。网络分析结果的不协调源自网络建构、分析选择和解释之间的不一致。

如何实现学习分析中网络分析的协调发展,关键在于区分网络分析的两种不同应用视角,其一是将网络分析用作一种降低高维数据的方法,其二是利用网络分析方法论理解学习环境中的社交交流和人际活动。当网络分析用作降低高维数据的方法时,网络分析能够概括出关系数据,但是没有指向测量标准的特殊理论意义。网络分析可以量化关系模式,识别基于兴趣导向的观察数据的关系簇群。在学习分析中,关系节点可能是人、字符、学习资源、通过点击流数据捕获的学习行为类型、课程主题等。当将网络分析作为一种方法论时,网络结构、度量标准、模型构建方法及度量标准解释将会处于相互矛盾的风险中。

作为方法论的网络分析存在三方面的风险。首先,网络代表与另一个人的回应关系,或者仅代表学生之间的社会网络重叠程度。研究者运用社会网络分析理论解释学生交流的社会网络时,需要防止网络结构的解释与实践之间相互矛盾。其次,中心度的测量标准是基于距离构建的,计算方案考虑的是整体网络结构。在事件驱动的关系语境中,交互关系的缺乏并不意味着访问限制。在网络与独特位置的通讯环境中,距离不能完全等同其在社会网络中的对应部分或解释。第三,学习分析很大程度上缺乏有效验证的空模型,导致难以解释网络形成的原因和状态。虽然研究者利用统计模型和原则去观察、分析和评估网络分析模型,但是缺乏评估模型反映数据好坏的理据。

3. 如何运用自然语言处理精准揭示语言的本质内容

自然语言处理是一种依赖计算机技术自动化分析人类语言的技术或方法。基于自然语言处理的学习分析主要包括语言数据的知识图谱分析和学习过程的关键信息挖掘。

1)语言数据的知识图谱分析

语言数据涉及描述、词法、句法、连贯度和语义内容等维度。自然语言处理必须捕获语言的多维数据,以创建清晰的语言真实图景(Allen et al.,2022),实现对学习行为与状态的精准分析,提供精准的学习反馈与指导。

——描述性分析。它指利用自然语言处理技术计算与文本相关的描述性统计特征,如字符数量、句子数量、段落数量和词频等。如何根据语言的描述性特征推论或揭示学习特征将是语言描述性分析的关键,如任务的完成度、学习者的参与度和相关概念学习等。研究者可以采用主题分析(thematic analysis)、描述性统计分析和统计检验等方法,构建语言数据的初步知识图谱。

——词法分析。文本词法属性与词语特征相关,涉及已知语言的词语频率和词语表达的抽象程度。词法指标主要用于计算已知文本的可读性,可检测消息、帖子和反思随笔等文本类型。词法指标的数据信息可以为教育者、智能导师和智慧学伴等提供语言难易程度的信息,分析者据此可为学习群体、协作讨论和学习过程等提供精准的会话交流、信息反馈和学习支持。

——句法分析。句法指标提供了给定文本的句子结构信息,句法结构的复杂程度是语言句法分析的关键指标,决定着文章质量或文本可读性,是丰富语言洞察力和学习任务自适应的重要基础。如何精准地获知语言句法结构的复杂程度决定着语言句法分析的精准性。自然语言处理需要精准分析句子平均长度、单元的平均长度、动词前面的词语数量等语法复杂性指标。

——连贯性分析。连贯性测量提供了文本思想之间连接的相关信息。能否对其精准测量决定着学习者语言表达、逻辑推理和内容理解的解析程度。因果推理是评价语言连贯性的重要参考指标,学习分析通过分析文本、会话、帖子和文章等因果逻辑表达,可以精准地评估学习者语言的连贯性。智能学习分析系统或教师根据学习者的因果语言表达及其连贯程度,推断学习者对学习内容的理解程度,提供相应的形成性学习反馈。

——语义内容分析。语义指语言蕴含的表达者言说意义,它通过语言符号传达言说者的某种意图、解释或情感。语义分析对学习分析至关重要,决定学习分析能否精准揭示学习者的内容理解程度、情绪与情感变化、互动交流深度等。自然语言处理技术能够提供文本的重点内容、情感与情绪信息及同伴互动内容的语义重叠,这对教师精准地掌握学习者理解给定内容的程度至关重要。

2)学习过程的关键信息挖掘

基于自然语言处理的学习行为预测模型不仅需要说明语言的多维性质,而且需要解释学习者所处的学习阶段。基于自然语言处理的学习过程数据挖掘尤为重要,分输入、处理和输出三阶段。

——输入阶段。学生经常被要求处理教育语境的各种信息,如需阅读的文本、完成任务的提示、需探究的问题、师生互动的言语信息等。语言信息的内隐性决定了学习者需具备特殊领域的专业知识才能理解文本、进行逻辑推理和互动交流,这就需要考虑如何利用自然语言处理为学习者提供学习支持,为教师选择教学策略提供建议。阅读者的个性特征与文本特征的交互使得学习结果预测变得复杂。学习分析利用自然语言处理技术解析句法复杂性、词汇复杂性、语言连贯性等,精确探析学生需处理的语言特征,提升学习资源智能推送的精准性和学习效果。

——处理阶段。研究人员可以通过学习者利用教育技术输入的自然语言特征对学习过程进行建模,如阅读期间输入的思想观点、完成的复杂任务和人工制品及学习行为数据等。自然语言处理能够自动处理大规模的在线学习数据,根据语言的连贯性、文本的表征和语言的逻辑等,推断学习者的深度理解程度、心理表征的连贯性和学习投入程度。诸多研究者基于自然语言处理技术开发了面向学习过程的语言处理系统,如阅读策略评价工具、自动教学机和智慧学伴等。

——输出阶段。语言信息输出形式主要包括简短回答、留言板信息和随笔短文等。研究者以学习者的语言信息为基础,利用自然语言处理技术构建学习结果和学习行为的预测模型。该模型应用领域涉及写作分析、同伴反馈和学习策略开发等。例如,研究者运用自言语言处理技术分析写作,开发文章自动评分系统,构建专家型智慧评分者,智能化提供写作反馈的学习分析模型;自然语言处理还可以为学习者提供信息组织与结构的高水平反馈支持。学习者如何呈现文本中的话题及其关联建模,将有助于学生加工未成熟的观点,降低冗余度和提高语言的连贯度。

4. 如何实现精准的多模态学习分析

1)如何破解学习分析的“街灯效应”困境

多模态学习分析的兴起和发展缘于对传统单一数据分析方式的批判,根植于多模态交互分析方法论框架(Norris,2004),旨在解决因简化学习过程和缺乏语境信息导致的学习数据理解片面等问题,如只关注在线学习者与数字技术的交互数据、面对面互动交流的数据缺失、人工制品的分析残缺等。传统学习分析倾向于根据数据的可获得性选择分析数据,这导致分析结果常出现精准性偏差、与现实矛盾和研究建议不周延等问题,这种现象被称为“街灯效应”,具体指研究人员倾向于在看起来不错的地方寻找答案,而不是在答案可能隐藏的地方进行全面探究(Kaplan,1998)。

为避免此现象,学习分析需要基于理论或经验确定分析对象和数据来源。从理论指导的学习分析看,学习分析需要根据理论的相关指标进行数据的捕获和筛选,揭示基于该理论的学习行为特征、学习规律并提出相关建议。譬如,如果运用群体感知理论分析在线学习社区,那么研究者必须获取认知感知、行为感知和社会感知的全部相关数据,否则将导致群体感知分析难以精准地解释在线学习社区的学习行为或学习规律。从基于经验的学习分析看,学习分析需利用不同环境的学习行为标记数据阐明所期望的学习构念,鉴别何种水平的学习数据能够用作这些行为的证据。

2)如何确保学习分析过程的精准性

映射和执行是多模态学习分析的两个基本过程(Ochoa,2022),提高学习分析的精准性需要精心设计这两个过程。映射是建立学习构念与多模态数据痕迹之间对应关系的过程。学习构念是与学生的行为、态度、学习过程和体验相关的概念或思想,学习构念的选择、构建与分析的精准性是学习分析精准性的前提。研究者需根据研究问题、理论和兴趣体验等,构建科学的学习构念及其明细指标,确保后续数据收集的科学性、全面性和系统性。执行是建立多模态数据与学习构念对应关系的过程。根据学习构念获取全面、科学和系统的多模态数据,是多模态学习分析精准性的重要保障。研究者必须利用所有的数据检索、数据挖掘和数据处理工具,获得足以支持与验证学习构念及其指标的数据。

为确保数据的科学性、准确性和全面性,研究者首先需要利用设备捕捉全部数据。数据记录设备的选择决定着数据获得的准确性,学习分析应根据研究需求和学习构念选择适切的数据记录设备。其次,面对获得的多种形态学习数据,研究者需要利用适切的算法和技术,从中解析与学习构念对应的学习数据。算法和技术是数据解析精准性的关键,研究者需要不断优化和选择最佳方案以实现最终目的。第三,多模态学习分析评估的最大挑战是行为标记检测的不确定性逐渐增加,导致学习构念评估存在不确定性。这一问题的最佳解决方法是通过人工编码和一致性检验构建多模态数据分析模型,确保学习构念评估的准确性。

(二)如何构建高质量学习分析应用的相关规范

学习分析应用的最大挑战是如何将其有效、科学、规范地应用于教学,这涉及学习分析伦理规范、学习分析素养和学习分析政策三个维度。

1. 如何确保学习分析应用的伦理规范

1)学习分析应用的制度规范

学习分析伦理规范指将伦理道德融入学习分析整个过程,为研究者、教师和相关机构提供伦理指导。确保学习分析伦理规范的有效实施需要从三个方面考虑:1)从学习分析管理规范质量看,构建学习分析计划与实施的利益相关者共同体制度对学习分析伦理规范至关重要。在学习分析计划与实施过程中,关键利益相关者的参与缺乏导致学习分析计划与实施的不平等参与,会导致教育机构抵制。2)从学习者全面培养视角看,学习分析需要制定全面育人的学习分析框架和评价指标,消解利用片面数据评价学习者能力与素养的偏见。学习分析的数据常被简单收集和可视化,很少关注教学法知识和教学理论,导致学习分析难以满足相关利益者的需求和设计标准。3)资源需求不仅体现在资金支持方面,而且应当考虑技术和人力资源对学习分析设计和决策的支持(Scheffel,et al.,2022)。相关机构需要根据学习分析的需要,制定促进学习分析健康发展的资源支持长效机制。

2)学习分析应用的算法伦理

学习分析应用的算法伦理主要聚焦在算法数据基础伦理、算法运行机制伦理和算法评价主体伦理等方面(Uttamchandani & Quick,2022)。从算法的数据基础伦理看,无论是传统的单维度学习分析,还是多模态学习分析,捕获的学习数据都难以全面反映学习者的学习行为、心理活动、基本能力和核心素养等。基于这些数据及其分析结果的学习评价存在片面性,甚至会导致评价伦理问题。譬如,当学习分析不能将学习者的社会与情感能力数据纳入学习分析时,会导致对学习者学习投入判断的失误,造成学习反馈、资源推送和学习策略支持等出现错误。

从算法的运行机制伦理看,基于个性化学习的学习分析将为后续个性化学习资源推送提供重要依据。如果无法全面获取学习者的个性化学习特征、学习能力、核心素养等数据,那么基于这些数据的个性化学习分析和算法将会出现严重的算法偏见,可能导致后续的学习分析反馈、学习资源推送和学习指导等严重偏离学习者学习实际。在人工智能技术的加持下,这些学习分析算法偏见会持续对学习者学习带来消极影响,可能导致学习者的学习、性格、兴趣、能力等出现发展偏差。

从算法的评价主体伦理看,运用学习分析技术和智能机器对学习者进行学习分析与评价,不能确定是否符合人类的评价伦理规范。所谓人类的评价伦理指人类的评价应当是人与人之间的评价,而不是利用机器对人实施评价。人与人之间是人类生物共同体,人的评价应该是人类群体的自我评价,算法驱动的学习分析技术或智能体不能对人类群体进行全面评价。算法驱动的评价伦理要求体现人的评价需要人来评价,而不能由人造算法驱动的机器对人评价。机器对人进行学习分析和评价,不仅不符合人类共同体的基本生物与社会属性,而且基于缺失数据的学习分析算法可能导致学习分析评价的偏差或伦理风险。

2. 如何提升学习分析者的学习分析数据素养

学习分析是一个数据驱动决策生成的复杂过程,数据素养是学习分析和教育实践的基础。不管是传统教育方法,还是学习分析和教育数据挖掘等教育方法,数据应用已成为教育实践的重要组成部分(Mandinach & Abrams,2022)。数据素养指教师通过收集、分析和解释关于评价、学校氛围、行为和图片等数据,将信息转变为适切的教学知识和实践能力,帮助确定教学的基本步骤或教学事件。数据素养融合了数据理解与标准、学科知识与实践、课程知识、教学内容知识等(Macfadyen,2017)。

学习分析者的数据素养是学习分析能否成功的关键,决定着能否利用软件工具、机器学习和算法等,捕获、处理、索引、存储、分析和可视化数据,以及如何进行可行性教学行为的决策、设计和实施。譬如,教育中的数据分析模型通过收集与获取数据、组织与存储数据、清洗和准备数据、合并相关数据源、分析与识别模式和结果、创造数据表征与交流信息可视化这些环节(Agasisti & Bowers,2017),深度揭示了学习分析在不同环节中教师应具备的数据素养。从学习分析的过程与关键环节看,学习分析能否成功,不仅需要具有自然语言处理、社会网络分析和情感分析等技术与方法,还需要教师或学习分析者具备相应的数据素养才能够开展高质量的学习分析。

学习分析数据素养包含数据技术、数据理论和数据价值三方面。数据技术素养指学习分析者需具备的学习分析知识,如分析技术的功能特征、使用技能和分析价值等。数据技术素养代表学习分析者的技术能力,决定着学习分析者能否恰当地使用学习分析技术。数据理论素养指学习分析者具有的数据分析原理、数据分析伦理、教与学原理等知识,是学习分析的理论指导。数据价值指学习分析者需具备的数据价值观,主要体现在学习分析者对数据本体、数据价值产生方式和数据价值挖掘的基本信念。数据价值素养决定着学习分析能否深刻反映研究问题、研究目的和研究内容。

3. 如何制定适切的学习分析政策

人本主义关照是制定学习分析政策的出发点。以学习者为本、关照学习者身心发展、促进学习分析公平与公正,是学习分析政策制定的根本目标。确保学习分析政策的适切性是学习分析政策制定的关键,需要从学习分析的过程加以深度探讨。

1)构建公平且符合伦理道德规范的学习分析政策。算法规则、复杂计算和机器学习不一定是有帮助、公平、符合伦理道德或提高生活质量的。它们不是中性的,可能会起相反的效果,甚至会导致更高效地运行系统性偏见(Uttamchandani &Quick,2022)。批判地使用学习分析是实现学习分析公平的重要保障,能更大程度避免算法偏见导致的学习分析偏见和教学干预失误。实现公平、符合伦理道德及增值提效的学习分析,需制定伦理道德规范、制度和法律,对学习分析系统、算法规则和学习资源等实施准入审查、学习过程的定期伦理检查和系统的持续改进与优化。道德与隐私强调学习分析的数据使用需遵循伦理道德规范和个人隐私,这就需要制定相应的法律准则和框架。

2)以人为本是学习分析理论、方法和实践的根基。学习分析需要制定以人为本的学习分析规范和政策,以确保学习分析设计与实施以人为本。以人为本是实现有效数据反馈的关键,将“反馈”设计为对话过程可以促进学习者在反馈过程中的积极性和主动性(Tsai & Martinez-Maldonado,2022)。学习分析的根本目的是通过数据反馈支持和促进学习。学习分析需要教师和学习者积极参与,设计与评价使能技术。学习分析需要具有识别和促进学习者内部和外部对话的功能,如信息提示、内部会话、学生决策支持、提供基于证据的反馈、持续性和综合性会话等。实现以人为本的学习分析,需要从算法、学习资源、学习活动和学习评价等方面制定学习分析指导规范,构建面向学习主体性的学习分析规范。

3)学习分析的质量保障政策主要涉及利益相关者的参与制度、技术保障制度、多模态刻画规范。利益相关者的全体参与、全程参与和全面参与能防止学习分析数据获取不全、分析目的分散和学习评价偏见等问题。参与制度需要从参与人特征、参与时间和参与决策等维度构建,以全面反映利益相关者的关切。技术保障制度是获得高质量学习分析的基础,决定着学习分析的精准性及其学习反馈的适切性。高质量学习分析需利用先进的技术捕获和分析学习数据,从而提供精准的学习分析和反馈支持。多模态刻画规范需要制定和完善学习分析评价指标体系,确保从学习情感、学习动机、个性特征、人工制品等维度全面评价学习者,从而实现学习评估的客观性、高质量和系统性。

三、反思与展望

(一)学习分析反思

1. 学习分析的本质

对学习分析定义学界认识尽管不同,但核心要素有四个,即学习分析作为一个需要解决的问题,是一个机会,作为调查和研究的领域,由研究人员和从业者共同开展研究(Lang et al.,2022)。

不同于数据挖掘和大数据分析,学习分析旨在通过数据分析优化教与学过程,聚焦教与学的数据驱动决策研究。数据挖掘和学习分析都是数据驱动方法,但是数据挖掘关注的是教育环境中独特数据类型的探索方法创新,探究如何抽取有价值的信息实现学习或干预过程的自动化,以更好地理解学生及其学习发生的环境(Du et al.,2019)。大数据分析与学习分析、数据挖掘的最大区别是数据量大、类型多、速度快、真实性和价值性,是面向“互联网+”时代海量数据分析的一种新兴数据分析方法。数据挖掘和大数据分析是学习分析得以实现的重要基础,为大规模线上和线下混合学习分析提供了技术和方法。

2. 学习分析的核心问题

从如何提升学习分析的精准度看,研究者主要围绕预测模型、网络分析、自然语言处理和多模态学习分析四个维度,系统揭示数智时代的学习分析的主要理论、技术、方法或方法论、实践,刻画了数智时代学习分析的关键技术,描述了学习分析的主要应用场景。围绕学习分析精准度提升的四个研究维度,研究者深度探讨的核心问题主要聚焦于理论、技术和方法三个方面。不管是预测模型、网络分析,还是自然语言处理、多模态学习分析,如何协调不同理论、技术和方法之间的关系,是学习分析精准度研究的核心内容。

从如何构建高质量学习分析规范看,伦理规范、数据素养和分析政策形成了学习分析规范的主要研究主题。伦理规范涉及制度规范和算法伦理,前者主要讨论研究者、教师和相关机构等“人”在学习分析过程中的伦理规范,后者是“机器”在学习分析过程中应遵循的算法数据基础伦理、算法运行机制伦理和算法评价主体伦理。学习分析者的数据素养决定着他们能否利用软件工具、机器学习和算法等,捕获、处理、索引、存储、分析和可视化数据,以及如何进行可行性教学行为的决策、设计和实施。学习分析政策应以学习者为本、关照学习者身心发展、促进学习分析公平与公正为根本目标,确保政策的适切性是政策制定的关键。

(二)学习分析研究展望

1. 构建基于人工智能的学习分析技术

新冠肺炎疫情导致大规模在线学习需求骤增,学习分析需要充分利用人工智能技术,为教师的教学评价和学生学习提供智能化、个性化、即时性和系统性学习分析支持。地平线报告(教与学版)明确指出,“基于人工智能的学习分析”已成为当前及后续一段时间促进教与学质量的重要技术(王萍等,2022)。基于人工智能的学习分析指利用人工智能技术,组织、分析与理解师生教与学数据,帮助教师选择学习策略、组织活动、探析教学干预、提供学习支持、监控学习活动,支持学习者自主学习、自我评价、个性化学习、会话交流和自我调节学习。美国和澳大利亚多所学校正在利用自然语言处理、资源推荐器、学习保持分析仪表盘等技术,探究学业差距干预、学习风险识别与反馈、学术支持、学习成就预测、学习活动监控与分析。

2. 探索多模态学习分析时代的方法与技术

多模态学习分析主导的“多模态学习分析新时代”已经到来(Worsley et al.,2021)。多模态学习分析不仅是获取、分析和理解学习行为、状态、能力和素养的一系列技术和方法,而且是一种分析学习的方法论或教育哲学观。多模态学习分析的目的在于探讨如何全面刻画学习行为、分析学习影响因素及构建学习分析生态系统,避免数据缺失、分析工具局限和研究视角狭隘等导致的教育不公平。未来的学习分析是面向学习者的全方位分析。社会化数字参与生态学是未来学习分析的重要取向,它利用各种数据捕获、处理、分析和决策工具,构建数字化社会参与的生态学习分析框架和智能学习支持系统。从多模态学习分析主题与技术的微观视角看,情绪与情感、脑电波、核磁共振等学习分析主题和技术是未来发展的重要趋势。

3. 探索学习分析的独特方法论

学习分析是基于理论或经验的数据收集、分析和推论过程。理论是学习分析的基础,决定了学习分析的科学性、系统性和方向性。然而,目前学习分析研究主要关注技术及其如何服务于学习分析,鲜有涉及学习分析基本理论或方法论的相关研究。学习分析理论或方法论的研究缺失可能导致学习分析研究始终处于散碎的、工具性的和具体的研究层次,难以上升为一种具有普遍指导的、系统的和深度的研究方法论或研究领域。学习分析主要通过收集、分析和报告数据改进学习绩效,缺乏理论指导的学习分析可能导致学习分析过程的科学性不足。在行为主义、认知主义、建构主义和联通主义等构成的多种学习理论体系中,如何构建学习分析的理论框架及其方法论是未来学习分析研究的重要任务。

4. 创设公平与公正的学习分析机制

如何确保学习分析的公平、无偏见和公正是未来学习分析研究的重要主题。影响学习分析公平和公正的主要因素是学习分析算法的不完善和数据的不全面。未来学习分析研究需采取多种措施促进学习分析公平。这涉及研究视角、算法设计和政策制定等。首先,需要采取批判性视角探究学习分析;其次,算法设计应当力求公平、有限偏差、服务学习;第三,如何构建及构建何种制度或政策,是确保这一目的实现的重要保障和未来研究重点。探索与构建完善的理论体系是确保学习分析公平的重要基础。多模态学习分析是建立在映射和执行基础上的,如果学习构念设计存在缺陷和指标残缺,那么收集的多模态数据将无法精准地揭示、预测和支持学习行为。

5. 建立符合伦理道德的学习分析制度

以人工智能、大数据分析和自适应学习等技术为基础的学习分析为教与学提供了支持,但也导致学习分析出现诸多伦理问题。人工智能驱动的学习分析实质上是通过“类人”的植入揭示学习本质,但这常常会导致类人的伦理问题、人工智能教育场问题、新的人与人行为准则的调整问题(张立国等,2021)。基于残缺学习数据的学习分析与学习支持,会导致学习分析缺乏精准性和适切性,还会使学习者长期处于狭隘的“信息茧房”中,不能得到全面发展,甚至会出现显著的认知偏见(徐英瑾,2021)。因此,建立符合伦理道德规范的学习分析制度在一定程度上可消解学习分析技术带来的负面影响,这是后续学习分析伦理道德制度需探讨的主题。

猜你喜欢
黑箱网络分析学习者
基于ISM模型的EPC项目风险网络分析
拒绝黑箱
环球时报(2021-07-22)2021-07-22 11:59:37
你是哪种类型的学习者
学生天地(2020年15期)2020-08-25 09:22:02
失踪的黑箱
十二星座是什么类型的学习者
铁路有线调度通信的网络分析
汉语学习自主学习者特征初探
2016年社交网络分析
大班幼儿同伴交往的社会网络分析
论远程学习者的归属感及其培养