摘要:教育数字化转型背景下,学情分析作为基于教育大数据分析诊断结果帮助教师了解学生学习过程的重要手段,是开展精准教学的必要前提,而认知负荷水平一直是衡量学习者个性化学习需求与深度学习发生的重要指标。为了协助学习者调整学习过程中的认知负荷水平进而将认知资源有效投入高阶问题解决过程,该文梳理了学情分析的一般过程,构建了包含数据采集、负荷识别与分析干预三个层级的基于认知负荷水平的学习者学情分析框架。接着,该文通过便携式手环采集了300名学生完成在线测试时的多模态生理数据,应用特征工程方法构建了认知负荷水平识别模型,综合认知负荷水平与学习绩效进行学情状态解读,并设计了学习分析仪表盘呈现学情分析结果与干预建议。该文从认知负荷视角构建了学情分析框架并通过实证研究检验了其可行性,以期为认知负荷相关研究与教学实践提供参考。
关键词:认知负荷;学情分析;多模态学习分析;干预设计
中图分类号:G434 文献标识码:A
* 本文系国家自然科学基金面上项目“同步直播课堂中基于多模态数据的学习者专注度评估及其演化机制研究”(项目编号:62177008)阶段性研究成果。
学情分析指为了优化教师教学设计与提升学生学习效果而开展的对学生学习情况的诊断、评估与分析,是开展精准教学的必要前提[1]。随着以人工智能、大数据为代表的数字技术高速发展,学情分析的相关研究得到了高度重视。已有大量研究从知识技能掌握维度,基于课程通过率(是或否)[2]、期末考试等级(A-D五个级别)[3]与题目作答水平(高-低两个级别)[4]等结果性指标精准诊断学生学情;也有研究从情绪状态维度,采集学生学习过程中的多模态数据,基于学业情绪(积极情绪与消极情绪,各七个等级)[5]与答题状态(挣扎、发呆等五种状态)[6]等过程性指标完成学生学情诊断;为了丰富学情分析研究内容与维度,拓展对学生能力层面的分析,本研究试图从认知维度的视角,基于学习者认知负荷水平进行学情分析。
认知负荷理论是诞生于20世纪80年代的重要认知心理学理论,它强调人类认知结构及其演变,最终目的是利用对人类认知的了解来为教学设计提供指导[7],已广泛应用于教育教学研究。例如,李爽等[8]与王舒等[9]分别在混合学习情境与英语单词学习场景开展实验,发现学习者认知负荷水平对其学习投入、学习满意度、学业表现与心流体验等均有显著影响;而Patrick团队[10]与Zhong团队[11]均以中学生为研究对象,从认知负荷视角分别探究了虚拟现实学习环境下添加文字注释的学习材料对学生回忆、理解与迁移所学知识的促进作用,以及机器人学习课程中四种支架策略(有无过程信息,有无解决方案)对学生编程技能与故障排除能力的培养。分析已有研究可知,基于认知负荷水平分析学情是设计优质教学活动、布置高水平学习任务的前提,然而,大多研究只遵循“降低认知负荷有益教学”的简单线性逻辑,且多通过量表测评认知负荷水平,存在一定主观性与滞后性。本研究认为,力求降低学习者认知负荷水平并非是最适合有效学习发生的目标导向,当学习任务难度与数量处于学习者的合理认知负荷区间时,更能够锻炼学习者高阶思维能力,并在一定程度满足其个性化学习需求,进而有效促进深度学习的发生。 鉴于此,本研究从认知负荷视角开展学习者学情分析,先构建了基于认知负荷水平的学情分析框架,接着通过实证阐述了应用学习者认知维度的多模态数据诊断认知负荷水平技术路线,进行了认知负荷视角下的学情状态解读并依据学情分析结果给出教学干预设计,以期从认知负荷视角指导学情分析实践。
(一)认知负荷及其测量研究
认知负荷是加工特定数量信息时所需要的“心理能量”水平,会随着人类需要加工信息量的增加而相应提升[12],其本质上是在衡量大脑工作记忆中有多少“空间”正在被使用。认知负荷一般分为外在认知负荷、内在认知负荷与相关认知负荷三类[13],其中内在认知负荷取决于知识点难度、相关认知负荷取决于学习者知识水平并体现为将知识点内化进入自身知识结构的过程,而外在认知负荷则由教学设计不当造成,需要尽量降低。
认知负荷研究的最终目的是利用对人类认知的了解来指导教学设计,因此其测量研究尤其重要。心理学领域认知负荷测量的方法主要包括自我报告法、双任务法与生理信号测量法。基于自我报告的主观测量是获取认知负荷水平的主要方式之一,具有成本低廉、分析便捷以及对实验任务干扰程度较低等优点[14],当前PAAS、SWAT、NASA-TLX等量表已经是较为成熟的认知负荷测量工具,而Leppink等[15]开发的包含10个题项的问卷更是有潜力区分并分别测量三种认知负荷类型。此外,任务绩效是最直接反映学习者完成任务时其认知负荷水平的重要指标,当前研究中通常使用双任务测量法,即学习者在一定时间内完成主要任务的同时,在固定间隔时间执行与主要任务无关的次要任务,并使用次要任务的准确率、反应时间等直接映射认知负荷水平。然而,此方法存在辅助任务干扰性过强的缺陷,且主次任务选择的衡量标准待定,目前还处于在实验室环境中探究应用阶段。生理信号测量法中,脑电信号凭借其时间分辨率高、便携性好等优点成为评估认知负荷的重要技术手段,早期基于脑电信号的认知负荷评估为观察被试事件相关电位等关键特征在不同认知状态下的变化模式,现如今则是通过提取信号的多种特征,使用机器学习方法进行认知负荷评估。此外,心率变异性、瞳孔反应等生理信号也对认知负荷水平敏感,皮肤电活动近年来也成为了认知负荷和情绪状态的前瞻性生理指标[16]。
多模态方法测量认知负荷是近年来随着大数据技术而发展起来的新方法,在教育教学领域应用广泛。相关研究证实,基于学习者日常学习生活过程中的大量行为动作数据能够发掘学习者的认知模式。例如,在线学习环境中鼠标在不同区域内的操作行为能够反映学习者认知过程的变化[17],而在作业或考试任务中,握笔力度、写字速度等书写特征也能够反应学习者认知负荷水平[18]。此外,在讲话过程中,当个体处于高认知负荷状态时,语速、音量和振幅等声音特征会有所增加[19],而在行走过程中,步频、步长等个人步态模式是表征认知负荷的潜在指标[20]。随着轻量级便携式生理数据采集设备的兴起,使得在真实课堂下基于多模态生理数据分析学习者认知负荷水平成为可能,综合使用多种传感器、融合多模态数据能够克服单一传感器易受噪声影响的问题,增强分析模型的精度与鲁棒性。例如,研究者Aghajani综合使用脑电信号与功能性近红外光谱探究不同任务级别下学习者的认知负荷水平,充分发挥两种信号分别在时间与空间分辨率上的互补优势提取多模态特征,相比单模态取得了更好的认知负荷评估结果[21];于海斌等也通过系列实验证明,基于脑电信号与光电容积脉搏波信号信息并结合特征提取、选择和融合算法建立的多生理信号认知负荷评估模型效果优于两种单模态信号模型[22]。
(二)学情分析及其一般过程
学情分析是对学习者及其环境的数据进行测量、收集、分析与报告,旨在优化学习及其环境[23],进一步聚焦于学习者的学情状态分析,其流程可以划分为如图1所示的五个阶段。
1.确定学情诊断指标
学情分析首先需要在精准理解学习场景的前提下确定相应的学情诊断标准。例如,课堂教学场景下对教师的板书内容[24]、行动轨迹以及与学生交互时长[25]等交互行为分析能够揭示师生交互关系和教学现象[26];在线学习场景中学习者在行为、认知与情感三个维度的学习投入是线上学习质量的重要凭据[27];混合学习场景中,研究者们则从学习焦虑[28]、认知负荷[29]、学习效能感[30]等丰富的角度分析学情状态。
2.明确数据分析方法
其次,学情分析需要以实际教育问题为导向明确数据分析方法。例如,研究课堂交互行为时通常基于视频数据采用弗兰德斯互动分析、S-T分析等人工编码方法与以各种卷积神经网络为代表的深度学习方法实现量化分析;研究学习投入水平则多使用文本数据,既可通过量化方法提取、输出语义特征或借助词嵌入技术生成词向量特征,也可通过质性编码解读文本内容;探索其他复杂教学问题时,多模态学习分析方法被认为是打开黑箱的钥匙[31]。
3.解读学情分析结果
如何从学情分析的结果中解读出有意义的教育信息,是连接理论与实践的重要桥梁。例如有研究证明,教师的技术知识与其对技术的感知有用性存在正相关,但实则二者同时受到技术的感知易用性这一要素的共同影响[32],可见,学情数据结果仍需借助理论,通过增强数据代表性、发掘中介变量等方法排除“无意义相关”与“伪相关”[33],探究学情分析结果的背后原因。
4.呈现学情分析内容
学习分析仪表盘是一种能够精密追踪学习者在线学习行为、记录整合个体学情信息、按照使用者需求分析并呈现数据的教学干预工具[34],需要结合相关理论采用符合学习者认知特点的形式呈现学情分析内容。例如依据成就目标定向理论,掌握目标定向者看重能力提升和任务掌握情况,需向其多呈现任务完成进度、认知能力图谱等要素;成就目标定向者更加重视他人认可程度,则需要着重呈现与他人学习成绩的对比,以及教师评语等信息[35]。
5.改进教育教学实践
切实赋能学习干预、改进教学实践是学情分析研究的最终目的和落脚点。面对实际教育场景中复杂的教学问题,仅局限于学情分析结果的机械干预很难奏效。人机智能协同的精准学习干预在精准诊断学习问题的基础上形成“问题-策略”知识图谱,综合考量干预对象、时机、强度与频率并设计匹配具体教育场景实施干预,并基于有限状态机的思路实现干预效果验证,是破解教学诉求与教育实践难题的有效路径[36]。
(三)认知负荷视角下的学情分析框架
认知负荷理论认为个体工作记忆容量存在极限,学习发生时其认知负荷总和不宜超过记忆资源的总量。认知负荷过高会导致学习者快速疲劳、灵活性降低,产生挫败情绪,进而引起信息获取分析的失误和决策错误,认知负荷过低也会造成工作记忆资源浪费,同样不利于高效学习[37]。因此,指向深度学习的认知负荷最佳管理方式为尽量减少与学习无关、优化与学习密切相关的认知加工,始终保持学习者现有认知能力的极限,让学习者在适宜认知负荷水平出色地完成学习任务[38]。研究表明,认知负荷水平与学习或工作绩效通常呈现出倒“U”型曲线关系[39],Fang等[40]在专著中将二者关系描绘如图2所示。
在教学材料设计合理、能够保证学习者外在认知负荷水平处于较低水平的前提下,当学习者总体认知负荷水平较低时(图2横坐标“低负荷”对应范围),可能由于厌倦或缺乏动力导致其绩效表现不佳,但先验知识充
足的学习者,其在长时记忆中的图式可以根据所面临的情景进行快速而正确的自动化归类以降低工作记忆资源的消耗[41],通常经过适当的努力即可在认知负荷保持在较低水平时出色完成任务、取得高绩效;当学习者认知负荷水平较高时(图2横坐标“高负荷”对应范围),通过自身的不懈努力可以使绩效达到较高水平,然而当认知负荷水平继续升高时(横坐标“负荷过载”对应范围),学习者自身努力也无法阻止绩效水平的下降。于是,本研究基于认知负荷水平并参考学业成绩指标,形成认知负荷视角下学习者学情诊断标准(如图3所示)。其中,“L”与“H”两个字母分别表示认知负荷与学业成绩的“低”与“高”,例如“L-H”表示学生完成任务过程中表现为“负荷低-成绩高”的状态,本文将此类学生称为“尖子生”。
综上,本文依据学情分析的一般过程与认知负荷视角下的学情诊断标准,梳理得到基于认知负荷水平的学情分析框架,如下页图4所示。在实现学习者认知维度多模态数据的伴随式采集后,需进行不同维度的特征提取、融合并应用分类算法识别认知负荷水平,而后从认知负荷视角依次完成学情诊断、结果解读与教学干预,形成学情分析闭环。
数据层是分析模型的基础,采集学习过程中的认知维度多模态数据是开展认知负荷水平识别与学情分析的前提。认知是个体通过经验和感官等加工信息获取知识的最基本心理过程[42],相关心理测量量表与自我报告数据,以及面部表情、话语内容等反映师生教学情感态度的数据可直接用于分析表征认知状态。生理信号也是探究认知水平的重要数据,随着教育神经科学的发展,可应用脑神经分析技术与新一代人工智能技术对脑电、心率及皮肤电等认知敏感的生理信号数据开展分析。此外,认知心理学领域的诸多研究聚焦外显行为,应用统计分析或质性分析方法探索个体认知过程,具体包括在线平台日志中的点击流数据、点阵笔记录的书写行为数据以及摄像头捕获的身体姿态数据等等。未来有待进一步探索其他多源数据,并应用多学科交叉研究方法与技术路径实现对学习者认知机理的深层次剖析。
计算层是分析模型的核心。常态化采集的学习者过程性多模态数据主要以生理、视频与文本形式存储,在先后经过数据预处理、特征提取与特征融合后,将数据特征集输入分类算法模型可实现认知负荷水平识别。其中,数据预处理主要包含数据清洗与数据标注两个重要模块,前者旨在清理、纠正数据集中的异常数值与基本错误,把关数据质量,例如对生理数据滤波降噪、将视频图像数据进行图像增强与分割、去除本文数据中的停用词与标点并进行分词等等;后者是对原始数据赋予“真值”的过程,帮助算法模型理解数据的含义,现有研究对认知负荷状态的标注主要参考量表结果、任务准确率或不同任务难度梯度等指标完成。特征提取是从原始数据中提取出最能代表其特性的部分并进行量化的过程,有助于简化问题、增强算法模型的准确性。生理信号数据中,平均心率、心跳间期标准差[43]等时域特征与皮肤电信号中的平均振幅、持续时间[44]等频域特征用于反映生理唤醒水平,可通过小波变换(Wavelet Transform,WT)与快速傅里叶变换(Fast Fourier Transform,FFT)方法提取;之于视频图像数据,当前最常使用的特征提取方法为卷积神经网络,其经典网络架构包括AlexNet、VGG、ResNet等等,同时边缘检测、特征点检测等预处理步骤也可帮助突出图像中的重要结构,为卷积神经网络处理打下基础;学习者书写内容以及谈话语音转录形成的文本是反映其认知状态的重要证据,早期的文本特征为通过词袋模型(Bag of Word,BoW)提取的关键词词频,TF-IDF方法则在其基础上增加了逆文档频率特征,词嵌入模型(Word2Ve、BERT等)则是通过将每个词语表示为一个实数向量进而捕捉词之间的语义和语法关系。将不同模态信号进行融合能够增强识别模型的准确性与鲁棒性,通常在数据、特征和决策三个水平上进行。基于多模态数据的认知负荷相关研究多应用特征级融合,即把不同模态来源的特征基于时间序列对齐、组合,形成统一的特征向量或特征矩阵,而后输入模型分析。聚焦教育领域,相关识别研究多为将学习者认知负荷水平进行二分类,并应用多种机器学习算法或深度学习算法进行识别。
应用层是分析模型的导向,实现将分析结果指向教学干预、赋能教学实践,其基本步骤如下。首先,将能够反应学习者认知资源分配过程的认知负荷水平指标与以学业成绩为代表的结果性评价指标结合,依据图3标准应用统计分析方法判断学情状态;其次,借助教育学与心理学相关理论对学习者学情状态进行解读,例如参考期望价值理论建议认知负荷水平较低且学业成绩不理想的学习者酌情降低学业目标,再如依据最近发展区理论提议认知负荷水平较高但学业成绩不佳的学习者向负荷低且成绩出色的尖子生群体请教问题;最后,可通过学习分析仪表盘等方式将学习者的学情结果、解读内容与干预建议等呈现给师生。当然,真实教育教学过程是一个复杂系统,干预建议与实施方案除参考学情结果外,还需要依据场景需求、学习者规模与知识内容不断调整干预的对象、方式、时机与强度,例如课堂学习场景下当班级大多数学生难以跟上知识进度时,教师有必要立刻调整教学内容完成群体干预,协作学习场景下通过学习平台或移动终端延后为学习者提供建议是可行的方案,而自主学习场景下教师或AI智能学习助手则可以提前为可能存在困难的学生搭建支架。
(一)实验设计与数据采集
本研究以北京市某高校300名(46男,254女)本科生为研究对象,在高校教室开展测试实验。其中测试题目为水资源相关的地理学科选择题(30道单选题,10道多选题,满分50分),被试答题全程佩戴生理手环。实验整体流程如下:首先学生签署知情同意书,之后佩戴生理手环并采集5分钟的基线数据;接着学生打开平板电脑点击题目链接,限时15分钟独自闭卷答题;作答结束后学生自行点击“提交”按键,系统即刻生成本次测试得分,查看分数后立即填写认知负荷量表并提交,至此实验结束。
研究过程应用了NASA-TLX量表与E4手环两种工具,前者为美国国家航天局开发的认知负荷量表,后者为意大利Empatica公司研发的生理手环。标准版NASA-TLX量表包含“心理需求”“时间需求”“努力程度”“体力需求”“自我绩效”与“受挫程度”六个维度、每个维度一个题项,有21个等级[45],具有评价时间较短和对总认知负荷水平敏感的优点。结合本实验的任务与场景特点,剔除关联程度较低的“体力需求”维度,保留其余五个维度,量表在改编后的Cronbach’s α系数值为0.73,信度较好。
(二)基于多模态数据的认知负荷水平识别
1.认知负荷测量结果
本研究使用的NASA-TLX量表在认知负荷测评的相关研究中应用广泛,其得分计算方法主要为直接相加各维度得分与两两配对计算各维度加权总分两种方式,前者测量粒度较粗,后者基于被试赋权故结果迁移性不强。于是,本研究对量表采取专家赋权,邀请18位教育领域专家填写《NASA-TLX打分表》(详细描述了测验任务,专家对5个子维度的重要性判断矩阵根据T.L.Saaty的1—9标度法[46]打分),而后应用层次分析法得到各指标权重并计算出认知负荷水平。各维度指标权重的计算过程如下:首先,计算所有判断矩阵的一致性比率CR,剔除系数大于0.1(即未通过一致性检验的样本)后得到12个有效判断矩阵;其次,统计有效判断矩阵的权重分配结果,依据四分位距异常值识别标准,剔除了“努力程度”维度的一个异常值(超过下四分位距1.5倍);最后,计算5个维度剩余权重的算术平均值(剔除了异常值,故权重相加后不完全等于100%)得到最终指标权重(如表1所示)。被试在量表每个维度的打分(“自我绩效”维度得分取反)加权求和即为其认知负荷总分。
2.学习者认知负荷水平识别
认知负荷分数是学习者完成当前任务状态的直观体现,但很难针对每个具体数字本身均给出教育教学层面的解读,参考分层教学思想按照认知负荷分数将学习者分为有限几类是切实可行的方案。本研究将学习者认知负荷水平分为高与低两类,并基于生理手环采集的学习者心率(HR)、心跳间期(IBI)、皮肤电(EDA)、与皮肤温度(ST)四种多模态生理信号数据,实现学习者认知负荷水平识别。
(1)数据清洗与标注
本研究的数据清洗遵循两条标准,一是统计各被试的认知负荷水平得分,将暂时无法判断认知负荷水平的19名被试数据(得分恰好是中位数)剔除;二是检验采集的多模态生理数据,删除质量不达标条目。最终,整理获得266个有效样本。检验样本分布,发现认知负荷得分(峰度0.594,偏度-0.597)的统计直方图均呈现钟型,证明其基本可接受为正态分布,于是计算得分中位数,判定分数位于前(后)50%的学习者认知负荷水平为高(低)。
(2)生理特征提取
生理信号是人作为生物体的自发反应,不易受主观意志控制[47],因此能够较为真实、客观地反映出人类某时间段的心理活动状态。研究从四类生理信号数据中提取了相应的时域、频域以及非线性特征共23项,如表2所示。其中,HR信号与ST信号的基本统计特征提取利用IBM SPSS Statistics完成,IBI特征使用Kubios软件提取,对数据伪影使用插值法进行了校正,EDA特征则应用集成于Matlab的Bio-SP工具箱,勾选高斯滤波器完成噪声去除与平滑处理后提取了相应特征。此外,由于各特征的量纲不同导致实际数值之间差异较大、无法直接进行比较,统一使用Z-Score标准化方法将提取的各特征取值转化为标准分数。
(3)特征融合与筛选
完成生理特征的量化工作后,先将所有特征串联形成一个总体特征向量,而后对特征集合进行筛选,删除效果不佳的特征。本研究使用随机森林特征重要性排序方法,采用Gini系数评估特征,筛选出了重要性排名前50%的特征(如图5所示),形成优质特征集。
(4)识别效果分析
研究采用常见的七种监督学习算法训练优质特征集得到认知负荷水平识别模型,并通过十折交叉检验方法规避过拟合问题,使用分类任务中常见的准确率、召回率、精确率与F1值检验模型性能(如表3所示)。分析可知,除KNN外,其余算法的四项指标均高于或接近75%,其中随机森林(RF)的预测性能最佳,四项指标均接近或超过80%。参考过往教育领域中使用机器学习算法完成分类任务的相关研究,准确率达到70%被认为结果可以接受,证明本实验基于多模态生理数据构建的认知负荷水平识别模型效果较好。
(三)认知负荷视角下的学情分析与干预
1.学情诊断结果
在实现认知负荷水平识别后,本文参照图3标准将认知负荷水平与学习绩效结合完成学情诊断。本次实验以测试得分代表学习绩效,其判别方式与上文认知负荷水平判别类似,先检验样本分布(峰度-0.036,偏度-0.636,统计直方图呈现钟型可接受为正态分布),而后计算得分中位数,判定分数位于前(后)50%的学习者成绩为高(低)。最终综合认知负荷与学习绩效两个指标统计得到“成长型学习者”(高负荷-高成绩)57人,“尖子生”(低负荷-高成绩)80人,“潜力型学习者”(高负荷-低成绩)83人以及“游离型学习者”(低负荷-低成绩)61人。
2.结果解读
为了充分解读学情分析结果,研究分别分析测试得分较高的“尖子生”与“成长型学习者”以及测试得分较低的“潜力型学习者”与“游离型学习者”群体在认知负荷子维度的差异,即分别对两个群体在5个认知负荷维度上的得分进行了独立样本T检验(如表4所示)。
高测试得分群体中,两类学习者在“心理需求”“努力程度”与“受挫程度”三个维度上存在大幅度差异(Cohen’s d > 0.8)。由此可见,相比80名“尖子生”群体,57名“成长型学习者”在测试任务中更加努力、投入了更多的脑力资源,也在任务过程中夹杂了更多的沮丧或烦恼情绪。依据最近发展区理论,测试题目的知识水平基本落在了“成长型学习者”的最近发展区内,相应学生在投入大量精力、时间与情感后可以达到较好的分数,即“跳一跳,够得着”,此类学习者通过自身努力取得了较好的成绩,学习状态十分理想;至于“尖子生”群体,他们面对任务表现得游刃有余,投入较少精力即可获得相对优异的成绩,显然此类型学习者先验知识水平充足,题目难度未达到其最近发展区上限。此外,虽然两类学习者的测验分数都较高,但在“自我绩效”维度的打分没有显著差异,且该维度的打分均值都不高,这意味着多数学习者对自己有着更高的预期,并不满意自己本次题目取得的成绩。
低测试得分群体中,两类学习者在“心理需求”“时间需求”“努力程度”“受挫程度”四个维度存在大幅度差异。这意味着83名“潜力型学习者”在任务过程中对完成题目表现出了更强的学习动机,于是也付出了更多脑力活动与更高努力程度。这些被试认为测试用时紧张,或许是由于面对不同难度题目时间分配策略不得当,此外测试题目难度很可能逼近甚至超过了被试们的最近发展区上限,导致其在知识技能层面遇到了较大困难而产生了畏难、紧张情绪,日常教学中此类学习者仅凭自身努力已经很难改变学习成绩不佳的事实,需要为其提供脚手架或其他形式的人工干预;相比而言,61名“游离型学习者”在任务过程中付出的脑力活动与努力程度都不高,所以也并不具备时间紧迫感,不会因任务而感到烦恼受挫。依据期望价值理论,这些被试对完成测试任务缺乏动机、效能期望较低,也许是由于题目难度远超最近发展区上限导致其无从下手,抑或由于不认可本次任务的价值进而出现态度不佳的现象,在真实教学活动中这类学习者需要重点特殊关照。
3.分析结果呈现与教学干预建议
学习分析仪表盘是一种应用场景广泛的干预工具,可记录学习过程中产生的诸多数据,并在按需分析数据后将分析结果可视化呈现,从而为师生、研究者和管理者提供帮助[48],其构建方法通常包括交互式方法或编程式方法两个类型[49]。参考在线测试实验的学情分析结果,本研究以中小学完成作业场景为例,通过“即时设计”交互工具快速设计并完成了师生双端学习分析仪表盘的可视化原型界面搭建,拟在课后分别为师生呈现学情内容与干预建议。
研究结合相关文献调研内容以及对七位专家的启发式评估结果,遵循“匹配用户认知习惯”“美观精炼”与“提供必要辅助说明”三条原则,设计了包含“任务安排”“学情分布”“学生名单”与“资源推荐”四个主要功能模块的仪表盘系统原型。教师端仪表盘涉及全部四个功能,其部分页面如图6所示。“任务安排”模块呈现教师近日上课班级的作业安排;“学情分布”模块从群体、小组与个体层面向教师呈现认知负荷视角下学生完成某作业任务的学情类型,方便教师日后针对性的布置分层作业;“学生名单”模块,包括“光荣榜”与“特别关注”两个部分,分别向教师报告近期作业表现出色和作业任务遇到困难的学生,供其提出表扬和单独答疑,开展个性化辅导;“资源推荐”模块则定期推送有益于作业管理的工具以及高效辅导学生的视频资源,协助教师提高作业批改效率、学习掌握最新干预工具。
学生端仪表盘涉及“任务安排”“学情分布”与“学生名单”三个功能模块,其部分页面如下页图7所示。“任务安排”模块呈现了学生自己所在班级的作业安排;“学情分布”模块报告了认知负荷视角下每个作业任务的班级整体学情状态,指出学生自己的学情类型,并且提供了特定时间范围内(例如:一个月)个人作业完成情况的纵向学情类型统计,力求帮助学生及时掌握集体及个人的作业学情,进而促进其开展自我反思;“学生名单”模块除了包含与教师端相似的“光荣榜”外,还会依据个体学情向学生推荐学习伙伴,帮助知识水平层面存在明显差异的学生之间开展互助学习,例如向“潜力型学习者”推荐有余力开展同伴互助的“尖子生”,或帮助“游离型学习者”链接到学习状态上佳的“成长型学习者”,分享学习经验。
本研究使用自研的系统设计评价问卷以及Brooke编制的系统可用性量表(System Usability Scale,SUS),从满意度与用户可用性两个角度初步考察仪表盘原型及教学干预建议效果。其中系统设计评价问卷包含系统架构设计、功能指标设计、系统设计有效性与系统使用意向四个维度,每个维度有2个题项,量表的KMO系数为0.614,Bartlett球形检验显著,cronbach’s α系数达到0.773,证明其效度与信度均可以接受;SUS包含易学性与可用性两个维度,其中易学性维度包含2个题项,可用性维度包含8个题项,cronbach’s α达到0.839,信度较好。问卷面向32人(12男,20女,学生老师各占一半)发放,全部成功回收。系统设计评价问卷的四个维度评分均超过80分,总体评分达到86.875分(满分为100分),证明用户对仪表盘设计与干预建议的满意度较高;SUS结果可换算为0—100分,对应“Poor”“OK”与“Good”等评价等级,本研究设计的仪表盘在易学性、可用性与总体评价的分数分别为71.09、80.57与75.83分,达到“OK”“GOOD”与“GOOD”水平,具备较好的用户可用性。
学情分析聚焦对学生学习情况的诊断、评估与分析,指向精准教学,而认知负荷则是衡量学习者个性化学习需求与深度学习发生的重要指标。本研究梳理了学情分析及其一般过程,基于认知负荷水平与学习绩效两个重要指标形成了学习者学情诊断标准,并从认知负荷视角构建了包含数据层、计算层与应用层三个层次的学情分析框架。同时,研究以在线测试场景为例,通过具体案例实现了基于多模态生理数据的认知负荷水平识别、学情分析结果解读与教学干预设计,理清了基于认知负荷水平的学情分析实践路径。未来研究中,可进一步分别聚焦内在认知负荷、外在认知负荷与相关认知负荷三种具体认知负荷类型实现更细粒度的学情分析,并融合学习行为、书写文本等学习者认知维度多模态信息,拓展认知负荷视角下的学情分析研究与实践,进而推动精准教学的实施。
参考文献:
[1] 刘岗,田静.学情分析的价值意蕴、实践困境与改进路径[J].教学与管理,2020,(27):18-21.
[2] Bertolini R,Finch S J,et al.An application of Bayesian inference to examine student retention and attrition in the STEM classroom [J].Frontiers in Education,2023,8(2):1-16.
[3] 武法提,田浩.挖掘有意义学习行为特征:学习结果预测框架[J].开放教育研究,2019,25(6):75-82.
[4] Geden M,Emerson A,et al.Predictive student modeling in gamebased learning environments with word embedding representations of reflection [J].International Journal of Artificial Intelligence in Education,2021,31:1-23.
[5] Ramakrishnan A,Zylich B,et al.Toward automated classroom observation:Multimodal machine learning to estimate class positive climate and negative climate [J].IEEE transactions on affective computing,2021,14(1):664-679.
[6] Holstein K,McLaren B M,et al.Co-designing a real-time classroom orchestration tool to support teacher-AI complementarity [J].Grantee Submission,2019,6(2):27-52.
[7] Sweller J,Ayres P,et al.Cognitive load theory [M].New York:Springer,2011.
[8][29] 李爽,黄治霞等.混合学习情境下认知负荷对学习投入机制的调节作用[J].开放教育研究,2023,29(4):90-100.
[9] 王舒,殷悦等.教学设计中的成绩表现和心流体验:基于认知负荷视角[J].心理发展与教育,2019,35(3):329-337.
[10] Albus P,Vogt A,et al.Signaling in virtual reality influences learning outcome and cognitive load [J].Computers & Education,2021,166:1-16.
[11] Zhong B,Si Q.Troubleshooting to learn via scaffolds:Effect on students’ ability and cognitive load in a robotics course [J].Journal of Educational Computing Research,2021,59(1):95-118.
[12] 辛自强,林崇德.认知负荷与认知技能和图式获得的关系及其教学意义[J].华东师范大学学报(教育科学版),2002,(4):55-60+77.
[13] Sweller J,Van Merrienboer J J G,et al.Cognitive Architecture and Instructional Design [J].Educational Psychology Review,1998,10(3):251-296.
[14] Paas F,Tuovinen J E,et al.Cognitive Load Measurement as a Means to Advance Cognitive Load Theory [J].Educational Psychologist,2003,38(1):63-71.
[15] Leppink J,Paas F,et al.Effects of Pairs of Problems and Examples on Task Performance and Different Types of Cognitive Load [J].Learning and Instruction,2014,30(4):32-42.
[16][39] Fang C,Jianlong Z,et al.Robust Multimodal Cognitive Load Measurement [M].Cham:Springer,2016.
[17] Spivey M J,Grosjean M,et al.Continuous attraction toward phonological competitors [J].Proceedings of the National Academy of Sciences,2005,102 (29):10393-10398.
[18] Barz M,Altmeyer K,et al.Digital pen features predict task difficulty and user performance of cognitive tests [C].New York:Association for Computing Machinery,2020.23-32.
[19] Lively S E,Pisoni D B,et al.Effects of cognitive workload on speech production:Acoustic analyses and perceptual consequences [J].The Journal of the Acoustical Society of America,1993,93(5):2962-2973.
[20] Verrel J,L vdén M,et al.Interacting effects of cognitive load and adult age on the regularity of whole-body motion during treadmill walking [J]. Psychology and aging,2009,24(1):75-81.
[21] Aghajani H,Garbey M,et al.Measuring mental workload with EEG + fNIRS [J].Frontiers in human neuroscience,2017,11(7):1-20.
[22] 于海斌.基于多生理信号的认知负荷评估研究[D].北京:北京师范大学,2019.
[23] Siemens G,Gasevic D,et al.Open Learning Analytics:an integrated & modularized platform [D].Edmonton AB Canada:Monash University,2011.4-18.
[24] 周鹏霄,邓伟等.课堂教学视频中的S-T行为智能识别研究[J].现代教育技术,2018,28(6):54-59.
[25] Saquib N,Bose A,et al.Sensei:sensing educational interaction [J]. Proceedings of the ACM on Interactive,Mobile,Wearable and Ubiquitous Technologies,2018,1(4):1-27.
[26] 方海光,孔新梅等.一种智慧课堂交互行为数据的标准分数常模计算方法研究——基于改进型弗兰德斯互动分析系统iFIAS[J].远程教育杂志,2023,41(5):67-75.
[27] 蔡旻君.学习者在线学习行为投入新探索——基于点、线、面方法的评估模型构建[J].中国电化教育,2023,(8):84-93.
[28] 战双鹃,许文丽.SPOC混合教学模式下高校外语课程学习焦虑研究[J].当代外语研究,2023,(6):118-126.
[30] 彭红超,赵佳斌.混合学习团队类型及其学习效果:学习力和学习效能感视角[J].现代远程教育研究,2022,34(6):102-111.
[31] 田浩,武法提.混合场景下协作认知投入的多模态表征与分析路径研究[J].远程教育杂志,2022,40(4):35-44.
[32] 尤佳鑫,孙众等.数字教材的技术接受度与教师TPACK能力的相关分 析——基于结构方程模型的实证研究[J].电化教育研究,2014,35(11):102- 108.
[33] 刘东亮,闫玥蓉.大数据分析中的相关性和因果关系[J].国家检察官学院学报,2023,31(2):23-41.
[34] 张振虹,刘文等.学习仪表盘:大数据时代的新型学习支持工具[J].现代远程教育研究,2014,(3):100-107.
[35] Sedrakyan G,Malmberg J,et al.Linking learning behavior analytics and learning science concepts:Designing a learning analytics dashboard for feedback to support learning regulation [J].Computers in Human Behavior,2020,107:1-15.
[36] 武法提,高姝睿等.人机智能协同的精准学习干预:动因、模型与路向[J].电化教育研究,2022,43(4):70-76.
[37] Van Merri nboer J J G,Kester L,et al.Teaching Complex Rather than Simple Tasks:Balancing Intrinsic and Germane Load to Enhance Transfer of Learning [J].Applied Cognitive Psychology,2006,20(3):343-352.
[38] 车敬上,孙海龙等.为什么信息超载损害决策 基于有限认知资源的解释[J].心理科学进展,2019,27(10):1758-1768.
[40] Kirschner P A.Cognitive Load Theory:Implications of Cognitive Load Theory on the Design of Learning [J].Learning and Instruction,2002,12(1):1-10.
[41] Wolpert L.Cognition:evolution does help to explain how minds work [J]. Nature,2009,459(7246):506.
[42] Kim J,Jo I-H.Feasibility and Use of Psychophysiological Responses Based on Cognitive Load Theory [J].Australasian Journal of Educational Technology,2019,35(3):1-16.
[43] Boucsein W.Electrodermal Activity (Second Edition) [M].New York:Springer,2012.
[44] Hilbert T S,Renkl A.Learning How to Use a Computer-Based ConceptMapping Tool:Self-Explaining Examples Helps [J].Computers in Human Behavior,2009,25(2):267-274.
[45] Saaty T L.The analytic hierarchy and analytic network processes for the measurement of intangible criteria and for decision-making [M].New York,Springer,2016.363-419.
[46] 韩颖,董玉琦等.学习分析中情绪的生理数据表征——皮肤电反应的应用前瞻[J].现代教育技术,2018,28(10):12—19.
[47] Bangor A,Kortum P,et al.Determining what individual SUS scores mean:Adding an adjective rating scale [J].Journal of usability studies,2009,4(3):114-123.
[48] 肖睿,肖海明,尚俊杰.人工智能与教育变革:前景、困难和策略[J].中国电化教育,2020,(4):75-86.
[49] 郑娅峰,赵亚宁等.教育大数据可视化研究综述[J].计算机科学与探索,2021,15(3):403-422.
作者简介:
武法提:教授,博士,博士生导师,研究方向为智能学习系统、教育数据挖掘与学习分析。
任伟祎:硕士,研究方向为多模态学习分析。
Analysis of Learning Situation Based on Cognitive Load Level: Representation Framework and Practical Path
Wu Fati1, Ren Weiyi2
1.Engineering Research Center of Digital Learning and Educational Public Service, Ministry of Education, Beijing Normal University, Beijing 100875 2.School of Educational Technology, Faculty of Education, Beijing Normal University, Beijing 100875
Abstract: Under the background of digital education transformation, learning situation analysis, as an important means of helping teachers understand the learning process of students based on educational big data analysis and diagnostic results, is a necessary prerequisite for carrying out precise teaching. Cognitive load level has always been an important indicator for measuring personalized learning needs and deep learning occurrence of learners. In order to assist learners in adjusting their cognitive load levels during the learning process and effectively investing cognitive resources into higher-order problem-solving processes, this article outlines the general process of learning situation analysis and constructs a learner learning situation analysis framework based on cognitive load levels, which includes three levels: data collection, load identification, and analysis intervention. Subsequently, the article collected multimodal physiological data from 300 students who completed online tests using a portable wristband, and applied feature engineering methods to construct a cognitive load level recognition model. The study status was interpreted by integrating cognitive load levels and learning performance, and a learning analysis dashboard was designed to present the results of the study analysis and intervention suggestions. The article constructs a learning situation analysis framework from the perspective of cognitive load and verifies its feasibility through empirical research, in order to provide reference for research and teaching practice related to cognitive load.
Keywords: cognitive load; learning situation analysis; multimodal learning analysis; intervention design
责任编辑:李雅瑄