沉浸式学习环境下学习者认知负荷测量

黄安仪　崔宁　黎思琪　黄峻荣

摘  要：沉浸式学习环境借助智慧课室、虚拟现实（VR）、5G技术，实现了为学习者提供跨越空间、时间的沉浸式体验，有利于学习者以自己为中心积极主动地参与到课堂内容的学习。然而沉浸式学习环境下又因其自身的环境虚拟性、操作复杂性、任务多样性等无形之中增加了学习者的认知负荷。文章通过对现有的沉浸学习情境中学习者的认知负荷的测试方法进行了分析，并对现有测试手段存在的缺陷进行了梳理，并提出了一种全面的沉浸学习环境中学习者的认知负荷测试方法。即“脑电捕获+主观评定”，首先通过计算“脑电捕获”相关数据来获取学习者认知负荷的瞬时大小，其次通过“主观评定”来验证测量结果的准确性，对测量结果进行验证，以增强本测量方法的可信度。

关键词：沉浸式学习环境；认知负荷测量；学习者

中图分类号：TP391  文献标识码：A  文章编号：2096-4706（2023）12-0089-04

Measurement of Learners' Cognitive Load in Immersive Learning Environment

HUANG Anyi， CUI Ning， LI Siqi， HUANG Junrong

（School of Information Engineering & Business Management， Guangdong Nanhua Vocational College of Industry and Commerce， Guangzhou  510507， China）

Abstract： With the help of smart classroom， Virtual Reality （VR） and 5G technology， the immersive learning environment provides learners with immersive experience across space and time， which is conducive to learners' self-centered and active participation in the learning of classroom content. However， the immersive learning environment also increases the cognitive load of learners because of its own virtual environment， operational complexity， task diversity and other intangible factors. This paper analyzes the existing test methods of learners' cognitive load in the immersive learning environment， combs the defects of the existing test methods， and proposes a comprehensive test method of learners' cognitive load in the immersive learning environment. That is， “EEG capture + subjective assessment”. Firstly， the instantaneous size of learners' cognitive load is obtained by calculating the relevant data of “EEG capture”. Secondly， the accuracy of the measurement results is verified by “subjective assessment”， and the measurement results are verified to enhance the credibility of this measurement method.

Keywords： immersive learning environment; cognitive load measurement; learner

0  引  言

隨着信息技术在教育领域的深入应用，沉浸式学习愈来愈成为未来学习者开展个性化学习的重要手段，亦是新时期教育信息化发展的新要求。2018年12月25日，国家工信部印发了《工业和信息化部关于加快推进虚拟现实产业发展的指导意见》。《意见》提出：“要把虚拟现实技术运用到高等教育、职业教育、物理、化学、生物、地理等领域”[1]。可见VR（Virtual Reality）等沉浸式教学在教学中的重要作用。

然而沉浸式学习环境中，通过对目前已有的学习背景下学习者认知负荷的测验方法的研究，总结了目前的测验方法的不足，并给出了一个综合的测验方法。当下，对于认知负荷的测量已有多种较为成熟的测量方式，但具体到沉浸式学习环境下的认知负荷实时测量还很少涉及，因此沉浸式学习环境下学习者认知负荷测量的研究有利于补充和进一步完善认知负荷测量理论。

1  文献综述

无论是在传统教室学习模式还是在信息技术环境下学习模式，均存在着教育资源与学习资源无法实现有效匹配与共享、学习空间的碎片化以及学习内容与教学方式之间的不匹配等问题。因此，在新教育环境背景下，学习者对于资源与学习资源的利用问题日益凸显。当前，已有众多研究表明，沉浸式学习环境有助于提高学习者的学习效率并减少相关错误的发生概率。因此，针对沉浸式学习环境下学习者的认知负荷问题及其相关影响因素进行探讨具有重要意义。

沉浸式学习环境的应用为现阶段的学习教育带来了新的体验。任何一种学习都不能脱离注意、记忆、思考、想象等认知活动。许多研究显示，学生的学习记忆与认知行为有着紧密的联系。学习记忆的主要功能是对当前学习环境中的课程信息进行采集和临时存储，并将其与长时记忆相联系，以实现对整个学习任务的全面了解。但是由于学生学习记忆的能力有限，如果学习环境中的信息太多，可能会影响学生的注意力，记住了额外的环境信息，使学生的学习记忆能力超负荷，从而影响到学生的认知处理能力。认知负荷能够代表学习状态下脑力资源占用率，也有相关专家称之为称为精神负荷、脑力负荷或者心理负荷。而对于认知负荷的测量，是不可直接被衡量的，只能通过间接的方式来衡量。国外研究学者Paas等人在1994年所提出的认知负荷结构模式的评估因子。最近几年，认知负荷的测量才刚刚起步，但是，在负荷测量方面，认知心理学的研究已有相当多的成果。目前，大部分的研究者都是采用实验的方式来进行认知负荷的测定。沉浸式学习环境因其信息量大、信息多样化而不同于传统教育和学习环境。在这种情况下，学习者在学习过程中的认知负荷也应该是不同的[2]。

目前测量认知负荷的方法可分为主观评定测量、任务绩效测量和生理测量。主观评定测量采用一维量表进行学习者的认知负载，其灵敏度高、使用方便、无创、易被测受试者接受，但是存在主观性较强的缺点，具有一定弊端。任务绩效测量是一种对认知负载进行客观、直接的衡量，它可以根据学生在完成一项任务后的表现来判定其所造成的认知负载，但是任务的相关性较高，不方便进行横向测量。生理学测量是一种较为客观、可量化的测量手段，在这种测量中，眼球运动的数据可通过无接触的方式进行，因此在临床上有很大的实用价值。与眼动有关的认知活动有：瞳孔扩张、眨眼次数、眨眼时间、眼球扫视等。有研究发现，在较高的认知负载和较高的任务要求下，闪烁次数和闪烁持续时间都会降低。

一般认知负荷量表会使用WP（The Workload Profile Index Ratings）、SWAT（Subjective Workload Assessment Technique）、TLX（National Aeronautics and Space Administration- Task Load Index）等多维度量表进行统计，WP的灵敏度要高于SWAT，TLX的灵敏度最低；WP量表具有良好的诊断能力；SWAT量表和WP量表的效度均优于TLX量表。在中等、低级作业中，WP量表是一种比较理想的认知负荷量表。此外，次任务在响应时的稳定性和抗干扰能力也很强，能够在不同的困难任务中进行有效的识别。认知负荷综合指数具有良好的敏感性。

尽管在某些研究中已有生理学测量方法的使用，但是它的仪器和环境要求很高，很少用于实际操作。在认知负荷测量的基础上，已有不少学者提出了可用于實践的测验技术。因此，本文在上述基础上，针对沉浸式学习环境下学习者认知负荷测量展开研究。

2  基于脑电的学习者认知负荷测量

2.1  基于脑电提取学习者认知负荷信号协方差特征

引入脑电技术，对学习者认知负荷进行测量。假设共包含n个通道的脑电信号数据，其表达式为：

式（1）中，st表示任意时刻t的脑电信号；l表示脑电信号的总采集点数量。假设所有产生的脑电信号都已经经过了高通滤波，并且各个采样点上的脑电信号总采集点数量均远远超出了电极通道数n，则在这一假设条件下，学习者认知负荷信号协方差特征可通过下述公式计算得出：

式（2）中，T表示转置。在获取到学习者认知负荷信号协方差特征后，还需要对这一特征在切空间中进行映射。在对协方差特征进行切空间映射时，假定同一学习者的协方差矩阵处于同一区域，而各学习者的协方差矩阵则处于不同的区域[3]。为了得到更精确的切点，即数据的平均值，必须分别对各样本的数据进行单独的运算，从而得到更精确的切点估算。但这也造成了不能对多个学习者进行有效的综合利用[4]。为充分利用获取到的信息，增强测量方法的鲁棒性和精确度，采用多模式整合的方法，为后续度量黎曼流形数据提供依据。

2.2  度量黎曼流形数据

黎曼流形是一类具有微流形的空间，它具有很强的稳定性。但由于黎曼流形是一种非欧结构，其上各点的切线空间均为欧式，因此在欧氏空间中，该方法不能直接用于黎曼的数据点[5]。黎曼距离对黎曼流形数据的度量示意图如图1所示。

图1中，一个节点从①到②，其在图1中所选的两个点（相对于黎曼流形）之间的最小距离是球面上的测量线（对能量应为黎曼距离），而不是穿过球面（欧氏距离）[6]。所以，在黎曼流形中，要考虑采用合适的方法。结合上述获取到的学习者认知负荷信号协方差特征，将所有特征组成一个对称正定矩阵，并将节点看作是在黎曼流形上的一个点。在一般的矩阵空间当中，可直接采用欧氏距离的方式计算两个节点之间的距离，其公式为：

式（3）中，d（x1， x2）表示节点x1和x2之间的欧氏距离；x1k和x2k表示节点属性详细选值。而在对称正定矩阵空间当中，则需要通过黎曼距离计算得出。黎曼距离可以基于下述公式对m个对称正定矩阵的黎曼均值得出：

式（4）中，σ表示黎曼系数。计算得出的黎曼均值点位置上所有的矢量组成的集合构成完整的切空间[7]。在该切空间中，测量值与黎曼空间相比十分平滑，所以我们可以利用其他常规的欧式空间，例如利用算术平均值来计算数据间的距离，或直接利用逻辑回归分类器来对切空间中的数据进行分类。

2.3  输出学习者认知负荷测量结果

从黎曼空间出发，利用切空间中的相关运算，求出m个对称正定矩阵的平均值。首先，利用黎曼对数映射方法，将黎曼空间内的数据点全部映射为切空间。这种切空间是欧氏空间的特性，所以，在欧式空间中，平均的描述，是一个比较简单的平均值的正确的估算[8]。最后，利用Riemann指数映射，把所求出的算术平均值映射到黎曼空间，由对称正定矩阵组成，从而可以准确地反映对称正定矩阵的平均值。之后的机器学习和迁移学习都是在一个切空间内进行的，将每一个被测数据分别计算出的平均几何平均值作为切点。在对协方差特性进行切空间映射时，假定同一学习者的协方差矩阵处于黎曼流形的同一区域，而黎曼流形中各受试者的协方差矩阵则处于不同的区域[9]。所以，为了得到更精确的切点，即数据的黎曼平均，必须分别对各样本的数据进行单独的运算，从而得到更精确的切点估算。但这也造成了一个问题，即不能对多个学习者进行有效的综合利用。建立投票模型，充分利用已有的资料，增强模型的鲁棒性和精确度，增加模型的更新与升级的可能性[10]。相对多数硬投票模型如图2所示。

针对图2中多个模型，采用组合策略中的投票法对其进行集成处理，多个模型同时预测标签，预测标签最多的标签即为最终输出标签，其公式为：

式（5）中，H （x）表示最终输出标签；c表示类别标记；HIJ（x）表示基模型；q表示基模型数量。基于图2投票结果，输出学习者认知负荷测量结果。

3  实验研究

在沉浸式学习环境下，利用分数测度对学习者认知负荷进行测量。首先，根据目前的学习内容设计测验题。学习者一旦学会了一门课程，马上进行测试，从而实时分析学习效果。为此，设计如下测量过程。

3.1  实验设计与数据

以M高校为测试环境，随机抽选20例学习者展开测试。

在实验中，学习者被要求在计算机前安静地坐着，注意力尽量集中在屏幕中央的十字架上，在实验中尽量不要频繁地眨眼睛。当学习者安静下来后，实验开始，记忆和探测项目将在荧光屏上依次显示。学习者需要迅速而精确地记忆单词，大约3秒钟后，屏幕上会显示一个探头项目，这时，学习者需要用键盘来判断是否在记忆项目中。

每一学习者都有3节的资料，每节含有两个区块（bloolc），每区块含有60个试次。剔除无效资料后，每位学习者平均分为三类，总计480份trial样本数据。采用128导neuroScan记录学习者头表脑电数据，将采样频率设置为1 000 Hz。20例学习者的脑电图资料应用延迟匹配试验，将其分成三个层次：低负荷（刺激数量为2）、中等负荷（刺激数量为4）、高负荷（刺激数量为8）。

3.2  脑电记录与预处理

针对上述获取到的实验数据进行预处理，包括坏道插值、带通滤波、伪迹去除等。62导脑电信号，将CB1、CB2两个电极去除后共包含60导，分别用人工方式或其他方法进行标记，并利用内插技术对故障进行修补，以保证数据中的每一条导线的数据都不会产生不良的噪音。在此基础上，对数据采用五阶巴特沃斯滤波器进行带通滤波处理。在这一过程中，需要将频段控制在1～45 Hz的范围内。为了防止由刺激引起的事件相关电势等不相关的因素对实验结果的影响，只在1 s后的记忆序列中，抽取2.3 s的保留时间。在1 000 Hz的取样速率下，获得2 300个采样单点。对分割的数据进行取样，取样速率设定在160 Hz。最后得到格式为N×60×368的数据，其中的N是取样数目，60是信道数目，368是取样点数目。

3.3  测量实验结果

根據上述实验过程，在完成对学习者认知负荷测量后，记录实验结果。表1为对学习者刺激开始1 s后得到的认知负荷测量结果。

3.4  结果分析

统计对学习者刺激开始1 s后，其认知负荷测量结果可以看出，在沉浸式学习环境中，学习者受到刺激开始学习时，观测到Gamm节律的时间相关同步化发生集中在低负荷区域（11～18 Hz）中，而这与过程并不涉及中负荷与高负荷。

4  具体应用

在认知负荷综合测量在沉浸式学习环境下的具体应用中，当学习者的内部和外部的认知负荷都已被确定时，就能由相应的内在认知负荷和外在认知负荷来决定。由于学习者主观因素的影响，学习者在主观上会减少对作业材料的难度、数量等的主观感觉，进而间接地影响到整体的认知负荷。当内部认知负荷下降时，相应的认知负荷和元认知负荷就会增加。学习学会是学习者必备的素质和追求的目标，因此，在目前的研究和实践中，重视学习者的个性因素和学习风格，并加大对学习者的相关认知负担和元认知负荷的研究将是今后的发展方向。大多数的学习者都是以直观的形式学习的，因此，学习者当前在沉浸式学习环境中所能得到的信息比用直观的形式所能得到的信息要少。但是在某些场景中，几乎不会提供可视化的知识，学习者只会通过听、看等方式获得知识，就算是多媒体，也会有很多的文字，很少有图片、图标等。因此，在强调人的认识规律的前提下，在沉浸式学习环境中学习要兼顾学习者的不同，要注意学习者的认识方式和学习者的学习方式，并根据不同的风格进行不同的设计和个体化学习，可以减少学习者的学习负担，提高学习者的有效认知负担，从而使学习效果达到最佳。

在具体应用中，学习效果和认知负荷有很大的联系，而且是非常复杂的。过高或过低的内部认知负荷和外部的认知负荷对学习均无益处，前者会妨碍学习，而外部的知识负荷则会降低学习者的动机和注意力，从而影响学习。在认知负荷综合测量在沉浸式学习环境下的具体应用时，要想找出某一种教学或学习方法会给学习者带来什么样的认知负担，就必须把学习成果与其他关于学习过程中的认知负荷衡量相结合。例如，拥有同样的知识的学习者，甲和乙在完成同样的工作时，会用不同的方法来完成同样的工作。假设 甲的任务呈现模式可以减少外部的认知负担，而乙的任务呈现模式则可以减少外部负载，并会提高相应的认知负担。因为甲和乙拥有相同的知识，因此他们的内部认知负荷应该相同。在完成学业后，对学习者的认知负荷进行了主观测试，结果甲的心理努力得分为6分，甲得分8分。显然，乙的认知能力比甲强，但乙真的会导致与其学习有关的认知负担吗？其实，乙也有可能因为觉得题目难度过大，心理负担过重而放弃了，结果B的分数也会很低。可见，如果乙的学业表现比甲高，则可以得到以上结论。因此，只有把认知负荷与学习者的学习成果结合在一起，才会有实际的意义。

5  结  论

当前，沉浸式学习环境正在全球范围内迅速普及。随着《全球教育行动计划》的提出及其他教育改革措施的推进以及人们对其需求的不断增长，沉浸式学习技术已成为基础教育发展中不可缺少的技术手段。与传统教室里学习模式相比，沉浸式学习环境为学习者提供了更广阔的学习资源。然而，现有研究仅针对沉浸式学习环境中学习者认知负荷测量并未对其进行深入探讨。而基于沉浸式学习环境中学习者的认知负荷模型研究可为沉浸式学习环境下学习者的认知负荷测量提供参考与指导。

参考文献：

[1] 中华人民共和国工业和信息化部.工业和信息化部关于加快推进虚拟现实产业发展的指导意见[EB/OL].（2018-12-26）.http：//www.cac.gov.cn/2018-12/26/c_1123903256.htm.

[2] 孙崇勇，刘丽丽，高春阳.翻转教学法对高中生认知负荷及学习成绩的影响 [J].心理与行为研究，2020，18（3）：369-375.

[3] 王国华，聂胜欣，薛瑞鑫.多媒体学习中的认知负荷：测量方法与技术纵览 [J].电化教育研究，2022，43（4）：19-25+54.

[4] 戴静，顾小清，江波．殊途同归：认知诊断与知识追踪——两种主流学习者知识状态建模方法的比较 [J].现代教育技术，2022，32（4）：88-98.

[5] 许玮，祝思璇.同伴互评对学习者知识建构过程的实证研究——基于时间序列的认知网络分析 [J].现代教育技术，2022，32（1）：44-53.

[6] 王希哲，涂雅欣，张琳捷，等.认知负荷视角下在线协作学习的增效机制研究 [J].电化教育研究，2022，43（9）：45-52+72.

[7] 顾琦一，金夏妃.中国英语学习者产出任务中的认知负荷：输出模态与话题熟悉度的作用研究 [J].外语界，2021（3）：73-81.

[8] 单美贤，董艳.项目式协作学习中认知负荷的影响因素研究 [J].现代远距离教育，2022（3）：55-62.

[9] 马淑杰，张景斌.高中学生数学原有知识水平和学习认知负荷对数学课堂学习效率的影响研究 [J].数学教育学报，2021，30（2）：26-31.

[10] 尤洋，王以宁，张海.智慧课堂环境下教学视频复杂度与学习者认知负荷关系研究 [J].现代远距离教育，2020（2）：91-96.

作者简介：黄安仪（2002—），女，漢族，广东广州人，研究

方向：深度学习；通讯作者：崔宁（1987—），男，汉族，安徽宿州人，讲师，硕士研究生，研究方向：智慧教育与学习；黎思琪（2002—），女，汉族，广东江门人，研究方向：网络学习；黄峻荣（2002—），男，汉族，广东韶关人，研究方向：网络学习。

收稿日期：2023-01-13

基金项目：广东省教育厅青年人才项目（2022WQNCX182）；共青团广东省委员会攀登计划项目（pdjh2022a0931）