脑机接口的智能化课堂教学应用研究

王朋利 柯清超 张洁琪

(华南师范大学 教育信息技术学院，广东广州 510631)

智能化课堂多通过学习终端实现课堂交互与学习结果反馈。但基于学习终端的课堂交互多表现在对教学内容的信息化呈现，智能化课堂生成的学习行为、学习结果等显性数据难以形成有效的教学信息，无法指导教学活动的开展。Pad教学的显性数据要发挥更大的价值，关键在于结合学生内在隐性数据开展综合分析，尊重学生的个体差异。近年，学生内隐数据的挖掘逐渐受到重视，如实现学生学习过程的情感分析(薛耀锋等，2018；黄昌勤等，2018)、人格特质识别(赵宏等，2019)、学习习惯分析(武法提等，2019)等，但当前的研究多基于在线学习场景，学生课堂中的内隐数据挖掘研究较少。应用脑机接口技术(Brain-computer Interface，简称BCI)测量学生内隐数据具有十分广阔的空间，包括测量学生学习状态、注意力水平、认知负荷、学习风格等(姜雷等，2018；陈颖博等，2019；任岩等，2019；柯清超等，2019；马谐等，2019)，如何利用学生学习过程的隐性数据，开展智能化课堂教学实践是当前亟待解决的问题。

一、 脑机接口课堂应用模型

智能化课堂需要以技术支持的教育测量为依托，建立丰富和深层次的认知和学习模型，促进学生提升复杂任务解决能力和实现个性化学习(Bennett ，2018)。本文构建了以脑机接口学习测评和平板电脑教学为基础的智能化课堂教学应用模型。平板电脑实现师生课堂互动、外显学习状态测量，脑机接口技术实现内隐要素测量。

(一) 脑机接口技术支持教与学风格匹配

将教师教学风格与学生学习风格匹配，能有效提高学生的学习成绩、学习动机、课堂满意度(Dunn et al.，1979；Felder，1993；Miller，2001)。多米诺(Domino，1970)、奈米(Naimie et al.，2010)等验证了通过教学风格匹配提高课堂效果的有效性。基于脑机接口技术构建教师教学风格与学生学习风格的匹配模型具有可行性，已有研究较好地实现了学习风格分类(Paola-J et al.，2014；Rashid et al.，2011；Qureshi et al.，2017)。

图1 基于脑机接口的智能化课堂教学应用模型

(二)脑机接口技术创新课堂教学效果评价

脑机接口技术为课堂教学评价提供了全新的途径。利用脑机接口评价学习效果是个动态深化的过程，评价方法不断从片面到全面，由外在功能触及内在本质。一方面，脑机接口可以评价学生个体的脑区活动状态，根据学生学习活动相应脑区的活动状态评价学习效果(Baker et al.，2018)，判断学生是否处于学习状态(Davelaar et al.，2018)。另一方面，脑机接口技术可以根据学习者群体的脑活动同步情况评价教学效果，评判教师组织教学和指导学生课堂学习过程有无进步(Bennett ，2016)，如根据学生和教师神经活动的同步性预测学生的学习结果(Davidesco et al.，2019；Bevilacqua et al.，2018)，判断小组互动的实际状态(Dikker et al.，2017)。

(三)脑机接口技术改善课堂教学策略

脑机接口能深入课堂内部，解决课堂教学和教研方法缺乏细粒度的感知工具和方法的问题，降低教学和教研难度。将脑机接口技术“嵌入”教学活动，可探究脑电指标与观测指标间的关系(陈祯祯等，2017)，通过测量特定教学活动学生的脑电信号能帮助教师发现学生课堂学习的真正挑战。脑信号测量也可以作为学习资源设计的参考指标，根据不同教学材料对学生持续注意、情感、认知负荷和学习表现的影响(Chen et al.，2015)，预测学习效果或优化学习材料设计。

(四)脑机接口技术促进学生课后学习补救

教育信息化2.0时代的教育资源是教育内容载体与教学过程大数据的融合(柯清超，2018)。基于脑机接口技术和平板电脑教学实现学习者认知状态数据和课堂教学过程数据等多模态数据的融合应用(Babu ，2018)，可提升数字教育资源、学习路径(胡航等，2019)和学习伙伴推荐的准确率，提高学习者的学习参与度(Huang et al..，2014)，使学习者的工作负荷保持最佳水平(Spüler et al.，2017)。

二、 研究设计

便携式可穿戴脑机接口设备的研发和商业化使脑机接口技术的课堂教学大规模应用成为可能。本文采用可穿戴脑电波测量设备测评学生课堂学习的注意力，该设备采用的智能算法可快速完成佩戴用户的脑电极值区间检测，将所有用户的专注力数据统一用0-100的区间值量化显示，为不同脑电活动的用户提供统一的测评标准。

(一) 基于脑电分析的学习风格识别实验

本实验探究基于脑电分析的学习者学习风格识别，以学生学习不同风格教学材料的脑电数据为基础实现相同学习风格的学生聚类。实验的开展需要厘清两个问题：一，哪种学习风格分类方法有较强的实用性且能够被测量？学习风格能够反映学习者个体特征及收集、组织和思考信息的方式(Riding et al.，2002)。弗莱明(Fleming et al.，1992)提出的VARK学习风格模式就是基于反映学习者知觉偏好出发的，该模式关注学习者接收和发出信息的不同方式，将学习信息分为视觉、读写、听觉以及动觉四类。本实验采用VARK知觉学习风格划分方法设计实验材料。二，基于脑电信号的注意力能否用于反映个体内在行为表征？基于脑电特征在线监测注意力有很高价值(Jonatha et al.，2017)，注意力信号作为脑电信号的衍生，有较强的时间序列特性及非线性特征，难以直接计算分析，一般采用时域分析及非线性动力学分析方法(王海玉等，2018)。本实验认为注意力可作为识别学习者学习风格类型的关键依据，能依据学习者的视觉、读写、听觉和动觉等四类知觉材料的注意力特征变化，挖掘其内在关系，实现学习者聚类。

图2 基于脑电分析的学习风格识别实验过程

本实验组间变量为视觉、听觉、读写和动觉，组内变量为四种实验处理条件，因变量为脑机接口穿戴设备采集的实验对象完成不同知觉实验任务(视觉、听觉、读写及操作)时的注意力特征值。为选取合适的注意力特征，本实验先进行组间及组内的注意力特征值差异性检验，挑选构建学习风格识别模型的注意力特征因素，然后构建基于脑机接口穿戴设备采集的注意力特征值识别模型，验证其与量表分类结果的一致性。实验分两轮：第一轮检验基于组间和组内变量的注意力特征值差异性，第二轮检验基于注意力特征值的学习风格识别模型分类结果与量表分类结果的一致性。

(二) 基于脑电分析的课堂教学改进实验

实验探究通过脑电信号的学生注意力特征判断课堂教学效果、改善课堂教学策略的实现方法。实验围绕两个问题展开：一，如何通过观察基于脑电信号的注意力变量发现课堂教学策略存在的问题？可穿戴脑机接口设备可以自动记录学生注意力值，自动生成注意力结果特征，包括学生个体注意力水平随时间变化情况、班级整体注意力水平随时间变化情况以及注意力持续、转移、同步情况等学生注意力品质。本文尝试对比分析个体和班级的注意力特征及不同注意力水平学生的课堂表现，发现课堂教学存在的问题。二，如何根据基于脑电信号的注意力特征改进教学策略？只有将基于脑机接口的测量嵌入教学活动，才能够提出教学策略改善的有效措施。因此，实验将注意力测评数据与同一时间序列的教学活动类型进行匹配分析，探究常态课中不同教学活动的注意力情况。实验过程由一名研究人员根据课堂观察并在软件界面记录课堂教学活动类型，记录实验班级不同教学活动的注意力情况。为保障教学类型记录的准确性，另一名研究人员课后根据教学录像视频查验教学活动类型。

三、 基于脑电分析的学习风格识别

学习风格作为反映学习者接收和处理信息的特征优势和偏好，一定程度上决定着内容侧重点、教学方法选择、学习深度和进度。实验以基于脑机接口穿戴设备采集的注意力特征为关键依据，检验基于时域特征(均值、众数、方差、标准差)及非线性动力学特征(熵、样本熵)的注意力特征差异性，选取合适的注意力特征组合搭建基于SVM机器学习算法的学习风格识别模型，验证与量表分类结果的一致性。

(一) 实验对象与实施过程

1.实验对象

该实验从广州市某小学四至六年级随机抽取240名学生。实验先通过VARK知觉学习风格量表测试学生的学习风格，收到有效问卷213份。为保证四种类型的学习者参与人数相同，本实验最终确定视觉型组、听觉型组、读写型组及动觉型组各42人，共168人。

2.实验工具

1)学习风格量表

弗莱明及其团队编制的知觉学习风格偏好量表共16题，能有效识别学习者的学习风格偏好(Walter et al.，2010；Guo，2009)，实验要求从三到四种可能采取的行动中选取一或多种行动，每种行动对应一种VARK学习风格偏好。

2)学习风格知觉材料

实验利用E-prime心理学程序设计知觉材料。为减少实验组的认知差异，实验材料内容选自小学低年级语文与数学知识点(如静夜思、三角形)，每个知识点均包含视觉、听觉、读写和操作等四类实验任务材料，且不同知觉类型的实验材料被平均分配到8个实验任务组。为避免材料类型呈现顺序带来的学习者认知偏差，实验将目标材料与过滤材料交叉呈现，即间隔轮替呈现实验任务和刺激。所有实验对象被随机分入6个组，每组各有四种不同学习风格的实验对象7人，6个组分别接受不同顺序的8种实验任务。

3.数据收集

实验在学校电脑室进行，实验对象坐在计算机前50厘米处。实验开始前，6组实验对象调试好可穿戴脑电波测量设备，双眼平视屏幕中心。为排除情绪等干扰因素，保证实验数据的连续采集，实验开始前，实验对象需静默冥想五分钟，然后阅读实验指导语，依次完成8种实验任务，每两种实验任务间隔时间为5000毫秒。可穿戴脑电波设备每隔1000毫秒采集一次注意力数据，针对每个实验对象采集的注意力数据在960个时间点左右，剔除无效数据间隔，有效数据在600个时间点左右。

(二) 数据处理与分析

1.基于组间变量和组内变量的注意力特征值差异性检验

本研究对基于脑机穿戴设备采集的视觉型、听觉型、读写型和动觉型四组数据集进行处理后，在检验群体参加八种实验任务的平均值、平均众数、平均方差、平均样本熵等注意力特征值的差异性中，选出能区分学习风格的最优特征因素。四组实验对象在八类任务中的注意力特征值见表一，表中呈现的注意力特征值均为平均值。

组间差异性检验结果显示，不同VARK学习风格类型的学习者完成同一种知觉实验任务时，注意力特征值(均值、方差及样本熵)的P值均小于或等于0.05，其余特征值(众数、标准差、熵)的P值大于0.05。组内差异性检验结果显示，同一学习风格类型的学习者完成不同知觉实验任务时，注意力特征值(均值、方差、熵及样本熵)的P值均小于0.05，具有显著性差异，其余特征值(众数、标准差)的P值均大于0.05。学习风格识别模型应选取均值、方差及样本熵的注意力特征值作为组合特征值识别学习风格表现差异。

2.基于注意力特征值的学习风格识别模型分类结果与量表分类结果一致性检验

SVM算法适用于分析非线性和高维样本，被广泛应用于生理信号的识别研究(Metha et al.，2008)。本实验通过SVM算法构建认知风格类型的算法模型，模型自变量包括均值、方差、样本熵等注意力特征参数。依据注意力信号的显著非线性特征，实验使用解决分类问题的c-SVC算法、非线性的高斯径向基和函数(RBF)、OVO分类方法及K-Fold(K=3)交叉验证方法构建算法，限定惩罚参数 C∈[1,1000]，Gamma∈(0,1〗进行调优。本研究以注意力特征组合(均值、方差、样本熵)构建的SVM分类器(c-SVC算法，RBF和函数，OVO分类方法，C=1000，Gamma=0.06)进行学习者学习风格偏好分析(见表一)，平均识别率为75.8%，单次最高正确率为83.3%，识别结果与基于量表的识别结果一致性较高，分类结果优于其他参数搭配结果。

(三)学习风格识别及智能分班的应用

本实验探讨基于脑电信号分析的注意力特征识别学习的风格方法。差异性检验及一致性检验结果表明，以均值、方差及样本熵的特征组合作为自变量参数，通过机器学习SVM算法识别的学习风格分类结果，与量表的分类结果一致性较高。该方法能帮助教师与学习者在正式课堂学习前充分了解学习者的学习风格偏好，实现同一学习风格类型的学习者聚类，为基于师生风格的智能分班、课中学习教学策略设计及资源推送提供依据。

表一 四组实验对象完成八种任务的注意力特征值

基于脑电信号的分类结果表明，在同类知觉实验任务中，对应风格类型的学习者注意力集中程度和平稳度明显优于其他三类风格的学习者，而在不同知觉实验任务中，学习者在对应的风格类型的实验任务中注意力集中程度和平稳度明显优于其在其他三类实验任务的表现。可见，学习者对教学知识点的集中程度和平稳度与其材料知觉形式有关，以风格偏好依据设计教学内容及策略是提升学习效果的重要方法。

四、 基于脑电分析的课堂教学改进

课堂教学的伴随式数据采集与智能分析是应用数据科学解决课堂教学问题的重要手段。脑机接口穿戴设备实时测量学生在不同场景、教学行为与教学策略情境下的注意力，将学生状态数据通过可视化方式实时向教师呈现，有利于教师及时纠正、改善课堂教学策略。

(一) 实验对象与实施过程

实验对象来自广州市两所小学一到六年级的 427名学生。其中，一年级42人，二年级81人，三年级80人，四年级76人，五年级72人，六年级76人。实验班级随机产生，编号规则是：学科(C代表语文，E代表英语，M代表数学)加上对应的班级(如105班的1代表一年级，05代表五班)。

实验学生的注意力数据由脑机接口可穿戴头环设备自动记录，不影响教师教学。为了减少头环设备对学生的影响，参与实验的学生均未被告知头环设备的作用。因小学生活泼好动，容易导致设备脱落，部分学生的数据未被完整记录。数据处理时剔除注意力有效记录时长少于30分钟且记录过程长时间连续掉线的实验样本数据。

表二 SVM参数搭配调优结果

表三 传统常态课堂的班级注意力统计

(二) 实验数据处理与分析

1.常态课的注意力特征

学生个体的注意力最小值28，最大值60。班级平均注意力值在46-51之间，所有实验班级的注意力平均值为48.3，班级平均注意力最小值46.24(出现在三年级语文课)，班级平均注意力最大值51(出现在一年级语文课)。

本实验按照注意力水平对各实验班学生分组，分高注意力组(X≧51)、中等注意力组(51>X≧46)和低注意力组(X<46)(见表三)。X为实验工具测得的学生注意力值。分组依据源于20堂常态课注意力测量值，这20堂课的班级注意力平均值48.34。

注意力品质反映学生特定的认知特征，但学生个体的注意力持续和转移值较分散。以班级为单位分析发现，班级注意持续平均值在61-63之间，注意转移平均值在84-86之间。班级注意同步数据较松散，最小值55，最大值75。

2.不同教学活动的注意力

英语和语文属于语言学习，常用的教学策略相似。为改善语言类课堂教学策略，本实验深入课堂教学，探究语言学习课程的教学活动及不同教学活动的学生注意力差异。实验随机选择四节英语课和四节语文课作为研究样本。

样本课例的教学活动发生频次由多到少依次是个别提问(41次)、教师讲授(26次)、班级齐读(23次)、课堂任务(14次)、小组活动(11次)、个人朗读(8次)、看视频(8次)等，个别提问、教师讲授、班级齐读三类活动的频率远高于其他。

在不同教学活动中，班级平均注意力值均在41以上，注意力最高值出现在小组活动时(班级学生注意力平均值53)，最低值出现在课堂任务中(班级学生平均注意力值41)。从整体看，小组活动时学生的注意力水平较高；个别提问时的注意力值较稳定，且整体处于较高水平；学生看视频材料的注意力值偏低。教师讲授、班级齐读、个人朗读、课堂任务等活动的注意力差异值较大。

(三) 研究发现与讨论

实验测量了常态化课堂的学生注意力，发现课堂上学生注意力值普遍偏低。为进一步探究学生课堂注意力低的原因，本文分析了不同课堂教学活动的学生注意力。

表四 学生课堂学习注意持续、转移和同步统计

图3 八节样本课中不同教学活动的注意力统计

1.常态课堂学生注意力偏低归因分析

常态课堂中学生注意力普遍偏低，且学生个体注意力值差异较大。在当前注意力测量平均值的基础上，本研究将常态课堂教学的学生注意力分高、中、低三级，中高等级注意力的学生人数较多。课堂录像分析结果表明，高注意力组和中等注意力组的课堂表现相对较好。本研究尝试从技术应用的角度对传统课堂中学生注意力偏低(智慧教学班的注意力水平在61以上，传统课堂在46-51之间)现象进行归因后发现，样本课例的教师信息技术应用手段较为单一，仍以教学内容的数字化呈现为主，基于技术的交互活动较少。这种教学方式和身为数字原住民(Prensky, 2001)学生的学习习惯和神经发育趋势(Giedd，2012)不匹配，没有给予学生及时的满足和奖励(Teo，2013)，不能有效调动学生参与课堂学习的积极性。因此，本研究建议加强数字技术在课堂教学中的应用，充分调动学生的互动积极性，帮助学生较快达到具身认知(邓敏杰等，2019)。

2.注意持续和注意转移特征归因分析

持续注意是保障学习效果的重要指标，学习者持续关注的时间能预测其后续记忆的效果(deBettencourt et al.，2017)，但人的注意往往随唤醒、努力和资源分配而波动。学习者课堂学习时，个体间和班级间的注意力持续水平没有较大差异，但普遍较低。注意转移是注意焦点在外界刺激影响下再次分配的过程，学生课堂学习的注意转移水平较高，个体间差异较大，最低值60，最高值100。注意转移在个体间呈显著差异，原因可能是注意转移可发生在视觉、听觉等感知层面，也可发生在不同感知之间(钱谦等，2017)，而且学生对不同知觉教学材料和方式有显著的个体偏好。因此，本研究建议加强对学生注意持续和注意转移的神经反馈训练。

3.不同教学活动类型与课堂注意力关联分析

部分教学活动中学生注意力差异较大，本文尝试从学生学习过程的个体和群体关系加以解释。课堂教学存在学生个体行为和小组集体行为，个人朗读、观看视频属个体学习行为，学生个体学习行为的注意力差异较大。个人朗读的注意力值较高，此时学生被赋予了更大的学习自主性，可以自定步调学习；而学生观看视频的注意力偏低，可能是观看视频本质上是被动学习，学生对学习掌控度不够。教师个别提问、学生个别回答的注意力也较高，因为其他学生会把注意力放到回答问题的学生身上，其注意力相对稳定。当教师采用小组活动教学，学生个体学习就变成集体学习，所表达的话语和行为受小组成员的监督，从而形成紧张的氛围。小组成员要对自己的学习行为负责，在这种无形的压力下，小组成员的学习行为比较专注，注意力值最高。

五、 结论与反思

对学生内隐状态的测量一直是传统教育测量方法无法攻克的难题，脑机接口技术为测量学生内隐状态提供了新的途径。本文基于脑机接口的智能化课堂教学应用实验得出以下结论：1)基于脑机接口技术能有效识别学生学习风格。以不同学习者完成视、听、读写和操作学习材料时采集的注意力数据为基础，通过SVM机器学习算法识别学习风格，平均识别率为75.8%，单次最高正确率为83.3%。2)观察分析基于脑电信号测量的学生课堂注意力数据能发现课堂教学策略存在的问题。学生完成课堂学习任务需要投入足够的注意，但常态课中学生注意力水平、注意持续水平普遍较低，这从侧面反映了课堂教学方法单一，没有为学生提供适当的教学刺激使其注意保持在较高值。3)分析学生参与教学活动的注意力水平有助于教师改善教学策略。学生在不同教学活动中的注意力水平差异能反映教师教学策略实施水平。学生看视频、完成课堂练习的注意水平较低，教师要提高对此类教学活动的应用水平。同时，学生在小组活动中的注意力值较高，在教学中可以适当增加此类活动。实验存在的不足是，实验只比较了不同教学活动的学生注意力，没有考虑真实课堂教学活动实施顺序带来的影响，也没有考虑不同活动之间的相互影响。

本研究首次提出在真实课堂环境下开展基于脑机接口的教育实验研究，深入课堂分析脑信号与课堂教学的相关性。当前，学界对神经科学的教育应用还存在争议，支持者认为基于脑测量能够发现学生个体的大脑差异，增强我们对学习的理解(Gabrieli，2016；Howard-Jones et al.，2016)，反对者认为需要通过行为测量而不是脑图像测量儿童认知能力，而且难以在神经科学基础上设计或评估新的教学方法(Bowers，2016)。本研究积极探索基于脑信号分析注意力特征值实现学习者学习风格分类，尝试通过脑信号分析数据评价课堂教学效果，发现教学策略存在的不足，在真实课堂教学环境的探索中具有开创性。

未来，脑机接口技术的课堂应用将出现爆发式增长。脑机接口技术课堂应用的研究点可能会集中在以下方面：1)数据隐私带来的伦理问题，主要是测量学生课堂认知状态是否侵犯了学生隐私，学生认知数据的应用范围如何界定等；2)学生认知与行为等多维多模态数据的融合应用：基于脑机接口的智能学习环境获得的认知数据有一定应用价值，但要发挥更大的价值需要与其他行为数据结合，共同形成“基于脑的学习”；3)基于脑机接口的课堂教学效果评价方法创新：脑信号分析降低了教学评价的门槛，我们不仅应实现课堂教学效果的整体评价，更应该深入探究各类教学活动的内在规律，深度探究学生内部心理活动，如学生在个体提问和集体提问时的注意力差异；4)基于脑机接口的分层教学和个性化教学：教师可应用脑机接口数据改善教学方法，根据学生认知状态提供教学反馈，并不断改善反馈策略。