基于人工智能表情识别与差异分析的游戏化学习投入状态研究*

张 露 胡若楠 雷 悦 尚俊杰

基于人工智能表情识别与差异分析的游戏化学习投入状态研究*

张 露1胡若楠2雷 悦3尚俊杰4

（1．北京邮电大学 网络教育学院，北京 100876；2．华东师范大学 教师教育学院，上海 200062；3．伦敦大学学院 教育学院，英国伦敦 999020；4．北京大学 教育学院学习科学实验室，北京 100871）

当前，游戏化学习凭借其增强学习动机的优势，受到教育领域的广泛关注，学习投入作为学生在游戏化学习中取得优异学业表现的关键因素，已成为当下研究者关注的重点方向，然而传统问卷调查方法在分析游戏化学习中的学习投入方面仍存在局限性。为了更加客观、准确、高效地探究游戏化学习中的学习投入状态，文章首先梳理了该领域的研究现状；然后，文章对学生的面部表情进行视频记录，并基于面部表情分析和K-means聚类方法，发现学生呈现了三种不同类型的情绪状态，即快乐学习型、愤怒焦虑型、认真谨慎型；最后，文章为探析不同情感投入类型下的差异性特征，对过程中的表情数据、游戏后台数据与学业成绩进行关联分析，发现快乐学习型和认真谨慎型的学生在分数概念性知识的后测中有较好的成绩表现。文章通过研究游戏化学习中的学生情绪状态类型及其差异特征，旨在为分析学习投入状态与认知表现的关系提供线索。

学习投入；游戏化学习；人工智能；表情识别；聚类分析

学习投入作为影响学业成就的关键因素之一，在学生的学习过程中扮演着重要角色。研究表明，改善学习投入状态有助于增强学生的心理健康，提高学业成绩，并实现学习目标[1][2]。相反，如果学生在情感层面和认知层面缺乏学习投入，他们的学习精力和时间将减少，面对挫折时更容易放弃[3]。当前，游戏化学习在激发学习动机、提升学业表现方面的优势已得到诸多研究证据的支持，游戏化学习中的学习投入也被认为是预测学业成就的重要因素[4]。获取并追踪游戏化学习过程中的学习投入状态，对不同类型的学习投入及其特征进行分析，将为设计游戏化学习中的个性化学习支持、提升游戏化学习的干预效果提供重要依据。然而，目前相关研究主要使用问卷量表进行学习投入的测量，鲜有研究分析过程性的学习投入状态。随着技术的不断更迭，研究者发现基于人工智能的表情识别技术能够更加客观、准确地捕捉学生在学习过程中的即时情绪反应，并自动、省时地处理海量数据，这为分析学习投入状态提供了有效工具[5]。基于此，本研究尝试收集学生的面部表情数据、游戏行为数据和学业成绩，并借助自动化表情识别技术，识别每名学生的表情类型及其出现比例。通过表情聚类分析得到学生在游戏化学习中的情感投入类型，继而挖掘不同情感投入类型下学生的认知投入差异。为此，本研究主要关注以下两个问题：①学生在游戏化学习过程中的情感投入包含哪些类型？②不同情感投入类型的学生在认知投入方面体现了怎样的差异性特征？

一 游戏化学习中的学习投入研究现状

学习投入作为学生在学习过程中付出的精力和努力，被认为是影响其学业成就的关键因素之一[6]。当前普遍认为学习投入的内涵涉及三个方面，包括行为投入、情感投入和认知投入。而在游戏化学习研究领域，针对学习投入主要探讨情感投入和认知投入两个维度[7]。因此，本研究涉及的学习投入概念主要涵盖学生在学习过程中的情感投入和认知投入，其中情感投入涉及学生投射在游戏过程中，通过面部表情表征的情绪状态；认知投入是指学生在学习过程中的认知努力，通过过程性的行为正确率及结果性的认知结果反映。为分析游戏化学习中的情感投入类型及其带来的认知投入差异，本研究将首先梳理游戏化学习中的学习投入研究现状，分析常用的学习投入测量方法有何不足，以及已有游戏化学习中的认知投入和情感投入有何种关系。

1 学习投入的测量方法

目前，研究者大多采用问卷调查、观察法、质性访谈等方法进行学习投入的测量，其中应用较为广泛的是问卷调查，这种方法侧重于测量学习投入相关的享受感、兴趣、动机和观点[8][9]。观察法指通过观察游戏过程和分析游戏日志，来捕捉学生在学习过程的认知和情感投入[10]，该方法的过程是首先进行视频录制，然后对学生的身体姿态、语言、注意力状态进行编码，进而收集有关学生投入程度的信息[11]。质性访谈则可以帮助研究人员了解学生的学习投入，如分析学生在线学习投入的影响因素[12]。虽然问卷调查和质性访谈非常便捷且易于分析，但学生在学习过程中的投入状态与学习结束后的报告反馈会存在差异；同时，实际的客观学习过程与主观的反馈之间也有所不同，这两种差异会阻碍研究者接近学生学习投入的真实状态。基于视频的观察法似乎具有一定的客观性，但其分析过程非常耗时，并容易受到研究人员主观意识影响。基于以上分析不难发现，当前较多采用的学习投入测量方法在测评上存在一定的局限性，难以实时、客观且自动化地捕捉、追踪学生的学习投入状态，因此如何有效、客观地评估新兴数字技术对学习投入的影响，依然是一个具有挑战性的研究问题。

2 游戏化学习中的学习投入

游戏化学习对激发学生的学习投入具有积极影响，主要体现在情感投入和认知投入方面[13]。其中，在情感投入方面，研究者发现游戏的娱乐特征可以使学生享受“高密度且顺畅”的学习过程，沉浸其中甚至感受不到时间的流逝[14]。相较于非游戏化学习，在游戏化学习任务中学生能够体验到更丰富的情绪状态，即产生更高的情感投入[15]。在认知投入方面，研究者发现，与传统教育方式相比，游戏化学习能使学生获得更高水平的学业表现和记忆保持效果[16]，并且综合了电子游戏化设计和非电子游戏化设计的设计比非电子游戏化设计更能提升学生的认知投入水平[17]。此外，游戏化学习方式在激励持续行为和投入方面的潜力也得到了相关研究的支持[18]。

在情感投入与认知投入的关系方面，研究发现情感投入主要发生于学生对游戏挑战的反思和行动中，认知投入主要体现在游戏的问题解决过程中[19]，学生在游戏化学习中的情感投入水平越高，其任务表现就越专注，即认知投入越高[20]。也有研究发现，游戏化学习中的学习投入作为中介变量或调节变量影响学习感知和游戏体验，如针对高中光学物理游戏的研究发现，学习投入是挑战感知和学习感知的中介变量[21]；另一项针对商业模拟游戏的研究发现，学习投入部分调节了教学支持感知和游戏体验之间的关系[22]。可见，已有研究多关注游戏化学习对学习投入的提升，以及情感投入和认知投入的关系，较少探究不同情感投入状态下的认知投入差异。

综上可知，问卷调查、观察法、质性访谈等方法对研究学生的学习投入存在局限性，而基于人工智能的表情识别技术在分析学习投入方面具有优势。但是，游戏化学习研究较少关注不同情感投入下的认知投入差异。因此，本研究将尝试应用人工智能新技术，以表情识别技术发现游戏化学习中的情感投入类型，并分析不同情感投入类型下的认知投入差异。

二 研究设计

1 研究对象

本研究采用随机抽样的方式，选取北京市顺义区某公立小学的60名学生进行游戏实验，其中四年级学生35人、五年级学生25人。这两个年级的学生均已经在三年级建立了对分数的基本认识，会读写分数，理解分数的意义，能够完成本研究所选取的分数数学游戏中的任务。在为期5天的实验过程中，所有学生每天玩20分钟数学游戏Run Fraction，该游戏旨在提高学生的分数概念性知识水平。

2 研究过程

本研究首先对学生进行了分数概念性知识的前测，然后为探究面部表情分析情感投入类型，使用电脑摄像头对学生玩游戏的面部表情进行全程记录，为后续的识别与聚类提供数据基础。同时，为分析不同情感投入类型的学生在认知投入和学业成绩上的差异，本研究利用游戏数据库获取学生的游戏操作行为记录。在实验结束后，对学生的分数概念性知识进行后测。

3 游戏选择

数学游戏Run Fraction是北京大学学习科学实验室从跨学科视角，基于认知神经科学、教育学、心理学等领域的相关研究成果设计开发的一款数学游戏，旨在提高小学生的分数概念性知识水平，且被证明可以促进学生对分数的理解[23]。该游戏设计的理论基础具体包括具身认知理论和认知神经科学领域的三重编码模型，同时参考小学数学课程标准进行分数表征和内容模块的设计。该游戏以数轴作为核心认知辅助工具，学生需要操纵游戏化身的前进方向和速度，以根据任务要求正确撞击数轴墙的位置。

4 研究技术与工具

（1）基于人工智能的表情识别技术

人工智能技术在面部表情识别领域经历了广泛的探索和研究，其中卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network，RNN）以及长短期记忆网络（Long Short-Term Memory，LSTM）等深度学习技术已广泛运用于表情识别。深度学习的主要优势之一是自动特征提取，其能够从表情图像中自动提取特征，而无须手动设计特征提取器，这提高了面部表情识别的效率和准确性。同时，深度学习在处理多样化的面部表情变化方面表现出色，这使其在实际应用中具备了鲁棒性和可靠性。鉴于目前CNN架构是分析学生学习投入状态的主流模型[24]，对于识别低像素面部图片优势明显，也被广泛应用于计算机视觉任务，因此本研究采用CNN的扩展和改进模型——全卷积神经网络模型（Fully Convolutional Network，FCN）进行面部表情图像的识别和标注，具体用到4组残差深度可分离卷积的方法[25]，该方法的特点是模型参数量少、运算速度快。此外，本研究采用在自动化面部表情识别探讨学习行为的相关研究中普遍使用的面部表情数据库（Facial Expression Recognition，FER）作为训练数据库[26][27]；同时，还采用Ekman[28]提出的基础表情分类方法，该方法被认为适用于分析不同文化背景的人脸表情，具体的表情分类流程为：首先，提取图像中人类表情的情感特征因素；然后，依据Ekman[29]的表情分类方法，将面部表情分为7类，即生气、厌恶、悲伤、快乐、中性、惊讶、恐惧；最后，将数据库每个图像的面部表情都划归到上述类别之一。为评估算法的识别正确率，本研究从录制的视频随机抽取了100张图片与FER中的表情图片进行人工匹配，并将结果与算法的识别结果进行比对，发现本研究的表情识别正确率约为75%，这与相关的技术有效性研究结果一致[30][31]。

具体而言，从每名学生5个玩游戏的表情视频中（实验周期为5天，每天20分钟），随机选择两个进行逐帧的面部表情分析，共得到360万帧视频图像。图1展示了某学生的视频分析结果，每个小图中，横轴表示时间，以3秒为一个统计单位；纵轴表示帧数，其中每一根竖线代表在3秒时间内（75帧中）该表情或动作出现的帧数。将每种表情出现的帧数除以视频有效识别出的总帧数，可以得到每个视频中每种表情的出现比例；再对每名学生两个视频的每种表情比例取平均值，可以得到每名学生每种表情的比例值，部分结果如表1所示。例如，编号为1的学生，其愤怒表情的出现比例是0.84%，厌恶是0.14%，恐惧是0.11%，快乐是0.32%，难过是5.72%，惊讶是0.39%，而中性是92.48%。

图1 某学生的视频分析结果（以每帧为分析单位，以每3秒为统计单位）

表1 学生各种表情的出现比例值部分结果（以下为四舍五入结果）

（2）聚类分析方法

基于以上面部表情技术所获取的60名学生面部表情频率数据，本研究采用聚类分析方法探究了学生面部表情数据的结构特征。基于数学方法，聚类分析根据研究样本的相似性将其划分为若干类，使每个类别内部的样本相似性尽可能高，同时不同类别之间的样本相似性尽可能低。聚类分析是机器学习数据挖掘方法中的一种，由于聚类的数目和结构都不是预先假定好的，因此其属于无监督学习方法，无须人工标注就可以自动化处理，同时可以避免人为主观性和倾向性，相对更加客观地对数据进行分类。

通过聚类分析，本研究依据每名学生在玩Run Fraction过程中除中性表情以外6种表情的出现频率，对具有相似情绪表情特征的学生进行分组，进而分析不同类型学生的情绪状态差异。首先通过K-means算法中的最优K值确定聚类的个数，具体可以采用手肘法和轮廓系数法。在手肘法中，核心指标是误差平方和（Sum of the Squared Error，SSE），其计算如公式（1）所示。其中，C表示第个簇，是C中的样本，m是C中所有样本的均值，是所有样本的聚类误差之和。值越低，说明聚类效果越好。

随着聚类数的增加，样本划分会更加精细，每个簇内部更加密集，也将随之减小。但当小于真实聚类数时，的增大会引起迅速减小；当大于真实聚类数时，的增大所引起的减小速度会变慢，因而曲线斜率的转折点就是最佳值。图2中的曲线表示在K-means方法聚类下，60名学生的表情数据不同值对应的值变化。由图2可知，当大于3时，随着的增加，值降低速度减缓，因此3是最佳聚类数。

图2 不同K值对应的SSE值变化

图3 样本轮廓系数随聚类组数的变化

作为评估聚类效果的指标，轮廓系数（Silhouette Coefficient）最早由Rousseeuw[32]于1986年提出，被广泛用来评价基于相同原始数据的不同聚类结果，其计算如公式（2）所示。其中，表示第个样本的轮廓系数，表示样本到同簇其他样本的平均距离，()表示样本到非本身所在簇的所有样本的平均距离。的取值在-1～1之间，值越大，说明聚类效果越好，因为越小，越大，表示到同簇样本的距离近，而到其他簇样本的距离远。所有样本的均值为聚类结果的轮廓系数。

图3展示了在-means方法聚类下，60名学生表情数据的聚类结果轮廓系数随值的变化情况，当=3时，轮廓系数最大，表明采用-means方法对60名学生表情数据聚类成三类最为合理。

（3）分数概念性知识水平纸笔测试

除分析过程性的表情数据以获知情感投入外，本研究还将学生的学业成果（结果性的认知结果）作为反映认知投入的结果进行测评分析。为测量学生的分数概念性知识水平，参考国外相关研究的测评方法[33]，本研究的测试题目主要来自于三大权威题库，包括美国国家教育进展测评（National Assessments of Educational Progress，NAEP）、国际数学与科学趋势评估（Trends in International Mathematics and Science Study，TIMSS）以及加州标准测试（California Standard Test）。其中，第一类题目主要考察的知识为“分数与图形”，共15道题，每题1分；第二类题目考察的知识是“分数与数轴”，共15道，每题1分；第三类题目考察的知识是“分数比较大小”，共17道，每题1分。前测、后测所用题目相同，以选择题和填空题的方式呈现，满分为47分。

三 研究结果

1 游戏化学习过程中的情感投入类型

基于以上表情分析技术和聚类分析方法，游戏化学习中的学生可以按照表情数据分为三类，结果及比例如图4所示，可见三类学生的表情差异比较明显。

（a）快乐学习型（48.30%）（b）愤怒焦虑型（11.70%）（c）认真谨慎型（40%）

①第一类学生的快乐（6.62%）和惊讶（1.14%）两种积极表情的出现频率明显高于其他学生，同时难过（20.80%）、愤怒（2.82%）和厌恶（0.38%）三种负面表情和另外两组相比出现较少，恐惧（1.24%）和其他两组差别不大。这类学生在玩分数游戏的过程中，积极表情最多，负面情绪最少，因此被命名为快乐学习型。

②第二类学生和其他两组相比，愤怒（36.50%）表情的比例非常高，同时恐惧的比例也较高（1.23%），而难过（23.6%）、厌恶（0.18%）、快乐（3.90%）和惊讶（0.26%）四种表情，同其他两组相比均处于较低水平。这一组学生在玩游戏过程中，表现出了较多的愤怒和恐惧情绪，潜在原因是游戏难度对这类学生的认知水平有较大挑战，使他们在游戏中感受到了比较多的焦虑情绪，因而将这一组命名为愤怒焦虑型。

③第三类学生和另外两类相比，在玩游戏的过程中表现出了较多的难过（55.80%）和厌恶（1.18%）表情，快乐（3.39%）和惊讶（0.12%）这两种积极表情的出现频率是最低的，恐惧（0.85%）和愤怒（6.67%）两种表情和其他两组相比没有明显差异。依据对表情图片的观察，程序将抿嘴、皱眉等面部动作识别为难过表情，这与相关研究的识别结果一致[34]。结合这类学生的表情视频发现，这类学生在玩分数游戏过程中大多仔细思考，严肃认真，以致有些患得患失。已有研究指出，当学生面对压力时，会表现出更多的难过表情[35]，难过的面部表情通常与深思熟虑、内省、认真思考有关[36]，因此本研究将该类学生命名为认真谨慎型。

2 不同情感投入类型学生在认知投入上的差异性特征

除研究情感投入外，本研究对三类学生的认知投入差异进行了分析。通过对学生的表情数据进行聚类分析，将60名学生分类成三组，即快乐学习型、愤怒焦虑型和认真谨慎型。以这三组分类为视角，可以进一步挖掘学生的学业表现及游戏任务正确率，识别三类学生在认知投入方面的差异。

图5 三种情绪表达类型学生的相关测试成绩

本研究首先从前测、后测分数概念性知识测试成绩中，提取三类学生的原始分数（绝对成绩）以直接反映学生在测试中的表现；然后计算每类平均分以及每名学生的Z分数[（个人分数-班级均值）/标准差]，以更准确地反映学生在考试中的相对水平；最后用后测平均分减去前测平均分获得进步分数（提高成绩）。三种情绪表达类型学生的相关测试成绩如图5所示，可以发现，三组学生在进行游戏化学习干预后，成绩都有不同程度的提高。经单因素方差分析，发现三组学生的后测成绩均值（F=5.776，=.005）和后测Z分数均值（F=5.089，=.009）存在显著差异。事后检验显示，快乐学习型、认真谨慎型学生的后测成绩均值和后测Z分数均值都显著高于愤怒焦虑型学生（＜0.05）；而快乐学习型和认真谨慎型学生的后测成绩（=.257）、后测Z分数（=.291）、进步分数均无显著差异（=.559）。愤怒焦虑型学生的前测排名较为靠后，在经过游戏化学习之后，后测排名更加靠后了。

为了进一步探究不同情绪表达类型学生的认知投入特征，本研究对游戏后台数据库进行数据挖掘，统计了学生在游戏的每一关第一次玩的正确率（过程性的行为正确率），结果发现成绩排名较为靠后的愤怒焦虑型学生在游戏初始阶段的正确率低于另外两类学生，这与前测反映出的较为靠后的成绩排名结果一致，但整体上呈逐步上升趋势。而从游戏第10关开始一直到第20关，愤怒焦虑型学生均能够实现和快乐学习型、认真谨慎型学生相近的正确率。

四 讨论与分析

本研究发现学生在玩分数游戏Run Fraction的过程中，展示了三类不同的情绪特征，即快乐学习型、愤怒焦虑型、认真谨慎型。对快乐学习型学生而言，在游戏中有很多积极情绪的体验；对于愤怒焦虑型学生而言，由于游戏对认知水平提出了一定的挑战，因此激发了其更多愤怒的情绪体验；认真谨慎型学生有较多的难过和厌恶情绪，以皱眉和抿嘴为代表的难过表情呈现了该类学生认真思考的投入状态。

在此基础上，本研究进一步发现，情绪状态表达为快乐学习型、认真谨慎型的学生在分数概念性知识的后测中有较好的成绩表现，成绩排名也有提高，这说明游戏化学习环境中的积极情绪和适度的压力状态有助于学习。尽管目前的研究倾向于认为积极情绪比消极情绪更能带来学习表现的提升[37]，但情绪带来的影响也会随学习时间和材料的不同而产生变化，因此需要结合所处的学习环境对情绪所带来的影响做进一步分析[38]，如在数学问题解决中，适度的压力和焦虑情绪可以提高工作记忆和策略选择效果，更好地提升问题解决能力[39]，这与本研究结果相一致。愤怒焦虑型学生的前测成绩较低，后测成绩和后测成绩Z分数都显著低于其他两类学生，这类学生愤怒不安的情绪状态意味着教育游戏的认知任务对其认知负荷提出了极大挑战，在充满竞争和挑战的游戏化学习环境中，他们需要付出更多认知努力才能胜任游戏任务。已有研究使用脑电图技术测量了愤怒情绪与前额叶脑活动之间的关系，发现愤怒情绪会增加认知负荷，影响认知和情绪调节能力[40]，这也支持了本研究的结果。通过对游戏后台数据进行挖掘，本研究发现愤怒焦虑型学生在游戏中的正确率呈上升趋势，与其他两类学生的正确率差异缩小。然而，需要关注的是这类学生在游戏认知成果向正式学习迁移的过程中会遇到一定的困难，这意味着他们需要一定的教师辅助或其他干预，以实现游戏认知成果向正式学习的顺利迁移。

五 结语

本研究一方面对游戏化学习过程中的情感特征进行分析，为进一步探究教育游戏设计策略提供了思路，如教育游戏可以借助情感计算等相关技术实时监测学生情绪，为学生提供个性化的动态认知支持；另一方面，在应用人工智能技术开展学习投入分析上也提供了方法上的突破，对情绪数据与认知数据、过程性数据与结果性数据的关联分析有助于研究者获得学习过程的多维信息。但是本研究也存在一定的局限性，如本研究基于表情数据与相关研究结论进行命名，另外，由于研究设计和客观条件的限制，未对第三类以难过、厌恶表情居多的学生进行后续访谈，以确认其真实的游戏体验感受。对此，后续未来研究可以结合多模态数据，使用脑电、访谈等方法进一步挖掘情绪与学习投入状态的关系。

[1]Huen J M, Lai E S, Shum A K, et al. Evaluation of a digital game-based learning program for enhancing youth mental health: A structural equation modeling of the program effectiveness[J]. JMIR Mental Health, 2016,(4):e46.

[2][7]Abdul Jabbar A I, Felicia P. Gameplay engagement and learning in game-based learning[J]. Review of Educational Research, 2015,(4):740-779.

[3]Wang M, Eccles J S. Adolescent behavioral, emotional, and cognitive engagement trajectories in school and their differential relations to educational success[J]. Journal of Research on Adolescence, 2012,(1):31-39.

[4]Chen C H, Law V, Huang K. The roles of engagement and competition on learner’s performance and motivation in game-based science learning[J]. Educational Technology Research and Development, 2019,67:1003-1024.

[5]Mohamad Nezami O, Jamshid Lou P, Karami M. ShEMO: A large-scale validated database for Persian speech emotion detection[J]. Language Resources and Evaluation, 2019,53:1-16.

[6][14]Tonguç G, Ozkara B O. Automatic recognition of student emotions from facial expressions during a lecture[J]. Computers & Education, 2020,148:103797.

[8]Peng M Y, Wang R, Liu F, et al. Multi-engagement, learning approach and student learning outcomes: Evidence from taiwanese private university[J]. Universal Journal of Educational Research, 2017,(7):1137-1144.

[9]Ke F, Xie K, Xie Y. Game-based learning engagement: A theory- and data-driven exploration[J]. British Journal of Educational Technology, 2016,(6):1183-1201.

[10]Emblen-Perry K. Enhancing student engagement in business sustainability through games[J]. International Journal of Sustainability in Higher Education, 2018,(5):858-876.

[11][21]Fredricks J A, Blumenfeld P C, Paris A H. School engagement: Potential of the concept, state of the evidence[J]. Review of Educational Research, 2004,(1):59-109.

[12]汪雅霜,蔡檬檬.同屏为何不同频:硕士研究生在线学习投入度影响因素的质性研究[J].学位与研究生教育,2023,(5):68-78.

[13]Bossavit B, Parsons S. Outcomes for design and learning when teenagers with autism codesign a serious game: A pilot study[J]. Journal of Computer Assisted Learning, 2018,(3):293-305.

[15]Ninaus M, Greipl S, Kiili K, et al. Increased emotional engagement in game-based learning- A machine learning approach on facial emotion detection data[J]. Computers & Education, 2019,142:103641.

[16]Hamari J, Shernoff D J, Rowe E, et al. Challenging games help students learn: An empirical study on engagement, flow and immersion in game-based learning[J]. Computers in Human Behavior, 2016,54:170-179.

[17]Qiao S, Yeung S, Zainuddin Z, et al. Examining the effects of mixed and non‐digital gamification on students’ learning performance, cognitive engagement and course satisfaction[J]. British Journal of Educational Technology, 2023,(1):394-413.

[18]Hartt M, Hosseini H, Mostafapour M. Game on: Exploring the effectiveness of game-based learning[J]. Planning Practice & Research, 2020,(5):589-604.

[19]Contreras-Espinosa R S, Gomez J L E. How could the use of game elements help students’ affective and cognitive engagement during game play?[J]. Journal of Information Technology Research(JITR), 2020,(1):17-29.

[20]Chen C H, Law V, Huang K. Adaptive scaffolding and engagement in digital game-based learning[J]. Educational Technology Research and Development, 2023,71:1-14.

[22][33]Höyng M. Encouraging gameful experience in digital game-based learning: A double-mediation model of perceived instructional support, group engagement, and flow[J]. Computers & Education, 2022,179:104408.

[23]张露,胡若楠,曾嘉灵,等.学习科学视角的分数游戏设计与应用研究[J].中国远程教育,2022,(3):68-75.

[24][26]Thomas C, Sarma K A V P, Gajula S S, et al. Automatic prediction of presentation style and student engagement from videos[J]. Computers and Education: Artificial Intelligence, 2022,3:100079.

[25]Gogate U, Parate A, Sah S, et al. Real time emotion recognition and gender classification[A]. 2020 International Conference on Smart Innovations in Design, Environment, Management, Planning and Computing (ICSIDEMPC)[C]. Aurangabad, India: IEEE, 2020:138-143.

[27]Dantas A C, DO Nascimento M Z. Recognition of emotions for people with autism: An approach to improve skills[J]. International Journal of Computer Games Technology, 2022,2022:1-21.

[28][29]Ekman P. An argument for basic emotions[J]. Cognition & Emotion, 1992,(3-4):169-200.

[30]Li S, Deng W, Du J P. Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild[A]. 2017 IEEE Conference on Computer Vision and Pattern Recognition[C]. Honolulu, HI, USA: IEEE, 2017:2852-2861.

[31]Jiang P, Liu G, Wang Q, et al. Accurate and reliable facial expression recognition using advanced softmax loss with fixed weights[J]. IEEE Signal Processing Letters, 2020,27:725-729.

[32]Rousseeuw P J. Silhouettes: A graphical aid to the interpretation and validation of cluster analysis[J]. Journal of Computational and Applied Mathematics, 1987,20:53-65.

[34]Fuchs L S, Schumacher R F, Long J, et al. Improving at-risk learners’ understanding of fractions[J]. Journal of Educational Psychology, 2013,(3):683-700.

[35]Pereira H A, De Souza A F, De Menezes C S. Obtaining evidence of learning in digital games through a deep learning neural network to classify facial expressions of the players[A]. 2018 IEEE Frontiers in Education Conference (FIE)[C]. San Jose, CA, USA: IEEE, 2018:1-8.

[36]Krumhuber E G, Kappas A, Manstead A S. Effects of dynamic aspects of facial expressions: A review[J]. Emotion Review, 2013,(1),41-46.

[37]Chang C-C, Yang S-T. Learners’ positive and negative emotion, various cognitive processing, and cognitive effectiveness and efficiency in situated task-centered digital game-based learning with different scaffolds[J]. Interactive Learning Environments, 2023,(2):1-20.

[38]Tan J, Mao J, Jiang Y, et al. The influence of academic emotions on learning effects: A systematic review[J]. International Journal of Environmental Research and Public Health, 2021,(18):9678.

[39]Beilock S L, Decaro M S. From poor performance to success under stress: Working memory, strategy selection, and mathematical problem solving under pressure[J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 2007,(6):983-998.

[40]Harmon-Jones E, Sigelman J. State anger and prefrontal brain activity: Evidence that insult-related relative left-prefrontal activation is associated with experienced anger and aggression[J]. Journal of Personality and Social Psychology, 2001,(5):797-803.

Research on Game-based Learning Engagement State Based on Artificial Intelligence Facial Expression Recognition and Differential Analysis

ZHANG Lu1HU Ruo-nan2LEI Yue3SHANG Jun-jie4

At present, game-based learning has attracted wide attention in the educational field due to its advantages of enhancing learning motivation and improving academic performance. Learning engagement, as a key factor for students to achieve excellent academic performance in game-based learning, has become the focus of current researchers. However, traditional questionnaire survey methods still have limitations in analyzing learning engagement in game-based learning. In order to explore the learning engagement state in game-based learning more objectively, accurately and efficiently, this paper firstly reviewed the current research status in this field. Then, the paper made video recording of the students’ facial expressions, and students’ three distinct emotional states were identified, namely, joyful learning type, angry and anxious type, and diligent and cautious type based on facial expression analysis and K-means clustering. Finally, in order to explore the differential characteristics of these emotional engagement types, a correlation analysis was conducted between facial expression data and background game data in the process and academic performance. It was found that joyful learning type and diligent and cautious type of students performed better in the post-test of conceptual knowledge. By studying learners’ emotional states of in game-based learning, this paper aimed to provide insights for analyzing the relationship between learning engagement and cognitive performance.

learning engagement; game-based learning; artificial intelligence; facial expression recognition; clustering analysis

G40-057

A

1009—8097（2023）12—0089—11

10.3969/j.issn.1009-8097.2023.12.009

本文受2023年度教育部人文社会科学研究规划青年基金项目“面向汉语二语语篇理解的在线虚拟情境学习体验的模型构建与评价研究”（项目编号：23YJCZH295）资助。

张露，讲师，博士，研究方向为游戏化学习、学习科学与技术设计研究，邮箱为zhanglu1176@163.com。

2023年5月26日

编辑：小时