基于深度学习的协作学习投入分析方法研究

胡婉青 李新 黄睿妍 李艳燕

基金项目：2022年度北京市自然科学基金“面向数字社会发展的智慧教育支持服务关键技术研究”（项目编号：9222019）；2023年度国家自然科学基金面上项目“融合多模态学习分析的协作过程监测和智能反馈研究”（项目编号：62277006）

[摘   要] 协作学习投入的自动分析是动态追踪协作学习过程、提升协作学习效果的重要手段。现有研究大多使用浅层机器学习分析个体学习投入，较少关注协作学习投入，并且存在准确度受限且泛化能力较差等问题。为了解决相应问题，首先，研究提出以BERT-BiLSTM深度学习模型为核心的协作学习投入自动分析方法，包括收集数据、建立数据库、建立训练集、构建深度学习模型、检验模型效果、批量识别数据以及统计分析等流程。其次，研究应用该方法分析了某高校数学建模活动中20个小组的协作学习投入，验证了方法的有效性，并进一步探索了高低成就小组协作学习投入的差异以及动态变化特点。研究突破了传统学习投入自动检测方法在准确性和泛化能力上的局限性，将学习投入的自动分析对象从个体拓展到了小组，并揭示了协作学习投入的时序变化特征及其与协作成效的复杂联系，为未来实时监测及干预协作学习提供了重要支持，进一步推动了该研究领域的理论与实践发展。

[关键词] 协作学习投入； 协作学习； 深度学习； 自动分析； 应用案例

[中图分类号] G434            [文献标志码] A

[作者简介] 胡婉青（1998—），女，重庆人。博士研究生，主要从事计算机支持协作学习、人工智能教育应用研究。E-mail：202231010044@mail.bnu.edu.cn。李艳燕为通讯作者，E-mail：liyy@bnu.edu.cn。

一、引   言

互聯网+教育时代，协作学习作为一种有效教学手段，已被广泛应用于各种教学场景[1]。协作学习的成效与协作学习投入息息相关。协作学习投入是小组成员感到活跃、努力和积极的集体心理状态，能够反映出小组成员努力参与协作活动的程度[2]。有研究者指出，协作学习投入具有时序性和波动性，它随着时间变化而动态发展，能够通过干预而被优化[3]。由此可见，揭示协作学习投入的时序规律和动态特征，对于监测学习过程并提供精准支持具有重要价值和意义。较多研究尝试通过人工编码协作会话以揭示协作学习投入的动态特征[4-5]，但是这种方法费时费力，难以大规模推广。

针对这一问题，一些研究使用机器学习方法来自动检测学习投入，但是目前主要聚焦于个体学习投入而非协作学习投入。并且已有研究主要以浅层机器学习方法为主[6-8]，模型识别的准确度有限[9]，泛化能力也较差[10]，在分析时仅关注认知、情感或行为中个别维度，分析的全面性不足并且可推广性欠佳。基于此，本研究以深度学习模型为核心，构建了协作学习投入自动化分析方法，突破了传统机器学习方法的局限性，并应用该方法全面揭示了协作学习投入的动态变化和时序特征，探索了其与协作成效之间的复杂联系。

二、 协作学习投入的分析进展

（一）协作学习投入的传统分析方法

大量研究使用了自我报告、日志分析和人工编码等方法来分析学习投入。在自我报告方面，主要通过问卷调查让学习者主动汇报自己协作学习过程中的学习投入[11-12]，但是该方式容易受到学习者的主观影响，并且忽略了学习投入的时序性和动态性。在日志分析方面，研究者通常获取到学习平台上学习者的行为数据，从中挖掘能够表征学习投入的量化指标，以此检测学习者的行为投入或者社交投入[13]。在人工编码方面，较多研究基于编码表来分析协作会话，以揭示协作学习投入的时序特征与规律。例如，李艳燕等在构建协作学习投入分析模型的基础上，采用人工编码的方式分析了学习者的投入状态及其与学业表现之间的关系[14]，但是该研究使用个体学习投入的平均值来表征协作学习投入，忽略了协作学习投入的复杂性。也有研究者尝试建立编码表，通过编码协作会话分析协作学习投入。例如，Ouyang等使用了三种支架支持在线协作问题解决，并基于编码表分析了三种支架支持下小组认知投入和行为投入等方面的差异[5]。相较于自我报告和日志分析，人工编码能够揭示协作学习投入的动态变化特征，但是这种方法耗时耗力，难以应对协作学习过程中涌现出的大量会话数据，亟须研究者提出自动化方法来分析协作学习投入。

（二）协作学习投入的自动分析方法

随着文本挖掘技术的快速发展，研究者尝试使用机器学习方法，基于学习者对话自动分析学习者的学习投入。例如，Atapattu等使用了文档向量的方式来检测认知投入[15]，随后该研究团队使用了朴素贝叶斯、支持向量机和随机森林等经典机器学习方法来研究学习者情感投入的语言特征[16]；吴林静等使用文心语义特征分析工具，从学习者对话中提取出学习者学习投入的语义特征，并进一步使用特征工程对特征进行加工与模式挖掘，探索个体学习者的学习投入特点[6]；马宁等人使用决策树、朴素贝叶斯、逻辑回归等方法分析在线交互文本中的情感和认知状态[17]。尽管这些研究提出了自动检测学习投入的方法，但是主要使用了浅层机器学习方法，需要人工完成复杂的特征工程。有研究者指出，人工提取的特征会影响模型的泛化能力[10]，并且这些方法对于对话文本的语义理解是有限的，模型的识别效果也容易受到样本分布不均衡的影响[9]。

深度学习方法由于能够实现高维特征表示而受到研究者的广泛关注，其中转换器模型（如BERT）和长短时记忆（LSTM）模型被认为是对序列文本进行分类的高级技术方案[18-20]。已有一些研究使用了相关深度学习方法来实现学习投入的自动分析，例如，Liao等使用了LSTM等深度学习模型，通过学习者在混合课程中的交流文本检测学习者是否投入[8]，但是该研究忽略了学习投入是个多维度的概念。Liu等使用了BERT等深度学习模型，通过MOOC中学习者讨论话语分析学习者的认知投入与情感投入，并探索了两者与学习者个人成绩之间的关系[9]。然而，目前使用自动方法分析学习投入的研究仍以个体学习者为分析对象，几乎没有关注以小组为分析单位的协作学习投入。目前，亟须研究提出协作学习投入自动分析方法，并应用该方法从大数据中挖掘协作学习投入的动态变化规律，揭示其与协作学习成效之间的复杂关系。

整体来看，目前针对协作学习投入分析的研究仍存在较大提升空间：一是在测量方法上已有研究仍以传统人工测评方式为主，在少量采用传统机器学习等自动化测评的研究中，主要采用了浅层学习方法，并且仅关注认知或情感单维度的学习投入，忽略了学习投入是多维度的构念，这些方法在准确性、可推广性和全面性上存在不足；二是目前学习投入自动分析相关研究中，学习投入分析的对象仍以个体学习者为主，但是协作学习作为一个群体性活动，如何对协作学习投入进行自动分析是提升协作学习效果的关键。

三、 协作学习投入自动分析方法

本研究首先基于已有的学习投入理论框架，构建了面向小组的多维度协作学习投入分析框架，该框架是实现协作学习投入自动分析的理论基础。其次，研究构建了以深度学习技术为核心的协作学习投入自动分析方法，阐述了基于协作会话分析协作学习投入的关键流程。该方法有助于在大数据中挖掘协作学习投入的动态变化规律。

（一） 协作学习投入的分析框架

协作学习投入是一个多层次、多维度的复杂概念，它的多层次体现在其涉及群体中多名个体学习者的投入情况[21]。组内个人层次的协作学习投入相互交织影响，共同决定了小组层次的协作学习投入。已有研究者指出，小组中处于相同学习投入状态的人数是判断小组层次协作学习投入的重要特征[4， 21-22]。协作学习投入的多维度则体现在其包含行为、认知和情感投入三个子维度[23]。其中，协作行为投入是指小组成员集体积极参与讨论的程度[21]，基于Isoh？覿t？覿l？覿等的分析框架[4]，本研究明确定义了两个层次的协作行为投入，个人层次的行为投入取决于学习者在单位时间内是否参与到小组讨论中，而小组层次的行为投入则是以单位时间内小组中发言的人数作为量化指标。此外，协作认知投入是指小组集体围绕着同一目标，共同参与到建构知识的过程中[24]。基于Gunawardena和Ouyang的框架[25-26]，个人层次的协作认知投入主要指通过学习者话语反映出的学习者知识建构水平，而小组层次的协作认知投入则是单位时间内小组中大多数成员经历的认知投入状态。协作情感投入指的是小组成员参与到分享情绪并塑造小组情感氛围的过程[22]。基于Liu和J？覿rvel？覿等的框架[9， 27]，本研究中，个人层次的协作情感投入是指学习者发生了与其他成员的社会情感互动[21]，小组层次的协作情感投入是指单位时间内小组中大多数成员经历的情感投入状态。基于此，本研究形成了基于学习者对话的协作学习投入三维分析框架（见表1）。

表1   基于学习者对话的协作学习投入三维分析框架

（二） 协作学习投入的自动分析流程

在确定协作学习投入分析框架后，本研究进一步提出了协作学习投入的自动分析流程，主要包含数据收集、建立数据库、建立训练集、构建深度学习模型、检验深度学习模型效果、批量识别未编码数据以及统计分析等步骤，如图1所示。

图1   基于深度学习的协作学习投入自动分析流程

1. 数据收集

研究者需要收集汇总学习者在协作学习过程中的会话数据。协作学习过程中学习者的会话数据可能是多模态的，研究者需要将交流音频转录为文本，并将不同来源的文本数据按照时间顺序进行对齐汇总。

2. 建立数据库

研究者需要对汇总的协作会话文本数据进行预处理，进而建立协作会话数据库。其中，预处理主要是对会话文本数据进行清洗，修正会话数据中错别字、重复表达等问题，为后续自动分析时机器能够更准确地理解语义奠定基础。

3. 建立训练集

为了保证深度学习模型的准确性，構建高质量的训练集至关重要。首先，需要组建两个编码小组分别负责认知投入和情感投入的编码，由专家指导编码人员理解编码表。其次，编码人员独立编码，并计算编码的一致性。当编码具有较好的一致性后，编码人员再各自编码剩下的数据。完成编码的数据集则作为后续深度学习模型的训练集。

4. 构建深度学习模型

构建深度学习模型，以实现对情感投入与认知投入的自动分析，这是本研究建立的学习投入自动化分析方法的核心步骤。本研究中使用了BERT模型来实现文本表示，提取学习者话语的语义特征。与传统的机器学习模型相比，BERT在小样本并且样本不均衡的情况下也具有高性能的表现[28]。在分类器上选择了BiLSTM模型，该模型是由前向的LSTM与后向的LSTM组合而成的，继承了LSTM能够较好地捕捉长距离依赖关系的优点，弥补了LSTM无法编码从后到前的信息这一不足，可以捕捉到双向的语义依赖关系[29]。图2展示了本研究中构建的BERT-BiLSTM深度学习模型结构。研究者需要尝试模型不同的超参数组合，并根据第五步模型的检验结果进行不停的迭代优化。

5. 检验深度学习模型效果

使用十折交叉验证法来训练与测试BERT-BiLTSM模型，以检验模型的性能，选择了常用的几项评价指标准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1-score）来评价模型的具体表现。在计算这几项评价指标后，又根据结果进一步迭代优化深度学习模型的超参数，直到模型性能没有再进一步提升。

6. 批量识别未编码数据

应用性能最优的深度学习模型批量识别小组会话数据库中未被编码的数据，得到小组中每个学习者认知投入和情感投入的时序数据，以便于后续计算协作认知投入和协作情感投入。

7. 统计分析

基于协作学习投入分析框架的规则进行统计分析，根据单位时间内协作会话片段中所有学习者的协作学习投入状态特点计算得到当前时间段小组层次的协作学习投入状态。

四、 应用案例

（一）研究案例

为了动态追踪协作学习过程，同时验证本研究构建的协作学习投入自动分析方法的有效性，揭示协作学习投入的时序变化规律及其与协作成效的复杂联系，为未来实时监测和干预提供建议，本研究提出的问题是：高低成就小组的各维度协作学习投入的时序变化特征存在哪些差异。

协作问题解决是一种典型的协作学习活动，涉及学习者认知、情感和行为方面的复杂活动，因此，本研究选择了某高校面向本科生的数学建模活动作为案例。在该活动中，每个小组需要在两天时间内使用数学计算、计算机建模等方法来解决一个现实生活中的非良构问题，并撰写一篇论文来呈现问题解决方案。该活动旨在培养学生数学建模和协作解决问题的能力，共有96名大学生参与了该活动，并且按3人一组自由组成了32个协作小组。

（二）数据收集与分析

1. 数据收集

本研究录制了每个小组在协作过程中的交流音频，使用腾讯会议的语音转文本功能将录音转录为带有时间戳、说话人和说话内容的数据，在对话语内容进行人工校对后，形成每个小组的会话数据库。考虑到小组数据是否完整等原因，最终选择其中20个小组（60名学生）的数据进行后续分析，累计57400条数据。

此外，本研究收集了每个小组撰写的论文作为小组协作成果，并对论文进行了打分。由两位数学建模专家对小组协作成果进行打分，具体从语法和词汇、排版、模型的假设、模型的建立、模型的应用以及模型的检验六个方面开展评价，两位专家评分的Spearman相关系数为0.857（p<0.01）。根据小组协作成果的分数，将小组进行排名，取排名处于前27%的小组为高成就小组，排名位于后27%的小组作为低成就小组。

2. 数据分析

首先，组建了两个编码小组，按照自动分析流程中构建训练集的步骤，对活动中收集的数据进行编码。其中，认知投入编码小组的一致性为0.758，大于0.70；社会情感投入编码小组的一致性为0.796，大于0.70，表明具有良好的编码一致性。

其次，本研究基于训练集使用Anaconda 3.0构建了学习投入的自动检测模型（环境配置为TensorFlow-gpu 2.3以及Python 3.7）。使用BERT-BiLSTM模型，认知投入检测模型的参数设置为sequence_length=128，batch_size=32，epochs=3，情感投入检测模型的参数设置为sequence_length=128，batch_size=64，epochs=4，采用Adam算法作为优化器。十折交叉验证法的结果显示，认知投入检测的模型准确率在0.769±0.029，情感投入检测的模型准确率在0.888±0.009。部分认知投入、情感投入分类结果见表2，可以看到尽管训练集中的样本分布并不均衡，但是模型仍有较好的性能表现。

表2   BERT-BiLSTM模型的部分認知、情感投入分类结果

然后，研究应用构建的深度学习模型批量识别了会话数据库中未被编码的数据，得到了小组中每个学习者的认知投入与情感投入时序数据，并基于构建的协作学习投入分析框架进行统计分析，以30秒为单位时间，计算得到每个小组三个维度的协作学习投入时序数据。最后，对协作学习投入情况进行了描述性统计，并对比了高低成就小组协作学习投入时序变化特点的差异。

（三）研究结果与讨论

1. 协作学习投入的基本情况

在协作行为投入方面，中水平（GB2）最多，其次是低水平（GB1），高水平（GB3）最少，见表3。这说明在小组协作过程中，大多时间是两人在讨论，而全员参与讨论的时间相对较少，过去的研究也有类似的发现[4]。在协作情感投入方面，学习者出现中立（GS2）的频次最多，其次是困惑（GS3）和积极（GS4），出现最少的是消极（GS1），这说明在小组在线协作的过程中，大多数时间是较为平静的，小组也会较多投入困惑和积极情感中，较少投入消极情感中，已有研究对小组协作讨论进行编码分析后也有类似的发现[14]。在协作认知投入方面，与知识建构无关（GC0）的频次最多，与之相近的是提出观点（GC1）的频次，其次是发现不一致（GC2），而较为高水平的知识建构（GC3）如协商，应用新知识等出现得最少，已有研究也发现高水平认知投入发生较少[30]。

2. 协作学习投入的时序变化分析

六个活动阶段中高低成就小组的协作行为投入变化情况如图3所示。从图中可以看出，在整个协作过程中，低成就组的低水平行为投入频次（GB1）都大于高成就小组，这说明在协作中低成就小组中一个人发言的情况是多于高成就小组的。而高成就组的高水平行为投入频次（GB3）在活动前期和后期都大于低成就组，这说明在活动前期和后期高成就组中经常全员都参与小组讨论，而低成就组则较少。这意味着在活动前期和后期小组中高水平行为投入越多，可能会产出更高质量的协作学习成果。已有研究者也指出，所有组员都积极参与小组讨论能够促进富有成效的协作[4， 31]。这一结果对于实施精准干预的启示是，在任务前期和后期监测到小组持续的低水平行为投入时，应该鼓励没有参与讨论的学习者积极参与，激发小组发生高水平的行为投入。

图3   高低成就组的协作行为投入时序变化

高低成就小组各维度的协作认知投入变化情况存在一些差异，如图4所示。在活动前期，尤其是阶段二时，高成就组各个维度的认知投入频次都高于低成就组，而在活动中期，低成就组各个维度的认知投入频次都高于高成就组。并且，任务后期低成就组在协商、论证和应用知识（GC3）这一维度的认知投入出现频次增加，而高成就组则持续下降，这可能是因为在任务后期高成就组已经按照计划基本完成了任务，并不需要再进行协商等高水平的知识建构，而低成就组在活动后期仍然还在协商概念或者论证观点。这一发现可能说明在活动前期发生更多的认知投入能够有助于小组获得更好的协作学习结果， 可以在活动前期提供支架激发小组产生更多的认知投入，例如，提供问题支架帮助小组成员讨论关于任务的理解，分享自己掌握的知识[32]。

图4   高低成就组的协作认知投入时序变化

高低成就组协作情感投入的时序变化如图5所示。整个协作学习过程中高成就组都展现出更多的积极情感投入（GS4），已有研究也提出情感氛围和谐积极的小组更容易发生富有成效的协作学习[33]。与此同时，所有小组在任务中期积极情感降到最低，而消极情感（GS1）达到峰值，并且此时低成就组的消极情感高于高成就组。已有研究发现，持续或者高强度的消极情感很可能会导致低质量的协作学习结果[34]，但是如果小组消极情感被适当地调节，那么这也会成为小组成员解决问题的契机[35]。因此，在监测到小组频繁发生消极情感时，可以激发小组使用一些情感调节策略，帮助他们更好地应对这一问题。在困惑（GS3）方面，高低成就组都呈现活动前中期下降，活动后期略微回升的趋势。与高成就组相比，低成就组在活动中后期维持在困惑状态的时间更长。有研究指出，如果困惑的情绪得不到缓解，可能会对学习过程和结果产生不利影响[36]。因此，检测到持续的困惑情感投入状态并提供帮助是非常重要的[37]，教师可以询问小组成员感到困惑的原因，并结合原因针对性地推荐一些策略帮助他们从这种持续的困惑状态中脱离出来。

图5   高低成就组的协作情感投入时序变化

五、 结   语

协作学习投入的全流程、自动化追踪与评价是揭示在线协作学习动态演变规律、提升在线协作学习绩效的关键手段。本研究立足于已有研究成果，尝试突破传统测评方法中存在的准确性低且泛化能力不足的问题，提出了以BERT-BiLSTM深度学习模型为核心的协作学习投入自动分析方法，并进一步应用该方法分析了协作问题解决活动中的协作会话，揭示了高低成就小组中学习投入的动态演变特征，为协作学习投入的实时干预提出了建议。本研究的不足在于目前模型的训练集局限于协作数学建模这个情境，尽管BERT赋予了模型较好的可迁移性，但是模型迁移到其他情境中时，识别效果还是会受到一定程度的影响，未来应该融入其他协作问题解决场景的数据，进一步扩大该自动分析方法的应用范围。并且，尽管协作会话是分析协作学习投入的主要抓手，但是融入学习者的学习日志、表情以及生理数据等能够更全面地表征协作学习投入，后续研究应当探索如何构建并实现基于多模态数据的协作学习投入自动分析方法。

[参考文献]

[1] 郑兰琴，赵家怡，龙妙浪.如何改善在线协作学习的设计与实施——基于一致性评估与优化的实证分析 [J].现代远程教育研究， 2022，34（2）：103-112.

[2] WONG Z Y， LIEM G A D. Student engagement： current state of the construct， conceptual refinement， and future research directions [J]. Educational psychology review， 2021，34：1-32.

[3] SYMONDS J E， KAPLAN A， UPADYAYA K， et al. Momentary student engagement as a dynamic developmental system [J]. Faculty/researcher works， 2020：1-53.

[4] ISOH？覿 T？覿 L？覿  J， N？覿 YKKI P， J？覿 RVEL？覿 S. Cognitive and socio-emotional interaction in collaborative learning： exploring fluctuations in students' participation [J]. Scandinavian journal of educational research， 2020，64（6）：831-851.

[5] OUYANG F， CHEN Z， CHENG M， et al. Exploring the effect of three scaffoldings on the collaborative problem-solving processes in China's higher education [J]. International journal of educational technology in higher education， 2021，18（1）：1-22.

[6] 吳林静，高喻，涂凤娇，等.基于语义的在线协作会话学习投入自动分析模型及应用研究[J].电化教育研究，2022，43（3）：77-84.

[7] LEE A V Y. Determining quality and distribution of ideas in online classroom talk using learning analytics and machine learning [J]. Educational technology & society，2021，24（1）：236-249.

[8] LIAO C-H， WU J-Y. Deploying multimodal learning analytics models to explore the impact of digital distraction and peer learning on student performance [J]. Computers & education，2022，190：104599.

[9] LIU S， LIU S， LIU Z， et al. Automated detection of emotional and cognitive engagement in MOOC discussions to predict learning achievement [J]. Computers & education， 2022，181：104461.

[10] XU R， CHEN J， HAN J， et al. Towards emotion-sensitive learning cognitive state analysis of big data in education： deep learning-based facial expression analysis using ordinal information [J]. Computing， 2020，102（3）：765-80.

[11] 劉繁华，易锡添.在线学习投入的分析模型构建及应用研究[J].电化教育研究，2021，42（9）：69-75.

[12] QURESHI M A， KHASKHELI A， QURESHI J A， et al. Factors affecting students' learning performance through collaborative learning and engagement [J]. Interactive learning environments， 2023，31（4）：2371-2391.

[13] 李振华，张昭理，刘海.基于模型集成的在线学习投入评测方法研究[J].中国远程教育，2020（10）：9-16，60.

[14] 李艳燕，彭禹，康佳，等.在线协作学习中小组学习投入的分析模型构建及应用[J].中国远程教育，2020（2）：40-48，77.

[15] ATAPATTU T， THILAKARATNE M， VIVIAN R， et al. Detecting cognitive engagement using word embeddings within an online teacher professional development community [J]. Computers & education， 2019，140：103594.

[16] ATAPATTU T， FALKNER K， THILAKARATNE M， et al. What do linguistic expressions tell us about learners' confusion？ a domain-independent analysis in MOOCs [J]. IEEE transactions on learning technologies， 2020，13（4）：878-888.

[17] 马宁，张燕玲，杜蕾，等.面向在线异步交互文本的情感—认知自动化分析模型研究——以大规模教师在线培训为例[J].现代教育技术，2022，32（5）：83-92.

[18] COELHO O B， SILVEIRA I. Deep learning applied to learning analytics and educational data mining： a systematic literature review[C]//Brazilian Symposium on Computers in Education （Simpósio Brasileiro de Informática na Educa？觭？觔o-SBIE）. Brasil： Brazilian computer society，2017，28（1）：143.

[19] HAN Z-M， HUANG C-Q， YU J-H， et al. Identifying patterns of epistemic emotions with respect to interactions in massive online open courses using deep learning and social network analysis [J]. Computers in human behavior，2021，122：106843.

[20] ZOU W， HU X， PAN Z， et al. Exploring the relationship between social presence and learners' prestige in MOOC discussion forums using automated content analysis and social network analysis [J]. Computers in human behavior，2021，115：106582.

[21] SINHA S， ROGAT T K， ADAMS-WIGGINS K R， et al. Collaborative group engagement in a computer-supported inquiry learning environment [J]. International journal of computer-supported collaborative learning，2015，10（3）：273-307.

[22] M？覿NTY K， J？覿RVENOJA H， T？觟RM？覿NEN T. Socio-emotional interaction in collaborative learning： combining individual emotional experiences and group-level emotion regulation [J]. International journal of educational research， 2020，102：101589.

[23] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence [J]. Review of educational research， 2004，74（1）：59-109.

[24] FREDRICKS J A， WANG M-T， LINN J S， et al. Using qualitative methods to develop a survey measure of math and science engagement [J]. Learning and instruction，2016（7）：5-15.

[25] GUNAWARDENA C N， LOWE C A， ANDERSON T. Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing [J]. Journal of educational computing research， 1997，17（4）：397-431.

[26] OUYANG F， CHANG Y H. The relationships between social participatory roles and cognitive engagement levels in online discussions [J]. British journal of educational technology， 2019，50（3）：1396-414.

[27] J？覿RVEL？覿 S， J？覿RVENOJA H， MALMBERG J， et al. How do types of interaction and phases of self-regulated learning set a stage for collaborative engagement？ [J]. Learning and instruction， 2016，43：39-51.

[28] DEVLIN J， CHANG M W， LEE K， et al. Bert： Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv：1810.04805，2018：1-16.

[29] CAI R， QIN B， CHEN Y， et al. Sentiment analysis about investors and consumers in energy market based on BERT-BiLSTM [J]. IEEE access，2020，8：171408-171415.

[30] 張思，何晶铭，上超望，等.面向在线学习协同知识建构的认知投入分析模型及应用[J].远程教育杂志，2020，38（4）：95-104.

[31] DINDAR M， J？覿RVEL？覿 S， NGUYEN A， et al. Detecting shared physiological arousal events in collaborative problem solving [J]. Contemporary educational psychology，2022，69：102050.

[32] N？覿YKKI P， ISOH？覿T？覿L？覿 J， J？覿RVEL？覿 S， et al. Facilitating socio-cognitive and socio-emotional monitoring in collaborative learning with a regulation macro script-an exploratory study [J]. International journal of computer-supported collaborative learning，2017，12（3）：251-79.

[33] ISOH？覿T？覿L？覿 J， N？覿YKKI P， J？覿RVEL？覿 S， et al. Striking a balance： socio-emotional processes during argumentation in collaborative learning interaction [J]. Learning， culture and social interaction，2018，16：1-19.

[34] BAKHTIAR A， WEBSTER E A， HADWIN A F. Regulation and socio-emotional interactions in a positive and a negative group climate [J]. Metacognition and learning， 2018，13（1）：57-90.

[35] ANDRIESSEN J， BAKER M， VAN DER PUIL C. Socio-cognitive tension in collaborative working relations[M]//LUDVIGSEN S， LUND A， RASMUSSEN I， SALJO R. Learning across sites. London： Pergamon，2010：234-254.

[36] ARGUEL A， LOCKYER L， KENNEDY G， et al. Seeking optimal confusion： a review on epistemic emotion management in interactive digital learning environments [J]. Interactive learning environments， 2019，27（2）：200-210.

[37] MAKHIJA A， RICHARDS D， CABALLé S， et al. Providing timely support to students in educational virtual worlds[C]//Advances in Intelligent Networking and Collaborative Systems： the 10th International Conference on Intelligent Networking and Collaborative Systems （INCoS-2018）. Switzerland： Springer International Publishing， 2019：406-419.

Research on Analysis Method of Collaborative Engagement Based on

Deep Learning

HU Wanqing1，  LI Xin2，  HUANG Ruiyan1，  LI Yanyan1

（1.School of Educational Technology， Beijing Normal University， Beijing 100875;

2.Jiangsu Engineering Research Center of Educational Informationization， Jiangsu Normal University， Xuzhou Jiangsu 221116）

[Abstract] The automatic analysis of collaborative learning engagement is an important means to dynamically track the process of collaborative learning and enhance the effectiveness of collaborative learning. Most of the existing studies employ shallow machine learning to analyze individual learning engagement， but pay less attention to collaborative learning engagement. And there are problems such as limited accuracy and poor generalizability ability. In order to address these issues， this study firstly proposes an automatic analysis method of collaborative learning engagement based on BERT-BiLSTM deep learning model， which includes collecting data， establishing a database， setting up a training set， constructing a deep learning model， examining the effect of the model， identifying the data in batches， and statistically analyzing the data. Secondly， this study applies the method to analyze the collaborative learning engagement of 20 groups in a university's mathematical modeling activity， verifies the effectiveness of the method， and further explores the differences in the collaborative learning engagement of high- and low-achievement groups as well as the characteristics of dynamic changes. This study breaks through the limitations of traditional automatic detection methods in terms of accuracy and generalization ability of learning engagement， expands the object of automatic analysis of learning engagement from individuals to groups， and reveals the temporal variation characteristics of collaborative learning engagement and its complex relationship with collaborative effectiveness， which provides an important support for real-time monitoring and intervention of collaborative learning in the future， and further promotes the theoretical and practical development of this research field.

[Keywords] Collaborative Engagement; Collaborative Learning; Deep Learning; Automatic Analysis; Application Case