面向协作学习多重投入特征画像的多模态学习分析*

马志强 孔伶玉 岳芸竹

（1.江南大学 江苏“互联网+教育”研究基地，江苏无锡 214122；2.上海工艺美术职业学院 科研处，上海 200125）

一、引言

在当前教育与信息技术交叉学科的诸多研究议题中，学习者投入特征画像是人机协同、适应性学习等诸多前沿研究议题的基础，得到了研究者与实践者的广泛关注（郑永和，等，2021）。当前，个体投入特征画像的研究已经相对充分，如，弗雷德里克斯等研究者（Fredricks，et al.，2004）提出了广为引用的个体投入分析模型，包含行为投入、认知投入、情感投入三个维度，建立了个体投入特征画像的基础；另有研究者针对慕课等应用场景，对模型进行扩展，建立融合社交投入的四要素模型，来刻画在线学习者的学习投入特征（尹睿，等，2017）。

然而，目前针对群体投入特征的刻画与分析尚处于起步阶段。相较个体投入，群体投入特征刻画需要关注动态多变的群体多重交互过程，并需对多种模态的交互状态数据做出融合分析。现有基于线上学习行为记录、 交互文本及自我报告等数据源的分析，难以涵盖所有群体交互场景（方佳明，等，2018；尹睿，等，2017），因此，难以对群体投入状态做出全面刻画与精准分析。对此，有研究者开始利用多模态交互信息，来刻画群体学习投入状态（马志强，2021）。

现有的群体投入特征画像研究，仍存在维度与指标覆盖不全面或维度之间存在交叉等问题，其根本原因在于没有厘清投入概念与数据指标之间的映射关系（李艳燕，等，2021）。同时，利用多模态学习分析将各指标数据进行深度融合的方法，尚未实现技术突破，在多模态融合方法上仍缺乏清晰的操作路径（吴永和，等，2021）。鉴于此，本研究选择协作知识建构作为研究场景，探索采用多模态交互分析的方法，来刻画协作学习参与者的群体投入特征。研究重点关注协作学习投入分析指标、多模态交互信息提取与融合方法，并结合具体协作学习场景进行指标及方法应用探索，以期为今后国内外相关研究提供借鉴。

二、文献综述

（一）群体学习投入特征画像

学习投入最初用来外化表征学习者个体学习过程中所表现出的积极、专注、持续等状态，或指投入到有效学习活动中的时间和精力，如，佩斯运用学生投入在学习过程的时间和专注度，来表征学习投入的量与质（Pace，1984）。随着研究进展，学习投入的分析对象，从个体学习过程扩展到群体互动的协作学习过程，研究者开始关注小组成员如何持续、积极参与小组内部的共享、 协商等互动活动 （马志强，2021）。如辛哈等从行为投入、社交投入、认知投入和概念到结果的投入四个方面，来表征小组协作学习投入，增加了社交投入与概念到结果的投入两个维度来表征小组互动参与状态（Sinha，et al.，2015）。李艳燕等（2020）从行为、认知、情感和社交的维度分析小组投入。这些研究从小组互动的角度，开辟了学习投入研究的新视角，主张将研究视角从个体学习参与状态转向小组内部的互动过程。

当前，群体协作学习投入的刻画维度，主要有行为、社交、认知和元认知等多个维度。行为投入维度，主要采用学习者对小组任务的参与度、 专注度等指标，以此反映小组参与者为实现小组共同目标而持续参与的状态。如，李爽等（2016）提出的在线学习行为投入分析框架包括参与、交互、坚持、专注等六个维度；社交投入维度，主要关注小组参与者之间的人际交互状态，包括交互方向、内容和强度以及情感态度等方面，一般利用参与者之间关系网络的密度、中心度等指标来表征。如，刘智等（2020）利用社会交互网络的中心性和网络结构特征等指标，来表征社交投入状态。认知投入一般采用小组认知活动参与相关的指标，反映小组参与者在分享、协商和共建的过程中表现出的状态，如，郑兰琴（2013） 和马秀麟（2019）利用讨论聚焦点、关键内容信息和知识点激活序列等指标，来表征在线协作学习中的认知表现。张思等（2020）也探讨了群体知识建构情境中的认知投入问题，采用被动、主动、建构和交互四个类别来表征协作知识建构中的认知投入；此外，有研究者提出元认知投入的问题，指出协作学习不仅需要关注知识的共同建构，同时也要重视共享调节的发展与维持过程，包括学习者对协作任务的计划、监控和评估等任务调控过程指标（Järvelä，et al.，2013）。

（二）基于多模态交互信息的群体投入分析

正如诺里斯指出，所有的交互都依赖多模态通道（Norris，2004），群体交互依赖眼神、动作、对话、文本等多重交互信息通道，因此，需要采用多模态交互分析，将交互分析范围扩展到言语信息和非言语信息，从而打破传统投入特征刻画的局限性。目前，基于多模态交互信息的群体投入分析，经常采用的路径是利用两种模态交叉验证某一维度或多维度的互动特征。如，詹泽慧（2013）利用表情和眼动模态的特征，对认知和情感交互特征进行交叉验证。还有部分研究利用两种以上的模态，来综合表征参与者的多维度投入状态，相关研究者选择录制小组活动视频，利用语音、图像和动作，来表征学习者的认知和社会情感投入（Han，2020；Järvelä，2016）。

群体投入刻画的难点，在于如何采用多模态信息融合表征多维的协作学习投入。具体来讲，由于多种模态数据细化并扩展了投入分析指标，群体投入分析维度与多模态交互信息之间，存在相互映射问题。如，穆肃等（2021）认为，现有的映射关系主要有三类：多对一、多对多和三角互证，且只有做到“多对一”分析才算真正走向了数据融合。因为在理论与分析框架的支撑下，不同模态的交互信息在特征融合方面，还面临融合比例分配的问题（吴永和，等，2021）。

目前主要的解决方式，是采用层次分析法来确认融合的比例。如，陈靓影等（2018）利用层次分析法，对认知注意力、学习情感和思维活跃度三个指标分配权重进行分配，并用来刻画学生的兴趣度。另外，由于采集的频率和范围不同，由此产生的各类模态数据，同时存在时间跨度大和粒度差异大的问题，这增加了不同模态信息融合的难度。因此，需要将多种模态数据按照时间或时序信息进行对齐，为此，相关研究者利用STREAMS 系统，将日志数据与其他多模态数据进行对齐，以解决多模态信息同步融合的问题（Liu，et al.，2018）。

三、研究设计

（一）研究问题与对象

鉴于上述分析，本研究提出的基本问题为：如何采用多模态交互信息刻画协作学习中群体的多重投入状态？ 具体分为以下三个子问题：（1）群体多重投入特征刻画的维度与指标是什么？ （2）如何采集、融合多模态交互数据来表征群体投入状态？（3）在具体协作知识建构场景中，群体投入的组间及时序差异特征是什么？

为了探索上述研究问题，本研究依托华东某高校教育技术系的一门专业必修课程“WEB 学习系统的设计与开发”，收集并分析多模态交互数据。参加该课程的是38 名大三年级本科学生，剔除某些阶段请假缺席的学生，完整获取了24 名学生的多模态交互分析过程数据。研究对象征集环节分为三步，首先，告知研究目标及基本程序；随后，经过本人同意，并签署了研究情况告知协议；最终，确定的参与者分为6 个小组，每组4-5 人。

（二）群体协作学习投入分析框架构建过程

本研究基于前期文献分析，来提取群体投入刻画的初始维度与指标，结合德尔菲法与层次分析法建立分析框架。德尔菲法旨在通过多轮收集专家意见来获取指标体系，层次分析法则是通过征集专家对指标重要性的对比判断，来确定分析模型各指标的权重占比。具体操作步骤如下：

首先，依据文献提取协作学习投入的四个基本维度，即行为参与、社会关系、观点建构以及共享调节。通过梳理与分析已有学习投入和群体交互研究中的分析指标，来逐步析出子维度的多级观测指标，得出协作学习投入分析的初始模型。

其次，运用德尔菲法对模型及指标维度进行判断。专家选取遵循以下两个原则：（1）专家的研究领域要与协作学习研究相关；（2）专家在该领域的研究方向要所有差别，保证专家来源的多样性。最终确定的12 位专家小组成员来自于华东师范大学、华中师范大学、南京师范大学、江南大学等多个高校。

而后，依据初始模型编制专家咨询问卷，邀请专家对分析指标体系进行重要性判断并提出修改建议，根据每个指标的重要性得分，计算算数平均数、满分频率和变异系数，以此为判断尺度并与其界值进行比较。当三个尺度均不符合要求时，剔除该指标；一个或两个指标不符合要求时，根据理论和实践依据或专家的修改意见，对观测指标进行调整。两轮专家咨询的协调系数分别为0.258 和0.312，说明第一轮专家对评价指标的重要性认识存在分歧，意见协调程度较低。第二轮的协调系数相比较第一轮有较大的提高，说明专家对指标重要性的认识逐渐趋向一致，可信度较高。两轮协调系数的检验均小于0.001，表明专家评议结果的可靠性高，因此，构建了协作学习投入的分析指标体系，如表1 所示。

最后，运用层次分析法通过征求专家对分析模型指标体系的对比判断，构建判断矩阵计算各指标的权重，从而得到协作学习投入分析指标体系的全局权重（由于篇幅所限，表1 仅呈现分析维度和指标，没有展示由层次分析法得到的权重）。

表1 协作学习投入的分析指标体系

（三）群体协作学习投入分析框架及指标

行为参与投入主要表征共同体参与者“对任务的关注”，重点研究参与者在知识建构过程中的沉浸度与同步度，聚焦每位参与者对任务的注意力集中程度、与同伴的协调配合程度。其中，专注度和同步度是观察参与者参与协作学习知识建构的重要指标。（1）专注度是指小组成员参与任务时的注意力集中程度。当个体专注于某项活动时，会表现出高度集中的精神状态；（2）同步度是指小组成员与同伴行为协调配合程度。在融洽的协作学习中，参与者之间会表现出高水平的同步行为，这种同步性会反过来促进小组任务的达成。知识建构要求每位参与者都要积极参与并相互配合，当组内出现不同的观点时，小组成员要继续关注任务并共同努力寻找解决方案，体现出参与者良好的学习行为韧性，有利于推进群体知识建构的发展。

社会关系投入主要表征参与者“对关系的维护”，这种社会关系是通过参与者之间的互动形成的。其中，协调度、响应度和引领度是考察参与者在维护共同体稳定社会关系的重要指标。（1）协调度是指小组成员控制同伴交互的权力，关注参与者对组内紧张关系的调节、对问题的处理的程度；（2）响应度是指小组成员所发出的信息受到同伴的关注程度；（3）引领度表示小组成员与同伴交互的主动性。在共同体发展的过程中，需要参与者相互配合促进积极的社会情感互动，才能创建一个具有凝聚力的共同体。参与者体现在这三类指标上的高水平投入，可以增加参与者之间的信任感和归属感等，从而为学习共同体的形成与发展提供了保障，有助于促进小组内部的意义分享以及知识共建。

观点建构投入主要表征共同体参与者“对观点的分享与加工”，重点考察参与者在参与知识共建认知过程中，体现出的知识贡献质量与认知加工策略投入。个体要通过交流来分享自己的理解，通过质疑他人的观点、澄清或协商想法，以推动共同体知识的发展。其中，通过分析参与者在知识加工过程中对观点分享、观点协商以及观点共建，来判断成员是否积极参与知识共建。（1）观点分享度是指小组成员分享个人观点的质量；（2）观点协商度是指小组成员对问题或冲突的辩驳程度；（3）观点共建度是指小组成员对同伴观点的引用与深化程度。知识建构的过程要求每位参与者都要积极分享观点、 争辩协商以及整合观点，最终达成一致的方案，体现出参与者为了完成共同目标的认知能力与策略。

共享调节投入主要关注 “对观点加工过程的调控”，重点考察参与者在集体协商的过程中监控及调节任务执行过程的行为。在知识建构活动中，调节是参与者控制、 协调个人以及共同体发展过程的调控技能和策略的体现。其中，研究通过任务计划度、任务监控度和任务反思度，反映参与者在协作活动中对任务进程的跟踪与调整程度。（1）任务计划度是指小组成员制定行为计划来执行协作任务的程度；（2）任务监控度是指小组成员对任务执行过程的感知与优化程度；（3）任务反思度是指小组成员对任务执行过程反思的程度。参与者需要集体协商对任务的理解，共同设置学习目标与计划，监控任务进度并建立优化策略。其中，个人目标和集体目标是整合的，个人的调节行为嵌入在集体调节中，二者不可分割。共同体发展过程中的知识加工过程，需要参与者不断监控群体的认知状态，调节目标与结果之间的关系。

同时，社会交往过程也需要成员之间彼此监控、调节社会关系，以促进相互依赖关系的达成。因此，如果缺少对共享调节的投入，会导致低水平的知识共建与社会交互，进而降低协作水平。

（四）多模态交互信息的采集与融合分析过程

在建立协作学习投入分析维度以及指标之后，依照多模态交互信息分析的流程（马志强，2021），提取并融合表征协作学习投入状态，具体流程如图1所示。

图1 面向群体投入特征画像的多模态交互分析流程

1.多模态交互信息采集

该环节根据小组成员在互动过程中产生的表情、文本、动作、脑电、眼动等多种类型的模态数据，确定采集的多模态信息类型及采集技术。首先，需要根据协作学习投入的分析指标，明确要采集的模态。行为参与维度的专注度指标对应脑电模态，同步度指标对应动作模态，社会关系维度和观点建构维度均利用文本模态计算，共享调节维度借助量表获取问卷模态。因此，需要采集的模态信息有：脑电、动作、文本和问卷四种信息。然后，根据模态选择相应的采集设备和技术。两台摄像机用于采集参与者的动作，录音笔用于采集参与者对话中的文本信息，脑电仪用于采集参与者的脑电信息，在线协同编辑平台用于记录参与者讨论过程与结果的文本信息，经验取样量表用于获取参与者在学习不同阶段的感知信息。最终，共获取约18 个小时的视频数据和脑电数据，以及18 份讨论文本数据和142 份经验取样量表数据。

2.多模态交互特征提取

该环节是从模态信息中，提取协作学习投入四个子维度对应的交互特征，提取交互特征的关键在于提取技术。

（1）行为参与投入的特征为专注度（A1）和同步度（A2），主要通过对脑电信息和行为片段，分别进行脑电建模和动作编码来计算两种特征值：专注度主要在脑电波的基础上计算出参与者的专注水平和持续时间。由于感知设备采集的脑电信息的时间一般是毫秒数量级，在同一秒内可能会有多条数据，可以通过计算平均每秒钟的专注指数，作为专注度的特征值；同步度主要通过对视频中的行为动作编码，来分析参与者之间的行为一致性。首先，通过行为标注从视频中提取参与者的动作模态；然后，每隔30s 对视频中的行为进行编码，并统计A2-1、A2-2、A2-3三种行为片段的频数；最后，基于层次分析法根据专家评议结果，得到的模型权重分配标准，计算最终值作为同步度。

（2）社会关系投入的特征为协调度（B1）、引领度（B2）和响应度（B3），主要是对讨论文本进行社会网络分析，来计算三种特征值：利用社会网络的中间中心度、出度和入度分别来表示三种特征值。

（3）观点建构投入的观测指标为共享度（C1）、协商度（C2）、共建度（C3），主要是基于不同的编码框架，对讨论文本进行内容分析来计算三种特征值：将句子作为分析单位，以C1-1、C1-2、C1-3等二级观测指标作为编码框架的识别特征，统计特征出现的频次；然后根据协作学习投入分析模型中的权重分配，对所有特征的频次进行二次计量，依据层次分析法确定权重，计算公式为：

C1（共享度）=0.2031*C1-1+0.342*C1-2+0.4549*C1-3

C2（协商度）=0.184*C2-1+0.4077*C2-2+0.4083*C2-3

C3（共建度）=0.3088*C3-1+0.3698*C3-2+0.3214*C3-3

（4）共享调节投入的特征为任务计划度、任务监控度和任务反思度，主要是利用统计分析方法处理问卷信息：通过统计每个任务阶段的问卷数据，来计算二级观测指标的特征值，然后根据协作学习投入模型中的权重占比，计算出计划度、监控度和反思度的特征值，计算公式为：

D1（计划度）=0.2416*D1-1+0.02079*D1-2+0.169*D1-3+0.3815*D1-4

D2（监控度）=0.4938*D2-1+0.5062*D2-2

D3（反思度）=0.2969*D3-1+0.4896*D3-2+0.2135*D3-3

3.多模态特征融合分析

该环节是将子维度交互特征值进行融合，计算出行为参与、社会关系、观点建构以及共享调节四个子投入的特征值。首先，以参与者ID 和时间为依据，将同一位参与者的四个协作学习投入子维度特征，值依据事件发生的时间轴排序对齐，同步整合每个参与者ID 的协作学习投入四个子投入的水平。然后，根据权重分配将相关指标的特征值，进行融合计算出四个子投入的特征值。最后，从多维度视角进一步探究协作交互过程中，协作学习投入在个体、群体以及时间序列层面的形成规律与机制。具体的融合公式如下：

A （行为参与）=0.7398*A1（专注度）+0.2602*A2（同步度）

B （社会关系）=0.2613*B1（协调度）+0.24438*B2（引领度）+0.2949*B3（响应度）

C （观点建构）=0.2701*C1（共享度）+0.3482*C2（协商度）+0.3817*C3（共建度）

D （共享调节）=0.2865*D1（计划度）+0.3313*D2（监控度）+0.3822*D3（反思度）

四、研究结果分析

为了探究小组整体以及内部参与者在协作学习过程中的投入特征情况，本研究对参与者的知识建构协作学习投入水平，进行了量化表征与实证分析，并在此基础上从个体层面、 群体层面以及时间序列上，刻画协作学习投入的特征、差异及趋势。

（一）小组内个体投入描述

首先，为了描述参与者的协作学习投入特征，利用雷达图原理，将投入的多维度量化数据进行统一度量刻画，并根据子投入水平对参与者进行聚类分析。在运用描述样本的离散程度来对四个投入维度的度量进行转化时，通常需要进行范围划分或者确定排名。本研究利用平均值加减标准差，来表示范围的上限和下限，通过上限值和下限值可以划分出3个区间，分别为高水平、中等水平和低水平。然后，根据该划分依据，将参与者的协作学习投入的四个维度统一度量单位。

其次，基于统一度量单位后的协作学习投入四个维度，对参与者进行聚类分析，进行K-Means 聚类共得到四类参与者群体，如图2 所示：（1）浅层投入型，该类群体的人数比例为20.83%，除行为投入外，其他三个子投入属于低水平，这部分参与者在协作知识建构过程中，处于消极投入状态；（2）中等投入型，该类群体的人数比例为50.00%，在四类群体中人数占比最大，四个子投入处于中等水平且分布较为均衡，这部分参与者在协作知识建构过程中，处于中等投入水平状态；（3）深层投入型，该类群体人数占比为12.50%，三个子投入属于高水平，一个子投入属于中等水平（均值位于2~3 之间），行为参与、社会关系和观点建构投入要高于共享调节投入的水平，在协作知识建构中保持全身心投入的状态；（4）调控投入型，该类群体的人数比例为16.67%，三个子投入属于中等水平，一个子投入属于高水平（均值在2~3 之间），共享调节投入的水平高于其他三个子投入的水平，说明有小部分参与者在协作知识建构中，对任务过程中的计划、监控和反思程度相对较高。

图2 四种子投入水平的聚类群体

（二）群体投入特征差异性分析

对基本投入水平进行刻画后，进一步探索小组内部协作学习投入的基本特征。研究主要从组内参与者与其类属的群体类型两个角度，进行组间差异分析，以期更深入地刻画小组内部参与者的交互特征。在此，以四种参与者群体的类别为基础，分析小组内部参与者的类型及具体投入特征，以理解组内参与者协作学习投入的基本情况。在此基础上，统计6 个小组组内参与者类型，结合参与者协作学习投入状态的具体水平，深入描述小组内部参与者投入的基本情况。

根据雷达图可见，小组参与者的类型分布情况可以分为四类：（1）高投入小组，大部分组员属于高水平投入，如图3 所示。从该组参与者的知识建构整体情况来看，参与者之间在不同投入维度上的侧重不同，但均处于比较高的投入水平上，每位参与者之间相互配合，共同维持了小组协作学习投入的高水平发展；（2）中等投入小组，大部分组员都是中等投入水平，如图4 所示。在协作交互过程中，组长的角色不明显，每位小组成员在参与意义分享与协商的互动过程中，都展现出了中等水平的积极、持久的状态，组内成员相互配合共同推动小组知识的发展；（3）低投入小组，大部分组员属于低水平投入，如图5 所示。参与者在协作交互过程中的多维度上，表现出了消极参与的状态。主要由组长来贡献观点或提出关键性问题，组内的协商度和共建度较低，且对协作任务的调控也主要有组长来计划和监控；（4）社交型小组，大部分组员在行为参与和社会关系投入维度的水平较高，其他维度的水平较低，如图6 所示。参与者在协作交互过程中，能够对协作任务保持注意力集中并与同伴协同完成任务，在维护同伴相互依赖关系方面付出了较多精力，而在知识加工和任务调控上的投入，相较其他小组处于中等水平。

图3 高投入小组内部参与者投入的基本情况

图4 中等投入小组内部参与者投入的基本情况

图5 低投入小组内部参与者投入的基本情况

图6 社交型投入小组内部参与者投入的基本情况

（三）群体投入特征的时序性分析

从协作学习事件的角度上看，在本研究中，协作活动共设置了三次讨论任务，以任务时序为单位，对参与者在三个时间段里的投入水平进行表征，探究协作知识建构过程中的群体投入的时序特征。通过将不同时间段里的协作知识建构投入多维度状态可视化，从四个维度分析协作知识建构投入水平随时间变化的基本情况，然后选取特殊小组进行个别案例的深度剖析。

通过对不同任务阶段的参与者协作知识建构投入的变化趋势分析，可以发现，大部分小组的行为参与投入和共享调节投入水平波动较大，而社会关系和观点建构投入水平波动较小。为探析其中的深层次原因，研究者选取个别小组案例开展进一步剖析，研究发现： 行为参与投入水平在第二阶段降低的主要原因，在于大部分参与者对任务执行的同步度降低或者对任务的注意力水平降低。共享调节投入在第三阶段下降，主要是由于小组成员对任务的计划与监控程度降低。

研究结果表明，参与者很难在整个协作活动中保持一致的行为参与或任务调节水平，教师需要给予适当的关注或调动。观点建构与社会关系投入水平相对稳定，这实质反映了参与者在协作知识建构的认知与社会参与这两项核心投入的状态是相对稳定的。值得注意的是，有一类群体的时序特征与大部分小组不同，即高投入型小组（G1），这类群体行为参与投入水平，在较高水平区间内保持相对稳定的状态，而社会关系、观点建构和共享调节投入水平会随着时间的变化呈现持续上升趋势。结果同时表明，群体投入的时序特征是存在组间差异的，后续研究可进一步探索导致组间差异的因素。

图7 小组行为参与投入随时间变化折线图

图8 小组社会关系投入随时间变化折线图

图9 小组观点建构投入随时间变化折线图

图10 小组共享调节投入随时间变化折线图

五、研究结论与展望

（一）行为参与、社会关系、观点建构和共享调节是刻画群体协作学习投入状态的重要指标

已有研究主要从行为、 认知与社会交互来分析刻画协作学习投入，较少有研究者将认知投入与协作学习的情境进行关联，提出更为细致的分析指标。从多模态分析的视角来看，原有的认知投入分析指标较为模糊，难以找到与指标相对应的多模态数据来分析刻画。张思等（2020）已经开始尝试从知识建构的角度构建认知投入分析模型。本研究尝试以协作知识建构为情境，从观点建构的角度，来刻画群体认知投入状态，着重刻画参与者个人贡献观点质量，参与观点协商与共建的程度，利用外显的观点建构会话内容，来表征认知投入状态。此外，已有群体投入分析指标并未单列共享调节维度，而是将社会关系调节纳入社交投入中，将对于认知的元认知调节纳入到认知投入中。这种处理方法可能忽视了群体协作是一个认知与社会性交互并存的过程，认知与社会性互动存在相互作用的关系 （马志强，等，2020a）。因此，本研究将共享调节维度单列，采用外显的协作任务调节，来外化表征协作学习中的认知与社会性互动过程，着重刻画参与者对任务外显的计划、监控与反思过程。

（二）多模态交互信息的融合是群体投入特征刻画的关键环节

已有研究在多模态交互信息的融合环节，存在多模态信息的融合比例和信息同步融合的问题。为了解决以上问题，本研究采取层次分析法，解决各观测指标在融合时的权重配比问题，采用多种模态信息对应一个观测指标的多对一方式，相互支撑验证。正如张戈等人证明了选择离散化数据组合，能比融合所有模态数据产生更佳的预测结果（Chango，et al.，2021）一样。此外，依据事件发生的时间轴排序，将不同类型的多模态数据进行对齐，以解决不同数据单位对齐的问题，实现协作学习投入各子维度的特征值的同步融合，形成面向每位参与者的协作学习投入四个子投入的水平。

（三）个体在各子投入维度的不均衡表现与小组内部成员相互影响的投入表现是协作知识建构投入的基本特征

个体子投入维度的不均衡，是指参与者在行为参与、社会关系、观点建构和共享调节四个子投入维度上存在着差异，这说明仅仅采用整体学习投入水平，来描述参与者的投入状态是不够的，还需要从多维度分层表征小组参与者在协作知识建构过程中的投入状态（马志强，等，2020b）。小组内部成员相互影响的投入表现，是指小组内部所有参与者的投入水平相近，这说明小组成员在协作学习过程中相互影响。即在交互过程中，小组个别成员的发言无法深度加工观点，因此，需要其他小组成员积极配合和响应，每个小组成员以不同的贡献方式投入到小组任务中，他们之间的共同投入，可以形成更高水平的投入状态。

本研究的主要不足之处在于： 在多模态数据处理方面，由于多模态交互分析具有数据量大、模态种类复杂的特点，采用人工方法处理数据效率比较低；在多模态融合分析方面，由于不同模态之间的数据具有异质性特征，且融合过程中涉及多种数据的多次转换和分析，一旦某个环节出现误差，可能会导致分析结果的误差被放大，进而影响结果的准确性。因此，后续研究可以从多模态分析的技术与工具角度进一步优化：在多模态数据处理方面，探索能够综合运用多种识别技术批量处理或自动处理海量模态数据的方法，实现对多维、海量的模态信息进行连续、快速、准确地编码计算。在多模态融合分析方面，可以通过减少模态转换的环节降低误差，即从源头上直接识别交互特征，减少模态转换的节点，如，里克尔梅等人（Riquelme，et al.，2019）开发了一种应用程序，可以将语音传感器收集到的数据立刻建模为影响图，并适用于后续的社会网络分析。在融合不同时间尺度的数据流时，应利用工具将数据按时间对齐，以日志数据的时间为基准，利用STREAMS 系统将其他多模态数据与之对齐（Liu，et al.，2018）。