CSCL情境中的群体感知工具：设计类型与效果评估

欧阳嘉煜，汪 琼

(北京大学，北京 100871)

一、问题提出和取样方法

协作学习指的是多个学习者在互动中分享目标和共建知识的过程[1]，通过与他人的互动，个体的知识被分享给同伴，群体的共享知识也得以被建构和扩展[2]。在协作学习的过程中，学习者不仅需要调节自己和同伴的学习投入状态，还需要调节群体的学习投入状态，以此触发生成成功的、高质量的协作学习[3]。而当协作学习被放置于在线学习环境时，传统面对面协作学习过程中产生的非言语的、情境化的学习投入度信息(比如积极倾听时的眼神关注等)往往不能直接传递给学习者[4]，这种信息的缺乏使得学习者对学习投入状态的监控与调节变得更加困难[5]，也就容易产生不顺畅的协作学习体验(如搭便车、情感冲突等)[6]。回应这一挑战的一种解决方案就是引入群体感知工具(Group Awareness Tools),通过对学习者在协作学习过程中产生的学习投入度信息进行分析和可视化[7]，增强学习者对协作过程中发生的社会和认知现象的感知，以此促进学习者对自己、同伴和群体学习的监控和调节。

群体感知的概念出现于20世纪90年代，最初在计算机支持协同工作(Computer-Supported Cooperative Work, 简称CSCW)领域被提及，特指个体对小组内成员行为的感知和理解[8]。随后，CSCL领域研究者将其应用到知识相关的小组活动[9]，认知、情绪、动机等概念也被纳入群体感知相关研究中，进而逐渐分化形成了三种不同类型的群体感知工具，分别是认知型群体感知工具、行为型群体感知工具和社会型群体感知工具[10]，这与目前研究对学习投入度的划分也是吻合对应的，即认知投入度、行为投入度和情感投入度。因此，群体感知工具一方面可以看作对学习者学习投入度的分析与可视化，作为评估个人和群体学习过程的数据来源；另一方面也可以看作一种反馈的方式，给学习者提供自己、同伴及群体在学习过程中的可视化信息，从社会比较的视角看，这种方式可以刺激学习者作出更多的参与承诺，以此激发学习者的学习动机并提升学习投入度。

已有的群体感知工具具体如何设计来支持学习者的协作学习过程？对后续群体感知工具的设计有什么启发和借鉴？现有研究都是从哪些维度对这些工具的应用效果进行研究的？又有哪些评估思路可供后续研究借用？本研究采用系统化文献分析的方式对上述问题进行回应，首先以CONNECTED PAPERS①网站为检索起点，以“group awareness”为主要检索词检索建立研究网络图，对网络图中所有节点的文章进行瓜蔓式追踪，并在此过程中确定了群体感知研究领域主要的学者有Daniel Bodemer、Jeroen Janssen、Jessica Dehler、Tanja Engelmann、Mirweis Sangin、Joachim Kimmerle、Chris Phielix、Jürgen Buder等，进而对主要学者和研究团队的研究进行再次追踪。此外，本研究以ERIC期刊库为检索数据库，检索时间为2005—2020年，以“group awareness”“knowledge awareness”“social awareness”“behavioral awareness”“cognitive awareness”等关键词进行检索，以期对上一阶段检索文献进行补充完善，共得到118篇文献。之后通过阅读摘要的方式对这些文献进行进一步筛选和梳理。筛选标准包括：①是否为实证研究，评述型文章不纳入样本库；②研究主题是否聚焦于群体感知工具，比如有些文献只是将群体感知作为研究变量进行测量，而非设计相应的工具进行检验；③研究样本和研究工具是否有清晰说明，有些文献尤其是会议论文篇幅都比较短，对工具设计阐述不足，无法提供文献分析阶段所需要的相关信息。经过上述步骤完成文献筛选后，最终得到了30篇文献，进入文献分析阶段，即参考文献列表中标*的条目。

这些文献基本都发表于经过同行评价的期刊和国际学术会议，如Computer&Education、ComputerinHumanBehavior、JournalofComputerAssistedLearning、Computer-supportedCollaborativeLearning、CSCL 2013 Proceedings等，且这些文献对群体感知工具的设计都有明确详细的文字说明或插图示例，研究样本的选择和测量工具的使用阐述清晰，研究结果陈述也非常具体详尽。因此，这30篇文献具有一定的代表性且质量较高，能够较好地回应我们研究的问题②。

二、研究发现

在本研究综述的30篇文献中，共涉及到21种不同的群体感知工具(部分文献源自同一个研究团队，设计的群体感知工具是相同的，所以具体的工具类型数量少于总体文献数量)，具体信息见表1。在这21种群体感知工具中，认知型群体感知工具和行为型感知工具数量相当，社会型群体感知工具被提及最少。这一方面是因为相比于行为型群体感知信息，社会型群体感知信息更难被操作化定义，在应用便捷性上有所欠缺；另一方面是因为小组成员在协作学习的过程中所产生的认知型群体感知信息和行为型群体感知信息通常会比社会型群体感知信息更多更丰富，为群体感知工具的设计提供了更充分的数据源。下文将对这三类群体感知工具进行详细的对比分析，尝试呈现现有的群体感知工具是如何对认知、行为和社会型群体感知信息进行可视化表达的，主要有哪些不同的可视化表达方式，以此丰富群体感知工具设计的策略集合。

表1 群体感知工具的不同类型

(一)从三个方面设计群体感知工具

(1)认知型群体感知工具

早先在CSCW文献中所谈到的认知感知主要指信息感知(谁登录在线了)和工作空间感知(我的同伴此时在做什么)，但有时候的认知感知信息并不能被系统或人工直接观测，也难以从学习者行为活动中去直接推断，比如学习者对某一主题的了解程度究竟如何，而这些非共享性信息也往往是阻碍协作学习进程的因素之一[11]。因此认知感知的概念在CSCL领域得到进一步延伸，主要指的是和学习任务或学习主题相关的信息[12]，比如同伴对某一主题的掌握程度，也包括元认知方面的信息，比如对任务的理解、完成任务的信心等。

在具体的表征方式上，认知型群体感知工具表征的内容都是学习内容或学习者对学习内容的掌握水平，但具体的可视化表达方式则比较多样，其中最具有代表性的表征方式是网络状的概念图，也就是人们常说的知识图谱。在这类研究中，研究者常采用的设计策略是首先由学习者自己绘制关于学习主题或任务的概念图，称之为个人学习阶段，而后在协作学习阶段，学习者能够获得小组内其他成员的概念图，允许学习者将自己的概念图和同伴的概念图进行比较，了解成员间知识重叠和存在差距的地方，如Engelmann等、Schreiber等的研究均采用了概念图(见图1)的方式[13-15]。相关研究发现也证实，这类群体感知工具的使用能够让学习者更准确地了解同伴的知识水平，同时更好地激励学生去讨论一些非共享性信息[13-14](即小组内部分成员理解但其他成员不理解的信息)。

图1 协作阶段是否提供同伴概念图的界面对比[15]

在本研究选取的16篇认知型群体感知工具文献中，除了以概念图这类定性表征的方式设计群体感知工具，许多群体感知工具倾向于采用量化表征的方式，如表2所示，可以是对测试成绩或评估数据进行刻画，如Sangin等将学习者的前测成绩以柱状图的方式分主题进行呈现；也可以是进行简单的是否判断[16]，如Dehler等的研究中对学习者是否掌握该知识点进行判断，掌握则显示为绿颜色块，否则显示为白颜色块[17]，或者用黑色和阴影颜色进行区分[18]，或者直接显示对与错的文字[19]，或者用0和1的二进制表征方式[20](比如00表示自己和同伴都未掌握，11表示自己和同伴都掌握)；还有些研究则用雷达图的方式对学习者在不同学习主题上的认知水平进行可视化表征[21-23]。

表2 认知型群体意识工具设计特征对比

在确定了对群体感知信息具体的表征方式后，第二个需要考虑的问题是群体感知信息从哪里来以及呈现谁的信息。如图2(a)所示，在本研究所综述的文献中，认知型群体感知工具的信息来源主要有三种，分别是自我评价、同伴评价和系统自动评价，其中自我评价居多，有13篇都采用了学习者自我评价的方式，这也在一定程度上说明目前对认知型群体感知信息的自动识别与捕捉还有待进一步增强。在信息呈现方面，图2(b)显示呈现自己和同伴信息的文献数量几乎等同，且在数量上与群体层面相比差异显著，这说明目前的认知型群体感知工具基本都聚焦于给学习者同时提供同伴和自己的知识水平和信息，便于学习者能将自己的认知表现和同伴进行对比，这有助于学习者准确了解自己和同伴当前的认知表现，为学习者后续优化认知参与提供依据。图2(b)显示呈现群体层面信息的文献只有1篇，可能的原因是目前CSCL情境中对群体感知工具的设计侧重点主要关注的是如何优化小组内学习者的协作学习体验，而对小组间的对比和协作关注较少。

图2 认知型群体感知工具的信息来源与信息呈现

从信息呈现的细粒度层面看， 94%的认知型群体感知工具所呈现的信息都具体到个人，81%的认知型群体感知工具能够具体到不同主题，而非只是给出一个整体信息。这一设计的原因可能有两个：一方面因为每个人对于不同主题学习内容的理解和掌握程度会有所不同，如果只呈现学习者在整个学习内容上的知识水平并不能很好地帮助学习者甄别出成员间具体存在知识差距的地方，难以为学习者后续协作提供有助于改进学习行为的更精准的信息；另一方面因为大多数研究的小组人数都是2—4人，所以呈现每个人的信息一般不会造成认知过载，在操作层面具有可行性。因此，后续研究在设计认知型群体感知工具时，可以考虑以划分子主题的方式将认知感知信息具体表征到个人的反馈，但如果小组成员人数很多，将所有成员的认知感知信息进行直接铺陈未必能达到好的效果，因此，如何对信息进行有效组织和可视化也是未来研究需要探讨的话题之一。

(2)行为型群体感知工具

行为型群体感知工具所提供的是行为感知层面的信息，即学习者在CSCL环境中活动的信息[5]，比如学习者正在做什么、上线频率如何、发表观点的数量等。如表3所示，行为型群体感知工具所采集的行为信息点在不同研究中各有差异，但主要还是从不同学习行为的类型与次数、学习时长、观点字数三个方面对学习者的行为信息进行采集。具体的表征方式比较多样，有柱状图、球体、连线、条形图、文字标注等，但本质上还是对次数、时长、字数等变量的量化呈现。

从信息来源看，相比于认知型群体感知工具中信息绝大多数来自学习者自我评价和同伴评价的数据，本研究所综述文献中的行为型群体感知工具全部由系统收集。当然，这也因为学习者在CSCL环境中的行为信息大多不能被人工观测，尤其是无法做到对行为信息实时高频的采集。而随着技术的发展，对学习者行为数据的自动采集日益便捷，这也将极大降低教师的工作量。

从信息可比性层面看，行为型群体感知工具和认知型群体感知工具类似，最需要考虑的就是呈现学习者自身和组内其他成员的信息，在本研究所综述的13篇有关行为型群体感知工具的文献中，所有工具都同时提供了学习者自身和同伴在行为感知层面的信息；但不同之处在于，其中有9篇研究同时也呈现了其他小组的行为感知信息，这一设计可能是基于良性竞争角度的考量，呈现其他小组的进展情况有助于激发学习者的学习动机，比如Liu等的研究便呈现了群体水平的行为感知信息，其中包括花费时间最多的小组和所有小组平均值、撰写字数最多的小组和所有小组平均值，进而和本组情况进行对比[24]。

另外，与认知型群体感知工具设计有所不同的地方在于，行为型群体感知工具所呈现的行为感知信息绝大多数不会细分到每个子主题，通常都是对整体情况的一个反馈(比如常用的处理方式是学习者每周参与一次在线协作学习任务，学习任务结束后给学习者反馈行为感知信息)。此外，大多数研究都没有细化到从各个主题去分开呈现行为感知信息，这一方面是因为每个主题的行为感知信息之间其实并不具有太多可比性(每个主题的学习任务难度可能不一致)，学习者在短时间内也很难对这些信息进行加工，反而容易造成学习者认知过载的情况；另一方面也可能因为行为感知信息的主要意义在于让学习者对自己、小组成员和其他小组的行为表现有直观的感知，而具体是哪一部分内容存在知识差距或者冲突则可以由认知感知信息进行呈现。但随着学习分析领域相关技术的不断发展，如何从学习者的行为信息推断学习者的效果成为该领域关切的重点，技术路线也在不断优化，但对于群体感知领域的相关研究来说，“呈现什么”“呈现方式如何”“为什么这样呈现”“作用在哪里”“背后机制是什么”等才是需重点关注的话题。

表3 行为型群体感知工具设计特征对比

(3)社会型群体感知工具

最后一类是社会型群体感知工具，社会型群体感知工具主要呈现学习者感知到的群体的功能信息，重在表征出小组成员感受到其他成员的存在性或可用性，进而可以评估成员的社会行为模式，比如Phielix研究中的影响力、协作性、可信度和友好性就是对社会行为模式的具体评估指标[21]；社会型群体感知工具采集的另一类信息则是学习者自我报告的情绪状态，比如在Molinari等的研究中，使用蓝色和绿色的颜色块分别表示自己和同伴的情绪状态，学习者可以从系统提供的10个积极情绪词汇(包括满意、放松等)和10个消极情绪词汇(包括焦虑、受挫等)中选择合适的词汇来对自己的情绪状态进行表征，并和同伴共享自己的情绪状态[25]。但也正因为社交感知信息很难直接被系统自动刻画，所以从信息来源的角度看，社会型群体感知工具和认知型群体感知工具是比较类似的，如表4所示，绝大多数信息都来自学习者自我评价或同伴评价。唯有例外的是Janssen等的研究，该研究在话语分析(Discourse analysis)领域相关研究总结出的1300多条话语标记规则的基础上，设计了对话行为编码筛选器(Dialogue act coding filter)，实现对学习者之间实时互动话语的自动判别和编码；当学习者发表观点时，系统可以自动对其进行话语归类，无需人工介入[26]。这种分析思路也为群体感知领域相关研究提供了工具抓手，可以帮助研究者更好地去分析小组内的话语互动模式。

表4 社会型群体意识工具设计特征对比

从群体感知信息的具体表征方式看，5篇社会型群体感知工具研究中，有3篇采用雷达图的方式进行表征，但这三篇研究源自同一个研究团队，所选用的工具也是同一个，所以只从比例上看并不能简单认为雷达图就是社会型群体感知工具的主要表征方式，还需要更多研究数据的支持。

无论是认知型群体感知工具、行为型群体感知工具，还是社会型群体感知工具，设计初衷都是希望能够促进学习者对协作过程进行有效调节。协作过程中的互动调节大致可以分为4个阶段：阶段1收集原始数据，阶段2对原始数据进行整理和表征，阶段3是呈现理想的互动状态，并与当前状态进行对比，阶段4则是给出建议，进行引导[27]。从调节的理论视角看，群体感知工具所发挥的功能主要有三方面，如图3所示。目前研究中设计的群体感知工具的功能主要停留在阶段1和阶段2层面，也就是将学习者自身的状态进行反射再进行呈现，研究者将其称之为反射工具，比如Liu等的研究呈现的小组内学习者登录平台的时长和所发表的字数总和[24]；也有一些工具不仅提供学习者当前状态的数据，同时也刻画出理想状态的数据指标，供学习者进行对比，研究者将其称之为元认知工具，比如Jermann等的研究便是用指针和颜色对数据进行表征，标记出学习者当前状态和理想状态的差距[27]。如果群体感知工具还能够根据对比情况提供相应的建议，则达到了引导工具的层次。但目前绝大多数的群体感知工具并不涉及到阶段3和阶段4，在本研究所综述的文献中也只有1篇研究到达了元认知工具的层次，引导工具则并未发现。这可能因为对于理想学习状态的刻画本身就极具挑战性，这其中往往需要考虑到学习者先验知识水平、学习内容的差异等多方面的因素，依靠工具自身想要达到该效果很有难度。因此，教师如何与工具更好地进行人机协同，以此达到引导工具的效果，或许是未来研究可以尝试的方向。

(二)从三个维度评估群体感知工具的应用效果

通过对本文综述的30篇文献的效果评估维度进行聚类，可以发现目前学界对群体感知工具的效果评估主要从三方面出发，分别是对协作过程的影响、对小组绩效的影响和对个人绩效的影响，具体文献数量分布如图4所示。整体来看，所有文献都评估了群体感知工具对小组协作过程的影响，这和群体感知的学术内涵是相通的：通过提供自己、他人或群体的情境信息，促进学习者在协作学习过程中的有效调节；对小组绩效和个人绩效进行评估的文献相对较少，具体来看，对小组绩效的评估主要包括小组产出的概念图质量、小组成功解决问题的速度、小组成功解决问题的比例、小组后测的成绩等方面，对个人绩效的评估则主要是对学习者在某一个学习主题或任务中的知识掌握水平进行测试。此外，个人绩效的评估基本都出现在认知型群体感知工具的相关研究中；社交型群体感知工具和行为型群体感知工具主要关注小组绩效评估，几乎不关注对个人绩效的评估。

图3 互动调节过程中计算机可提供的支持

图4 群体感知工具效果评估方式的分布情况

从文献分析的结果来看，已有研究对协作过程的评估多从互动话语质量、学习者参与度或贡献度、对同伴和小组的了解程度(比如对同伴的知识水平的了解是否更多更准确)、学习体验(比如学习者是否觉得学习过程更愉快)等方面进行，汇总来看主要有三类，第一类是互动话语质量，第二类是学生参与度或贡献度，第三类是学习者对协作过程的感知数据。

其中互动话语质量是最常用的数据来源，已有研究多采用人工编码的方式对话语单元的类型进行编码，比如在Dehler等的研究中采用提问和解释两个指标对互动话语质量进行评估，研究发现，使用了认知型感知工具的实验组提出了更多有价值的问题，同时也产生了更多解释类型的话语[17]，这也进一步说明群体感知工具的使用触发学习者产生了较高层次的认知过程。除了对互动话语的质量进行分析外，参与度和贡献度的变化是研究者第二常采用的分析维度，主要通过学习者在协作学习任务上投入的时长、撰写的报告或分享的观点字数这类客观的量化指标进行衡量。最后一类评估维度是学习者对协作过程的主观感知数据，包括学习者对讨论内容具有批判性和建设性的评价、学习者是否更愿意参与到协作过程中、学习者是否感觉小组协作过程中的不恰当冲突减少、学习者是否对协作过程的发展持积极态度、学习者是否觉得协作过程是愉快的学习体验等方面，比如在Schnaubert等的研究中，学习者表示群体感知工具的使用让小组讨论能够更快速地聚焦于有冲突和不确定的地方，提高讨论效率，并提升自己对完成协作任务的自信心[18]。

至于群体感知工具的使用是否会提升小组群体绩效，研究结果并不一致。这一方面可能是因为不同研究中学习任务的差异，相比于低难度的学习任务，高难度的学习任务中小组绩效的提升可能并不明显；另一方面也可能因为群体感知信息的表征方式不合理，比如Janssen等认为以球体大小表征学习者的内容贡献度对于学习者来说还不够敏感，或许成员之间的贡献度有较大差距，但学习者不能从球体体积大小的细微变化中直观明显地感知到成员之间贡献度的差异[28]。当学习者无法以有意义的方式对信息进行加工时，群体感知工具也就失去了其存在的价值，因此在后续研究中，一方面可以加入对学员访谈的数据，了解学习者对群体感知工具使用的真实体验，进一步研判研究者预想的感知标准和学习者自身真实的感知标准之间是否一致；另一方面也可以使用眼动追踪等技术去解析学习者究竟是如何使用该工具的，进而探究其背后的作用机制。

三、讨论与展望

前文我们综述了群体感知工具相关的典型实证研究，梳理了已有工具如何从认知、行为和社交三个层面去支持群体感知的建立过程，具体探讨了这三类工具在信息来源、表征方式、信息可比性、信息粒度等维度的特点与异同，并在此基础上进一步分析了对群体感知工具应用效果进行评估的不同维度和具体指标。下文将围绕群体感知信息的可比性设计和教师与工具的人机协同两个方面展开讨论。

(一)群体感知信息的可比性设计

群体感知信息的可比性犹如一把双刃剑。一方面，感知到他人的知识水平是社会知识建构的基础，而对他人知识水平进行评估的过程也能够强化学习者的群体感知意识。当教师或学习环境没有给学习者提供情境化的信息时，学习者通常会对个人属性或特质进行评价，而非关注同伴的客观表现，从而影响互动质量。因此，允许学习者对群体感知信息进行比较能够让学习者对自己和同伴的学习状态有更为明确清晰的了解，如果发现知识存在差距，也可能触发成员间的互助行为。但也正如Dehler等研究所发现的那样，在最坏的情况下，这种对比可能和“向下的社会比较”或“吸盘效应”等社会心理现象相关，导致成员间出现信息隐瞒的尴尬局面，进而对信任互赖的小组氛围形成产生影响[29]。因此，探索群体信息可比性导致积极影响或消极影响结果的边界条件还需要更多研究的支持。

另一方面，群体感知工具的使用将小组规范(比如评估维度)变得公开透明，这反过来也可能制约协作流程。Janssen等研究发现，感知和知道别人比自己贡献更多可能会激活某种程度上的规范压力(比如觉得自己拉低了群体水平、不符合小组规范)，从而减少搭便车的情况发生[28]。另外，知道自己的绩效随时被他人所监控可能会导致评估忧虑[29]，比如当小组内成员知识水平明显不匹配时，使用群体感知工具会产生适得其反的效果，降低学习者对工具的接受度。此时学习者可能会通过夸大正面评价的方式来抵消评估的风险，正如Phieilx等研究发现，小组成员间的协作时间持续越长，评分就越高。因此，如何正确引导学习者去理解评价的目的也是目前群体感知工具相关研究中尚未解决的问题[21]。

(二)教师角色与群体感知工具的人机协同

群体感知工具的应用效果如何其实并没有一个统一的答案，我们认为与其过分追求对工具效果的评估，或许工具使用和学习过程的融合度问题更值得我们思考。许多有消极影响的研究认为，群体感知工具的使用可能会使学习者分心，导致学习者过分关注频繁变化的群体感知信息，降低了在协作任务上的时间投入和参与度，进而影响学习效果[30]。这一发现对后续研究提出了两点思考：(1)群体感知信息究竟应该如何呈现？(出现时间、持续时间、信息丰富度、界面是否强制出现等维度的考量)(2)是否所有的信息都必须由专门化的群体感知工具呈现？尤其是在目前大部分专门化的群体感知工具没有公开发布的情况下，教师自身如何从群体感知的角度入手利用开源工具去促进小组成员间的协作调节，以此实现教师角色与群体感知工具的人机协同。

群体感知领域的相关研究强化了教师要给学习者提供学习过程反馈的教学思路，也强调了小组成员间非共享信息公开透明的重要性。对于教师而言，支持小组内的群体感知信息共享并非一定需要专门的工具，也可以利用已有的开源工具对信息进行组织和表征，最简单的比如Excel中的绘制图表、Xmind绘制概念图等，之后再由教师、助教或者学生自己对信息进行发布，只是这些外部的教学支持如何更好地与学习过程融合是需要教师精心设计的，也是教师与工具人机协同过程中的关键着力点。此外，群体感知的相关研究发现，揭示出教师角色可以更具有延展性，有时不必对内容进行过多干预，这也意味着提供群体感知信息的人可以不需要对协作内容有太深入的了解和干预，更多承担的是在工具支持下的信息组织者角色。

群体感知领域的研究价值并不仅局限于对CSCL领域的启发，相关研究成果对各类学习平台和学习系统中仪表盘(Dashboard)的设计也有一定借鉴意义，毕竟两类工具的本质都是对学习过程进行合理监控[31]。尤其是在越来越多学习平台支持小组协作学习的趋势下，如何合理地呈现群体感知信息来强化学习者对协作过程中产生的认知、行为和情感信息的意识，促进学习者对自己、同伴和群体学习状态的调节是后续研究需要进一步探讨的话题。

【注释】

①CONNECTED PAPERS是一个支持围绕检索关键词建立研究网络图的开源网站，检索的所有文献均以节点形式出现，集合成网络图。

②纳入样本库的30篇文献均用* 号在参考文献中标注，供研究者追溯。