网络协作学习个体贡献度评价的设计与应用*

马志强 闫雪静 张红英



网络协作学习个体贡献度评价的设计与应用*

马志强 闫雪静 张红英

（江南大学 教育信息化研究中心，江苏无锡 214122）

在网络协作学习中，教师通常会根据小组协作成果给予每个组员统一的分数，这种以小组为单位的评价方式并未考虑组员在协作过程中的个体贡献程度。而缺乏个体贡献度评价可能会导致积极成员逐渐减少投入，进而产生“搭便车”等消极协作学习行为。文章通过设计自主与同伴互评（Self-Assessment and Peer-Assessment，SAPA）来评价学习者在网络协作学习过程与成果中的个体贡献度，采用量化与质性相结合的方法来探索SAPA设计的原则和策略，并分析学习者的学习经历及其对评价的看法。结果表明，SAPA方法能够帮助学习者明确个体责任，促进群体成员共同分担小组任务。研究意义在于进一步确认：个体贡献评价分数的构成比例，学习者对评价过程的自主反思以及避免“互惠效应”的多重策略对设计SAPA具有重要价值。

网络协作学习；个体贡献度；自主评价；同伴互评；学习评价

在网络协作学习中，教师和学习者需要确认每个参与者在协作学习过程及成果中的个体贡献程度[1]，因为缺乏对个体贡献的评价可能导致社会懈怠和“搭便车”现象[2]。然而，由于协作学习过程持续时间较长且多发生于课外，因此教师很难监控学习者在线与离线学习的全过程并据此确认每个参与者的具体贡献[3][4]。鉴于教师评价的困难，研究者Chen开始引入SAPA的方式来评定个体贡献度[5]。然而，目前关于SAPA设计原则与具体策略等问题尚待进一步探索。因此，本研究设计SAPA来评价学习者在网络协作学习过程与成果中的个体贡献度，旨在探索SAPA设计的原则和策略，并分析学习者对评价工具与方法的感知和态度。

一 理论框架

本研究构建理论框架的目的在于形成并发展个体贡献度评价的原则与策略，包括网络协作学习与个体贡献度评价、自主评价与同伴互评以及SAPA评价与“互惠效应”三部分。

1 网络协作学习与个体贡献度评价

在网络协作学习中，个体责任和积极的相互依赖是保障协作学习绩效的基本要素[6][7]。其中，个体责任强调每个成员均需对小组的绩效做出自身的贡献[8]。保障个体责任要求小组内部明确划分组内任务，并监督任务的执行情况。而积极的相互依赖是指学习者个人目标的达成有赖于同他人相互协作[9]，这就意味着学习者之间需要建立相互信任且富有凝聚力的依赖关系。

个体贡献度评价聚焦于评估每个学习者对小组任务的投入程度与完成质量，对于保持组员的个体责任、促进组内相互依赖具有重要价值[10]：一方面，个体贡献度评价能够评估每个成员对小组任务贡献的质量和数量，并把结果反馈给所有的小组成员。整个评价反馈过程有助于督促组员反思自身贡献，积极承担个体责任[11]。另一方面，个体贡献度评价有助于小组内部核查成员对协作任务的执行情况，建立相互信任关系，从而保障小组成员之间的相互依赖[12]。因此，在协作学习中，个体贡献度评价对于促进协作学习中的个体责任和相互依赖、保障学习绩效具有重要价值。

2 自主评价与同伴互评

目前，众多研究者开始采用自主评价与同伴互评相结合的方法，来评价协作学习中的个体贡献度[13]。其中，自主评价是指学生对自己的学习过程和成果质量进行反思与判断[14]，并通过学习者自主监控学习过程与结果来实现评价目的[15]；同伴互评是一种学习者评价其他同伴的作品水平、价值或质量的评价方法[16]，可以借助同伴的观察与分析，来对教师难以监控的协作过程进行全方位评价。自主评价与同伴互评通常结合在一起使用[17]，而这两种方法的结合有助于对比自评和互评得分来判断并干预不合理的评价结果[18]。

3 SAPA评价与“互惠效应”

在目前的SAPA评价实践中，“互惠效应”是一个经常被研究者提及的问题。“互惠效应”是指学习者之间因社会关系而导致不合理的评分，它可能导致出现友谊分数（导致评分过高）、默契分数（导致组内分数趋于一致），进而对评价的公平性产生消极影响。已有研究表明，匿名评价和随机分组是避免“互惠效应”的重要策略——匿名评价是指在同伴互评中，评价者与被评价者保持双向匿名，使用匿名评价可以消除同伴之间对于社会关系的顾虑，改善评价的公平性[19]；随机分组则可以避免学习者按照社会关系分组而影响评价的公平性。

综上所述，SAPA是协作学习中个体贡献度评价的重要方法。目前，基于自评与互评的个体贡献度评价往往侧重于小组作品或协作学习过程的单一维度，研究者迫切需要一种综合的设计方法来同时评价学习者在小组协作学习过程与成果中的个体贡献度。同时，研究者还应探索如何使用自评和互评，来促进学生积极参与评价过程并避免“互惠效应”的影响[20]。本研究就是基于上述研究目的而展开的。

二 研究设计

1 研究背景

本研究的研究对象是东南某高校教育技术学专业与小学教育专业的119名学生（含36名男生和83名女生）。这些学生之前都参加过2～3门混合式课程，已经拥有网络协作学习的经验。本研究依托的是“多媒体课件开发”线上、线下混合式课程：在线上学习阶段，学习者通过协作学习来形成小组的多媒体课件设计方案。119名学习者被随机分成27个小组，小组成员通过网络学习系统协作完成课件设计方案，并提交至学习系统；各小组需要在两周内完成设计方案并在线提交。在线下阶段，任课教师为学生讲解SAPA贡献度评价的目的与方法，并引导学生熟悉评价流程与工具。

2 评价设计原则和策略

基于已有研究文献，本研究形成了支持个体贡献度评价设计的具体指导原则与策略，如表1所示。主要设计原则包括：①个体贡献度评价应同时考察学习者在协作学习过程与结果中的贡献；②学习者应参与评价过程并对评价负责；③评价应尽可能公平合理。

3 SAPA的设计流程

为了保证学习者有机会改进个体贡献度，本研究设计并实施了两轮SAPA活动。在每轮活动中，教师和学生会提前讨论并确定个体贡献度评价标准，小组成员需要依据形成的评价标准对协作学习过程和结果中每个成员的个体贡献度进行自主评价和同伴互评，即每个学生的个体贡献度分数由自己以及3～4个同伴进行评价。评价者需要给出个体贡献度的排序等级分数（1～5，采取匿名且同一指标下分数不能重复）和评语。之后，教师通过评价工具整合小组分数和个体贡献度分数来计算最终的个人分数。最终确定的个体贡献度评价标准包括五个子维度：①小组讨论的贡献程度；②资料检索和整理的贡献；③小组任务组织和协调的贡献；④小组成员不同意见的态度；⑤小组成果的反思与改进。

整个研究实施两轮SAPA和两轮修改——第一次提交作品，实施SAPA，修改后提交；第二次实施SAPA，第二次修改提交。在每一轮中，老师和助教首先给每组学生评分和修改小组作品的建议。小组成员完成自主和同伴互评，并给出个体贡献度的分数和评论。每个学生的贡献由3～4个小组同伴和自己进行评定。最后，通过整合小组成果和个体贡献度分数来计算个人得分。

表1 个体贡献度评价设计原则与策略

4 评价工具

为了将个体贡献度和与小组成果分数整合到个人最终成绩中，本研究采用Strijbos等[25]开发的分数转换工具。如图1所示，小组分数由教师给出，自评和互评的分数由个人与组员依照个人贡献按照等级1～5分给出。按照公式（1）、（2），分别计算自评分数与互评分数比值（SA comp.PA）和个人最终得分。

公式（1） 公式（2）

5 研究问题与研究方法

本研究重点关注个体贡献度评价的设计原则和策略，旨在解答以下问题：在网络协作学习中，学生对SAPA个体贡献度评价的感知与态度是什么？

围绕上述问题，本研究主要采用量化与质性相结合的混合式研究方法[26]，并采用问卷调查法来收集量化研究数据。问卷调查旨在获取学生对个体贡献度评价的感知，包括15个李克特量表形式的选择问题，从1（非常不同意）到5（非常同意）。具体问题维度包括：①对协作评价过程与结果的感知；②对评价参与程度的感知；③对评价公平程度的感知。

本研究共发放119份问卷，其中有效问卷100份，问卷调查结果采用李克特量表中4（同意）、5（非常同意）的百分比来呈现，具体结果如表2所示。质性材料分析主要针对半开放式访谈和学生的反思日志。笔者阅读了半开放访谈转录文本和反思日志内容，首先标注与SAPA评价原则和策略相关的句子和段落。随后，本研究采用Corbin等[27]提出的编码方法将标注内容进一步归纳和分类成共同的主题。研究结果部分将同时呈现量化与质性分析的结果[28]。

表2 个体贡献度评价调查问卷结果（n=100）

三 研究结果

1 参与者对协作评价过程与结果的感知

参与者认为在小组协作学习中进行个体贡献度评价是非常有必要的。Q1显示67%的参与者同意使用个体贡献度评价。参与者认为个体贡献度评价有助于小组成员明确划分个人责任，并保障团队成员分担小组任务。赞同Q1的参与者解释说：“在这门课程中，我们花了很多时间讨论和分配小组任务，这使得个人的责任更加清晰和明确。”“我认为SAPA能够帮助我们评价每个小组成员在协作过程中的贡献。你在小组任务中贡献得越多，得分就越高。这个评价鼓励我们平均分配小组任务，并增加个人投入度。”

最终的评价分数应谨慎处理小组作品与个体贡献度分数的比例。个体贡献度评价的作用在于当一个或多个小组成员没有积极投入小组任务时，教师可以通过个体贡献度分数来调节个人的最终分数[29]。Q4的结果表明，大多数学生认可（72％赞同）最终的分数应该整合小组分数和个体贡献度分数。然而，参与者认为应该控制个体贡献度分数与小组作品分数的比例。一名参与者提到：“评价应该鼓励团队合作而不是个人努力。如果个体贡献度评分所占比例太大，我们可能会更多地关注个体贡献而不是集体任务。在我看来，个人贡献度分数和小组作品分数的比例应该是3:7。”

以往的研究强调网络协作学习中的个体贡献度评价可以增强个人责任感，避免协作学习中的“搭便车”和协作懈怠等问题[30]。然而，个体贡献度评价可能会同时产生负面影响——如果学生认识到个人努力的重要性大于小组任务，他们可能会减少对小组任务的贡献，反而更多地关注个人贡献，这可能会影响组内相互依赖的协作关系。因此，后续评价研究与实践应谨慎处理小组作品与个体贡献度分数的构成比例。

2 参与者对评价过程参与的感知

Q7得到了80%参与者的认可，说明参与者认为他们应当参与评价标准的制定。对于评价标准的讨论可以帮助小组成员理解小组任务的具体要求。一名参与者认为：“我们讨论了哪些方面的投入会影响小组任务的质量，以及如何去评价这些方面。对评价标准的讨论，帮助我们明确了在小组任务中应当做什么。”

在个体贡献度评价中，自主评价的主要作用是提供了自主反思的机会，而非提供准确的评价分数。本研究中的SA/PA比值为1.65，而SA/PA＞1表示一个人自评分数高于同伴互评给出的分数[31]，这说明参与者可能在自主评价中高估了自身对于小组的贡献。Topping[32]认为，关注努力而非成果的自主评价是不可靠的。Sluijsmans等人认为自评可能会促使学生在同伴评价和评语的帮助下进行自主反思[33]。在本研究中，参与者认识到了自主反思的价值。如一位学生在反思日志中提到：“当我发现自评分数低于同伴互评分数，我会阅读同伴的反馈，并反思是否高估了自己。”

3 学习者对评价公平的感知

在SAPA中，随机分组和匿名评价对于避免互惠效应有重要的作用（Q11：78%赞同，Q12：66%赞同）。如一名参与者提到：“在匿名评价中，我可以根据小组成员的实际贡献给出分数而不用考虑我们的关系。如果是实名评价，我可能会给每个成员一样的分数。随机分组使我不能和熟悉的同学合作，但也让我在评分时顾忌较少。”不过，随机分组是一把“双刃剑”。学生与相对陌生的小组成员协作，可能会避免出现友谊分数或默契分数，但彼此陌生的成员组成的小组凝聚力较弱。一名参与者提到：“在随机分的产生的小组中，由于小组成员之间彼此不熟悉，我们很难相互协作。”此外，个体贡献度评价中的排序评分策略也需进一步改进。Sluijsmans等[34]指出，排序评分策略可能会阻止学生给予不合理的分数。但在本研究中，一名参与者认为：“排序评分强制我们必须给小组成员不同的分数，如果我不能区分两个同伴的贡献程度，那么给他们不同的排序就是不公平的。”因此，在个体贡献度评价中，后续应探索更加灵活的排序评分策略，排序评分应允许学生给出相同的排序，以便参与者对贡献相似的学生给出一致的评分。

四 小结

本研究认为，自主评价和同伴互评是评价网络协作学习过程和结果中个体贡献的可行方法，其可以促进小组成员合理分配小组协作学习任务。研究结果表明，个体贡献度评价分数的构成比例、学习者对自评过程的自主反思以及避免“互惠效应”的多重策略对SAPA至关重要。本研究的主要意义在于形成了网络协作学习个体贡献度评价的设计原则与策略。希望通过本项研究，研究人员和教师在协作学习中可以依据个体贡献为小组成员给出公平合理的分数，并采用评价来改进小组协作过程和结果。

本研究存在一定的不足之处：①本次个体贡献度评价活动仅持续了3个月，而个体贡献度评价的效果需要更长时间来评估。基于此，后续研究将会采用更多轮次和更长时间来验证个体贡献评价对协作学习之长期效果的影响。②本研究缺乏足够的时间帮助学生提升同伴评价技能。同伴评价是一项复杂的技能，应通过培训和实践来提升，而这需要一定的时间积累。基于此，后续研究将通过更长时间的培训和实践来发展参与者的同伴评价技能。

[1][3][14][15][16][17]Miles L. Assessing contributions to group assignments[J]. Assessment & Evaluation in Higher Education, 2004, (6):751-768.

[2][4][16][13][20][29][30][31][34]Sluijsmans D M A, Strijbos J W. Flexible peer assessment formats to acknowledge individual contributions during (web-based) collaborative learning[M]. E-collaborative Knowledge Construction: Learning from Computer-supported and Virtual Environments. IGI Global, 2010:139-161.

[5]Chen C. The implementation and evaluation of a mobile self-and peer-assessment system[J]. Computers & Education, 2010, (1):229-236.

[6][7][10]Le H, Janssen J, Wubbels T. Collaborative learning practices: Teacher and student perceived obstacles to effective student collaboration [J]. Cambridge Journal of Education, 2018, 48(1):1-20.

[8]Sluijsmans D, Dochy F, Moerkerke G. Creating a learning environment by using self-, peer- and co-assessment[J]. Learning Environments Research, 1998, 1(3):293-319.

[9]Xu C, Zheng Y, Hu H, et al. Exploring individual contributions during online collaborative discussions[J]. Journal of Computers in Education, 2016, (4): 395-411.

[11]Popov V, Brinkman D, Biemans H J A, et al. Multicultural student group work in higher education: An explorative case study on challenges as perceived by students [J]. International Journal of Intercultural Relations, 2012,(2):302-317.

[12][33]Sluijsmans D M A, Strijbos J W, Watering G A. Designing flexible and fair peer-assessment formats to award individual contributions in group-based learning[C]. 12th Biennial EARLI Conference for Research on Learning and Instruction (EARLI 2012), 2007:131-154.

[18]Gupta M L. Enhancing student performance through cooperative learning in physical sciences[J]. Assessment & Evaluation in Higher Education, 2004, (1):63-73.

[19]Chen Y C, Tsai C C. An educational research course facilitated by online peer assessment[J]. Innovations in Education and Teaching International, 2009, (1):105-117.

[21][22][23][25]Strijbos J W, Sluijsmans D. Unravelling peer assessment: Methodological, functional, and conceptual developments[J]. Learning & Instruction, 2010, (4):265-269.

[24]Kiliç D. An examination of using self-, peer-, and teacher-assessment in higher education: A case study in teacher education [J]. Higher Education Studies, 2016, (1):136.

[26][28](美)约翰·W.克雷斯威尔著.游宇,陈福平译.混合方法研究导论[M].上海:格致出版社,2015:4、152.

[27](美)朱丽叶M.科宾,安塞尔姆L.施特劳斯著,朱光明译.质性研究的基础:形成扎根理论的程序与方法（第3版）[M].重庆:重庆大学出版社,2015:169-174.

[32]Topping K. Self and peer assessment in school and university: Reliability, validity and utility [M]. Optimising New Modes of Assessment: In Search of Qualities and Standards. Springer Netherlands, 2003: 55-87.

The Design and Applied of Assessing Individual Contribution in Web-based Collaborative Learning

MA Zhi-qiang YAN Xue-jing ZHANG Hong-ying

In a collaborative learning environment, teachers usually give each group member a unified score based on team collaboration results. This group-based evaluation method does not consider the individual contribution of team members in collaboration process. While the lack of evaluation on individual efforts may lead the active members to reduce their investment gradually, which in turn results in the negatively collaborative learning behaviour of free-riding. In this article, self-assessment and peer-assessment (SAPA) was designed for evaluating individual contribution in the process and product of web-based collaborative learning, and further the design principle and strategy of SAPA were explored through the method of combing quantification and qualitative. In addition, students’ learning experience and their opinion on evaluation were analyzed. Results showed that the SAPA method could help students to clarify the individual responsibility and promote group members to share group task. The significance of the research was to identify that the proportion of individual contribution score, the learners’ independent reflection on evaluation process and the multiple strategies for avoiding “reciprocity effects” were crucial for the design of SAPA.

web-based collaborative learning; individual contribution; self-assessment; peer assessment; learning assessment

G40-057

A

1009—8097（2018）10—0087—07

10.3969/j.issn.1009-8097.2018.10.013

本文为国家社科基金教育学青年项目“在线协作学习投入分析与评价研究”（项目编号：CCA180257）的阶段性研究成果。

马志强，博士，副教授，研究方向为计算机支持的协作学习、在线学习评价、学习分析，邮箱为mzq1213@qq.com。

2018年4月27日

编辑：小西