基于训练的同伴互评推荐策略研究

曹阳 顾问

（三江学院计算机科学与工程学院，江苏南京 210012）

1 引言

同伴互评是在线学习中的一种互助学习形式，指学习者根据特定的评价标准对其他学习者的作业进行评价，并提供反馈意见。同伴互评不仅可以提高大规模在线学习中的作业评价效率，减轻教师的教学负担，而且能够使学习者在互评过程中得到交流、思考的机会，提高学习参与度和高阶认知能力。因此，同伴互评已经成为广大学习者所认可的在线学习方式，诸多慕课平台也广泛支持同伴互评机制[1]。

同伴互评的有效性主要体现在以下两方面：（1）保证评价结果具有较高的信效度，即提供可靠和精确的评价；（2）促进学习者在互评过程中进行知识和观点的交流与创新[2]。围绕以上两点，在线学习的研究者与实践者对于如何优化同伴互评过程，提高同伴互评效果进行了深入研究。其中，评阅人的匹配及推荐是研究的中心问题之一。许云红提出了一种同伴互评推荐模型，根据学习者特征与作业特征生成互评配对列表[3]，但其采用的特征属性难于统计和量化，在实践中不易操作。何升提出了基于二分图最优匹配的方法进行互评推荐[4]，探索了采用经典算法实现推荐匹配的可行性。这类方案给出了具体的匹配算法，但往往算法中对各参数的假设依赖较多，不能实现作业的完全匹配。因此，仅根据学习者及作业具备的初始特征，构建同伴互评推荐模型具有较大的不确定性，推荐策略中各种假设因素过于复杂，实际操作时具有较大难度，并且在推荐过程中没有考虑到“同伴互评不仅仅是为了评价而评价”[5]，还要促使不同类型、不同背景的学习者进行学习交流，借鉴彼此的做题思路，在互评过程中实现再学习。

本研究通过在互评过程前引入互评训练环节，分析学习者在训练中产生的评价数据，对学习者进行分组，根据学习组内部成员及学习组之间的相似度进行互评匹配，实现自动推荐评阅人机制。设计的同伴互评推荐策略在保证评价信效度的情况下，能够使不同知识背景、不同学习观念、不同思考方式的学习者互相学习借鉴，在互评过程中获得满意的互评体验和学习效果。

2 互评训练的意义

互评训练是在正式互评之前，为了提高学习者的评阅能力，针对训练题目所开展的模拟评价过程。在互评训练中，学习者根据提供的评价标准或评分范例对训练题目进行互评，教师根据学习者的互评训练结果提供反馈信息。互评训练能够使学习者尽快熟悉互评规则及操作流程，并且根据反馈意见发现自己评分的不足，加以改进。实践证明，互评训练对学习者评分准确性的提高有十分关键的作用[6]。

引入互评训练的同伴互评一般过程如图1所示。教师首先设计互评训练题目以及对应的评价标准，学习者根据评价标准或评分范例进行互评训练。完成训练环节后，教师发布正式作业，组织学习者开展互评，并在互评结束后发布本次作业的评价结果。多次作业的互评结果按照课程预先设定的计分规则加权计算后得到该课程的作业总成绩。

图1 同伴互评的一般过程

在此过程中，互评训练仅仅作为开展互评前的一个独立环节，旨在提高学习者的评阅能力，而训练结果与后续互评过程中的评阅匹配并无关联。而事实上，学习者的每一次评阅结果都能够反映出其自身的专业能力、学习风格及认知水平[7]。本研究认为在互评训练的过程中，产生的作业评分能够在一定程度上描述学习者的评价特征，可以根据学习者评价特征的相似度，对学习者进行分组，设计后续同伴互评环节中的评阅人自动推荐策略。

3 基于训练的同伴互评推荐模型

个性化推荐机制通过分析用户行为中产生的数据，能够实现用户需求与所需数据的快速匹配，其推荐效果已经在以电子商务为典型代表的各类互联网应用中得到广泛认同[8]。本研究将推荐机制应用于同伴互评环节，利用互评训练及正式互评产生的数据对学习者进行分组，采用组内与组间互评相结合的策略进行评阅人与作业的匹配，达到提高同伴互评效果的目的。具体模型设计如图2所示。

图2 基于训练的同伴互评推荐模型

（1）互评训练设计及训练结果分析

采用同伴互评方式进行评价的作业大多为主观题，因此，互评训练的题目设计要与互评作业任务类型相匹配，并制定详细的评价量规[9]。互评训练题目的数量可以参照一门课程中互评作业类型的数量来确定，但不宜过多，避免使学习者感到过重的训练压力而降低训练质量。

在互评训练中，学习者的评价对象需要保持一致，才能更准确地反映学习者的特征。因此，学习者无需自己完成训练题目，只需要对预设的答案范例进行评价，并给出评分。互评训练完成后，对评价结果进行分析。若有N名学习者参加了训练，每位学习者在训练中给出的评分可以用一个评分向量S={s1,s2,…,sn}表示，其中n为互评训练中的题目数量，sn表示该学习者对第n个题目答案的评分，则训练结果可以表示为Sresult={S1,S2,…,SN}。

（2）学习者分组

根据学习者的评分向量，分析学习者特征，将特征相似度较高的学习者归为一组。特征相似度采用皮尔逊相关系数进行计算，其取值范围为[-1,1]，具体方法如下：

式中x，y分别表示两个不同的学习者在互评训练中的评分向量，为两个学习者各自的评分均值。计算出的sim(x,y)值越接近1，表示相关性越强，反之相关性越弱。采用皮尔逊相关系数进行相似度计算，能够避免评分向量维度中存在数据缺失的问题，如某个学习者遗漏了一道训练题目。

将经过互评训练的学习者两两比较，进行相似度计算，把相关性较高的学习者分为一组，表示该组内的学习者在训练中表现出的学习认知较为接近。

（3）生成推荐列表及开展同伴互评

同伴互评属于一种过程性的学习评价方式，其目的不仅仅是获得较为准确的评定成绩，还要促进学习者之间的交流借鉴。因此，通过互评训练完成对学习者的分组后，采用组内推荐和组间推荐组合的方式生成同伴互评推荐列表。

组内推荐是将学习者的作业推荐给其同组的学习者进行评阅。互评训练结束后，分在同一组的学习者具有相似的做题思路及判断能力，其对同类型学习者的学习成果更加熟悉。因此，组内推荐能够使学习者的作业被同组的学习者更加合理地评阅，并给出相对准确的评分。

组间推荐是指把学习者的作业推荐给不同组的学习者进行评阅。通过互评训练后，分到不同组的学习者表示他们具有不同的认知理解和思维方式。在解答问题时，不同组的学习者往往风格迥异，因此他们互相评价对方的学生成果时，能够彼此学习对方的解题思路，拓展自身的知识面。

在开展同伴互评时，每份作业都会被推荐给若干个学习者进行评阅。推荐的评阅人名单中应当包括与被评阅人同组的学习者，以及不同组的学习者。为了保证互评结果的信效度，一般组内推荐的数量略高于组间推荐。目前，在大部分在线课程平台中，每份作业会分配给五个评阅人[10]。因此，可以由组内推荐三个评阅者，组间推荐两个评阅者，生成同伴互评推荐列表。

4 同伴互评推荐策略的应用

在软件工程专业2018级的软件测试课程中对所设计的基于互评训练的同伴互评推荐策略进行应用验证。软件测试课程采用混合式教学模式，共有328人选课。在互评训练中，设计了6道题目，全部为主观题，并提供了详细的评分标准及供学习者评价的范例答案，范例答案由教师按照不同评分标准进行设计。

组织学习者完成互评训练后，根据每个人的评分向量进行相似度计算，完成学习者分组，并进行正式作业的互评，评阅人依据本研究设计的同伴互评推荐策略自动生成。每位学习者均需要评价5份作业，每份作业的评阅人由3名与答题者同组的学习者及2位其他组的学习者组成，作业成绩为5位评阅者的平均评分。为了减小在互评过程中的情感影响因素，被评者及评阅人均采用匿名方式。

在同伴互评结束后，由教师对每份作业进行评阅，以教师的评阅成绩为标准与互评成绩比较，验证互评质量，结果如图3所示。从图中可以看到，互评成绩与教师评定成绩误差不超过10%的作业有167份，占比为51%，误差在20%以内的作业共有256份，占比接近80%，说明大部分作业的评分结果较为准确。此外，有8%的作业评分误差大于30%，主要原因是少量学生未评满5份作业，导致计算单个作业的评分均值时产生了较大误差。

图3 同伴互评结果分析

为了检验学生在同伴互评过程中是否进行了有效学习，教师进行了问卷调查，收集到有效反馈313份。问卷中包含了两个核心问题：是否能够根据评阅标准顺利对所分配的作业进行评价、是否在评阅他人作业过程中获得了启发。学生对两个核心问题的反馈结果如图4所示。

图4 问卷调查结果

调查表明，绝大部分学生都能够顺利完成互评任务，对评阅标准、分配的作业有较清晰的理解，极少数学生认为评阅存在一定难度。通过进一步深入了解，这种情况与学生自身的专业水平有一定关联。在促进学习方面，90%的学生认为在互评过程中，接触到了多样化的答题思路，有助于自身知识面和思维的拓展。实践结果表明，基于训练的同伴互评推荐策略能够保证评价结果的有效性和可靠性，促进学生进行学习交流及思考。

5 结语

同伴互评是互联网时代下教育信息化发展的一种新型评价方式，在以慕课为代表的线上课程中得以广泛应用。提升互评结果的精确度以及促进学习者进行学习反思是同伴互评能否顺利开展的关键问题。同伴互评的影响因素众多，其中学习者作为学习过程的主体，其学习行为产生的数据是如何开展同伴互评的核心因素。因此，如何强化对在线学习行为数据的深度分析，是提高同伴互评信效度、推进学习者在互评过程中进行学习内省的研究趋势。

本研究充分发挥互评训练在正式互评前的作用，根据训练情况进行学习特征分析及学习者分组，采用组内推荐与组间推荐结合的方式生成同伴互评推荐列表，通过在具体课程中的实践检验了设计的推荐策略具有良好的应用效果，为基于学习行为数据构造在线同伴互评模型提供了设计思路。