基于量规的在线同伴互评设计与应用研究

张倩苇 罗 馨

（1.华南师范大学 教育信息技术学院，广东 广州，510631；2.广东环境保护工程职业学院 食品工程系，广东 佛山，528216）

随着在线开放课程和混合式教学的兴起，在线同伴互评成为高等教育教学中一种重要的评价方式。它作为一种有效的在线评价方式，是在线学习活动的重要组成部分（李菲茗，2018）。基于量规的同伴互评在解决大规模学生评价的问题以及促进学习者评价与反思能力提升方面具有优势，可有效促进互评活动的实施（梁云真，2018）。本研究将量规引入在线同伴互评，结合H大学“信息素养”通识课，开发用于在线同伴互评的评价量规，设计并实施了两轮基于量规的在线同伴互评，探索其可行性和有效性。

一、基于量规的在线同伴互评研究综述

（一）概念界定

量规是对学习者的作品进行结构化评价的标准，它描述了作品完成质量的级别。

同伴互评是指课程的在线学习中，学习者在教师的督促和指导下，对同伴提交的在线作业进行定量评分和定性反馈的过程。其目的是利用同伴的反馈，促进学习者改进学习并反思，提高学习效果。同时，在评价和交流的过程中，提升学习者的能力。

（二）量规的相关研究

1. 量规的可靠性与有效性

国外对量规的研究和应用随着表现性评价的发展而成熟起来。英国全国大学生和研究生评估参与调查相关报告发现，学生对评估和反馈过程的满意度的分数较低（Boud & Molloy, 2012）。作为一种指导学习者完成作业和评价的工具，量规具有评价标准明确、评价方式灵活以及评价效果有效等优势，因而其可靠性也是教师及学习者共同关注的重点。Christie（2015）使用对比方法来统计分析、评估一系列课程的标准化量规的评价者之间的可靠性以及量规本身的评分项目的可靠性。研究表明，评估者使用量规评分的可靠性很高（G=0.85）。

使用量规对提高学习者在自我评估、自我调节、理解能力以及评估标准清晰度方面的技能都可以提供帮助。马炅（2011）设计并应用了多媒体作品评价量规，研究发现量规可以提升学习者作品的质量（作品的艺术性和技术性），还可提高学习者参与相关学习与竞赛活动的积极性。该研究表明量规不仅可以运用到教师评价中，还在自评与互评中发挥着重要作用。彭熠（2014）认为，量规可以激发学习者的学习潜力，是引导学习者探索知识的指南针。这些研究表明，使用量规可以促进学生的学习，而且加入量规的评价方式，在学生对课程的满意度方面也产生了积极影响。

综上所述，量规是可靠且有效的。一方面，它可以帮助教师明确作业标准并以一种清晰明了的方式呈现给学习者，有助于学习者更好地理解任务要求，从而降低完成作业的难度，为学习者完成任务提供指导；另一方面，量规在互评和自评中使用，可以降低评价结果的主观性与随意性，保证了评价结果的客观性和可信度。

2. 量规在教学评价中的应用

在传统教学中，量规的应用主要集中在学习者自评或基于协作的同伴互评活动中，例如：唐玉霞和马兰（2011）设计的教学评估量规。此外，量规可以作为教师培训评价工具，帮助培训教师对参培教师的教学计划、学习资源和作品进行评价，如祝智庭（2000）在教师教育网络课程中的评价量规。量规也越来越多地应用于在线学习评价中，徐春华（2005）开发了一个基于网络的应用量规的在线评价平台，验证在教学评价中加入评价量规的有效性。

关于量规在教学评价中的应用效果，Barney（2012）比较了使用量规和教师口头反馈工程学习者的作业，发现这两种形式的反馈都会让学习者的分数增加。因此，这两种方法都可以提高学习者的成绩。同时，该研究还发现一个有趣结果，对学习结果给予反馈后学习者的投诉和关于成绩的问题显著减少。

（三）基于量规的在线同伴互评相关研究

1. 基于量规的同伴互评活动设计

随着网络的普及，很多欧美国家的学校在学习过程中利用在线评价量规这种方式来促进教与学（Muirhead, 2002）。以慕课为代表的在线课程开始运用“同伴互评”对学习者提交的作业进行评价（马志强，2014）。Chen 和 Tsai（2009）开发了一套在线同伴互评程序，评价者采用课程提供的量规来评定论文的等级，同时要求评价者给出量化评价和反馈。Hwang、Hung和Chen（2013）提出一套基于同伴互评的游戏开发方法，采用定量与定性结合的互评方式。

2. 基于量规的在线同伴互评的可靠性研究

大部分研究者关注慕课环境下同伴互评的可行性与可靠性，并探索不同的方法来提高同伴互评的精确性。有研究者尝试通过构建模型来评估并校正评价过程中的偏差（Piech, 2014）；还有研究者对评价量规进行了设计和应用，发现在同伴互评的过程中提供量规指导，能有效提升评价效果（孙力，2014）。这说明，在进行同伴互评时，采用量规有助于提高同伴互评活动的信度和效度，帮助学习者明确教师的任务要求。

针对在面授课堂中使用同伴互评的有效性研究发现，同伴评分和教师评分高度相关且没有显著差异（Falchikov, 2000）。研究在线课程中使用在线同伴互评的有效性时发现，同伴评分与教师评分同样是高度相关的（Robinson, 2014）。然而，在讨论是否在课程中应用同伴互评时，有教师和学习者会对互评结果的可靠性表示怀疑。有研究探究影响同伴互评的准确性和可靠性的因素，主要是学习者的学习态度、参与度、评价标准、评价者的能力等（Bouzidi,2009）。

3. 基于量规的在线同伴互评有效性研究

评价是检测和纠正错误的过程，纠错是通过持续的探究、反思和批评或自我批评过程产生的，可以帮助学习者更新他们的知识，从而改善他们的学习（Yousef, 2014）。那么，在互评时加入量规是否能提高评价效果？Menendez（2016）发现量规的评分减轻了学习者和教师对于打分主观性的担忧。Polston（2014）调查了评估者和被评估者之间使用评估标准对互评有效性的影响，有209名本科生参加了此项调查研究。其中一半参与者使用量规评估了同伴的概念图，而另一半没有使用量规。发现使用量规的学生的评价结果更有效。但该研究也发现，使用量规时，评估者和被评估者之间的友谊更容易导致更多的过度评分。

除了研究评分效果，也有研究者验证了使用量规对学习者自我调节方面的影响，使用量规的学习者在成绩、自我评估的准确性和更高的自我调节三个方面均优于没有使用量规的学习者（Panadero & Romero,2014）。

已有研究验证了将规范、科学的量规运用于同伴互评中的作用，多集中于量规应用于在线同伴互评中的有效性研究，但对基于量规的在线同伴互评的实践研究欠缺具体的设计、开发及应用流程。因此有必要对在线同伴互评中量规进行设计与开发，设计并实施基于量规的同伴互评活动，从而验证这类评价活动的可行性和有效性。

二、基于量规的在线同伴互评设计

（一）理论基础

基于量规的在线同伴互评研究主要以建构主义学习理论和多元智能理论为指导。建构主义学习理论认为学习活动必须有利于学习者对所学内容的意义建构，评价任务的设计要考虑有利于学习者意义建构的情境的创设；任务内容应该符合学习者的最近发展区，在线同伴互评中，评价标准量规的设计就是提供给学习者的支架。多元智能理论倡导多元主体、多维内容、多种形式的真实性评价，以评价促发展，教学需要设计丰富的、基于能力提升的学习活动。

本研究在文献综述的基础上，提出了量规的设计原则，包括与教学目标保持一致、学习者参与、避免重复并易于操作。基于量规的在线同伴互评的设计原则包括评价标准明确、及时性、评价主体多元化、可操作性、定量与定性相结合。

（二）量规的设计

评价量规一般由评价要素、评价指标、评分标准、指标权重以及评语反馈组成。

1. 量规的设计流程

1）量规的初步设计

根据量规的设计原则、参考评价任务内容与目标，对量规的组成要素进行设计，然后根据在线学习平台的要求，重新调整量规的结构。

（1）评价要素设计

评价要素是量规设计中最重要的一环，一个有效的量规应包含评价该任务的所有重要元素（Jonsson,2014）。为了使评价量规更加清晰明确，需要对任务内容进行分析（高凌飚，2004）。根据教学目标和作业要求确定影响任务质量的要素有哪些，并从中选择最主要的要素作为评价要素。

（2）评价指标设计

评价指标既是对评价要素的分解，也是对评分标准的概括，因此要明确具体，不能笼统空泛。一个有效的量规的评价指标应与教学目标对应，且容易区分，不能出现多个评价指标重叠或模棱两可的情况。

（3）评分标准的设计

评分标准需采用具体、可操作的语言对评价指标进行描述，尽可能使用清晰、完整的句子来表达。教师还可根据量规中的评价标准提供参考范例，帮助学习者更好地理解指标项。

本研究将评价量规的具体标准分为三种类型：是否型标准、限制型标准和验证型标准。是/否型标准可以简单地回答“是”或“否”；限制型标准是指要求评价者对某一具体方面进行限定；验证型标准需要评价者从作业中寻找特定特性的条件，表1给出了三种标准的示例。

表1 评分标准类型及案例

（4）权重设计

在分析学习目标和侧重点的基础上，对每个评价要素及一级指标进行综合分析，为每个一级指标分配权重，再将该一级指标权重合理分配至相应的下一级指标。在设置等级和权重时，需考虑所用平台的在线互评活动的量规的实际设计模式。量规的权重设置还要在具体实践中不断完善。本研究的量规权重由任课教师根据教学目标与任务目标进行赋值，同时参考了专家、助教以及学习者的意见确定最终权重。

（5）评论区设计

设计评论区的目的是为了得到评价者的评分反馈，但由于现有的在线学习平台对于评论反馈还未足够重视，不能设置为评价者必做任务，因此设置评论区得到的效果也往往不尽人意。这次进行的两轮研究中的在线同伴互评量规采用了三种说明方式，其效果也有较大差异。

第一种，仅提供“评论区”，不做任何要求说明。

第二种，评论区添加说明（如“请评价者在此处详细说明评分原因及改进意见”）。

第三种，在第二种说明的基础上，对评论内容做出了详细要求（如“字数不少于25字，不能为堆砌字数而用重复的字词作为评语”）。

将三种说明方式应用于三次基于量规的在线同伴互评中得到的效果见表2。第一种方式，虽然给出了评论区，但是提供评语的人数较少，而且有效评语较少（26条，占31.1%），此处的有效评语的评定标准是，评语反馈不是随意堆砌，能说明扣分原因或提供了改进意见的评语。第二种说明方式虽然在评语总数上有了大幅增加，但是有效评语的占比却相对下降（72条，占22.2%）。第三种说明方式则是相对较好的方式（194条，67.4%），在一定的程度上保证了评语的有效性。

表2 评语反馈情况

2.量规的修改和测试

通过专家、教师和学习者对量规进行评价以获得修改完善的建议，反思量规的有效性，调整并修订基本要素、等级标准，形成正式使用的量规。

为提高在线同伴互评量规的质量，可通过在具体情境下进行测试，收集相关数据并分析，提出修改完善意见，确定哪些类型的标准和量规更有价值，从而形成合适的量规，以提高同伴互评的可靠性。

（三）在线同伴互评活动设计

在线同伴互评设计包括前期分析、量规设计、互评设计和互评实施四个阶段。首先从学习者、任务目标、在线学习平台条件三个方面进行前期分析，其次对量规进行初步设计、修改和完善，然后根据分析结果围绕不同的任务对评价的方式、评价要求、评价时间等进行设计，最后是对互评实施流程进行设计。实施流程需要教师和学习者共同完成，包括提交阶段、评估阶段、成绩公布阶段以及作业修改阶段，每一轮互评以此流程为基础循环实施。基于量规的在线同伴互评的具体设计流程见图1。

图1 基于量规的在线同伴互评设计流程

三、研究应用与实施

（一）研究问题

结合H大学的“信息素养”课程相关学习任务，开展了两轮基于量规的在线同伴互评研究，先后在校内在线平台和开放在线平台上实施。研究问题如下：①基于量规的在线同伴互评的可行性如何？②基于量规的在线同伴互评实施效果如何，对学习者的学习产生了什么影响？第一轮研究探索了基于量规的在线同伴互评的可行性以及学习者的反应，验证了量规在同伴互评活动中的作用。第二轮研究则主要是从学习者学习和能力两个方面，检验基于量规的在线同伴互评的实施效果。

（二）研究对象及数据来源

第一轮的研究对象为H大学“砺儒云”（校内在线学习）平台“信息素养”通识课中二、三年级本科生，总人数为60人，时间为2017年3至5月，开展了一次主题为“纸质文献和网络资源的检索与利用”的在线同伴互评。第二轮研究以中国大学慕课平台“信息素养”课程的在线学习者作为研究对象，时间为2018年9至11月，开展了四次在线同伴互评，包括“选题的确定（第二周）”“中文数据库的检索方法与技巧（第五周）”“撰写文献综述大纲（第八周）”和“撰写文献综述初稿（第十周）”。

数据收集工具主要是调查问卷和访谈提纲，在参考国内外验证过的相关量表和问卷的基础上进行设计，然后结合基于量规的在线同伴互评的特点加以修改。基于校内在线学习平台和中国大学慕课平台收集学习者在同伴互评活动中的活动数据以及互评活动实施情况和效果数据。

（三）研究流程

基于量规的在线同伴互评的设计应用于教学中，实施了第一轮研究，具体安排如图2所示。

图2 第一轮研究流程安排

针对第一轮研究收集的反馈信息，提出如下改进建议。

第一，量规。量规的设计需更详细、明确，针对主观题添加评分指导；在指标项描述时添加案例帮助理解标准；将评价过程中的评价情况（是否出现恶意、粗鲁评分、随意撰写评语）纳入评价框架。

第二，自评。增加自评，要求每位学习者在互评完同伴作业后按照量规对自己的作业进行评价。

第三，教师的反馈。适当增加教师的指导；对于互评分数差异较大的作业，需要教师再次进行评价并分析原因；活动结束后，教师需要进行总结并提供活动反馈。

第四，答疑的及时性。在课程讨论区设置互评答疑区；在微信和QQ群有专门的助教负责答疑。

根据第一轮研究发现的问题和收集的修改意见，对互评流程进行了修改，在中国大学慕课平台实施了第二轮研究活动。修改后的流程如图3所示：

图3 第二轮研究流程安排

针对第二轮研究收集的信息，提出如下修改建议。

第一，评论反馈。说明评价方式和反馈类型，规范评语反馈区的要求；在平台公告栏中提醒学习者评价时必须提交分数和评语；在评论反馈区设计合适的评价指引。

第二，互评流程的熟悉度。第一次互评开始前帮助学习者熟悉量规以及同伴互评流程；每次互评时，发布任务的同时就发布量规和操作指引。

第三，时间通知。强调互评活动的时间特殊性，要求学习者按时完成；在每一个任务的时间节点发布通知。

第四，特殊情况。对因故未能按时提交互评作业的学习者，增加作业补交通道。

四、研究结果

（一）基于量规的在线同伴互评的可行性分析

在线同伴互评是开放在线课程中常采用的评价学习者作业的方法之一，但在线同伴互评结果的准确性和可靠性因学习者知识水平程度差异、学习者评价能力差异等原因而遭质疑。那么通过使用评价量规能否解决这些问题？基于量规的在线同伴互评是否可行？为了验证其可行性，研究从学习者关注的一致性和公平性来探究其是否可以将量规应用于在线课程中。

1. 一致性——同伴互评成绩是否有效

同伴互评成绩的一致性一方面可通过评估者之间的可靠性来衡量评估者之间的一致程度，作为提高评分准确性的可能解决方案，即通过衡量评分者间信度来说明。评估者间信度可以使用作业的评分标准差均值表示，即表示每个作业上同伴给出分数的一致性程度，也可以用来表示同伴互评分数的可靠性（范逸洲，2018）。其次可以通过分析同伴分数和教师分数的的一致性，即聚合效度（Bouzidi, 2009）来判定。研究同伴评分与教师评分之间的相关性，可以用来判断参与互评的学习者是否具有一定的评价能力。

1）评分者之间一致性

在第一轮互评活动研究中，共有57人提交了互评作业，每份作业至少被互评了3～5次，因此每份作业的得分记录包括3～5位同伴评价的分数。通过计算这些得分的标准差就可以得到本轮互评作业得分的标准差。即互评作业的得分情况将由一个包含57个标准差的数列组成。该数列可以代表同伴互评者评分的稳定性，计算其均值即可得到该互评作业的评分者间评分差。

如表3所示，作业共57份，通过计算每份作业同伴评分的标准差，得到了每一份作业互评者间的评分差。其中最小评分差为0.65，最大评分差为2.14。对57个评分标准差求平均值，最后该互评作业的评分者间评分差为0.82。这表示在本轮互评中互评作业的整体评分差距为0.82（＜1），评分者间的评分差异较小，评分者间信度以及评分稳定性较高。由此可知，同伴间互评具有一定的一致性。

2）同伴和教师评分的一致性

在本研究中假设教师评分是这份作业可能获得的成绩，将同伴互评结果与教师评价结果进行配对样本检验，即可分析两种评分结果之间的相关性与差异性。因此，以教师评价分数作为标准结果，来考察同伴互评结果与教师评价结果的相关程度，同伴互评评分越接近教师评分则认为其评价结果越有效、互评结果可信度越高。研究者对教师评分与同伴评分的平均数与标准差进行了统计，统计结果如表4所示。

当使用评价量规对学习者的作业进行评分时，教师与同伴评分平均分相差1.7分。为了观察评分之间的差异是否显著，研究者进一步计算了两者评分的皮尔逊相关系数，对教师评分和同伴评分的相关性进行检验，结果见表5。教师与同伴评分之间的皮尔逊相关系数为0.87，Sig值为0.001＜0.01，在0.01水平（双侧）上呈显著相关。这说明评分者的一致性很高，同伴评分与教师评分之间具有相关性，且同伴评分结果是有效的，学习者具备一定的评价同伴作业的能力。

表5 教师与同伴使用量规评分的皮尔逊相关系数

2. 公平性——评分过程是否公正

通过第一轮研究前测调查问卷可知，学习者对于同伴的互评能力存在一定的质疑。第一轮试验之后学习者的看法是否发生变化？本研究在后测问卷中设置了四道李克特5级量表题对学习者的态度进行了调查。

学习者对于自己是否按照量规评价同伴作业以及撰写评语的平均值分别是4.25与4.75，处于同意与非常同意（见表6）范围。这表明大多数学习者都能公平公正地对同伴进行评价，尤其是在给同伴撰写评语方面。

表6 自我评价的公平性

从表7来看，学习者对于同伴的评分（M=4.01）与评语(M=4.34)的评价皆达到了4分以上，说明学习者对同伴互评结果还是认可的，对其公平性的质疑相较前测调查结果来看，有所降低。

表7 同伴评价的公平性

同时从访谈题“你是否按量规评价给同伴评分和撰写评语？评价是否公正？”“你认为同伴是否按量规评价你的作业，评价是否公正？”的结果也可看出学习者对于基于量规的在线同伴互评的公平性的看法。

参与访谈的8位学习者，皆认为自己在评分过程中是按照量规评价的要求对同伴的作品进行评分，有7位学习者在互评时写出了扣分的原因和改进意见，有6位学习者表示自己得到的分数还是十分公正的。

访谈中学习者反馈“虽然可以看到被评者的名字，但是我也不认识我评的具体是哪个人，所以能够减少一些情感因素在里面”“我希望自己很认真的评价别人也能得到同等的回应”“大家都根据量规来评价，这样也能保证公平性” 还有学习者认为“此次活动所有环节设置得比较恰当合适，评价标准量化，有助于调动大家学习的积极性，而且同一个学习者的作品被三个学习者评分也彰显了公平性。”

综上，学习者对同伴互评过程及结果的公平性还是持满意态度的，加入量规，保证了评分和评语的公平与有效。

（二）量规的有效性分析

已有研究表明，量规在完成同伴互评时提供了明确的指导方针，为解决一些同伴互评时存在的问题提供了可能的解决方案。量规可以提高学习者的表现，可以促进其自我评估和自我调节，从而提高学习者理解和利用反馈的能力。本研究主要是从学习者对于在线同伴互评中使用量规评价的满意度以及量规作为评价工具的有用性两个方面来考察量规的有效性。

1. 学习者对量规的满意度

后测问卷中设置了3个项目调查量规的被认可程度（见表8），包括“我喜欢使用量规评价同伴的作业”（M=4.59），“我喜欢根据量规要求完成作业”（M=4.33），“我希望老师能提供量规”（M=4.15）。

表8 对量规的满意度

2. 量规的作用

同伴互评活动中引入量规能够解决帮助学习者明确作业要求等问题，在指导学习者学习过程中起到重要作用。同时，将量规应用于同伴互评，在实现评分公平方面发挥了一定的积极作用。从下页表9可知，量规在帮助明确作业要求的均值为4.06，引导修改和完善作业的均值为4.09，规范作业评分要求，促进评分公平的均值为4.09。但学习者对于如何利用量规来评价同伴作业的均值为3.78，这方面还有待改进。

表9 量规的有效性

从问卷和访谈结果来看，学习者对量规的作用持认可态度，尤其是量规在帮助学习者完成和完善作业方面发挥了重要作用。结合访谈题“你认为使用量规进行作业评价对自己评价他人作业有帮助吗？”“你认为使用量规进行作业评价对反思自己作业完成情况有帮助吗？”摘取了部分被访谈学习者对于将量规应用于互评活动中的态度和看法。受访者A表示：“量规能够将作业要求用数值体现出来，更客观。然后根据赋值高低，就可以看出那些点比较重要。”受访者B表示：“可以更加了解答案的细节，学会从多个角度去评价作业。”受访者C表示：“更加认真对待作业了吧，评分的规则很详细，自己知道如何完善作业。”

（三）基于量规的在线同伴互评的应用效果分析

1.对学习者作品质量的作用

在第二轮课程中，学习者形成的最直接的成果是文献综述。作业包括文献综述初稿和文献综述修改稿，初稿代表了学习者个人按照对任务的先前理解所完成的成果，修改稿便是学习者经过同伴互评活动后，在同伴的反馈意见“协助”下修改后的成果。

文献综述作为本轮研究重要的评价任务之一，其变化程度对研究者分析同伴互评对学习者的学习效果的影响差异具有重要的意义。为此，研究首先分析学习者在参与同伴互评活动后，其完成任务的质量是否有所提升。表10是学习者两次提交作业质量的对比情况。

表10 作业质量对比分析

从表10可见，学习者在该同伴互评活动中提交了两个作业。两次作业的成绩存在显著性差异（P=0.000＜0.001），而且第二次作业成绩相比第一次作业成绩有显著提高。

后期访谈调查收集学习者对基于量规的同伴互评活动的看法。部分被访谈者表示参与活动可以帮助他们提高作品质量。被访者A表示：“我认为通过评价对方的作品，能够更快抓住作业任务中的要点并掌握，并且互评能够帮助我了解其他学习者的学习水平，对自身的作业进行调整。”被访者B表示：“这门课程的互评要求是设计得非常细致的，有利于我更好地完成作业，其他同学的评语能帮助我快速查缺补漏。”被访者C表示：“通过互评可以加深对知识点的理解，看到自身不足的地方。”被访者D表示：“互评时可以进一步了解作业要求，在评价同学们的作业过程中拓展思路、开阔视野。”

2. 对课程学习的作用

从表11可看出，参与基于量规的在线同伴互评可以提高学习者的学习积极性（M=4.28），帮助其监控自己的学习情况（M=4.45）。

表11 基于量规的同伴互评对课程学习的作用

从中期调查和后测问卷中的开放性问题 “参与基于量规的在线同伴互评活动中有哪些收获？”的回答结果来看，在慕课中使用基于量规的在线同伴互评对于学习者的课程学习有着积极影响。

学习者1：“互评作业可以看到大家很有意思的想法，碰撞出思维火花。” 学习者2：“互评能够帮助我了解其他学习者的学习水平对自身的学习状况进行调整。” 学习者3：“加深了对课程知识点的理解，同时给他人评分让自己有成就感，学习的动力更加充足了。”

3. 提升学习者能力的作用

在第二轮研究中，通过问卷调查学习者参加互评活动对他们的能力产生的影响。从下页表12可以看出，同伴互评在提高学习者的“自我反思能力”“学习能力”和“分析评价能力”方面效果突出，均值在4.5以上。

表12 基于量规的同伴互评对学习者能力的作用

有学习者在访谈中指出：印象最深刻的是互评作业，了解到其他同学的作答情况，与自身相比可以发现自己的不足从而改进。

五、结论与反思

（一）结论

1. 基于量规的在线同伴互评应用于在线课程是可行的

第一轮研究结果表明，同伴互评的作业的平均分数与教师批改该作业所给出的分数较为接近，同伴对同一份作业给出的分数之间也具有较高的一致性，而且在公平性和有效性方面也得到了学习者的认可。因此，在线课程中实施基于量规的在线同伴互评是可行的。

2. 量规在一定程度上提高了同伴互评的有效性

量规可以让评分者在给同伴评分的过程中发现自己作品的不足，在促进学习者学习和提高互评活动的客观性和公平性方面起到了重要作用。同时，量规在互评中也发挥了作业标准的作用，可以帮助学习者理解任务，更好地完成作业。

3. 基于量规的在线同伴互评是一种有效的评价方式，可以促进学习者学习，提高学习者的学习参与

对学习者学习效果进行分析，主要是学习成绩与课程学习。在第二轮研究中针对第四次互评作业“文献综述”展开分析，教师要求学习者收到同伴的反馈意见后修改作业再次提交。其中第一次作业评价方式为同伴互评，第二次的评价方式是教师评价。通过对比两次作业提交结果发现，第二次提交的作业成绩得分远远高于第一次作业成绩得分。两轮研究的学习者访谈显示，无论是在校内在线学习平台还是在中国大学慕课平台，大部分学习者认为参与基于量规的在线同伴互评活动可以帮助自己坚持课程学习，提高了学习积极性。

4. 基于量规的在线同伴互评提高了学习者的能力，包括分析评价能力、学习能力和自我反思能力

对基于量规的在线同伴互评的实施效果分析，学习者认为该评价方式促进了学习者能力的提升。进行评价时，学习者不仅要参考量规的标准来判断同伴或自己作业的质量并进行评分，而且还要对评分做出解释并提供反馈建议。在这个过程中，发展了学习者的“分析评价能力”“学习能力”和“自我反思能力”。对比两轮研究（第一轮1次，第二轮4次），学习者参与活动的次数越多，他们的能力提升越明显。

（二）讨论与反思

1. 在线同伴互评的参与率

高辍学率和低结课率一直是慕课课程存在的突出问题，而学习者的高辍学率不利于在线同伴互评活动的开展。访谈发现，其原因一是学习者认为参与同伴评价对评价者自身能力有较高要求，评分前需花时间仔细阅读量规并评价同伴的作品。收到反馈后，要重新修改自己的作业也会给学习者带来负担。其次，在线同伴互评需要学习者从课程伊始便参与进来，每一个步骤都有时间限定，如果错过其中任意一个步骤，都不能完成互评活动。部分学习者会因为错过一次互评影响课程成绩从而选择终止学习。今后的研究可以进一步探究如何留住在线学习者、如何保证学习者在线同伴互评活动中的参与率。

2. 同伴反馈的使用效率

在线同伴互评中及时提供有关学习者作业的形成性和总结性反馈对于学习者来说至关重要。一是能提高反馈的质量。首先用量规来明确“优秀作业”的标准，保证评价者和被评价者对于“优秀的答案”产生共识，然后再明确同伴反馈的要求，加强对评语反馈质量的监督。二是通过互评的迭代可以促进学习者对同伴反馈建议的使用，即要求学习者根据反馈意见重新修改并再次提交；如有需要，可就修改提交作业再次开展互评。在第二轮研究的第四次互评活动中，综述作业的修改稿相比初稿的质量得到提升，大多数学习者反映会在修改自己作业的过程中参考并使用自己提供给同伴的反馈意见。

3. 在线同伴互评的信度与效度

本研究分析学习者互评分数的稳定性和一致性后发现，尽管部分评分之间存在较大差异，但整体来说评分者之间信度较好。这表明学习者也可以成为可信的评分者，在线同伴互评的结果是可靠的。量规的加入在一定程度上提高了互评结果的可信度，前提是教师与学习者能够对量规中的标准达成共识。edX和Coursera等国际在线学习平台采用模拟训练的方式帮助学习者熟悉量规，其中edX还规定只有通过模拟评分的学习者才可参加互评。但由于互评本身就费时较多，加入互评训练是否会增加学习者负担还需进一步研究。在互评的效度方面，除了学习者在互评时应该具有一定专业知识和评价技能以外，教师的指导可以保证同伴评价活动的有效性。

4. 时间

时间是影响学习者参与互评活动的重要因素之一。在同伴互评中，学习者需要花费较多的时间来仔细思考、分析同伴的作业并提出改进建议，但学习者获得的收获也将更多，且学习者需要足够的时间来思考如何更完善地作业。再就是，学习者容易错过任务完成的时间节点。在第二轮研究的第一次互评中，许多学习者因为错过提交互评作业而导致不能参与后续流程，最后只能通过修改活动时间以及开设补交作业通道解决该问题。为避免这种情况的发生，需在互评任务的每一个时间节点多渠道发布通知，提醒学习者及时参与。为减轻学习者的负担，后续将四次互评作业改为三次。