评价支架对教师在线同伴互评质量的影响研究

马宁 路瑶 郭佳惠 刘春平

[摘   要] 教师培训是促进教师专业发展的有效途径，其中，线上培训近些年受到了越来越广泛的关注。以往研究已经证实，同伴互评可以促进教师的在线学习效果，但在应用中仍存在同伴评价参与度低、评分者一致性和评语质量不高等问題。研究将评价支架引入到大规模教师培训类MOOC中，对同伴互评中的整体型评价支架和分析型评价支架进行设计和开发，并采用实证研究的范式，探讨不同评价支架类型对教师同伴互评中评价参与度和评价效果的影响。研究结果表明，分析型评价支架能更好地提升教师学习者同伴互评的评价参与度，提升评价一致性和评语质量。因此，在设计与开发教师培训类MOOC时，可考虑将分析型评价支架纳入同伴互评活动。

[关键词] 在线开放课程; 评价支架; 同伴互评; 评价参与度; 评价效果

[中图分类号] G434            [文献标志码] A

[作者简介] 马宁（1977—），女，河北衡水人。副教授，博士，主要从事技术增强学习、技术支持的教师专业发展研究。E-mail：horsening@bnu.edu.cn。

一、引   言

教师专业发展对国家和民族发展有着非常重要的意义，历来受到各国的高度重视。2018年，教育部出台的《教育信息化2.0行动计划》强调，“大力提升教师信息素养”[1];教育部等五部门联合印发的《教师教育振兴行动计划 （2018—2022年） 》也强调，要创新教师培训的方式，推动在线开放课程的应用和共享，提升教师的综合素质和专业能力[2]。

2020年，面对新冠肺炎疫情，教育部发布了“停课不停学”的通知，该举措使在线教育得到了前所未有的关注[3]，也对教师的能力提出了新的挑战[4]。以MOOC为代表的一系列在线学习课程，不仅为教师提供了获取新知识的途径和渠道，还提供了个性化的学习方式和良好的协作探讨机会，成为促进教师专业发展的一种重要途径。

MOOC的学习者数量众多，若完全依赖教师或助教进行评价，成本高昂且不切实际。因此，同伴互评成为众多课程作业的主要评阅方式，也成为近几年MOOC研究中的一个热点。已有研究证实，同伴互评过程中对他人提出详细评论可以帮助改进自己的作业，同伴互评可以增进学生之间的协同合作精神[5]，融入同伴互评的混合式学习模式可以有效提升教师、学习者、内容之间的两两互动[6]。然而，同伴互评在应用中也存在很多问题，例如：同伴的评分被认为不太可靠[7-8]，学习者会怀疑同伴的能力[9]等。

评价支架是帮助学习者明确评价内容和开展评价的一种量规或工具[10]，有助于提升学习者的认知水平[11]、促进学习者的情感投入[12]、增强学习者的反思意识[13]，可以看出，评价支架有潜力改善同伴互评中存在的问题，但目前对其具体的成效原因分析不足。因此，本研究拟通过实证研究，探究在MOOC环境下，教师同伴互评中的整体型评价支架和分析型评价支架对评价参与度和评价效果的影响，其中，评价效果包括评价一致性和评语质量。主要包括三个问题：（1）同伴互评中的评价支架对评价参与度的影响;（2）同伴互评中的评价支架对评价一致性的影响;（3）同伴互评中的评价支架对评语质量的影响。

二、研究基础

（一）MOOC中的教师同伴互评活动

MOOC在教师培训领域有着越来越广泛的运用，已成为教师实现专业发展的一种重要方式。现有的教师培训越来越注重教师群体间的知识共享、协作和转化[14]，教师协同知识建构的培训方式对教师专业发展产生了良好的促进作用[15]。Laurillard指出，同伴互助是促进教师自发开展讨论、进行协同知识建构的基础[16]。马宁等人的研究也发现，基于同伴互助的教师个性化学习方式能够提高教师的学习参与度[17-18]。

可以看出，同伴互评能够帮助学习者进行协同知识建构，并且能有效地降低课程开发者的成本，提升学习者的参与度和学习质量。因此，同伴互评成为近几年的一个研究热点。

（二）教师在线同伴互评的优势与不足

同伴互评指群体内的个体对同伴进行评分的过程。技术的发展使在线同伴互评成为可能。在MOOC环境下采用同伴互评有诸多优势：第一，在线同伴互评中的分配作业、分数计算等工作可以通过技术来完成;第二，与专家评分员相比，使用同伴评分者较为经济;第三，当学习者对同伴的作业提出详细的、建设性的评论时，可以帮助他们改进自己的作业，越来越多的研究强调了同伴互评对学习过程的价值，认为其是提高学习动机[19]、促进学习过程[20]的重要方法。

目前，已有部分教师培训类MOOC纳入了同伴互评活动，但在实践操作过程中出现了诸如教师学习者认为，同伴不太可信、多数教师学习者更偏好课程主讲教师进行评价[8]等问题。出现这一状况主要是因为不同同伴给出的评价结果往往差异很大，所以，教师学习者怀疑同伴是否有能力评估他们的工作[9]。因此，如何提升教师在线同伴互评的评价参与度和评价效果，便成了诸多学者的关注点。

针对MOOC环境下教师同伴互评中存在的不足，有研究者试图从技术方面提升同伴互评系统的客观性和准确性，如构建同伴互评概率模型以提升评价系统的客观性和准确度[21]，对任务界面进行优化[22]等。此外，还有研究从教学法的角度进行探究，如支架型同伴互评探究[23]、同伴互评模型类型的比较[24]等。也有研究着眼于从学习评价的视角审视MOOC评价任务的设计[25]。然而，以上研究均存在准确性不理想、实施过程复杂等问题，不利于大规模推广。

（三）同伴互评中的评价支架相关研究

评价支架基于支架式教学理论，是帮助学习者明确评价内容和开展评价的一种量规或工具[10]。借助评价支架开展评价可以揭示学习者的现状和学习期望之间的差距，为学习者提供反思依据，促进学习者更好地进步和发展[26]。同其他提升同伴互评质量的方法相比，评价支架有着开发便捷、操作简单等优势，有潜力解决同伴互评中存在的问题[27]。一般来说，评价支架可以分为两类：一类是整体型评价支架，即对作业进行整体评价，并在此基础上给出一个总分;另一类是分析型评价支架，先将学习表现分解成不同要素，对各个要素分别给分，然后综合起来得出最终分数[28]。

Panadero等人通过对线下教师的准实验研究发现，使用评价支架的实验组可以得到更高质量的概念图[11]。马玉慧等对参加某门课程的学生进行了准实验研究，发现设有评价支架的实验组在认知水平、努力程度等方面都与控制组表现出显著差异[29]。梁云真探究了基于评价支架的同伴互评对认知投入、情感投入及学习成效等方面的影响，发现实验组普遍优于控制组[12]。

可以看出，在线下培训或小规模范围内有关评价支架的研究取得了较好的效果，是否将这些结论推广到大规模教师培训类MOOC中，仍需进一步研究与探讨。本研究采用实证研究的范式，对大规模教师培训类MOOC中同伴互评的整体型评价支架和分析型评价支架进行设计，探讨评价支架类型对评价参与度和评价效果的影响。

三、基于评价支架的同伴互评活动与工具

（一）MOOC中的同伴互评活动设计

“混合式理念下的项目式学习”是一门教师在线培训类MOOC，致力于通过5周的学习帮助教师学习者提升开展项目式学习（Project Based Learning， 以下简称PBL）的能力。该课程依托北京师范大学学习元平台（http：//www.etc.edu.cn/），目前已开展了两期。两期课程的大纲与内容一致，且均设置了三次同伴互评活动，分别对应课程布置的三次作业。两期课程在同伴互评活动上的区别在于采用不同类型的评价支架。

同伴互评活动开展前，系统会将教师学习者随机分成每组20人的小组，在此基础上组织开展组内同伴互评活动：每人提交一份作业，同时可以对组内其他人的作业进行批阅和评价;每人可评价多份作业，也可接受多人的评价。因此，对所有的教师学习者来说，同伴互评活动只在各组内展开，同伴互评活动的效果不受课程总参与人数的影响。

课程平台为教师学习者提供了PBL设计模板，课程要求教师学习者在学习期间参照模板完成相应的三次作业，分别是项目式学习前端分析、项目式学习成果设计和项目式学习评价方案设计。对应于三次作业，课程平台设计了三次同伴互评活动，每次同伴互评活动的流程均如图 1所示。

（二）评价支架的设计

课程要求教师学习者每次观看视频后自行设计PBL课程模板的相应部分，并在提交作业后完成同伴互评任务。由于教师学习者对PBL课程并不熟悉，因此，完成作业和开展同伴互评活动都具有一定的难度，此时评价支架的辅助便显得尤为重要。

研究者在第1期课程同伴互评活动中设置了整体型评价支架，教师学习者可以直接对作业给出总分。第2期课程同伴互评活动中设置的则是分析型评价支架，即教师学习者先分维度给出分数，系统自动综合后得到最终分数。分析型评价支架是专家团队在现有文献的评价指标[30]基础上，结合项目式学习所具有的强调积极建构、情境学习、社会交互、认知工具等特点[31]设计的。三套分析型评价支架均适应任务内容的评价指标，分别对应了三次同伴互评活动。评价指标的设计旨在为教师学习者的评价提供评价支架，扩展教师学习者在评价时的思考角度，从而使评价更具有针对性与可靠性。

为促进教师学习者对评价指标的了解，系统为每个指标都提供了自适应的解释说明。教师学习者阅读解释说明后需针对各个维度指标进行五点量表打分，系统可自动计算出总评阅分数，教师学习者填写评语后即可提交。

四、研究设计

（一）研究对象与研究流程

本研究以“混合式理念下的项目式学习”两期课程中参与同伴互评活动的1253名教师学习者作为研究对象，其中，第1期1075人，第2期178人。研究对象被随机分成每组20人左右的小组，参与三次同伴互评活动。本研究将设有整体型评价支架的第1期作为控制组，设有分析型评价支架的第2期作为实验组，探究两种类型的评价支架对同伴互评中评价参与度和评价效果的影响，其中，评价效果包括评价一致性和评语质量，具体实验流程如图2所示：

（二）研究工具

1. 教师同伴互评的评价一致性算法

教师同伴互评的评价一致性是指教师学习者在同伴互评过程中所给分数的稳定性。同伴互评过程中，同一份作业会收到来自多个同伴给出的多个分数。同伴越倾向于对同一份作业给出一致的分数，评价一致性越高。

本研究计算评价一致性具体参照的指标是范逸洲等人使用的“得分细节标准差均值”算法[32]。“得分細节”指某份作业收到的多个同伴互评的分数，“得分细节标准差”是多个同伴互评分数的标准差，它可以用来衡量单份作业的评价一致性。“得分细节标准差”越低，该份作业的评分者一致性越高。以某份作业为例，其“得分细节标准差”（y）的计算公式为：

其中，n表示该作业收到的同伴互评的个数，xi表示该作业收到的第i个得分细节，x表示该作业收到的得分细节的均值。

“得分细节标准差均值”是所有作业“得分细节标准差”的均值，它可以用来衡量多份作业整体的评价一致性。“得分细节标准差均值”越低，多份作业整体的评分者一致性越高。“得分细节标准差均值”的具体计算操作为：先计算多份作业的“得分细节标准差”，再计算它们的均值。计算公式为：

得分细节标准差均值

其中，a表示作业份数，yi表示第i份作业的“得分细节标准差”。

2. 同伴互评质量量表

Usher和Barak在前人基础上制定了同伴互评质量量表[33]，得出的同伴互评质量（Peer Feedback Quality）称为PFQ值。该量表将同伴互评的评语内容确定为四类：强化、声明、验证和阐述，并按认知能力的升序排列，设计了PFQ公式用以确定同伴互评的评语质量。该量表具有良好的信度。

同伴互评质量量表确定了一个1～5级的分类，数字越大说明评语质量越高：强化类评价（1分）和陈述类评价（2分）被认为是低质量的反馈，它们表明，评估者在认知方面付出的努力和为同伴提供的意见都很少;验证类评价（3分）被认定为是中等质量的反馈，因为它们需要分析能力和中等的认知水平;信息性阐述（4分）需要认知分析和综合能力，体现了中高的认知水平;暗示性阐述（5分）需要认知评价和创造力，代表同伴互评质量的最高水平。其中，信息性阐述和暗示性阐述都属于精细化评价。与项目内容完全无关的评语被定义为无意义评价（0分）。同伴互评质量的计算公式如下：

其中，x表示评语的质量值（0≤x≤5），n表示评语质量值x出现的次数，y表示评语总数。

五、数据分析与发现

（一）评价支架对评价参与度的影响

在本研究中，评价参与度即教师学习者参与同伴互评活动的积极程度，可通过以下两个指标进行量化：（1）教师学习者的评价量;（2）教师学习者同伴互评活动产生的社会网络的密度。

本研究采集了两期课程各三次同伴互评活动中所有作业接受评价的次数，见表1，对两期同伴互评作业的评价量进行独立样本的非参数检验，发现第2期的均值显著高于第1期（Z1=-12.80，p1<0.001;Z2=-15.74，p2<0.001;Z3=-15.60，p3<0.001），说明第2期课程教师学习者的评价量显著高于第1期，即分析型评价支架对评价参与度有更好的提升作用。

为进一步分析整体型评价支架与分析型评价支架在评价参与度上的差异，本研究从社会网络密度的角度进行了分析。图3展示了使用Gephi软件制作的两期课程同伴互评过程中产生的社会网络，节点颜色的深浅和大小代表着度中心性的高低，度中心性越高的节点，面积越大、颜色越深;边颜色的深浅代表着两节点之间连线的多少，连线越多的边，颜色越深。可以看出，第2期比第1期的社会网络图的节点面积更大、节点和边的颜色更深。同时，第2期同伴互评产生的社会网络在平均度、平均加权度、图密度、平均聚类系数方面都比第1期要高，且平均路径长度比第1期要低。由此说明，第2期同伴互评活动的参与者之间联系更为紧密，交互也更频繁。综合评价量和社会网络密度两个指标，本研究认为，分析型评价支架比整体型评价支架更能促进教师学习者的评价参与度。

（二）评价支架对评价一致性的影响

已有研究表明，“得分细节标准差均值”可以有效地探究评价支架对评价一致性的影响[32]。但“得分细节标准差均值”的计算会受到作业被评价次数的影响，因此，为平衡作业被评价次数带来的误差，本研究进行相同评价次数下“得分细节标准差均值”的比较。

为排除极端值数据的影响，本研究进行了两步操作：排除被批阅次数在5次及以下的作业数据;排除某批阅次数下只有一份作业的数据，总共得到13个“作业被批阅次数”（分别是6次……16次、19次和20次，共计13个），两期课程对应每个“作业被批阅次数”都可以计算出一个得分细节标准差均值，最终每期课程都得到13个得分细节标准差均值，如图4所示。由图4可见，在大多数作业被批阅次数上，第2期的得分细节标准差均值基本都低于第1期。

为探究该差异是否具有统计学意义，本研究对各批阅次数下的得分细节标准差均值进行了非参数检验，结果见表2，第2期得分细节标准差均值在0.05显著性水平上低于第1期（Z=-1.992，p<0.05）。再对每期课程三次作业得分细节标准差的离散程度进行计算，发现第2期课程得分细节标准差的离散程度小于第1期（SD1=9.85，SD2=6.31），说明不仅第2期作业的得分细节标准差均值更低，而且整体作业的得分细节标准差比较集中。由此可见，相较于整体型评价支架，分析型评价支架降低了同伴互评过程的得分细节标准差均值，增加了评价时所给分数的一致性，提升了评价效果。

（三）评价支架对评语质量的影响

评语质量的编码工作由两名具有一定专业基础的编码者完成，两期编码记录的一致性检验均大于0.75（第1期Kappa1=0.828，第2期Kappa2=0.804），表明二者具有较好的评分者一致性。对于二者意见不同的评语，两位编码者通过协商确定最终编码。

研究者首先对两期课程同伴互评中评语的分布形态进行了探究，评语质量在不同等级的分布如图5所示，可以看出：对两期课程来说，较低质量和中低质量的强化类评价、陈述类评价是普遍存在的，中高质量和最高质量的验证类评价、精细化评价比较少。这说明评价者的评语比较简短，主要是一些赞美、批评或者是简评，并不涉及被评价作品的具体内容，也较少提出建设性的意见。此外，第1期在较低、中低质量的评价上比第2期高，第2期在中高、最高質量的评价上高于第1期。

为进一步探究两期评语质量之间的差异是否显著，研究者对相同评语质量得分下的两期课程的评语数量进行了卡方检验，见表3。在较低质量的强化类评价（Pearson ？字2=2.024，p=0.155）和中低质量的陈述类评价（Pearson ？字2=162.407，p<0.001）上，第1期高于第2期。在中高质量的验证类评价（Pearson ？字2=324.766，p<0.001）和最高质量的精细化评价（Pearson ？字2=126.166，p<0.001）上，第2期显著高于第1期。说明相较整体型评价支架，分析型评价支架促进了更高质量的评语的生成。

研究者还从PFQ值的角度探究了评价支架对评语质量的影响。第2期整体的评语质量（PFQ2=38.53）高于第1期（PFQ1=36.89），参与第2期课程同伴互评的教师学习者相较第1期给出了显著的质量更高的评价（非参数检验结果Z=-5.340，p=0.000<0.001），这和卡方检验的结果一致。

以上数据说明，相较于整体型评价支架，分析型评价支架促进了中高质量的评语的产生，PFQ方程证实了分析型评价支架可以显著改善教师同伴互评的评语质量，提升评价效果。

六、结论与反思

本研究以“混合式理念下的项目式学习”两期教师在线培训类MOOC为载体，从学习分析的视角，探究两类评价支架对教师在线同伴互评的评价参与度和评价效果的影响。

（一）分析型评价支架能更好地提升评价参与度

通过两期课程中作业被评价次数的均值、中值等观测量的比较以及统计检验的分析，发现使用分析型评价支架的教师学习者的人均评价量更高，其同伴互评过程所产生的社会网络比整体型评价支架更为紧密。

同伴的參与是一个相互促进的过程，认知和情感的投入可以促进教师学习者之间更为频繁的互动[34]。在未设立分析型评价支架时，教师学习者由于对课程内容不熟悉和对课程作业有畏难情绪，不知道应当如何对同伴进行评价，因此，可能不太愿意参与评价活动。而分析型评价支架将评价进行了维度拆解，为学习者的评价给出了参照，因此，可以比整体型评价支架更为有效地降低评价的认知难度，促进教师学习者积极参与同伴互评活动，从而获得了比整体型评价支架更高的评价参与度。

（二）分析型评价支架能更好地提升评价一致性

本研究使用“得分细节标准差均值”这一概念探究了评价支架类型对评价一致性的影响：在相同批阅次数下，分析型评价支架的“得分细节标准差均值”显著低于整体型评价支架，且数据更为集中，说明分析型评价支架比整体型评价支架更能提高同伴互评的评价一致性。

有研究证实，评价支架可以为学习者提供支架式辅助，提升学习者的自我效能感，从而提升评价一致性[34]。分析型评价支架中具体的评估标准的设立降低了学习者评价时的主观随意性，为教师学习者的评分提供参考的依据，因此，不太容易给出极端值。这也证实了范逸洲等人关于MOOC作业评分可靠性的研究[32]，范逸洲的研究是对抽取的所有作业样本直接进行统计检验，而本研究对计算方法进行了一定改进：先计算相同评价次数下“得分细节标准差均值”，然后再进行统计检验，从而降低由被评价次数不同所带来的误差，提升结论的准确性。

（三）分析型评价支架能更好地提升评语质量

本研究通过同伴互评质量量表对评语进行编码，以探究评价支架类型对评语质量的影响。结果发现：中高质量和最高质量的评价在两期课程的占比都较少，但使用了分析型评价支架的同伴互评产生了更多中高质量的评语，其PFQ值也显著高于整体型评价支架。

总体而言，使用分析型评价支架的教师学习者倾向于给出更高质量的反馈，说明分析型评价支架相较整体型评价支架，能更好地保证评语质量。使用整体型评价支架时，学习者往往不会认真书写评价内容，或者发布一些没有价值的评价内容，如“很好”“不错”，甚至采用同一模板进行评价。而分析型评价支架的设立为学习者的评价提供了参考依据，帮助教师学习者对评价内容进行整体性认知和理解，促进了自我反思和知识建构，因而能够给出质量更高的评价。

在互评环境因素中，为评价者提供什么样的评价资源直接影响其评价行为[35]，评价支架作为进行评价活动的依据和指南，是一种重要的评价资源。课程设计者可以通过分析型评价支架的设立，促进课程学习者生成更高质量的评语，从而有效提升同伴互评的评价效果。

本研究通过实证研究，探究了评价支架类型对教师培训类MOOC的课程效果的影响，发现相较于整体型评价支架，分析型评价支架有助于提升教师学习者同伴互评的评价参与度和评价效果，因此，在设计与开发教师培训类MOOC时，可考虑将分析型评价支架纳入同伴互评活动。在后续的研究中，可以进一步对评语的内容和类型进行探讨，也可以加强评价支架对评语的准确性影响的探究。

[参考文献]

[1] 中华人民共和国教育部.教育部关于印发《教育信息化2.0行动计划》的通知[EB/OL].（2018-04-18）[2021-10-29].http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[2] 中华人民共和国教育部，国家发展改革委，财政部，等.教育部等五部门关于印发《教师教育振兴行动计划（2018—2022年）》的通知[EB/OL].（2018-03-22）[2021-10-29].http：//www.moe.gov.cn/srcsite/A10/s7034/201803/t20180323_331063.html.

[3] 黄荣怀，张慕华，沈阳，田阳，曾海军.超大规模互联网教育组织的核心要素研究——在线教育有效支撑“停课不停学”案例分析[J].电化教育研究，2020，41（3）：10-19.

[4] 祝智庭，郭绍青，吴砥，刘三女牙.“停课不停学”政策解读、关键问题与应对举措[J].中国电化教育，2020（4）：1-7.

[5] 李华，刘勐媛.混合式教学中作文同伴互评的应用研究[J].电化教育研究，2020，41（6）：83-90.

[6] 柏宏权，苏玉凤，沈书生.融入同伴互评的混合式学习模式实证研究[J].电化教育研究，2017，38（12）：79-85.

[7] HOVARDAS T， TSIVITANIDOU O E， ZACHARIA Z C. Peer versus expert feedback： an investigation of the quality of peer feedback among secondary school students[J]. Computers & education， 2014， 71（1）：133-152.

[8] FORMANEK M， WENGER M C， BUXNER S R， et al. Insights about large-scale online peer assessment from an analysis of an as tronomy MOOC[J]. Computers & education， 2017， 113（1）：243-262.

[9] ASHENAFI M M. Peer-assessment in higher education—twenty-first century practices， challenges and the way forward[J]. Assessment & evaluation in higher education， 2017，42（2）：226-251.

[10] 冯晓英，张伟远，陈丽.远程校际协作学习中支架教学策略的应用研究[J].北京广播电视大学学报，2008（1）：26-30.

[11] PANADERO E， ROMERO M， STRIJBOS J. The impact of a rubric and friendship on peer assessment： effects on construct validity， performance， and perceptions of fairness and comfort[J]. Studies in educational evaluation，2013，39（4）：195-203.

[12] 梁云真.基于量规的同伴互评对在线学习认知、情感投入度及学习成效的影响研究[J].电化教育研究，2018，39（9）：66-74.

[13] 汪琼，欧阳嘉煜，范逸洲.MOOC同伴作业互评中反思意识与学习成效的关系研究[J].电化教育研究，2019，40（6）：58-67.

[14] 马宁，李亚蒙，何俊杰.群体知识建构视角下教师混合式研训的组内交互及知识建构层次分析[J].现代教育技术，2019，29（4）：47-53.

[15] 马宁，杜蕾，张燕玲，崔志军，郭佳惠.群体知识图谱建构对教师在线学习与交互的影响研究[J].电化教育研究，2021，42（2）：55-62.

[16] LAURILLARD D. The educational problem that MOOCs could solve： professional development for teachers of disadvantaged students[J]. Research in learning technology， 2016， 24（1）：1-17.

[17] MA N， XIN S， DU J Y. A peer coaching-based professional development approach to improving the learning participation and learning design skills of in-service teachers[J]. Educational technology & society， 2018， 21（2）：291-304.

[18] MA N， ZHAO F L， ZHOU P Q， et al. Knowledge map-based online micro-learning： impacts on learning engagement， knowledge structure， and learning performance of in-service teachers[J]. Interactive learning environments， 2021（3）：1-16.

[19] DEELEY S J， BOVILL C. Staff student partnership in assessment： enhancing assessment literacy through democratic practices[J]. Assessment & evaluation in higher education， 2017， 42（3）：463-477.

[20] JAIME A， BLANCO J M， DOMíNGUEZ C， et al. Spiral and project-based learning with peer assessment in a computer science project management course[J]. Journal of science education and technology， 2016， 25（3）：439-449.

[21] 孙力，钟斯陶.MOOC评价系统中同伴互评概率模型研究[J].开放教育研究，2014，20（5）：83-90.

[22] VISTA A， CARE E， GRIFFIN P. A new approach towards marking large-scale complex assessments： developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review[J]. Assessing writing， 2015，24（1）：1-15.

[23] 罗莎.MOOC环境下支架型同伴评价探究——以英语写作任务为例[J].外语电化教学，2016（6）：42-47.

[24] 许涛.慕课同伴互评模型设计研究[J].开放教育研究，2015，21（2）：70-77.

[25] 蔡旻君，马光仲，陈萍.从学习性评价的视角反观MOOC之理念与设计[J].中国电化教育，2016（9）：66-73.

[26] 钟志贤，王觅，林安琪.量规：一种现代教学评价的方法[J].中国远程教育，2007（10）：43-46.

[27] 李菲茗，李晓菲，黄亚平，叶艳伟.训练对同伴互评评分准确性的影响——以“三维动画设计与建模”课程为例[J].中国远程教育，2018（5）：63-67，78.

[28] BROWN J D. Developing， using， and analyzing rubrics in language assessment with case studies in Asian and Pacific languages[M].Honolulu： National Foreign Language Resource Center， 2012.

[29] 马玉慧，赵乐，刘晴.在线同伴评价的影响因素及其促进策略研究[J].电化教育研究，2016，37（3）：108-114.

[30] 张文兰，张思琦，林君芬，吴琼，陈淑兰.网络环境下基于课程重构理念的项目式学习设计与实践研究[J].电化教育研究，2016，37（2）：38-45，53.

[31] 董艳，和静宇.PBL項目式学习在大学教学中的应用探究[J].现代教育技术，2019，29（9）：53-58.

[32] 范逸洲，冯菲，刘玉，汪琼.评价量规设计对慕课同伴互评有效性的影响研究[J].电化教育研究，2018，39（11）：45-51.

[33] USHER M， BARAK M. Peer assessment in a project-based engineering course： comparing between on-campus and online learning environments[J]. Assessment & evaluation in higher education， 2017，43（5）：1-15.

[34] 李红霞，赵呈领，蒋志辉.匿名与量规对基于SPOC的混合式同伴互评投入度的影响[J].现代教育技术，2020，30（10）：20-27.

[35] 吴遐，高记，刘兵.以评促学：基于三元交互决定论的同伴互评研究[J].中国远程教育，2020，41（4）：58-64，77.