慕课教学中同伴评价的搭架指导与干预

李萍

摘   要：慕课实现了教育资源共享的最大化，为混搭教学、学生个性化学习提供了良好的资源。慕课在推动教育改革和发展的同时，也衍生出一些问题，如学习时间增多、学生自主性不强、网络环境和学习支持服务薄弱、学生个性化评价反馈缺乏等。同伴互评虽然解决了教师质性反馈不足的问题，但其可靠性和有效性未得到一致认可。文章围绕同伴评阅反馈的质量问题展开讨论，提出搭架式干预指导，提高了学生评价的准确性。

关键词：慕课;同伴评价;搭架指导

中图分类号：G434 文献标志码：A 文章编号：1673-8454（2021）01-0036-04

一、引言

慕课突破传统课堂教学的局限性，提高了学生受教育的机会，降低了成本。自由、免费是学生选择慕课的主要原因[1]。北京联合大学针对14个校区3大类别学院，建设了4门大学英语慕课，有通用英语类、专门用途英语类和拓宽学生国际视野等课程，实践证明效果良好，深受师生的欢迎[2]。国家免费开放的英语类慕课有十几门，涵盖听说、演讲、写作、文学经典、跨文化交际等多个方面，既为教师开展混搭教学提供了良好的教学资料，又为学生扩展知识视野提供了便捷的素材。丰富多样的慕课从不同方面和角度推动了教育的改革和发展，成为促进高等教育改革的重要推手。研究表明，慕课带来教学质量的改进、种族歧视的降低、技术变革适应性的提高、个性化学习的增强、及时反馈和学生合作的增多[3]。

慕课给新时代高等教育带来便利的同时，也提出了许多挑战。①学习时间增多。学生对此有不同的认识，29%的学生认为增加了学习负担，而64%的学生认为这种课程学习方式有收获或有明显收获[4]。②学生自主性不强、粘性不足。学生缺乏自制力和良好的在线学习习惯，需要经常督促和反复提示[5]。学习氛围和面对面指导与约束力的缺失，导致学习积极性差[1]。③网络环境和学习支持服务薄弱。外网登录不畅、平台使用界面不够友好，影响学生使用网络教学平台的兴趣与热情[4]。我国现有多数慕课忽视必要的学习支持服务，学习支持服务水平整体薄弱。服务类型单一，不同类型课程之间助学比例差异大。讨论区或论坛维护人员不足，教师与学生之间、学生与学生之间未实现真正的交互。④面对庞大的慕课学生群体，教师很难提供个性化的评价反馈。由于学生的规模较大，使慕课有成为单向信息转移的风险。需要用新颖的方法完成“教—学—评”和反馈的环节。对国内14个MOOC平台的研究发现，评价模式单一，机器评价高达90.8%。各学科评价方式有差异，文科课程偏重于同伴互评[6]。同伴互评虽然解决了教师质性反馈不足的问题，但该办法的可靠性和有效性未得到一致认可。本文将围绕同伴评阅反馈的质量问题展开讨论。

二、同伴评阅的发展

早在1998年，就有研究者提出同伴反馈，并将其视为教师评价学生成绩的一种替代方式。尤其适用于真实的学习环境中，以及解决问题的活动中。在一些情况下，这种评价方式有高度的可靠性和有效性。虽然大部分人一致认为，专家评阅反馈更有效，但处理得当的学生之间的辅导对学生双方都有益。有研究发现，同伴反馈同样有效，甚至有些情况下比教师反馈更有效。

慕课的相关实验研究在2013年还很少开展。由于两种授课环境不同，教师对学生的监管、指导和评价均有差异。慕课学习者受到教师的监管或面授非常有限，评价过程也不是教师评，而是以自评和同伴评为主。学生对同伴评阅的接受度在两种环境中也有所不同。对慕课的学生态度研究发现，只有少数学生反对同伴评阅，认为应该由教师评阅。而Sluijsmans等人发现，只有19%的学生认为在课堂环境中，学生能公正尽职地评价彼此[7]。这种差异源自慕课学习环境特有的理念之一，学习者特别开放地接受合作性任务[8]。

同伴评阅在两种环境中使用的目的不同。在课堂教学中，同伴评阅不仅能提高学科知识学习，还会培养一些可迁移的技巧，如批判性分析、交流技能和团队合作能力。慕课采用同伴评阅的主要动力在于，能够解决大规模学生评价反馈的问题，自评和互评可以解决数千人参与的复杂作业的评分[9]。

Coursera开设的《学术英语写作》专项课程有44978人注册学习[10]。注册人数众多，无法实现教师“一对一”评阅。此外，互评可以提高学生体验，从而增加保持率，大多数文献都关注到这一点。同伴评阅已不仅仅用来解决教师评阅不足的问题，还在某种程度上，成为增强学习氛围、提高社交临场感、提供助学支持的有利环节。

学生互评涉及到同伴匹配问题。以往文献中有两种研究方法，同伴能力相当或不同，被称为同质匹配和异质匹配。哪种类型对学生学习最有效还没有一致的看法。校园学习的学生和在线学习的学生，在匹配的效果上有何不同也不明確。

Huisman等人的研究结果表明，同伴评阅者的能力和写作者的作品成绩正相关。相关只适用于中等及高等水平的写作者，低等水平的写作者与评阅人的能力不相关[9]。因此，对于写作任务的同伴评阅分配，要考虑到写作者的写作水平。知识背景水平相近的学生开展互评;知识水平较高的学生可以评阅知识水平较低的学生，反之则不行[11]。

关于评阅质量与评阅人能力的关系，通过对一门生物医学慕课写作互评的研究发现，书面摘要任务完成好的学生，评阅质量高于其他人，更有可能评阅他人[8]。因此，有能力学生的同伴评阅参与度更高。

三、同伴评阅的可靠性和有效性

虽然解决了个性化反馈的问题，但仍存在一些质疑。在认识上，教育者对此未达成一致，学生的看法也不一致。

持否定态度的研究者认为，它相当于盲人给瞎子指路，外行指导外行。在慕课中，学生互评被认为存在一些潜在问题，如反馈质量参差不齐、缺少互惠感和社区存在感，以及质量监控与调控的缺失等。缺乏实证对互评的效果研究，反映出的是主观认识[12]。

对互评持肯定看法的研究者认为，提供反馈的行为对参与者也有益，特别是高能力参与者尤其受益，他们往往更积极思考作业的目的和标准。评阅他人，为他们提供了进一步深度思考的机会[9]。

学生的态度褒贬不一。研究表明，收到评价的学生对此往往也持有怀疑态度。如果可以选择的话，大多数学生会选择专家评阅。学生更愿意利用专家反馈来修改后续的作业。专家提出的改进意见更详细，评价规则更全面，较少使用赞扬[12]。

虽然大多数评阅者和被评阅者对互评表示欢迎，但许多学生也表达了负面的感受，如同伴缺少资质，给出的评价是负面的、批评的，打分不公正。觉得为他人评阅作业很难，也感到不安，消耗时间。评阅质量差、同伴评阅不称职或者评阅同行令他们感到不适。很多慕课学生对互评结果不满，认为有些学生不具备评判资格，有些很随意，不参考教师的评分标准。

有些学生认为，同伴评阅可以提高学习效果、增强学习动力、培养批判性思维和同理心（empathy）。提供反馈使学生能够应用所学知识，进一步增强对知识点的理解。评阅时的评语如果有激励性，写作者和评阅者均感到受益。写作者可以面对不同背景的评阅人，接受到更有价值的建议。评阅人看到别人的见解和观点，也可以感受到作为评阅人的益处。

尽管很多学生喜欢同伴评阅练习，但相当一部分学生持否定态度。学生对此态度也不一致[8]。

在慕课相关研究之前，有些案例中发现同伴评阅有高度的可靠性和有效性。研究发现，同伴评阅与教师评阅效果相当，某些情况下，甚至更有效。虽然有研究表明同伴评分与教师评分强相关，但评阅者间信度差。通过对3门人文慕课研究发现，同伴评价间信度低，对周测和期末考试成绩的预测信度低或中等[13]。

如何设计自我评价和同伴评价成为拥有大规模、多样化学习群体慕课的挑战。写作这类具有创造性的领域无法以多项选择题（MCQ）的形式提供有效评价和有用反馈。MCQ适用于数学、理科等客观公式化的学习。目前，研究者正在开发统计系统，增加同伴评价的信度。 例如：加州大学洛杉矶分校使用的同伴评阅校准软件，可以根据教师对写作任务的评分样本，校准学生评分，但只是终结性评价可以校准，要求多名同伴评阅。以往研究还发现，慕课中序数型评分比基数型评分更稳健。此外，edX自动写作评分系统还不能预测复杂的写作任务[12]。

四、同伴评阅的干预指导

慕课环境下的同伴评价处于相对无监管、无控制、无技能状态，因此信度和效度尤其重要。评价质量的好坏根据两种方式来操作：一是学生评价与专家评价的一致度;二是学生评价与学科认可“好”的反馈特征相符合度[12]。

有效互评的关键要素是需要支持系统来提高学生反馈的有效性和可靠性，使得所有学生发出和收到的反馈是有用的。有效的指导和干预可以杜绝评价质量低、评价不公正和缺乏有效建议等问题的出现，进一步提高评价活动给双方带来的益处，避免该活动成为浪费时间的无效负担。

有效指导首先要给学生一个具有可操作性的评价标准。标准的制定方法为：与评价理论一致，同时还要征求专业领域专家的意见，确保标准的科学合理。例如：科幻作品写作慕课的写作作业标准拟定，是在与该领域专家广泛协商的基础上完成的，其中的专家包括科幻领域文稿代理人、编辑、作家，共7人，还参阅了写作方面的书籍和视频资料[12]。

评价量规的标准项应为5个左右，太多会导致评价不集中或评价负担过重。分项维度不宜过多，否则很难突出重点，且增加工作负担。有些写作性作业主观性判断很难避免，需要通过标准明确的说明来提高判断可信性。当为每一项评价指标增加了具体的等级描述、每个等级得分的具体表现，评分者间信度及评分的准确性便得到了显著提高。此外，“说明”要采用描述性語言，避免使用判断性语言，描述要简洁清晰[14]。

在进行质性评价时，还需要一定的搭架式支持，提供多种手段来帮助学生评价。很多研究者认为，指导学生评阅者关注量规的相关内容，有助于提高评价的信度和效度。Scott Ashton 和 Randall S. Davies提出指导性两步骤：①帮助学生理解每项问题。②针对主要问题，向学生提问相关的更进一步的问题，帮助其将写作理解转化为数字分数。如针对性问题、开头句或提供质性反馈副标题性的问题。让评阅人根据易理解的标准做出整体判断，会增加信度和效度[12]。因此，提供反馈模板结构是有益的。

仅仅提供评价量规给学生是不够的，很难避免集中趋势误差。评分者对初级学者的评分宽容，对高级学习者的作业评分过度保守，这时往往会出现集中趋势误差。此外，对于一般学生评分者来说，评分档拉不开。如专家对写作总体质量评分的高低分之间相差4分，而仅仅根据标准评分的学生，差值却为0.3分[12]。因此，额外培训和支持系统将改善这类评价的问题。

慕课中的同伴评价得到指导，有助于区分不同水平学生的表现。有指导的量规干预能提高学生在某些评价项目上的准确性[12]。干预贯穿评价的全过程，帮助学生理解同伴反馈过程是如何进行的，以及为什么要进行这一过程。在进行反馈前，提供有效反馈的实例建模。Cousera平台要求学生在评判其他学生的作业之前，首先要能够正确评判一个用来训练的样品作业，训练学生先对一个样品作业进行评判。该平台还提供反馈评价指南，并在开始阶段进行监控并提供反馈，帮助评价过程顺畅进行，同时还使用多人评阅，聚合反馈被评阅人的作业质量[15]。要使互评结果具备可接受的信度，至少需要三个学生评分者，仅仅基于两个评分者判分的互评结果相对不可靠。在综合考量多个评分结果的前提下，该模式能够为在线学习者提供可靠的最终得分[16]。此外，有研究者认为，提高被评阅人对反馈的关注度，也会提高反馈的有效性。

还应该培训学生使用反馈的能力。一种可行的办法是细化评价内容，让学生对任务的不同方面（内容、结构、风格等）加强认识，激励其提供更具体的修改意见。另一种办法是提供搭架式指导[9]。在同伴评价反馈过程中，通过详细的反馈模板，提供更有条理的指导。

为确保同伴评阅顺利进行，需明确规定奖惩措施。2013年秋季Coursera平台上开设的《恐怖与反恐怖：理论实践对比》慕课持续5周进行5次小测、2次同伴评价，每人至少评阅他人5人次，并进行自评，否则该作业扣掉20%成绩作为惩罚[9]。

提供搭架式干预指导有利于学生正确评价，提高可信度和效度。但同时也存在一些问题，为大规模学生提供个性化监管，需要消耗教师大量的时间和精力。因此，如何建立评价梯队，缓解教师压力，还需在今后的研究中继续关注。

参考文献：

[1]邱文教，赵光，雷威等.高校学生对慕课认知情况与满意度的实证研究[J].中国大学教学，2017（8）：87-91.

[2]张殿恩，王蕴喆.“大学英语慕课”建设思路与体系结构研究[J].黑龙江高教研究，2016（3）：144-147.

[3]Welsh， D. H. B.， & Dragusin， M. The new generation of massive open online course（MOOC） and entrepreneurship education[J]. Small Business Institute Journal， 2013（9）： 51-65.

[4]陈明，桑小双.高校学生对混合教学模式改革课程认知及满意度的实证研究[J].现代远距离教育，2018（5）：57-64.

[5]黄德群.MOOCs環境下开展高校通识教育网络课程选修的研究[J].中国教育信息化，2016（6）：14-18.

[6]赵宏，张亨国，郑勤华，陈丽.中国MOOCs学习评价调查研究[J].中国电化教育，2017（9）：53-61.

[7]Sluijsmans， D. M. A.， G. Moerkerke， J. J. G. van Merri?nboer， and F. J. R. Dochy. Peer Assessment in Problem BasedLearning[J].Studies in Educational Evaluation，2001， 27 （2）： 153-173.

[8]Meeka， Sarah E.M.， Blakemore， Louise and Marksa， Leah.Is peer review an appropriate form of assessment in a MOOC？ Student participation and performance in formative peer review[J].Assessment & Evaluation in Higher Education， 2017，42（6）： 1000-1013.

[9]Huisman， Bart， Admiraal， Wilfried， van de Ven， Maarten， and Saab， Nadira. Peer assessment in MOOCs： The relationship between peer reviewers ability and authors essay performance[J]. British Journal of Educational Technology，2018，9（1）： 101-110.

[10]佚名. Coursera平台资料[EB/OL].https：//www.coursera.org/specializations/academic-english，2019-7-25.

[11]许云红，王如.MOOC背景下基于推荐机制的提高同伴互评效果的研究[J].现代远距离教育，2014（5）：17-21.

[12]Ashton， S.， Instructional Psychology and Technology， Brigham Young University， Provo， UT， USA Davies， Randall S. Using scaffolded rubrics to improve peer assessment in a MOOC writing course[J]. Distance Education，2015，36（3）：312-334.

[13]Admiraal， W.， B. Huisman， and M. Van de Ven.Self-and Peer Assessment in Massive Open Online Courses[J]. InternationalJournal of Higher Education，2014，3（3）： 119-128.

[14]范逸洲，冯菲，刘玉，汪琼.评价量规设计对慕课同伴互评有效性的影响研究[J].电化教育研究，2018，39（11）：45-51.

[15]Ertmer， P. A.， Richardson， J. C.， Belland， B.， Camin， D.， Connolly， P.， Coulthard， G.， …Mong， C. Using peer feedback to enhance the quality of student online postings：An exploratory study[J]. Journal of Computer-Mediated Communication，2007，12（2）：412-433.

[16]罗恒，左明章，安东尼·鲁宾逊.大规模开放在线学习学生互评效果实证研究[J].开放教育研究，2017，23（1）：75-83.

（编辑：王晓明）