昂娟 陈媛
摘要:探讨在线教学中学生对同伴评语的采纳行为,关注学生对不同类型评语的理解、认同程度,以及这些因素对采纳行为的影响。选取师范类S高校“现代教育技术”课程某章节的作业任务作为研究对象,通过在线同伴互评活动观察学生的评语行为,研究学生对不同类型评语的理解、认同和采纳程度,并通过相关性分析探讨这些因素之间的关系。研究表明,认知类评语更易被学生理解、认同和采纳;“模糊限制语”“解释说明”和“具体解决”三类评语与学生的采纳行为显著正相关,其中“模糊限制语”与采纳行为的关联最为显著;一轮互评后,全班学生平均成绩显著提高。为促进互评质量和反思性学习,教师应制定详细的互评标准,协助学生理解评语,引导学生提供包含详细修改意见的认知类评语,并在必要时解释评语,以加强学生的认知理解。
关键词:同伴互评;在线同伴互评;同伴评语;采纳行为
中图分类号:G40-057 文献标志码:A 文章编号:1008-4657(2024)03-0001-08
随着在线教育的发展,越来越多的教师依托信息化教学平台开展同伴互评活动。同伴互评是指“学习者对同一学习环境中同伴的学习成果在完成的数量、水平、价值和质量上进行等级评定及价值评判”[ 1 ]。同伴互评不仅有助于培养学生批判性思维能力,还有助于提升学生的自我反思能力[ 2 ],目前已成为师生欢迎的在线教学方式之一。与传统的评分方式不同,同伴互评不仅可以评定分数及等级,还能提供详细的定性评价信息来反映学习成果的优点与不足,促进学生采纳评语并改进作业质量。然而,现有的研究主要关注评语类型对作业分数的影响,作业分数虽然可以直接反映作业质量,却难以捕捉学习者对评语的接受程度以及对作业的改进情况[ 3 ]。
因此,本研究聚焦于大学生在线互评评语研究,探讨哪些类型的评语会被学生理解、认同和采纳,以及评语采纳是否能显著提高学生的成绩。通过研究,希望能够为制定科学的在线互评量表提供有益的策略和路径,同时激励学生提出富有价值的建设性互评评语,推动在线教育的质量提升。
一、理论基础与研究问题
(一)同伴互评
同伴互评是以学生为主体,学生相互交换学习成果并提出修改建议的教学活动,也被称作同伴反馈、同伴反应、同伴评论、同伴评估和同伴编辑等[ 4 ]。
同伴互评最早应用于国外的英语写作教学中,有学者指出“同伴互评是作者和读者共同协商构建写作文本时所呈现的一种社会交互范式,主要表现在写作过程中同伴间的信息交流与协商,它是写作过程的核心,其目的是帮助学生增强读者意识、降低写作焦虑、弥补写作不足及提高写作质量”[ 5 ]。国内关于同伴互评的研究大多数也是针对大学英语写作教学,多项研究发现:同伴互评可以增进学生英语写作的兴趣和信心,对学生英语写作能力有积极的促进作用[ 6-7 ]。
随着在线课程(MOOC)等在线学习方式的兴起, 应对大规模学习者的作业批阅成为教师最为繁重的工作之一,同伴互评成为在线学习环境中的必要措施[ 8 ]。Coursera的创始人达芙妮·科勒认为:同伴互评可以利用互联网的便捷性,解决教师批改大规模作业的压力[ 9 ]。在线课程的同伴互评一般由教师制定评价标准,通过在线教育平台的动态分配功能,将学习者划分为若干互评小组,相互之间给予评分及评语[ 10 ]。同伴互评不仅为学习者提供向他人展示自己学习成果的机会,还可以通过评价他人的作业,拓宽思维并反思自己的作业,促进知识与能力的提升[ 11 ]。
同伴互评,尤其是在线同伴互评,在及时性、便利性、减轻教师作业批改量和学习者自主性方面比教师单一评价具有更多优势。然而,对于同伴互评的科学性和有效性,仍存在质疑和争议。有学者指出,同伴互评深度不够,流于形式,反馈多为“不错”“好”等赞扬式评语,或直接评分而未见反馈评语,故对同伴互评的准确性和权威性表示质疑[ 12 ]。
综上可知,同伴互评已引起学者广泛关注,但由于研究对象、评价标准和研究方法的差异,研究结论也不尽一致。尽管总体趋势表明,学界普遍认可同伴互评对学习产生积极影响,但互评过程中生成的大量评语文本仍需进一步深入研究,以明确哪些类型的评语对于促进学习者的学习效果更为有效。
(二)同伴评语分类
早期的研究将评语分为情感类和认知类两大类型,情感类评语包含“赞扬”“缓和赞扬”等,认知类评语包括“指出问题”“提出建议”“给出解决办法”和“定位问题”等[ 13 ]。
情感类评语通常包含赞扬和批评的成分。鉴于纯粹批评型评语缺乏建设性,甚至可能带有侮辱性,无法提供有针对性的指导[ 13 ],因此,在情感类评语的选择范畴中,通常更倾向于采用纯粹赞扬和缓和赞扬型评语。纯粹赞扬型评语虽无须引发采纳修改行为,但可以激发学生积极的情绪体验和学习动力,缓和赞扬型评语更有可能促进学生采纳建议。
结合多年的同伴互评教学实践经验,观察到学生在互评评语中常使用带有情感特征的模糊限制语,然而该类型的评语没有引起学者的广泛关注。模糊限制语通常在语言交际和学术写作中得以广泛应用,用以表达谦虚、礼貌等情感。在线互评中,同伴评语被视为一种书面表达,模糊限制语则构成这些评语的重要组成部分。模糊限制语的使用原因多种多样:一方面,评价者可能因个人认知能力与表达水平有限而难以深入理解所评价的内容,从而在互评中使用模糊限制语;另一方面,为了善意地提出批评意见,或者为了维持良好的人际关系,评价者也可能在评价时使用模糊限制语。借鉴已有研究成果,通过对多年来教学实践中生成的评语进行文本分析,进一步完善和扩展了同伴评语的分类体系,将模糊限制语纳入评语分析范畴,构建了如表1所示的评语类型分析框架。
认知类评语要求评价者具备较高的认知水平,通过将同伴作业所体现的知识技能与自身的认知水平进行比较分析,构建认知体系,进行深度批判性反思,最终提出评价者的个人观点或建议[ 14 ]。定位问题型评语有助于学生找到问题的根源,但仅指出问题未提供详细指导,对于促使学生修改作业方面的效果有限[ 13 ];解释说明型评语提供的详细信息可增进学生理解,与学生修改作业的意愿呈正相关关系[ 15 ];一般建议型评语通常较为抽象,较难理解,不太容易被采纳,学生需要具备高度的认知能力才能将其转化为切实的问题解决方案;具体解决型评语不仅帮助学生更好地理解问题,还可以引导学生以具体方式解决问题。有研究发现具体解决型评语与学生采纳行为之间存在显著的正相关关系,特别是以具体解决型评语对采纳行为的预测效力最强[ 16 ]。
(三)对同伴评语的理解、认同和采纳
为了有效促进同伴互评对学生高阶思维的发展,学生需要对同伴评语具有一定的认知能力。理解是信息加工和任务执行的先决条件,认同则可以激发情感上的共鸣。这两种认知因素都与评语采纳密切相关,但现有研究结果存在争议。
一些研究者认为:理解与评语采纳行为之间没有明显相关性,而认同是引发评语采纳行为的重要因素[ 17 ]。另一些研究者持相反观点,认为理解是促使评语采纳的重要影响因素,认同对采纳行为影响较小[ 18 ]。
综上可知,对于同伴评语的类型以及认知和采纳之间的关系,尚未形成统一结论。在组织同伴互评时,教师需要深入了解哪些类型的评语更易被学生理解、认同和采纳,同时还需要研究学生对评语的理解和认同是否与采纳行为间存在显著相关性。 基于以上分析,提出如下问题:
1.哪些类型的评语易被学生理解、认同和采纳?
2.学生对不同类型评语的理解程度、认同程度是否显著影响采纳行为?
3.同伴互评反馈前后学生的成绩是否发生显著变化?
二、研究设计
(一)研究对象
以某师范类S高校大二某专业两个自然班级的74名学生为研究对象,以公共必修课“现代教育技术”作为实验课程,组织学生参与互评活动。该校所建信息化教学平台,为教师开展混合式教学提供了技术支撑。尤其是新冠疫情防控三年以来,现实之需推动信息化教学全面开展,该校师生依托超星泛雅等教学平台开展了线上教与学的探索实践。通过与该校师生非正式访谈得知,大部分教师开展同伴互评时对撰写评语无硬性要求,几乎都是定量的互评打分。
为进一步提高研究的内部有效性和结果的可信度,在正式开展研究前,对被试学生进行线上学习能力测试,以评估其在线学习经验和技能水平,包括他们使用学习平台进行课前预习、课堂互动、完成课后作业和在线测试等方面的熟练程度,以及同伴互评方面的经验。这些变量的精心控制有助于降低它们对研究结果的潜在影响,从而增强结果的可信度。
作为课程学习的一部分,学生参与了一轮在线同伴互评活动,并完成了相关问卷调查。共回收74份调查问卷,删除一些作答逻辑矛盾或完全为同一选项的无效问卷后,共获得67份有效问卷,有效回收率为90.5%。
(二)研究工具
通过问卷星编制在线问卷,共涉及理解、认同和采纳三类变量,借鉴Nelson等编制的同伴反馈模型,开发同伴互评量表,包括情感类和认知类两个维度。情感类评语包括纯粹赞扬、缓和赞扬和模糊限制语三个子类别,分别编码为A1-A3;认知类评语涵盖定位问题、解释说明、一般建议以及具体解决四个子类别,分别编码为B1-B4。
“理解”与“认同”皆使用五级李克特量表,理解程度分为“完全不理解”“不太理解”“一般”“比较理解”和“完全理解”,认同程度分为“完全不同意”“不太同意”“不确定”“比较同意”和“完全同意”,分别赋值为1-5。采纳行为分为“不修改”“部分修改”和“完全修改”,赋值为1-3。通过SPSS 22.0统计软件对量表的信度进行检验,得出理解度、认同度和采纳行为的Cronbach α值分别为0.815、0.847和0.837,说明量表具有较高的可靠性。
(三)研究过程
以“课件制作”作业为例,教师布置了互评任务,一轮完整的互评研究包含以下6个流程:
1.制定并解读互评标准。教师制定明确的互评标准,并在发布课后作业时将它们传达给学生,确保学生了解评价的依据和期望的标准。
2.分配互评任务。学生上传作业至学习平台,并完成系统随机分配的五名同伴作业互评任务。
3.指导互评和提供示范。教师提供指导,展示如何进行有效的互评和反馈。
4.干预和纠正。在互评过程,教师及时干预并纠正不准确的评价或低质量的反馈。
5.督促学生修改作业。教师督促学生根据互评反馈修改和改进他们的作业。
6.监督修改。教师监督分数的修改及作业的质量,确保学生在互评反馈的基础上进行了合理的评分调整。
7.整理评语和调查问卷。教师整理和归纳评语,创建调查问卷,以了解学生对互评活动的感受和反馈。
为了营造相互尊重、相互信任、客观公平的互评氛围,引导学生遵守互评纪律,教师贯穿于整个互评过程,给予学生有效的监督和调控,确保互评的有效性。
(四)数据处理
采用SPSS 22.0进行统计分析,分析方法包括:描述性分析、相关性分析和配对样本T检验。
三、研究结果
(一)学生对评语的理解、认同和采纳的描述性分析
1.学生对情感类评语的理解、认同和采纳的描述性分析
由表2数据可知,学生对情感类评语的理解和认同程度上,“纯粹赞扬”型评语均值皆最高,都大于4,表示学生最容易理解和认同这种类型的评语。相比之下,“缓和赞扬”和“模糊限制语”型评语的均值相对较低,差异不大,都小于4。
在采纳行为方面,情感类评语按采纳均值从低到高排序为:“纯粹赞扬”(1.00)、“缓和赞扬”(1.88)、“模糊限制语”(1.96)。
根据上述数据,尽管学生更容易理解和认同“纯粹赞扬”型评语,实际上,这种类型的评语最不容易被采纳,均值为1表示学生普遍选择“不修改”选项,这一发现与已经研究结果一致[ 12 ]。这表明“纯粹赞扬”型评语通常缺乏具体的修改建议,它只强调表扬而不提供实际的问题解决方案。因此,尽管学生对其评价较高,但它无法引导学生实际修改作业,这是导致其不被采纳的主要原因。
“缓和赞扬”型评语虽然包含了表扬成分,但通常未提供足够具体的修改建议或问题解决方案,同样难以引发学生对问题的重视,因此也不太可能激发积极的采纳行为,这与先前的研究结果相一致[ 18 ]。
“模糊限制语”被采纳的均值最高,这可能因为其能维护积极的人际关系,同时提供了一些温和的指导,这种平衡有助于学生接受评价并采纳其中的建议,因此“模糊限制语”具有较高的采纳均值。
2.学生对认知类评语的理解、认同和采纳的描述性分析
由表2数据可知,学生对认知类评语的理解和认同程度存在明显差异。“具体解决”型评语均值皆最高,分别为4.16和4.22,表明该类型的评语提供了直接、实用和可行的建议,有助于帮助学生解决作业中的问题,因而提高了他们对其的理解和认同水平。
“定位问题”型评语均值皆最低,小于4,意味着学生对这一类型的评语理解和认同程度较低。这可能是因为“定位问题”型评语通常强调问题本身,而未提供具体的解决方案或建议,不能满足学生解决问题的需求;此外,“定位问题”型评语可能被学生视为批评,缺乏鼓励性反馈,因此对其理解和认同程度较低。
“解释说明”和“一般建议”型评语均值相差不大,都大于4,说明这两类评语提供了较多的解释和启发,使评语更具信息价值和教育性质,从而获得了较高的认同水平。
在采纳行为方面,认知类评语按采纳均值从低到高排序为:“定位问题”(1.99)、“一般建议”(2.10)、“解释说明”(2.13)、“具体解决”(2.24)。这说明评语所反馈的问题越明确,提供的解决问题方案越具体,越有助于促使学生采纳建议。
总体而言,学生更容易采纳认知类评语,因为它们提供了更具体的建议和解决问题的方法。情感类评语虽然容易被理解和认同,但通常缺乏具体的修改建议,因此采纳率较低。此外,各项指标的标准差均小于1,说明学生对评语的理解和认同相对一致,这为研究提供了有力的支持。
(二)学生对评语理解、认同和采纳的相关性
由前文分析可知,“纯粹赞扬”型评语不会引起学生的采纳行为,故下文的相关性分析中不将其纳入测量指标。表3和表4分别呈现了学生对评语理解和采纳、认同和采纳的pearson相关性分析数据。
1.学生对情感类评语的理解、认同和采纳的相关性分析
情感类评语中,学生对“缓和赞扬”型评语的理解程度、认同程度与采纳行为皆无显著相关(p>0.05)。结合前文的分析,这表明情感类评语可能需要更多的具体指导和建议,以更有效地影响学生的采纳行为。
另一方面,学生对“模糊限制语”型评语的理解程度、认同程度与采纳行为皆显著正相关(p < 0.05),但相关性较弱。这可能是因为“模糊限制语”是一种委婉的批评,学生需要具备较高的认知能力才能理解其中的含义,将评价与建议转化为实际的解决方案。尽管相关性较弱,但这一结果表明“模糊限制语”具有一定的潜力,特别是当学生能够充分理解和认同这种评语类型时,可能更愿意采纳其中的建议。
2.学生对认知类评语的理解、认同和采纳的相关性分析
认知类评语中,学生对“定位问题”和“一般建议”型评语的理解程度、同意程度与采纳行为皆无显著相关(p > 0.05)。这表明两种类型的评语相对笼统和模糊,缺乏对具体问题的深入分析,因此学生难以悟得问题解决的方案。因此,学生对这两种评语的理解和认同程度不会显著影响他们的采纳行为。
学生对“解释说明”和“具体解决”型评语的理解程度、认同程度与采纳行为皆显著正相关(p < 0.05),但相关性较弱。这是因为这两种评语类型通常包含更多信息和指导,使学生更容易理解评语的内容,相关性较弱反映了学生在采纳评语时可能受到个体差异、评语质量、外部因素等多重影响。
综上所述,学生对“模糊限制语”“解释说明”和“具体解决”型评语的理解、认同程度与采纳行为显著正相关。值得注意的是,在所有类型的评语中,学生对“模糊限制语”的理解、同意程度与采纳行为的相关系数皆最高,分别为0.495和0.453。这表明学生更倾向于采纳那些提供了模糊但委婉的批评、提供了解释和具体解决方案的评语。
(三)同伴反馈前后学生的成绩差异
通过分析评语类型及学生采纳行为可知,当获得较多情感类评语或互评得分较高时,不太可能引发学生的修改行为;当获得的评语过于笼统或含糊时,其促进学生产生修改行为的可能性也较弱。
为进一步验证同伴反馈的评语是否有效促进采纳行为,是否显著提升作业成绩,通过配对样本T检验法进行分析。由表5可知,同伴反馈前,成绩均值为81.22;同伴反馈后,部分学生采纳了反馈意见,修改完善了作业,全班平均成绩为85.31,后测平均成绩比前测平均成绩提高了4.09分。需要说明的是,整个互评过程都是在教师的指导和监督下进行,教师对学生互评前后作业质量的评价结果与学生的互评结果保持高度一致。
表6的配对样本T检验结果显示,学生成绩在同伴反馈前后存在显著差异(t = -13.816,p = Sig =0.000 < 0.05),后测成绩明显高于前测成绩。由此可见,通过同伴反馈评语,学生更容易采纳建议并提高作业质量,从而使他们的成绩显著提高。这与已有研究结果相符[ 19 ]。
四、研究结论与建议
(一)研究结论
同伴互评是混合式教学中的重要环节,从情感维度和认知维度对评语进行分类,分析了学生对不同类型评语的理解、认同和采纳情况,同时验证了评语类型与学生行为之间的关联,还对同伴互评前后学生成绩变化进行了研究。
实验结果显示,情感类评语中,学生对“纯粹赞扬”型评语理解和认同程度最高,但采纳程度最低;在认知类评语中,学生对“具体解决”型评语理解和认同程度最高,采纳程度也最高。总体来看,相较于情感类评语,认知类评语对学生来说更有价值,更易于理解、认同和采纳。
相关性分析结果显示,“模糊限制语”“解释说明”和“具体解决”三种类型的评语与学生的采纳行为呈显著正相关,其中“模糊限制语”与采纳行为之间的相关性最为显著,而其他类型的评语与学生的采纳行为无显著相关。同伴互评活动的实施有助于学生反思和改进作业,采纳同伴的建议后,学生的平均成绩显著提高。
(二)研究建议
研究结果有助于深入了解同伴评语类型及对采纳行为的影响,为教师设计在线教学活动、优化同伴评价活动、促进学生反思性学习,具有积极的启示价值。
1.共创友好的同伴互评氛围
为了营造友好的互评氛围,促进同伴互评活动顺利开展,教师需充分发挥主导作用。教师引导学生不仅要有责任心,还要以客观和公正的态度进行互评,确保评价的公正性和可信度,这有助于提供有价值的反馈。此外,教师还应鼓励学生通过互评相互学习和借鉴,实现共同进步。这种协作学习和知识分享有助于提高学习效果,创造富有成效的学习环境。
2.构建有效同伴互评框架
教师在同伴互评中扮演着重要的角色,须搭好脚手架,为学生提供互评的内容、标准和方法的指导,鼓励学生理解详细反馈的重要性,引导学生积极提供具体修改意见、解释说明的认知类评语。教师还需对互评过程监控指导,适时给出反馈示范,及时干预纠正不规范的互评行为,提高互评质量。
3.优化模糊限制语的理解与应对
模糊限制语虽然能直接影响学生的采纳行为,但由于其缺乏明确性,被评价者需要具备较高的认知能力才能理解评价者的意图,否则会对评价者的能力产生疑虑。因此,教师在课堂上需要对这类评语进行解释和引导。例如,帮助评价者解释模糊型评语,使其更多地被看作是礼貌策略,而不是表达不确定性。同时,教师应鼓励学生提供更具体的认知类评价信息,以减轻模糊型评语可能带来的负面影响。
参考文献:
[1]Topping K.Peer. Assessment between students in colleges and universities[J].Review of Educational Research,1998(3):249-276.
[2]许涛.慕课同伴互评模型设计研究[J].开放教育研究,2015(2):70-77.
[3]马志强,王靖,许晓群,等.网络同伴互评中反馈评语的类型与效果分析[J].电化教育研究,2016(1):66-71.
[4]莫俊华.同伴互评:提高大学生写作自主性[J].解放军外国语学院学报,2007(3):35-39.
[5]Stanley J. Coaching. Students writers to be effective peer evaluators[J]. Journal of Second Language Writing,1992(3):217-233.
[6]陈敏.同伴评价提高高中学生英语写作能力的行动研究[D].长沙:湖南大学硕士学位论文,2014.
[7]李颖.高一英语写作教学中同伴互评的行动研究[D].广州:延边大学硕士学位论文,2019.
[8]梁云真.基于量规的同伴互评对在线学习认知、情感投入度及学习成效的影响研究[J].电化教育研究,2018(9):66-74.
[9]周晓华.美国高校开放在线课程的发展过程研究[D].广州:华南理工大学硕士学位论文,2013.
[10]马志强.在线学习评价研究与发展[M].北京:中国社会科学出版社,2017:126.
[11]张伟,王海荣.MOOC课程学习体验及本土化启示[J].现代远距离教育,2014(4):3-9.
[12]孙力,钟斯陶.MOOC评价系统中同伴互评概率模型研究[J].开放教育研究,2014(5):83-90.
[13]Nelson,M. M., & Schunn,C. D.The nature of feedback:How different types of peer feedback affect writing performance[J].Instructional Science,2009(4):375-401.
[14]李红霞,赵呈领,疏凤芳,等 .促进学习的评价:在线开放课程中同伴互评投入度研究[J].电化教育研究,2021(4):37-44.
[15]Huisman,B.,Saab,N.,Van Driel,J.&Van den Broek,P.Peer. Feedback on academic writing: Undergraduate studentspeer feedback role,peer feedback perceptions and essay performance[J].Assessment & Evaluation in Higher Education,2018(6):955-968.
[16]高瑛,汪溢,Christian D.Schunn.英语写作同伴反馈评语采纳及其影响因素研究[J].外语电化教学,2019(2):17-24.
[17]Van der Pol,J.,Van den Berg,B.A.M.,etc.The nature,reception,and use of online peer feedback in higher education[J].Computers & Education,2008(4):1804-1817.
[18]Patchan, M. M., Schunn, C. D., & Correnti, R. J.The nature of feedback: How peer feedback features affect students implementation rate and quality of revisions[J]. Journal of Educational Psychology,2016(8):1098-1120.
[19]陈虹.线上同伴反馈对高职英专学生写作自我效能感和写作修改的影响[J].乐山师范学院学报,2020(10):103-107.