林诗培
同伴互评是英语写作研究领域的热点话题。在互评中,学生在相对轻松的氛围下互学互助、扬长避短,以读者视角开展建设性反思,从而深化认知,提升写作能力。此种评价方式的有效性已获证实(Liu&Hansen 2002;Cho&MacArthur 2011;高瑛、汪溢、Christian D.Schunn 2019)。
近年来,同伴互评逐步走进高中英语写作教学课堂。这种将学生纳入评价主体的写作反馈方式有助于减少学生的焦虑感、提高其学习参与度,并在一定程度上提升文本的修改质量。然而,目前针对高中英语写作同伴互评书面反馈的研究尚少。
在现有研究中,已有学者发现写作质量的提升与互评质量有关(翁克山、李青 2013;陈丹丹2021)。然而,在实践中,很多教师对写作同伴互评存在误解,认为互评是简单地将教师角色从写作反馈的过程中抽离、将打分的权利直接交给学生,对于如何给出高质量的书面反馈缺乏指导。随着研究的逐步深入、细化,教师如何介入、引导以提升学生互评中书面反馈的效果成为新的研究方向。在没有指导、干预的情况下,高中英语写作同伴互评中的书面反馈呈现怎样的特点、如何撰写书面反馈更易于被采纳与运用、何种书面反馈更有利于修改稿文本质量的提升尚待研究与探讨。解答上述问题,有助于教师了解互评推进的实效、问题和改进方向,因此本研究的开展实属必要。
在同伴互评中,除了赋分以外,书面反馈一般按照其关注点和表述方式分为反馈焦点和反馈形式两大类。其中,反馈焦点主要涉及语言形式(如拼写、语法、句法等)和写作内容(如写作要素、论证有效性等)两个方面。反馈焦点方面已有部分研究表明,原作者的修稿方向与所收到的反馈方向一致(Ene&Upton 2014;Patchan,Hawk&Stevens,et al.2012)。反馈形式主要分为认知特征(如指明问题、给出修稿建议等)和情感特征(如肯定褒奖、批驳指摘等)两个方面(Patchan&Schunn 2015;高瑛、张福慧、张绍杰,等 2018;Gao,Schunn&Yu 2018)。现有部分研究认为,采用认知特征类的反馈形式更有利于帮助作者意识到写作中出现的问题,从而引发采纳,提升写作水平(Nelson&Schunn 2009)。
本研究聚焦高中英语写作同伴互评书面反馈,了解在没有指导、干预的情况下高中英语写作互评中反馈所呈现的特点、互评反馈与互评采纳的关系、互评采纳与修改稿文本质量的关系,分析书面反馈中存在的问题,从而明确写作互评中书面反馈改进的具体方向,为提升教学质量提供可行性建议。
研究对象为上海市某区某高中的82名高二学生,为了后续研究不同写作水平学生在互评中的表现,事先参考该学生群体高一阶段期中、期末共4次大型考试的写作部分成绩,将参评者标记为高水平、低水平两类。
原始语料为研究对象所撰写的一篇150词高考标准命题议论文。学生在测试环境下完成写作,在高中英语写作互评平台上传作文,随后在线对同伴的写作成果匿名互评。在整个过程中,学生须完成以下4个环节:按照写作要求独立撰写初稿;针对2名同伴的写作成果给出书面反馈(学生将高考英语写作评分标准作为参考);根据同伴给出的写作反馈进行修改;对同伴给出的写作反馈进行回评。普通文内反馈的形式评注空间较拥挤,容易使反馈者聚焦语言形式方面的细节问题,忽略主旨、内容、逻辑等宏观层面的问题。为了尽量减少无关因素的干扰、避免上述情况发生,本研究中写作互评采用文末评论与旁注相结合的方式。
在收集完原始语料后,剔除未完成独立写作部分的研究对象1名,最终纳入研究的原始语料为81名学生的写作一稿、二稿、互评书面反馈及回评。
在写作反馈标注方案方面,研究借鉴帕琴和舒恩(Patchan&Schunn 2015)的写作同伴反馈标注方案,结合高考英语写作的特点和评分标准,制订了同伴互评书面反馈标注方案(见表1)。本研究方案聚焦有明确改进指向的评语,主要覆盖语言形式、写作内容等两类评语焦点(Patchan&Schunn 2015;高瑛、汪溢、Christian D.Schunn 2019),以及与学生后续反馈采纳、写作修改关联密切的定位问题、指明问题、提出建议、作出修改等认知特征类反馈(Nelson&Schunn 2009)。
表1:高中英语写作同伴互评书面反馈标注方案
(续表)
原始语料的标注与评分方面,为确保分析的准确性,研究采用双切、双标的方式对所收集的学生互评反馈语料以最小意群(独立表达单个含义的最小单位)进行切分,随后围绕反馈焦点与反馈形式对意群进行标注(见下页图1),其中单位意群的反馈焦点唯一,但反馈形式可能为若干种认知特征类评语的组合。针对两次意群区分与标注Kappa一致性检测低于0.75的项目,研究团队通过协商达成一致。
图1:高中英语写作同伴互评书面反馈标注示例
在反馈采纳方面,借助WPS办公软件中的文档比较功能,研究团队对收集到的写作初稿与二稿逐行人工比对,标注同伴所提供的反馈是否被原作者采纳并改进。
在写作评分方面,学生在互评阶段依据上海高考英语作文25分制及高考英语写作的评价标准双盲打分;研究团队采用双评双盲的方式对学生写作的初稿与二稿打分,当双评分差超过3分时,由研究团队内具有高考写作阅卷经验的另两位参与仲裁,并记录最终分数。经测,初稿与二稿的评分一致性均较高(ρ1=0.615,ρ2=0.692,P<0.001)。
在回评打分方面,原作者在阅读同伴给出的写作反馈后,按李克特(Likert)五级量表对反馈的认同程度作出评价。研究团队以此了解原作者对反馈的看法。
写作一稿81篇(词数M=167.82)、写作二稿81份(词数M=183.27)、作者回评分162个。写作反馈共收回162份(赋分且带评语92份,赋分无评语70份),包括认知特征类评语共361条,其中,中文反馈155条(高写作能力者占30.32%,低写作能力者占69.68%),英文反馈206条(高写作能力者占64.08%,低写作能力者占35.92%)。访谈(访谈提纲见附录)显示,使用中文进行反馈主要是评价者受到英语表达水平的制约,认为英文反馈无法准确传达自己的意思,容易导致原作者的误解。
1.写作互评赋分
同伴互评的评分结果与教师评分分差绝对值为1.45,总体差距不大。其中,提供评语且赋分,学生赋分与教师赋分的差距(分差绝对值1.21)小于仅提供赋分的学生(分差绝对值1.76),与教师赋分结果更接近。关于未附评语的原因,在访谈中,部分学生表示没有接受过互评指导,不清楚如何进行评价;部分学生认为自身的反馈水平不高,在撰写反馈意见上存在压力、自信心不足,因此仅给出大致分数。
2.写作反馈评语
写作反馈焦点标注结果显示,同伴互评中68.98%的反馈聚焦语言形式(N=249),其中84.74%关注标点、拼写、语法等初级语言问题(N=211);31.02%的反馈聚焦写作内容(N=112),其中45.54%关注基本论证元素(论点、论据、结论等)等低阶维度(N=51),54.46%关注论证有效性等高阶维度(N=61)。这表明作为评价主体,学生在互评中的反馈主要局限在语言形式问题上,且停留在初级层面。
在研究中,不同写作能力的评价主体在反馈焦点方面有较明显的差异,高写作能力的评价主体更多关注文稿写作内容层面的表现,其中论证充分性、论证清晰度、论证深度、论证一致性、论据等方面的反馈数显著高于低写作能力的评价主体;低写作能力的评价主体更多关注文稿语言形式层面的表现,其中拼写、标点、语法、搭配等的反馈数显著高于高写作能力的评价主体(见下页图2)。非结构化访谈反映,产生上述差异的主要原因是高写作能力的评价主体对于宏观、逻辑等层面的判断更有把握和自信,且认为上述层面对文本质量的影响更大,因此更关注文本写作内容层面的问题;低写作能力的评价主体通过查词典、翻阅笔记、请教同学等方式对语言形式层面的客观疑问进行确证、作出反馈,但对宏观、逻辑层面的问题,一方面,受制于自身写作水平较难发现;另一方面,即使存在质疑,也难以找到可参照的评价标准或答案,因而对内容焦点各维度多持回避态度。
图2:不同写作能力学生互评中的反馈焦点
3.写作反馈形式
反馈形式标注结果显示,评价主体最多选用的反馈方式为“定位 /指出”(占 40.44%,N=146),其次是“定位/修改”(占25.48%,N=92)、“定位/指出/建议”(占 13.85%,N=50)和“指出”(占 8.03%,N=29)。
不同写作能力的评价主体在反馈形式方面有较明显的差异,高写作能力的评价主体更倾向使用“定位/指出/建议”和“定位/指出/修改”两种反馈形式(见下页图3);低写作能力的评价主体更倾向使用“指出”“定位/修改”“定位”和“定位/指出”的反馈形式。非结构化访谈反映,产生上述差异的主要原因是高写作水平的评价主体更能发现写作问题的症结,并有针对性地提出合理的修改建议或路径;低写作能力的评价主体受制于自身写作水平,能初步感知问题,但较难对问题进行精准的归类、较难判断文本产生问题的症结,对如何着手修改文本能取得更好的效果往往不能在有限时间内找到明确的方向。
图3:不同写作能力学生互评中的反馈形式
比照两稿写作,在361条同伴互评书面反馈中,有239条被原作者采纳,占比66.20%(k=0.87)。
分析评语焦点反馈数与采纳数,采纳的语言焦点反馈占总体的75.31%(N=180),其中86.67%是关于标点、拼写、语法等的初级语言问题(N=156);采纳的写作内容反馈占总体的24.69%(N=59),其中54.24%是关于论点、论据、结论等的基本论证元素(N=32),45.76%是关于论证有效性等的高阶维度(N=27)。可知,在没有系统写作互评培训的情况下,作为被评价者,原作者在二稿写作中更易、也更倾向对语言形式上的浅层反馈与论证基本元素的修订,这与法格利、威特(Faigley&Witte 1981),保卢斯(Paulus 1999)的发现相近(见下页图4)。非结构化访谈揭示,大部分原作者认为语言形式的浅层反馈更易通过查词典、讨论等形式得到解决;论证基本元素的缺失或错误由于改动文字一般不多,不至于“牵一发而动全身”,更易修正。以上观点使前述采纳偏好的倾向得到较合理的解释。
图4:语言焦点反馈数与采纳数关系
分析评语形式反馈数与采纳数,“定位/指出/建议”和“定位/指出/修改”两种形式虽然反馈数不多,但采纳率均较高(≥95%),“定位 /指出”和“指出”的采纳率最低(见下页图5)。非结构化访谈揭示,此现象背后的主要原因是“定位”明确了问题的位置,“指出”说明了错误类型与需要改进的原因,“建议”与“修改”为原作者提供了改进的具体路径,以上因素的集合使原作者更易被说服,从而进行改进。
图5:评语形式反馈数与采纳数关系
4.反馈回评
收回的 162份写作反馈回评(M=2.30,SD=0.97)书面反馈同时包含评语和评分的回评得分(M=2.77,SD=1.01)高于仅有评分没有评语的得分(M=1.70,SD=0.46)。书面反馈的回评分数与反馈焦点为写作内容的评语呈现较强的相关性(r=0.582,P<0.01),但与反馈焦点为写作内容的评语无统计意义上的相关性;与“定位/指出/建议”的反馈形式呈现较强的相关性(r=0.558)与“定位/指出/修改”的反馈形式呈现稍弱的相关性(r=0.396),与其余反馈形式没有统计意义上的相关性。
在访谈中,原作者普遍认为只给分数不给评语的反馈对自身写作的提升帮助不大。关于反馈焦点,大部分原作者认为:第一,针对语言形式方面的错误,作者可以通过反复检查、查词典等方式自行纠正一部分,但对于写作内容方面的问题自己往往难以察觉,因此语言形式方面的反馈与写作内容方面的相比,对自身写作的提升较小。第二,很多作者认为评价者即使没有认真、仔细地阅读全文、揣测文意,也可以提出语言形式方面的反馈意见;写作内容方面的问题需要反馈者投入更多时间和精力进行反馈,作者更认可评价者对写作内容方面反馈的付出。第三,原作者认为以写作内容为焦点的反馈比以语言形式为焦点的反馈更有助于帮助自己解决后续其他写作任务中同类型的问题,影响更深远。关于反馈形式,大部分原作者认为,“定位/指出/建议”和“定位/指出/修改”的反馈形式提供的理由更充分、修改路径更具体,更有利于着手修稿,因此原作者满意度更高。
学生二稿写作提分率为11.12%(SD=12.8),提分率与同伴反馈条目数(M=7.93,SD=4.41)、反馈采纳数(M=5.20,SD=4.13)呈较强相关(r反馈总=0.724,r采纳总=0.828)。研究者继而以多元线性回归研究写作反馈焦点与反馈形式的采纳情况能否预测二稿的写作质量。
从写作反馈焦点的采纳情况来看,二稿写作提升率与语言焦点采纳(M=3.91,SD=2.71)呈现较弱的相关性(r=0.368),与内容焦点采纳(M=1.39,SD=2.29)呈现较强的相关性(r=0.717)。线性回归结果显示,语言与内容焦点的评语结构对二稿写作文本质量的提升率有一定程度的预测性(R2=0.593,见表2),能解释提升率59.3%的变异。标准化回归方程:二稿写作提升率=0.283×语言焦点采纳数+0.682×内容焦点。
表2:评语焦点采纳与二稿写作提高率多元线性回归模型汇总
由评语焦点采纳与二稿写作提高率多元线性回归方程可知,真正对二稿写作提分影响较大的是写作内容焦点评语的采纳。虽然反复反馈有利于提升原作者的修改率(Gao,Schunn&Yu 2018),但是采纳的焦点在更大程度上决定了二稿写作修改的成效。本研究中互评采用文末评论与旁注相结合的方式,以避免学生在评价时拘泥于语言方面的细节问题,但由语言焦点反馈数与采纳数关系(见上页图4)可知,实际收回的语料中无论是反馈数还是采纳数,关注语言形式显著多于关注写作内容。虽然聚焦语言形式的反馈更易提出也更易被采纳,但是无法从根本上大幅度提升二稿写作的质量。尽可能多地提出、关注和采纳写作内容焦点的反馈是提升文本质量的必由之路。
从反馈形式的采纳情况来看,在本研究数据所反映的8种反馈形式中,二稿提升率与“定位/指出 /建议”(M=2.13,SD=2.16)、“定位 /指出 /修改”(M=1.06,SD=1.30)两种反馈采纳强相关(r定位/指出/建议采=0.836,r定位/指出/修改采=0.694),与“定位 /修改”(M=3.00,SD=2.91)的反馈采纳呈弱相关(r定位/修改采=0.394),与“定位”“定位 /建议”“定位/指出”“指出”“指出/建议”等不具备统计意义上的相关性(r均小于0.3)。线性回归分析显示,“定位 /指出/建议”“定位 /指出/修改”“定位/修改”和“定位/指出”四种反馈形式的采纳能对二稿写作提升率进行一定程度的预测,解释二稿写作提升率83.5%的变异(R2=0.819,见表3)。上述四个变量中“定位/指出/建议”的标准化回归系数最高(Beta=0.629),表明反馈者多提供“定位/指出/建议”类的反馈更有助于二稿写作质量的提升。标准化回归方程:二稿写作提升率=0.629ד定位/指出/建议”采纳数+0.252ד定位/指出 /修改”+0.236ד定位 /修改”+0.229ד定位/指出”。
表3:评语形式采纳与二稿写作提高率多元线性回归模型汇总
与纳尔逊、舒恩(Nelson&Schunn 2009)和高瑛、汪溢、Christian D.Schunn(2019)的结论较相似,由评语焦点采纳与二稿写作提高率多元线性回归方程可知,真正对二稿写作提分影响较大的是“定位/指出/建议”“定位/指出/修改”两种形式反馈的采纳。由于“定位/指出/建议”反馈数与采纳数、“定位/指出/修改”反馈数与采纳数在0.01水平(双侧)上显著相关(r均>0.9),间接可知互评反馈中增加“定位/指出/建议”“定位/指出/修改”两种形式的反馈更有利于增加对应反馈的采纳数,从而提升二稿写作质量。
本研究在未经系统写作互评指导的学生群体中开展,主要结论如下:第一,能力与自信心的不足会使学生对同伴互评中的评语撰写持回避态度,但评语撰写与否及评语的质量直接影响对文本质量判断的准确程度,以及原作者对反馈的认同度。第二,学生互评反馈维度深度局限,主要集中在语言形式范畴中浅层次的细节问题上,对写作内容等宏观与深层的问题涉及较少。但是,聚焦写作内容的反馈对修改稿文本质量提升影响更大。第三,反馈形式多样,但只有有理有据地给出修改理由和修稿路径的形式采纳率高,对修稿文本质量的提升度大。第四,写作水平高的学生较写作水平低的学生在写作互评的反馈上,聚焦的点更全面,采用的形式更有效。
针对上述结论,本研究对高中英语写作的同伴互评提出以下建议:第一,教师要在互评活动实施前制订互评规则,提供维度全面、通俗易懂的评价清单,对反馈进行必要的前期干预,保证互评的参与面和参与度。第二,鉴于写作内容维度反馈对提高文本质量的重要作用,教师要有意识地引导学生更多地关注写作内容维度的写作反馈,在该维度多作思考并积极尝试。第三,教师须在互评开展前带领学生针对各写作任务解读评价标准、作好互评及修改稿示范等评前培训,提升其发现问题、分析问题、解决问题的水平,以便其在互评过程中能够选择合适的形式条理清晰地给出反馈。第四,教师可以鼓励基础不同的学生形成学习共同体,促进不同水平的学生互动共学。有研究表明,同伴支架的搭建比学生的独立自学和教师的协助更高效,不仅能减轻基础薄弱学生的焦虑感,强化他们对内容的深度理解、语言的正确输出,还有助于其产生不同思想碰撞的火花,为文本的评价与修改提供更多思路。