CSE 在写作自我评价中的有效性及影响因素研究

刘 琼

（广东财经大学华商学院外国语学院 广东·广州 510010）

写作能体现学习者的综合语言能力， 对任何一种语言的学习者来说都是一种挑战。 如何提高学习者的写作水平一直是高教教师亟待解决的难题。2017 年我国颁布实施了《高等学校英语专业本科教学质量国家标准》，国标明确提出了形成性评价“以评促学”的作用。 自评作为形成性评价过程，属于“促学评价”的一种，其促学作用已得到国内外学者的普遍认可［1］。 自评能帮助学习者制定合理的学习目标，监控学习进度，反思学习结果，促进学习者学习［2］；同时也能通过作用于学习者的情感因素，例如提高学习者的动机，增强自信，提高自我效能感等促进学习。

自评对提高学习者写作水平有作用。 自评可以作为“脚手架”，帮助学习者认识已有知识与教师评估标准之间的差距，也可以帮助学习者在写作课上制定自己的成功标准。 通过自评，学生对写作任务理解更深，表现得更好，从而体验到成功的表现，提高自我效能感。 自我效能感越高，学习者可能付出更多的努力和坚持，从而获得更好的写作结果。 尽管大量研究表明，自评有促学作用，学习者可以准确地评估自己的能力， 但评估中确实会出现偏差。Bulter＆Lee［2］指出影响学生自评准确性的因素有被评价的内容或技能、学生的个人特点、评价项目的方式及构建和表达问题等。 例如，Krauser 发现学生一般都能较准确地评估自己的口语和写作能力［3］，而Ross 则发现总体上学生对接收性技能（听力和阅读）的自评更准确［4］；语言水平较高的学习者自评更准确，写作水平中等的学习者倾向于低估自己的能力［5］；问卷中不同的提问方式会影响自评结果，自评问卷设计的越详细，自评结果越准确［6］；“能做”描述语利于学习者准确自评［7］。 另外，Krausert 指出只要提供适当的、具体的评估工具，学习者应该能够准确地评估自己的能力［3］。

因此本研究尝试以中国英语能力等级量表（CSE）中的“能做”描述语为基础，编制自评问卷，检验学生能否用量表自评写作能力。一方面为量表的即时效度提供证据， 另一方面检验量表的使用效度，为量表在大学英语教学和测评，尤其是形成性评价中使用提供依据。 本研究的研究问题是：（1）EFL（English as a Foreign Language）教学环境下，学生能否运用CSE 对自己的写作能力做出准确自评？ （2）学生经历语言任务的频率是否影响自评准确度？(3)不同写作水平的学生自评准确性是否存在差异？

一、研究设计

（一）被试

本研究的被试为英语专业一年级下学期的四个自然班共127 名学生，已有过半学期的写作课经历，掌握了基本的写作技巧。 共发放问卷127 份，回收问卷120 份，有效问卷回收率为94%。 为了便于比较不同写作水平组(高分组、中分组、低分组)之间的差异及不同经历语言任务频率组（高频组、中频组、低频组）之间的差异，笔者根据学生的写作成绩，将成绩前25%和后25%作为分界，分为高分、中分、 低分三个水平组； 将经历语言任务频率的前25%和后25%作为分界，分为高频、中频、低频三个水平组。使用One-Way ANOVA 方差分析得出两组P=0.000<0.05,并且经Post-Hoc 分析发现，不同水平组两两成绩存在显著差异，说明高中低三组写作水平之间存在显著差异；不同频率组两两得分也存在显著差异，分组有效。

（二）研究工具

1.写作水平测试

被试要求在课堂上30 分钟内完成命题作文“how to live a colorful life in university?”，写作要求仿照大学英语四级考试要求编写。 之后由两位有丰富四级作文改卷经验的教师按四级作文评分标准评分，分差超过3 分的再次评分，最后取两人平均分为作文最后得分。

2.写作自我评估问卷

该问卷包括“学生基本情况”及“写作能力自评表”两部分。 学生基本情况包括编号及是否经历过自评训练。 量表中五级和六级的水平分别相当于目前的大学英语四级和六级［8］。 因此本研究中写作能力自评表遴选了CSE 写作量表中的相关5 级描述语28 条及组构知识运用能力表中的相关5 级描述语14 条，共42 条。 本研究采用李克特5 分值量表，分值从“1=所描述水平很高，不能做到”到“5=所描述水平很低，在任何情况下都能做到”，要求被试根据实际情况做出选择。 另外，每条描述语自评后面附上了学生对此描述语任务的经历频度调查，考查经历语言任务的频度是否影响自评准确度。 频度调查也采用李克特量表，从“1=从来没有或几乎没有经历过”到“5=总是或几乎总是经历”。 经测试，该问卷的自评部分内部一致性度为0.949， 频度调查部分内部一致性度为0.945。

3.半结构化访谈

对学生进行访谈。从四个班级中随机抽取共16名学生进行访谈，访谈内容与问卷调查内容基本一致，目的是为了得出相互佐证的回答。

（三）数据收集与分析

问卷调查于英语课堂上学生写完作文后完成，时间为10-20 分钟。 问卷调查前，笔者讲解了问卷的目的和要求。 其次，向学生解释部分描述语，需要时则举例子。 学生只有准确清晰地理解量表描述语的内容，自评才会可信有效［9］。

数据分析步骤如下：首先，对问卷进行信度分析。 采用SPSS23 计算问卷Cronbach 系数。 其次，对问卷自评分数和学生作文成绩进行Pearson 相关分析，检测自评和学生写作水平是否显著相关，回答第一个问题， 即学生能否用CSE 进行准确自评，检测CSE 用于自评的有效性。 再次，对高中低水平组同学的自评作文分数据、作文成绩及自评频度数据进行双因素方差分析， 检测其交叉效应及主效应，探讨写作水平及经历语言任务频度对自评的影响。

二、结果及讨论

（一）研究问题一

第一个问题考查学生是否能用CSE 准确自评写作能力。 通过在SPSS23 中对学生自评分数和作文成绩进行Pearson 相关分析， 发现两者之间具有显著正相关关系（r=0.539，p=0.000），说明总体而言，学生能用CSE 有效的自评写作能力。此结果与闵尚超、何莲珍等及辜向东、林禹宏等研究结果一致，即CSE 能用于中国教育环境下英语学习者英语水平的自我评价［7］［10］。 但比起他们研究中CSE 自评结果与听力水平的相关性0.75，及与阅读水平的相关性0.704，本研究的相关系数偏弱。 说明学生用CSE 对写作能力自评的准确性不及听力和阅读，这验证了Ross 的研究结果，即总体上学生对接收性技能自评更准确，也表明被评价的内容是影响自评准确性的因素之一［4］。 但相较于以往研究中自评和写作能力之间的相关性0.432［11］，本研究的相关性稍强。 一部分原因可能是前研究中的被试为大一非英语专业学生，本研究中为英语专业学生，英语水平较高，自评准确性较高；另一方面可能是量表中的“能做”描述语详细的描述了学习者在每一具体技能所应具备的能力，有利于学生准确自评。 为了进一步了解学生在各维度自评的准确性及影响因素，分别对写作成绩和各维度自评得分进行相关性分析，并对各维度频度自评平均值及标准差进行分析，结果如表1 和表2 所示：

表1 写作成绩与各维度自评分数相关性分析

表2 各维度频度自评平均值及标准差

如表1 所示，各维度与写作成绩之间具有显著正相关关系，相关系数在0.201-0.491 之间。 其中书面描述、书面叙述、书面说明、策略及组构知识相关系数较高，说明学生在这五个部分的自评准确性更高；相关性最低的维度是书面指示，说明学生在这部分自评准确性不如其他。 通过对各维度自评频度数据进行平均值和标准差分析（见表2），发现学生经历语言任务频度较高的部分是组构知识、 策略、书面说明及书面描述，最低频度的是书面指示。 说明学生经历语言任务的经验会影响自评准确性，这印证了Ross,Suzuki 等的结论，经验因素影响自评准确性，被试经历过描述语中的语言任务，自评准确性更高［4］［12］。 原因可能是在现实生活中多次经历描述语中的语言任务，因此对相应描述语自评信心更足，判断更准确。

（二）研究问题二

第二个问题考查学生经历语言任务的频率是否影响自评准确度。

首先进行了双因素方差分析，考查学生经历语言任务的频度和不同的写作水平组是否有交叉效应。结果显示方差齐性检验结果为0.327， 写作水平和经历任务的频度没有交互效应（F=0.311，p=0.870），说明了经历任务频率不同的学生在自评时不会受到写作水平的影响。 写作水平有主效应（F=7.996，p=0.001），经历任务的频度也有主效应（F=17.576,p=0.000）。 如果交互效应不显著，则重点考察主效应。

首先考查经历任务频度对自评影响的主效应。Post hoc 分析显示高、中、低频组两两存在显著差异（F=42.431，p<0.05），如下表所示，高频组与中频组（9.5792）、中频组与低频组（20.6619）自评平均值差都为正值。 可见经历任务高频的学生自评能力高于中频组学生，中频组学生高于低频组学生，表明经历任务的频度会影响学生的自评。

表3 不同频率组学生自评写作成绩平均值差异

（三）研究问题三

本研究的第三个问题考查不同写作水平的学生自评准确性是否存在差异。

首先查看不同水平组对自评影响的主效应。Post hoc 分析显示高、中、低分组两两存在显著差异（F=23.236，p=0.000），如下图所示，高分组与中分组（14.4663）、中分组与低分组（16.1167）在p 为0.05水平上差异显著， 表明高分组自评能力高于中分组，中分组高于低分组。 这一结果与刘建达的研究结果一致，即学生对自己英语写作水平能力的评估受到写作水平的影响［6］。

表4 不同水平组学生自评写作成绩平均值

为了进一步找出不同写作水平学生自我评估准确性方面的差异，对高、中、低分组学生的写作成绩和自评总分进行相关分析，结果如下表所示。 只有高水平组学生自评与成绩之间在0.01 水平上呈显著正相关，中、低水平组自评与成绩呈负相关，说明高分组的学生能准确评估自己的写作水平，而中、低水平组学生成绩越高，自评越低。 这一结论与辜向东的研究结果一致，高水平组学生能够用CSE较准确进行自我评估，低水平学生基本不能准确评估自己的写作能力，他们往往过高评估自己的写作能力［7］。但与以往研究不同之处在于本研究中，中水平组学生的自评和成绩之间呈负相关［6］，可能是因为本研究中的被试是独立院校学生，整体英语水平要比以往研究中的被试低，因此只有高分组的自评与成绩呈正相关，由此可推测学生的水平达到一定的阈值，才能准确的自评。

为了得知不同水平组学生在哪些方面自评更具有准确性，对不同水平组学生自评与写作成绩进行了相关性检验，结果见表6。

表6 各写作水平组不同部分自评与成绩相关性（括号内为p 值）

如上图所示，高分组在书面叙述，组构知识，书面描述，书面互动及策略部分自评与成绩显著正相关。 其中书面叙述部分相关性最高，说明高分组学生在书面叙述部分自评最准确，书面指示部分呈负相关，说明学生成绩越高，自评越低。 查看此部分学生自评频度可知，学生经历书面指示描述语任务最少，结合访谈得知，几乎所有的学生都没有写过社团活动方案；而在大一上学期，教学大纲主要侧重记叙和描写两种文体，学生对这方面的技能掌握较好，因此自评更准确些。 由此可知，学生经历的语言任务影响自评准确性。 同时，书面指示部分只有一条描述语，这也可能是此部分相关性不显著的原因之一，这也印证了strong-krause 的研究结论，即问卷题项越具体越利于学生准确自评［13］。

中分组学生各部分自评均与成绩没有显著相关意义， 但在组构知识部分相关性较其他部分稍强，指示部分相关性最弱，此结果与高分组趋同，说明学生在大一低年级阶段对词汇语法基础比较重视。 而低分组正好相反，书面指示部分相关性最强，组构知识部分相关性最弱，进一步说明了低分组学生没有能力对自己的写作水平做出准确判断。 因此教师在使用自我评价作为评估手段时要谨慎。

三、结论及启示

本文探讨了CSE 在写作自评中的有效性、 学生的写作水平及经历语言任务的频率对自评准确性的影响，得出如下结论：整体上大学生能使用CSE 对自己的英语写作能力做出准确评价， 证明了CSE 在形成性评价中的使用效度。CSE 发布后一段比较短时间内收集的有效度证据，对CSE 的意义重大，是CSE 能否进一步全面实施的关键因素。学生自评的准确性受到写作水平及经历语言任务频率的影响，高水平学生能准确自评，且在叙述，说明等日常接触多的文本部分自评准确性更高，因此教师要合理运用自评作为评价工具。 本研究对CSE 在大学英语教学中的应用及形成性评价具有一定的启发意义。

（一）大学生用CSE 自评具有可行性

2020 年10 月我国颁布的《深化新时代教育评价改革总体方案》 主要原则中提出强化过程评价，提高教育评价的科学性、专业性、客观性。 自我评价作为过程性评价中的一种，其评价标准一般由教师自主设计和实施，不同地区、学校乃至班级在测评的标准、理念和方法等层面大多各有差异，很大程度上削弱了评价的科学性及其对英语写作教学的正面反拨作用。 CSE 的颁布实施，作为中国第一个覆盖全学段的英语能力测评标准，无疑为自我评价提供了可参照的统一标准。 整体上大学生能用写作量表的描述语进行自评，说明他们能用CSE 诊断自己的写作水平， 从而根据自身状况设定写作目标，采取相应写作策略，寻找更有效的写作方法，真正实现以学习者为中心的自主学习模式。

（二）教师要注重评价手段多元化

学生自评准确性受到写作水平及经历语言任务频率的影响， 因此教师在把自评作为一种测试手段及促学手段时，应考虑到学生的实际语言水平［14］，注意评价手段多元化。 写作水平较高的学生用自评，中等或较低水平学生可采用同伴评价及教师评价等方式，弥补自评的不足。教师在评价中选用CSE 描述语时，题项设计应具体，筛选与学生能力相匹配的，并有过此描述语任务经历的描述语，提高自评准确性。