英文写作测试中选题的实证研究

乔丹丹

摘 要： 英文写作测试中，因话题难度无固定评估模式，故选题的相关研究在语言测试设计者的研究成果中为数不多。作者通过问卷调查、深度访谈及测试的方式进行了实证研究，分别找出了学生对不同类型话题的看法、话题难度感知影响因素，对一般和专业话题难度进行了比较，并提出了写作测试选题难度评估框架，对今后实施正式测试前的难度评估论证环节提出了建议，以期对命题公平性作一实证探索。

关键词： 选题 英文写作测试 难度评估

一、引言

写作话题（Writing topic）尽管对英文写作测试表现和评分有影响，但话题本身只有少数测试设计者和研究者进行研究。Ruth & Murphy（1988）认为，话题是写作和评分可靠性之间的桥梁，适当的话题能在某种程度上保证书面测试的有效性。一些研究者（Irmscher，1979；Conlan1982）意识到了话题选择的重要性，他们的研究显示，可以选择非特定话题降低话题对考生写作的负面影响，个人话题和社会话题都应该被考虑，对于具有相似学术背景的学生来说，与他们的专业相关的话题可以成为一种选择。尽管受试者对写作成绩的关注相对较少，但一些主要国际语言评估的机构做出了一些努力以确保写作的质量。雅思（IELTS）写作测试公开了话题选择范围。托福（TOEFL）在其网站上公开了任务库，且测试者被明确告知“以下列表中的话题可能出现在您的实际测试中。在进行托福考试之前，你应该熟悉这份清单”。

二、文献回顾

1903年，Scott富于开创性地强调了写作测试中选择话题时兴趣的重要性，把写作命题分为话题的公告、话题的兴趣激发、写作欲望的唤起、写作方法的建议、无谓努力的防止五个步骤。六十多年后，加拿大教育委员会的写作命题准则中既强调了兴趣又强调了能力，Clark等人（1968）提出了作文命题的准则和四个标准，提出了“一个好的问题应该建立在学生的兴趣和能力上”。Irmscher（1979）提出确保命题质量的原则，即好的话题应该是有目的、有意义的体验、具体的、在学生掌握之内、鼓励写作的话题。他还提出，提出先验知识、社会文化背景、文化偏好、情感反应、资源等话题选择指导方针。Conlan（1980）提出要避免政治、种族、煽动和无聊话题。Ruth & Murphy（1988）指出，一些个人话题，如对某政治或宗教人物的看法可能过于敏感或煽动，如个人观看电视或环境保护的观点可能引出一些陈词滥调。Irmscher（1979）提出“指派写作题目是作文老师最重要的事情之一”，他反对给考生一些个人话题，因为他们可能在某种程度上不能真正展示学生的写作能力。他认为写作话题应该是有意义的，并提出以下五点确保这一质量：好的话题应该有目的、有意义的体验、倾向于具体即时的情况、在学生掌握之内、鼓励学生写作。Kitao等人（1990）列出了可答性、知识、动机和宽泛等因素。Bachman（1990）指出，测试得分只有当话题难度合适时才真正有意义。Douglas（2000）建议在写作测试中设置分专业子话题。Hamp-Lyons等人（2004）指出，被专家评分员判定为较难的话题，考生并不一定表现较差。Salimi & Fatollahnejad（2012）研究得出，学习者对话题的熟悉度影响谈判含义的倾向性。

国内的情况和英语国家相似。在写作评价研究中，很少有涉及写作话题的系统研究。英语专业考试（TEM）为了避免负面影响，主要关注学校和社会等话题，并利用“情境+标题”构成话题模式。大学英语考试（CET）通过实施大范围的预测、使用一般性话题和提供大纲以避免话题偏颇。值得注意的是，CET写作能力的构建与TEM的不同。在CET中，发现和组织信息的能力不如书面英语表达思想的能力那么重要。在大多数情况下，学生只需要为给定的大纲提供简单的信息。但是在TEM中，产生和组织思想的能力和书面英语表达思想的能力都是至关重要的。Chen（1998）认为，1995年的话题（兼职工作的优点和缺点）比1994年更简单（电视：好事还是件坏事），因为它更接近学生的生活。徐永（2006）认为，写作题目的难度影响因素为语言能力、话题知识、篇章知识、试题的指示语、考试时间等。

三、实证研究

为找到评估话题难度的方法，本研究以问卷调查、深度访谈及测试的方式，在山西省太原学院、太原工业学院、山西建筑职业技术学院、山西艺术职业学院4所高校的100名英语专业（英语教育专业和翻译专业共31名）及非英语专业（环境与安全工程专业、设计艺术专业、播音主持专业、装饰技术专业、电气工程专业共69名）在校大学生中进行了实证研究。该研究分为三组。

第一组。Ruth & Murphy（1988）认为写作话题分三类：个人话题、社会话题和专业话题（即关于学生研习领域的话题）。以问卷调查方式向100名学生（英语和非英语专业）提出10个问题，旨在寻找这三类话题的相对难度。采用SPSS对学生应答进行分析的结论是：话题熟悉度和抽象性是影响话题难度的主要因素；没有证据表明个人话题比社会话题更容易，也不能表明专业话题比其他两个更难；话题熟悉度在确定话题难度方面比内容本身发挥更大的作用。

第二组。本组研究旨在深入探讨话题难度是否仅受话题熟悉度和话题抽象性这两个因素的影响，使用问卷和统计的方式进行研究。我们共提供4对写作题目，69名来自环境与安全工程专业、设计艺术专业等非英语专业的学生参加了这组研究，他们被要求选出在一对话题中较难的一个并陈述原因。在分析他们的应答后，我们看出，话题特性因素及其影响占比为：话题熟悉度（40.8%）、话题抽象性（29.6%）、话题相关性（14.5%）、话题范围（8.4%）、情感反应（6.7%）。数据显示，前两项因素的影响力远高于其他三项。

第三组。本组研究试图找出一般话题和专业话题之间是否存在显著差异，使用测试和深度访谈的方式进行研究。测试环节之前实施了评分员培训以提高三位教师的评分员信度，为了避免评分的干扰，三位教师使用分析评分法评分，在内容、结构和语言方面分别给分。通过评分员培训，内容、结构和语言的评分信度分别为8492、8513、8843，三名评分者的总分信度为8912，三个评分者的平均得分应能反映学生写作能力的差异。在测试环节中，在英语教育专业和翻译专业两个英语专业学生写作测试中，31名学生被要求从三个话题中择一较易者应答。话题1是一般性话题，话题2和3与学生的主修科目有关。数据显示，17人选择了专业话题，14人选择了一般话题，内容分与总分有明显差异，结构分和语言分很相似。为了更好地理解学生在这两类题目上的表现差异，笔者对三个评分因子和总分进行T检验，分析表明，学生在内容方面存在统计学上的差异，但结构上的表现却没有这种差异，而结构和语言因素可能会使内容不同。总之，专业话题的内容分较低，但总分没有显著差异。深度访谈环节中在测试之后立即进行，对参加测试的所有31名学生进行访谈，询问并记录学生在选择话题和寫作时的想法。数据表明，学生在选择专业话题还是一般话题时，可能会产生不同的想法（如一般话题比主要话题的分数更高），但结合测试分析，在写作的最终评分中没有发现与此想法相对应的显著差异，专业话题的内容分较低可能是因为学生提到的“很少被允许在写作测试中使用专业知识”。

研究小结。综上所述，本研究第一组找出了学生对不同类型话题的看法，发现话题难度受话题熟悉度和抽象性两个因素的影响。第二组进一步找出了话题难度不仅受第一组提到的因素影响，影响学生对话题难度感知的因素有五个，其中话题熟悉度和抽象性的影响力远高于其他因素。第三组比较了一般话题和专业话题的难度。结论是：五个影响话题的因素其影响力占比得到数据支持，可用于难度评估；一般话题与专业话题没有明显难度差异。

四、写作话题难度评估建议

基于以上研究结果，笔者提出了以下评估框架及公式，以帮助命题者更好地评估话题知识难度。话题知识难度（Topic Knowledge Difficulty）评估框架包含话题特性因素及其权重，参考分值及得分。五个因素分别是话题熟悉度（Topic familiarity）、话题抽象性（Topic abstractness）、话题相关性（Topic relevance）、话题范围（Topic scope）、情感反应（Emotional reaction），权重依次为2/2/1/1/1，参考值按因素影响程度分为1/2/3三个分值。具体公式为：P（TKD）=P（TF）*2+P（TA）*2+P（TR）+P（TS）+P（ER）。

在五个话题特性中，因TF和TA的影响力几乎成倍，故他们的权重是其他因素的两倍。根据这个公式，TKD最小值为7，最大为21。评估参考范围：TKD<14，话题容易；TKD=14，话题适合；TKD>14，话题难。作为应用检验，在实证研究第二组中，公式可以用来评价4对话题中的其中1对。话题A要求考生讨论高等教育的目的，话题B要求提出改变所在城市的建议。经计算话题A难度为12，B为14。结论为：这对话题不会给考生带来很大挑战，B比A更难。

五、选题应用建议

本研究提出的写作话题难度评估框架虽较为粗略，但它既有理论分析又有实证证据，在一定程度上反映了写作话题的真实难度。然而，该框架仅在命题者使用话题前的判断提供参考，在具体选题应用中仍需进一步论证后方可正式使用。论证方式可以几个专家命题者一起讨论，提出难度相近的几个子话题，再通过问卷调查、面试或试测获得学生的反馈意见。当判断子话题难度和试测论证这两步全部实施后，所选话题经过严密的证实，可用于正式测试，这样的话题通常对学生提出挑战，使其发挥真实的写作水平，有助于提高写作命题的公平性。

参考文献：

[1]Ruth， L. & S. Murphy. Designing tasks for the assessment of writing[M]. Ablex， 1988.

[2]Salimi， A. & Fatollahnejad， S.. Iranian Intermediate EFL Learners Written Performance in TBLT[J]. Theory & Practice in Language Studies， 2012.

[3]Bachman L.F. & Palmer Adrian S.. 語言测试实践[M].上海：上海外语教育出版社，1999.