口译测试的反拨效应实证研究——以全国翻译专业资格（水平）考试为例＊

吴文梅

厦门大学

1 引言

语言测试反拨效应（washback/backwash effect）指语言测试对教师与学生以及语言教学与学习的影响（Hamp-Lyons，1997；Wall，1997；Cheng et al.,2004；Wall，2005；Green，2007），是语言测试社会效果的一个重要方面（Bachman&Palmer，1996），应被视为测试构念效度的一个组成部分，而效度是衡量测试最重要的指标之一（Messick，1996）。由此可见，反拨效应研究非常重要。

2 反拨效应理论

反拨效应理论研究可以追溯至20 世纪五六十年代。弗农（Vernon,1956）与怀斯曼（Wiseman,1961）认为，考试扭曲了教学课程并指责教师在备考课上只注重教授应试技巧而非语言技能。反拨效应理论研究直到20世纪80年代才得到一定发展。斯温（Swain,1985）提出，试题设计者要以反拨效应为宗旨而工作（work for washback）；莫罗（Morrow,1986）提出反拨效度（washback validity）概念，即衡量考试效度的首要标准是观测预期反拨效应在多大程度上在实践中得到印证，而测试效度的高低取决于测试对教学产生正面反拨效应的大小。20世纪90年代，反拨效应理论研究更深入系统，其中，最有代表性的理论研究成果如下。

2.1 PPP反拨效应模式

休斯（Hughes,1993）的模式即参与者（participants）-过程（process）-结果（product）。参与者主要指学生、教师、教学管理者，以及教材设计者与出版者；过程指参与者所采取的有利于教与学的各种措施与行为；结果指所学知识或技能，以及所学知识与技能的质量。该模式指出反拨效应的工作机制，即测试会影响参与者对其教学与学习任务的认知与态度，反过来，认知与态度又会影响参与者完成任务的进程与结果。该模型强调，学生是参与者中尤为重要的一个群体，其学习受考试、各类参与者与参与者行为的影响。

2.2 反拨效应假设

奥尔德森和沃尔（Alderson&Wall,1993）从“学生-教师”与“学习-教学”两个方面提出l5 个反拨效应假设，比如，测试会影响教学与学习，影响教与学的内容、方法、速度与顺序、广度与深度以及态度等，而且测试会对所有学生与教师产生反拨效应，测试本身可能有正面或负面的双重反拨效应。后来，奥尔德森和汉普-莱昂斯（Alderson & Hamp-Lyons,1996）发现，测试本身不一定会产生正面或负面的反拨效应，反拨效应的产生也受其他因素影响，如教学理念与风格等，因此他们补充了一个假设：测试会对不同教师与学生产生不同程度与类别的反拨效应。

3 文献综述

张建珍（2012）对2001-2010年国内九种主要外语类期刊上的英语语言测试反拨效应研究论文（共计17篇，其中7篇为实证研究论文）进行了检索与统计。分析显示，反拨效应研究成果尚少，已有研究成果主要涉及大学英语四、六级考试，英语专业四、八级考试，高考英语测试，小型英语考试，反拨效应与语言测试设计，反拨效应理论模型及其形成因素等方面，缺乏对考试主体的研究，并且以非实证研究为主。

研究者较多关注语言测试及其对教与学的反拨效应研究，其理论研究成果为教学提供目标，并为教师与学生成功实现目标提供理论依据。国外研究者探讨了反拨效应的维度与模型等主题（Watanabe，2004；Green，2006、2007；Shih，2007）；国内研究者探讨了反拨效应的考试后效、研究模式、理论模型、概念模式，以及多重属性与主要因素等主题（亓鲁霞，2006；陈晓扣，2007；辜向东，2007a；黄大勇，2011；刘晓华、辜向东，2013）。

国内反拨效应实证研究集中于大学英语四、六级考试（金艳，2000，2006；唐雄英，2005；辜向东，2007b；辜向东、彭莹莹，2010；石小娟，2010；Wang，2010；肖巍、辜向东，2012；Xie 与Andrews，2012；亓鲁霞，2012）与英语专业四、八级考试（陈颖，2009；邹申、孔菊芳，2013；徐倩，2014；邹申、徐倩，2014）；国外反拨效应实证研究集中于考试对教学的影响（Cheng，1997；Ferman，2004；Watanabe，2004），而甚少涉及考试对学习的影响（Gosa，2004；Stoneman，2006；Mickan &Motteram，2009；Tsagari，2009；Cheng et al.,2011）。

上述文献梳理显示，研究者更关注测试对教师与教学产生的影响，而将学生作为研究对象的研究寥寥可数。国内外语测试研究多关注考试本身，较少涉及考生这一考试主体（刘庆思，2011）。语言测试反拨效应包括测试对教学与学习的影响，而这些论文往往以考试本身为研究对象，而忽视了对学生学习的影响（张建珍，2012），反拨效应研究中对学生及其学习的研究显得还很不够（刘晓华、辜向东，2013）。

具体到翻译测试而言，对于翻译考试的反拨效应研究屈指可数，而且理论探讨多，实证研究严重缺乏。翻译测试的反拨效应作为翻译学与测试学的交叉领域却被忽视了（Hatim & Mason，1997；Campbell & Hale，2003）。再具体到口译测试而言，口译测试对口译教与学的反拨效应研究更少，主要有以下两项：王文宇等（2014）通过2007年与2010年的口译语料，分析了英语专业八级口译考试中考生的口译成绩，发现考生的口译能力（特别是英译汉能力）不够令人满意，并据此提出加强英语专业口译教学的对策与建议。王洪林（2016）以上海英语高级口译证书考试第二阶段英译汉考试数据为基础，探讨口译测试对口译教学的反拨效应。研究发现，考生普遍语言表达能力较差，百科知识欠缺，心理素质较弱，口译基本技能欠佳，尤其听辨能力与短时记忆较差。

汉普-莱昂斯等（Hamp-Lyons, 1997）早就呼吁，出于道德层面的考虑，更多研究应关注学生的观点及其对反拨效应、考试与考试结果的看法，因为学生才是最直接的风险承担者。因此，反拨效应实证研究应更多关注备考与考试情况下学生的心理过程、学习过程与学习结果，以及三者之间的关系。

翻译资格考试在翻译人才评价、筛选与认证等方面起着重要作用，对翻译人才培养起着愈加重要的反拨效应。其中，全国翻译专业资格（水平）考试（CATTI）由于规模大、风险高，其考试结果对考生与其他利益相关者在许多方面都会产生反拨效应。

为探究CATTI对口译学习过程与学习结果的反拨效应，本文使用了量化研究与质性研究两种研究方法，利用考试、问卷调查与深度访谈等三种研究工具，调查了该考试对139名（本科或硕士）男女考生的学习过程与学习结果的影响。

4 研究设计

反拨效应的理论研究成果在一定程度上影响其实证研究的质量，为本实证研究奠定理论基础，实证研究成果为本研究勾勒操作框架，文献综述为本研究找出研究定位。下面说明本研究的研究假设、研究对象、研究方法与工具、研究步骤，以及数据收集与分析等情况。

4.1 研究假设

本研究主要基于休斯（Hughes,1993）的PPP 反拨效应模式，以及奥尔德森和沃尔（Alderson&Wall,1993）的反拨效应假设中与学习者相关的理论成果，尝试探讨CATTI口译考试对考生学习过程与学习结果的反拨效应，并结合该考试、考生与本研究的实际情况与现实条件，提出以下两个研究假设：（1）CATTI口译考试影响考生的口译学习结果；（2）CATTI口译考试影响考生的口译学习过程（学习内容、方法与态度等）。

4.2 研究对象

本研究的对象为来自中国与美国共36 所大学的139 名（本科或硕士）男女考生。这些考生来自7 种院校类型、3 种院校层次、7 个（英语或翻译）专业，并且都参加了CATTI口译考试。

本研究中的参与者均愿意接受问卷调查与深度访谈。在此之前，本研究者向所有参与者解释所获得的任何信息都仅用于学术研究且严格保密，让所有参与者信任并参与。参与者所在院校类型、院校层次与院校地理位置等情况见表1。参与者的性别、所学专业与学历，以及（未）获得的CATTI口译考试证书类别等见图1、图2与图3。

图1 参与者性别分布

图2 参与者所学专业与学历分布

图3 参与者获得的CATTI口译考试证书类别分布

表1 参与者所在院校分布

4.3 研究方法与工具

研究方法的选择由反拨效应的本质决定。奥尔德森和沃尔（Alderson&Wall,1993）指出，对于反拨效应，我们更多的是谈论，缺乏调查；更多的是假设，证据不足。而实证研究以系统化、有计划的数据收集与分析为特点，包括量化研究与质性研究两种研究方法。由于反拨效应涉及的变量错综复杂，且各变量间相互影响，因此，本研究尝试使用量化研究与质性研究两种研究方法，尽可能多层面、多角度、系统深入地描述CATTI口译考试对考生的口译学习过程与学习结果产生的反拨效应。

测试反拨效应的研究工具主要有问卷调查、访谈与课堂观察等。结合CATTI 口译考试、考生与研究的实际情况与现实条件，本研究采用考试、问卷调查与深度访谈三种研究工具。问卷调查信度高，可做定量研究，且能帮助总结调查结果（Babbie，2001）；访谈针对性强，效度较好（Anastas，1999），属于定性研究。无论是哪种工具，单独使用都有其局限性。因此，两种研究方法与三种研究工具互补互证（即三角验证法triangulation），多种工具的使用从多个角度反复验证数据，提高研究效度，从而提高研究质量。具体来说，本研究对139 位（＞100）CATTI 口译考试考生进行问卷调查并对其中6位进行深度访谈（Dornyei，2007）。

4.3.1 调查问卷

问卷调查的内容是有选择的，选择的依据来源于该研究的理论基础、操作框架、研究定位与研究对象。本研究结合研究目的、反拨效应理论，以及考试、问卷调查与深度访谈的相关理论与方法，利用笔者对反拨效应理论的理解和12年来对口译教学情况的了解，沿用吴文梅、刘建珠（另文详述）根据国内外相关文献的综述并经过人工统计得到的排位前13项“译员能力要素”。同时，在调查问卷设计与调查使用前，笔者根据多次向相关专家请教，与资深口译教师、口译研究博士生以及口译专业学生的交流与探讨的结果，对该调查问卷进行了反复修改。调查问卷设计完成后，经过两轮试做、三轮修改，最终定稿。为了提高调查问卷的问题回答真实性，本问卷采用匿名形式，没有作答时间限制，并允许参与者在任何时段放弃答卷，这在一定程度上保证了调查问卷的效度。

调查问卷包含三部分。（1）基本信息：参与者的性别，所在院校名称（人工统计院校的类型、层次与地理位置分布情况），所学专业与学历、（未）获得的证书类别等。（2）13 个封闭性问题：参加CATTI 口译考试是否能提高英语能力、汉语能力、抗压能力、跨文化交际能力、笔记技能、口译职业道德认识、记忆能力、公众演讲能力、听辨理解能力、分析能力、表达能力、策略能力与拓展百科知识？（3）1 个开放性问题：参加CATTI口译考试对口译学习有何影响？

本调查问卷采用李克特（Likert）五级量表计分，分别代表“非常不同意”到“非常同意”。每项最低评分为1分，最高评分为5分。为方便参与者理解与作答，整份调查问卷使用汉语呈现。

4.3.2 深度访谈

根据调查问卷的题目设置与统计结果，深度访谈相应地针对考试对考生的反拨效应情况进行考察，深入了解各项数据背后的原因。

为收集不同特征考生对该考试反拨效应的看法，在对调查问卷结果进行初步统计分析后，研究者根据参与者的性别，所在院校（院校的类型、层次与地理位置），所学专业与学历，（未）获得的证书类别等基本信息从调查问卷参与者中挑选6人进行面对面访谈、电话访谈与书面访谈等形式的深度访谈，深度访谈的对象特征见表2。访谈提纲中的问题需参与者结合考试经历，学习过程（内容、方法、态度等）与学习结果，全面深入详细地思考为什么会产生“10+3”项译员能力要素的反拨效应统计结果的差异。

表2 深度访谈对象特征

4.4 研究步骤

首先，研究者对调查问卷进行预测，适当修改、调整个别措辞，使其利于参与者理解与作答。本调查问卷使用问卷星软件进行设计、发布与回收，并按照方便抽样、分层抽样与随机抽样的要求，通过互联网发送给CATTI口译考试的考生。在参与者所在院校的选择上，本研究综合考虑了院校的类型、层次与地理位置等因素，以确保问卷调查的覆盖面与代表性。CATTI口译考试2019年第一次考试时间为6月15日，成绩公布时间为8月15日，调查问卷发出时间为9月3日，截至9月5日回收调查问卷141份。由于每题均为必答题，所以不存在空白卷、答题率低等问题。经过对回收的调查问卷进行仔细甄别、筛选与整理，本研究将回答单一（同一参与者的全部回答为同一选项）、回答前后矛盾的问卷视为问题卷。同时，研究者删除了未参加CATTI考试（尽管本调查问卷在卷首部分提醒参与者应为参加过该考试的学生）、未正确填写所在院校名称的无效问卷各1份，所以，有效调查问卷共计139份。抽样结果与设计方案的要求基本相符。

随后，研究者对其中6 名参与者进行深度访谈，采用录音与笔记两种形式进行记录。

4.5 数据收集与分析

研究者将所有数据在2019年9月5日收集完毕，然后对这些数据进行相应处理与分析。数据分析分两步进行。

首先，研究者先用问卷星软件SPSS 对问卷调查数据进行在线统计分析。其中，对1个开放性问题，研究者通过对数据的诠释，将有关影响因素概括为考生对考试的理解、考生对自己作为学习者的认识、考生以往的考试与学习经历、他人的考试经历以及学习环境。这些编码最后浓缩成两大类，即学什么与怎么学（学习内容、方法与态度）。

其次，研究者将深度访谈的录音转换成文字，并对所获文字进行分类与概括。文本的转写、数据的核对与分析均由研究者完成。研究者采用归纳法分析深度访谈数据，按照艾利斯和巴尔克赫伊曾（Ellis&Barkhuizen，2005）提出的质性数据分析步骤展开，对数据进行了直读与诠释。研究者对深度访谈参与者的考试经历，学习过程（学习内容、方法与态度），学习结果以及关于“10+3”项译员能力要素反拨效应的深度访谈结果等所有与考试有关的数据进行归纳与编码。

在进行具体统计之前，研究者首先对原始数据进行信度检验，结果显示内部一致性信度系数为0.915（＞0.9）（Dornyei，2003）。由此可见，调查问卷的信度较高，内部一致性较好，数据非常适宜进行统计分析。

5 结论

本研究呈现并讨论该考试对139 名男女考生的学习过程与学习结果反拨效应的问卷调查与深度访谈的结果。表3呈现了调查问卷中13个封闭性问题的统计结果。鉴于研究目的，本研究重点关注CATTI口译考试对考生学习结果，即译员能力要素提高的影响。图4呈现了该考试对考生的译员能力要素提高的同意度。

图4 参与者同意度统计

表3 CATTI口译考试对考生译员能力要素的反拨效应

根据问卷调查与深度访谈的结果，本研究提出并回答了如下两个研究假设：（1）CATTI口译考试影响考生的口译学习结果；（2）CATTI口译考试影响考生的口译学习过程。

5.1 CATTI口译考试影响考生的口译学习结果（调查问卷封闭性问题）

CATTI口译考试考查并检验了考生在此阶段的学习结果，提高了考生的听辨理解能力、表达能力、笔记技能、分析能力、英语能力、抗压能力、记忆能力、策略能力、汉语能力、公众演讲能力、跨文化交际能力、口译职业道德认识，并拓展了百科知识。

但是，考生对该考试的译员能力要素提高的同意度有差异。半数以上考生认为，该考试能提高考生的前10 项能力。然而，只有29.49%至43.88%的考生认为，该考试能提高考生的公众演讲能力、跨文化交际能力与口译职业道德认识。这在一定程度上可以促使考生根据测试的反馈，了解、反思自身的口译能力与水平，选择学习内容、注重学习方法，端正学习态度。

5.2 CATTI口译考试影响考生的口译学习过程（调查问卷开放性问题）

调查问卷中1个开放性问题（参加CATTI口译考试对口译学习有何影响）的结果显示：一些因素会调节考试的反拨效应，如考生对考试的理解、自我认识、过去的考试与学习经历、他人的考试经历以及学习环境等。这些因素与备考情况下考生怎么学相关。原因有两个方面。一方面，一些考生对考试认识不够，使得其学习行为仅发生了量的改变。另一方面，当考生调整怎么学时，很大程度上受到其过去学习与考试经历的影响。概括来说，考试的积极反拨效应需多要素、各方面与全过程的协同作用与配合才能实现。

考生们反映，参加该考试可以反馈学习效果，进而督促训练，提高积极性，也可以提高学习兴趣、信心与动力，养成紧跟时事的习惯、毅力与耐心，学习目标更明确。

5.3 CATTI口译考试影响考生的口译学习过程与学习结果（深度访谈）

深度访谈主要结合考生的考试经历，学习过程（学习内容、方法与态度）与学习结果，围绕考试对考生的10+3项译员能力要素提高的反拨效应及其相关同意度差异，全面、深入、详细地探讨为何会产生此统计结果。

深度访谈结果显示，该考试对考生的学习过程产生了多样化影响。

5.3.1 学习内容方面

考试内容不但会直接影响学习内容，也会通过影响教材或备考材料的编写而间接影响学习内容。考试形式也会影响学习的针对性，这主要体现在针对具体考试题型的应试技能训练。因此，考生重视语言知识、专题知识与百科知识等知识的学习。同时，考生特别注重技能训练，因为听辨理解、分析与表达等技能在口译考试中起重要作用。虽然考试的内容、形式等因素会影响学习行为，但由于个体因素的参与，这些因素的影响又因人而异。

5.3.2 学习方法方面

考生对考试设计的感知与对考试用途的看法直接影响备考方法与策略，从而影响考试成绩。大多数考生倾向工具取向型动机，导致短期的、策略偏少的学习行为，而仅有少数考生有成就取向型学习动机，表现在有长期学习计划，以全面提高能力为目标。但是，考生主要依靠已有学习方法准备考试，缺乏有效的方法来区别对待不同考试。

5.3.3 学习态度等方面

对学习与考试的态度、能力水平、努力程度、学习动机与兴趣，以及学习目标等因素都会介入考试对学习的反拨效应。考生备考现象较普遍，但由于其学习目标不同，备考时间与强度有异。考生能力水平往往与考试的难度相互作用，形成对考试的感知难度，并影响其是否付出努力以及努力的程度。总体来说，中等能力水平的考生面临考试时付出的努力最多，对考试抱有的期望也最大。

总之，考试对考生的积极反拨效应大于消极反拨效应。考试对考生今后的口译学习起到了较好的导向作用，可以有效督促其学习行为并指引学习重点，而且提高了口译能力，尤其是在以后有意识地培养口译能力方面。

6 建议

针对本研究得出的上述研究结论，为进一步增强CATTI口译考试对考生口译学习过程（学习内容、方法与态度等）与学习结果（即提高译员能力）等的显性积极反拨效应，以及提高测试任务效度，本研究在完善考试设计理念与增加相关资源投入方面提出以下五点建议。

6.1 增加“现场口译”考试环节

作为考查译员能力的专业资格（水平）考试，CATTI口译考试虽然设置了口译测试的录音材料与书面试卷，也配备了人机对话设备，但缺少中外评委的现场评分互动与中外听众的现场参与互动，所以未能充分平衡地创设模拟真实的现场口译环境。如果能够增加现场口译环节，则考生不仅需要注重口译产品的现场语言质量，还需注重副语言与非语言行为的现场表现，如此自然会涉及跨文化交际能力、口译职业道德认识与公众演讲能力，当然也包括抗压能力与策略能力等多项译员能力要素的考核与提高。比如，厦门大学英语口译证书考试的三四级考试就采用现场口译面试，分值占总分的10%。

6.2 增加“概要口译”考试题型

鉴于口译质量标准、口译现场压力与口译任务难度，尤其对新手译员来说，概要口译能较好地考查考生的理解能力、逻辑分析能力与转换能力等双语输入与输出能力。比如，全国翻译专业八级考试（TTIM-8）（英语口译科目）概要口述部分与厦门大学主办的海峡两岸口译大赛采用的主旨口译环节就采用的概要口译考试题型。

6.3 增加“百科知识”与“职业道德”考试内容

口译是一项考查译员的语言知识、专题知识与百科知识等全面知识的活动，CATTI口译考试可以增加对译员专题知识与百科知识（如中外的政治、经济、文化、社会、地理、历史、文学、科技等领域的基本知识与从事相关行业口译所需的相关专业知识）等内容的考查。比如，翻译硕士专业（MTI）入学考试与全国翻译专业八级考试（TTIM-8）（英语口译科目）就采用了百科知识测试。此外，CATTI口译考试还可以增加对译员职业道德（如语言服务产业的基本运作机制以及口译职业规范）等内容的考核，可参考全国翻译专业八级考试（TTIM-8）（英语口译科目）采用的职业道德测试。

6.4 增加“口译实践”考核部分

由于口译是一项实践性、职业型与专业化等特征极其明显的认知—社会行为，各项译员能力要素需要在口译实践中逐步提高，所以CATTI口译考试可以增加考生已经参与的口译实践经历的考核部分。比如，翻译硕士专业（MTI）入学考试就有学生的实践学分部分，即用人单位出具的记录学生口译实践经历时长的工作证明或口译实践录音资料等。

6.5 扩大考试主题覆盖面或考前公布当次考试主题及其主要相关信息

口译实践涉及的行业领域多，主题专题也多，而CATTI口译考试当次考试能涉及的主题有限，涉及的专业知识不广，练习材料与考试材料不够贴近现场口译实际。为了尽量保障考试对大多数考生的公平性与测试效度，尽力保持类似于口译实践（如现场口译前可获得当次口译活动的有关信息资料）、口译比赛（如厦门大学主办的海峡两岸口译大赛赛前一周公布当次比赛的主题）与口译考试（如厦门大学英语口译证书考试考前一周公布当次考试的主题与关键词）的客观现实性与科学合理性，考试前一定时间内可以公布当次考试的主题及其主要相关信息，如口译场合、讲话人背景、讲话主题、关键词、主要观点，以便考生进行相关的考前准备。如此，则能更好地体现测试的真实性原则，既能考查考生的译前准备能力，又能降低考生因在主题知识掌握方面差异过大而给评估带来的负面影响，从而更为客观公正地评估考生的口译能力（陈菁、肖晓燕，2014）。

7 结语

刘润清（2003）认为，有测试就有应试；如果测试本身设计合理，应试过程本身也可以变为扎实的学习过程。引起译员能力提高、参与反拨效应过程的潜在因素很多，如学生水平、教师差异、教学条件等。尤其是，大规模、高风险考试下的学习是一个过程，需要长时间系统跟踪调查。虽然该考试是引起这些变化的主要因素之一，但译员能力变化是诸多因素协同作用的结果。一个考试对学与教的影响到底是正面的还是负面的，这是一种价值判断。在判断口译考试是否反映科学的交际语言能力观的同时，还需考虑反拨效应研究的考生群体特征、考试场合与现场口译的差异、时间条件，以及研究的目的与方法等，只有这样才能全面深刻地把握反拨效应的本质。