大学英语教师语言测评培训个案研究

2022-11-15 11:51蒋昌盛
考试研究 2022年6期

甘 凌 蒋昌盛

一、引言

随着语言测评对外语教学的促进作用越来越明显,外语教师的语言测评素养(language assessment literacy)日益受到广泛关注[1-3]。语言测评素养通常指测试利益相关者(stakeholder)为实施语言测评任务所具备的语言测评知识、技能、原理或能力[4]。作为语言测评最直接的使用者[5],语言教师尤其需要足够的语言测评素养,以便在课堂上实施有效的测评活动,达到以测评促教学的目的。然而,不同语境的语言测评素养研究发现,外语教师的语言测评素养整体水平低,语言测评知识和技能贫乏[6-9]。为了突破困局,研究者们开始寻求提升教师语言测评素养的方法和途径。语言测评培训具有时间短、课程集中、见效快等优点,日渐成为教师教育和教师发展项目的重要一环[10]。如何通过有效的语言测评培训提升教师的语言测评素养已逐渐成为研究者关注的热点[11-13]。

二、语言测评培训研究回顾

国外学界对语言测评培训的研究起步较早。Hasselgreen 团队最早关注欧洲语言教师的测评培训现状[14]。他们发现,外语/二语教师缺乏必要的测评培训,导致他们没有足够的语言测评素养来应对课堂语言测评活动。而Fulcher 和Guerin 发现,虽然外语教师测评培训不足,但他们大多数人有着强烈的语言测评培训需求[6,15]。

教师的语言评测培训需求大不相同。Vogt 和Tsagari 团队对欧洲七国的大、中、小学外语教师(以中小学教师为主)的测评培训进行调查[7-8]。他们发现,语言测试培训需求存在显著的国别特征,且与所在国家的测评文化、测试政策和测试实践高度相关。例如,希腊的语言教师特别需要高阶的语言测评培训,因为该国对教师的语言测评实践要求较高。而在德国,语言教师只希望接受中阶的培训,且多聚焦于语言技能测评,因为该国非常重视高风险考试中的语言技能测评。然而,该研究团队并未系统描述培训内容如何分级、如何匹配不同群体的测评培训需求。

除了国别特征外,语言测评培训具体需求还和教师职业阶段有关。例如,在职外语教师对语言测评理论的培训缺乏兴趣[16],“不太关注试题开发和评分却关注替代性评估手段”[7];职前教师比在职教师更需要测评理论以及测评实践技能的培训,如汇报结果、开发试题等[17]。

上述研究帮助我们理解了语言测评需求及其影响因素,但是这些研究均关注单一影响因素,缺乏全面性、系统性研究。为了填补这一研究空缺,Vogt等人对语言测评培训需求影响因素进行了更全面、更细致的调查[18]。他们对德国和希腊中、小学教师语言测评培训需求的大规模调查发现,宏观、中观、微观环境因素都会影响外语教师对语言测评培训的需求:宏观上,国家的测评文化和语言测试政策会影响外语教师对语言测评培训需求重心的选择;中观上,学校同事之间的合作沟通为在职教师补充了适合教学的环境及必需的测评知识和技能;微观上,教师们更期待测评培训面向日常课堂,因此语言教师会优先考虑便于理解和课堂实践的培训项目[19]。

综上所述,国外语言测评素养培训现状和需求研究比较成熟,内容丰富,为未来该领域的研究提供了宝贵的前期资料和可操作的研究方案,但现有研究存在两个主要问题:第一,研究对象多为中小学外语教师,较少关注高校外语教师的测评培训现状和需求;第二,研究环境多集中在欧美学校,其研究成果还需在不同语言测试文化中进一步验证。

国内学者金艳最早关注中国语言测评课程现状。Jin 对我国高校语言测评课程进行了大规模调查,发现这些课程基本上涵盖了语言测评的理论与实践内容,但教育测量、心理测量以及学生的课堂实践部分明显不足[20]。

国内也有少数学者开始关注教师语言测评培训现状及需求。例如,Lam 发现香港地区中、小学语言教师职前测评培训不足,且无法充分指导语言测评实践[21]。内地在职中学英语教师培训也存在类似的问题[22-23]。研究者还发现,这些教师希望通过专业培训获得测评知识以及运用知识的技能,尤其是提升自己的测评实践能力。而这些以实践为导向的培训需求通常受到教师的过往经历以及他们所处的测评环境的影响[23]。

与国外蓬勃发展的语言测评培训研究相比,国内语言测评培训研究起步晚、数量少,多聚焦中学英语教师。以“语言测评培训”“测评培训”“大学英语教师测评培训”等为关键词在CNKI 进行检索,发现仅有一篇文章在分析大学英语教师职前培训存在的问题及对策时涉及语言测评培训[24]。国内外现有研究无疑为我们了解外语教师的语言测评培训提供了丰富的视角和宝贵的前期成果,但国内学界并未足够重视语言测评培训,且现有研究忽视了大学英语教师群体的语言测评培训现状和需求。因此,在中国外语教学语境下,大学英语教师语言测评培训现状如何,有哪些需求,有哪些影响需求的因素,这些仍是有待探索的问题。鉴于此,本研究聚焦大学英语教师的语言测评培训现状和需求,以期为语言测评培训项目提供有益的参考。

三、研究设计

目前国内外的语言测评培训为了解教师语言测评培训现状和需求提供了丰富的数据,但是大部分为定量研究。这种偏好忽视了研究对象特定语境下语言测评培训的经历及其对语言测评培训需求的影响,尤其是对高校语言教师语言测评培训经历所知甚少。本研究是对大学英语教师语言测评培训现状、需求和影响因素的探索性研究。个案研究的优势是通过深描(thick description)探索特定语境下研究对象的经历,解读多因素之间潜在、复杂的互动[25]。已有研究也表明,个案研究能够倾听研究对象的声音,深入了解他们的语言测评需求[23]。作为一项高校英语教师语言测评培训混合研究中的个案研究部分,本研究运用半结构化个人访谈以及文本分析的方法,探索大学英语教师语言测评培训情况、培训需求以及影响培训需求的因素。

(一)研究问题

以8 位高校大学英语教师为个案进行调查,考察大学英语教师的语言测评培训现状、培训需求以及影响培训需求的因素,主要回答以下三个问题:

1. 大学英语教师的语言测评培训现状如何?

2. 他们有哪些语言测评培训需求?

3. 影响他们语言测评培训需求的因素有哪些?

(二)研究对象

受访对象为8 位高校大学英语教师,分别来自5所不同的高校,其中3 所为211 高校,2 所为省属院校。受访者均参与了笔者关于语言测评培训的问卷调查并自愿接受访谈。受访者涵盖了不同性别、年龄、职称以及研究方向,可为研究提供丰富的数据。表1为8位受访者的具体信息:

表1 受访者信息

(三)数据收集、整理及分析

2019 年 6 月至 7 月 ,对 8 位 大 学 英 语 教 师 进 行了半结构化访谈。访谈有助于获取教师在语言测评培训方面的详细信息,同时又可以了解教师语言测评实践的情况,而不需要实时跟踪教师的课堂[23]。以混合研究中的问卷调查数据为基础,设计了访谈提纲(见附录)。提纲由8 个问题组成,主要关注研究对象的语言测评培训或学习经历、语言测评培训需求及其影响因素、语言测评实践等。访谈按照提纲进行,并根据受访者的回答做进一步提问。每个访谈时长约40-60 分钟,全程录音。逐字转写录音文件,形成约24000 字的文稿。经过校对后,转写文本发送给受访者进行参与者反馈(member checking)[26]。参与者核对所有文本无误后,将文本上传至MAXQDA20.0.3 进行主题分析(thematic analysis)。通过反复阅读访谈文本,进行in vivo 编码,利用访谈文本里的关键词作为初始码。然后,对比关键词,并结合研究问题,总结主题。对于有争议的编码和主题,参与者反复协商,意见一致后确定最终主题(见表2)。

表2 编码方案

分析访谈文本后,对《大学英语教学指南》[27](后称《指南(2017)》)有关语言测评部分进行内容分析(content analysis),确定宏观语言测试政策和未来的方向。该分析为适切地解读和分析访谈数据提供了宏观语境框架。

四、研究结果

(一)访谈结果

1. 语言测评培训现状

入职之前,受访教师均参加了为期一学期的本科或研究生语言测评课程,内容主要包括语言测评的基本概念和试题撰写技能(偏重于纸笔考试的设计)。这些课程并没有引起当时受访教师的学习兴趣,“我觉得老师讲得比较无聊,就没有特别认真学”(T6)。任职后,他们觉得本科和研究生阶段的语言评测课程所学内容对测评实践指导作用不大,“当时本科学习的时候内容比较浅,现在回过头来看感觉用处不是很大”(T7)。

值得关注的是,高质量的学位语言测评课程供给也并未显著提高受访者的测评实践效果。在研究生阶段,T1 选修了由国内知名测试学者开设的语言测评课程。他对语言测评知识以及有关语言测评的研究非常了解,但他却说:

“我在自己的授课环节没有采用任何的测评活动……我没有办法将研究生的阶段转化到教的阶段。我的这个转化为零……我作为一名教师,我在课堂上是非常不好意思给同学们设置任何的障碍和困难,所以我的课堂基本上都是我一个人用讲述法来做,没有任何的测试或评估。”

所学测评理论知识未能指导T1 的教学实践,这也许与T1 对语言测评的认知有关。他认为测评活动是给学生设置障碍和困难,会降低他的教学效能感。

在职期间,多数受访教师通过高风险考试评分培训获取了语言评测实践的相关技能。这种为期半天的培训主要关注大学英语四、六级和考研英语主观题评分规则及其运用。虽然培训时间较短且任务单一,但受访教师认为该培训能够提高“教师自身的专业水平以及教师现场实际阅卷具备的能力”(T2),帮助他们深入理解测评和学习的关系、强化测评促学的理念、发挥测评对教与学的反拨作用。

“比如说(出版社)有这种语言测评的培训,我会关注到,特别是四、六级考试的。我发现四、六考试的话题与我们课本学习内容的话题是相关的,我会让学生把最终的测评跟平时的学习进行结合,我会让学生形成一个观念,学习的目的不是为了考试,如果平时学习的很好,考试是很自然的。我会把四、六级测评的要求和我们平时的学习结合起来。”(T6)

虽然高风险考试主观评分培训时间短、见效快,但是无法系统覆盖语言测试理论和实践。受访的老师中只有T7 在职期间接受过系统的语言测评培训。他因荣获某英语教学奖,有机会参加某大型英语考试试题撰写培训项目。该项培训内容主要涵盖标准化考试测评话题选择、选项撰写、数据分析等。T7认为,正因为这次系统的试题撰写培训,他才能在期末出卷时得心应手。除了试题撰写培训之外,该项目还邀请了语言测评专家为培训学员进行了多场高质量的讲座。这些讲座加深了T7 对语言测评概念的了解:

“有一个老师……她讲到writing assessment,她的课我印象比较深刻,还有别的老师讲其它方面的,她的课我学得挺多的。……我在我硕士期间的论文,……我在有接触过assessment 的内容,现在其实是对这个点复习,加深印象。当时对formative 和summative for learning、of learning、as learning 这些东西都是比较熟悉的。所以我觉得这些课程的学习对我还是有帮助的。”

测评培训不足的同时,受访教师对语言评测文献及资料的关注呈现两极化分布。半数以上受访教师不关注语言测评书籍、论文及其他资料,因为“我的研究兴趣/研究方向不在这个领域,对这方面不是很感兴趣 ”(T1、T3、T4、T5、T8)。值得关注的是,虽然三位受访者(T2、T6、T7)的研究方向也不是语言测评,但他们对语言测评知识和技能表现出极大的兴趣,会根据自己的需求去查阅有关方面的文献资料。

2. 语言测评培训需求

所有受访老师都认为提升语言测评素养非常有必要,认为语言测评素养的提升有助于大学英语教学研究和实践。如T1 所说:“从研究的角度,语言测试它是一个写论文的方向。从教的角度,毫无疑问,可以在教学中运用语言测试知识来辅助教学,同时获得一手的研究资料。”“我认为是有必要的。如果没有的话,是没办法全方位去了解学生的水平状态的。如果不了解学生的水平状态,我们是不可能根据学生需求或实际水平提供指导或帮助。”(T3)

虽然受访老师认可提升语言测评素养的必要性,但大多数受访者并没有通过语言测评培训提升语言测评素养的需求。主要有三个原因:

第一,现有知识和经验已经足够完成日常教学涉及的评测任务。正如T1 所说:“现有的知识储备已经能应付学生的考试咨询……在教学上,我找不到一个能让我去参加培训发展测评素养的理由。”

第二,在目前教学环境中,没有设计大型测试、解读测试结果的需求。T4表示:“不需要专业地去做大型的测试,感觉没有迫切的需求,参加培训完全是一种内在的内驱力。”

第三,对学校内“传、帮、带”和自身学习能力的信任。T8 认为:“可以参照前人的程序,照葫芦画瓢就行了,不需要从专业的角度、程序的角度去深挖或深究。”

个别受访教师表达了测评培训的需求,希望能够量身定制培训内容和方式。这些需求聚焦了三个实践问题。

第四,如何解释测试数据。T3 表示:“我需要有基本的测试的基本知识,需要我如何从这些数据当中得出一个评价。就是我要学会读懂数据,然后解释给学生。”。

第五,如何实践课堂测评。T5 表示:“我的课堂评估活动的知识比较欠缺。比如说我想让学生做一个文章阅读,我如果知道测试技巧,能够给学生提供比较好的问题,诱导他们,让他们讨论,我觉得这样会比较好。”

第六,如何促进教师职业发展。T7 希望通过同事之间建立长期的学术共同体或长期的工作坊学习测评理论知识:“希望通过同事,没有理论支撑有些老师会有疑惑,不知道我做得对还是错,所以要学习理论知识,它可以丰富你的实践内容。但大学英语老师比较缺乏理论这一块。”

3. 语言测评培训影响因素

影响教师语言测评培训的因素主要有两方面:环境和个人因素。首要的环境因素是家庭与工作的潜在时间和精力的矛盾。“孩子”“家庭”“教学繁重”是受访老师频繁提到的词。他们认为这些因素会影响职业发展。

另一个显著的环境因素是学院和学校支持不足。没有学院和学校的支持,教师很少有机会能参与语言测评培训。

“因学校整体的考试环境……学校老师无论是在平时的教学还是阅卷当中,还是离不开整体教务部门的干预。如果我们想要提升语言测评素养,就得取得学校或学院的支持。但是学校或学院很少关注我们的测评培训。”(T2)

学校和学院关注不足主要有两个原因。第一,科研优先的大学教师评价体系。T6和T7认为,目前学校对教师的评价标准主要放在科研上,对教学这一块不够重视,而测评属于教学这一方面,很多老师没有将测评与科研结合(T7)。第二,学院领导个人偏好。T8也表达了缺乏学院支持的无奈:“假设某个院长是应用语言学出身的,而且他对语言测评比较感兴趣或者擅长,就有可能开展语言测评的培训班,如果不是的话就不可能。”

学生的语言水平也是影响教师参加测评培训意愿的重要环境因素。受访教师认为学生语言水平低会削弱和抑制教师设计、运用课堂测评的动力。T8表示:“独立院校、三类大学,学生群体本身招生质量不是很好。虽然老师是从比较好的学校硕士毕业,但是无法开展这方面的测评,也就没有参加测评培训的必要。”

除了环境因素之外,教师个体因素也是影响语言测评需求重要因素。第一,教师自身研究方向。受访老师坦言,由于语言测评不是他们的研究方向或研究兴趣,他们很少关注这方面的内容,也就没有参加语言测评培训的计划。T3 和T4 的访谈尤其明显:

“我不是从事语言测试这个方向的话,没有太大的科研压力。学校对测评有要求,但要求不高,只要求老师能从各个点给学生打分,而不是基于一个数字,即使没有测评知识,老师也可以根据教学经验进行操控的。”

第二,教师对语言测评的理解。部分受访者对于所在学校语言评测政策不满,导致他们不愿意参与相关培训。T5 表示:“目前的测试不是所谓的真正的测试,是伪测试,所以了不了解都没什么关系。我测得再精确,也要让学生及格、八九十,保学生及格,保学生拿学位。这就是伪测试,我觉得没必要研究了。”

同样地,如前所述,T1认为对学生进行测评是给学生设置障碍,这种对语言测评的认知使其极少在课堂实施语言测评活动,从而没有语言测评培训的需求。

第三,教师对语言测评技能的自信。部分受访者强调教学经验对于语言测评的作用,他们足以应付课堂的测评活动,不需要专业的语言测评能力。如所前述,T1对自己的语言测评储备非常自信,自认不需要通过语言测评培训来提升语言测评素养。

(二)《指南(2017)》分析结果

除进行教师访谈外,研究者认真研读《指南(2017)》,从中抽取并分析有关语言测评的内容。《指南(2017)》从测评目的、测评手段和教师测评培训三个方面对大学英语测评做出了指导性的规定。大学英语测评目的包括两种类型,一是促学测评(assessment for learning),主要指形成性测评(formative assessment)。《指南(2017)》指出,测评“为大学英语课程的实施与管理提供有效的反馈,实现提高大学英语教学质量和大学生英语应用能力的总体目标。”二是就学测评(assessment of learning),主要指终结性测评(summative assessment)。终结性测评的目的就是为了检测学生的英语能力。终结性测评主要以校本考试为主,“测试内容紧密结合教学内容”。为了实现这两个测评目的,《指南(2017)》提出了明确的路径:运用各种评价方法与手段,处理好内部评价与外部评价、形成性评价与终结性评价、基础测评与校内测试、综合语言能力测试与单项语言技能测试等的关系。但《指南(2017)》并未明确、细化测评方法和手段及具体操作方式。

《指南(2017)》指出,学校的教学管理部门要指导大学英语教师提高语言测评理论水平和应用技能,从而有效地开展测评工作,这就“需要对大学英语教师进行评价知识和技能的培训,特别是教学过程中的形成性评价理论和实践能力,处理好测试与教学的关系,掌握先进的评价与测试手段,采用多样化的数据分析方法,报告更有价值的评价与测试结果”。

五、讨论与启示

研究发现,大学英语教师在职前或任职期间均有语言测评学习或培训经历。它们在一定程度上帮助老师们了解了语言测评的基本概念、掌握了基本的测评技能、提升了语言测评素养。但是这些培训或课程学习普遍时间短、培训内容偏重标准化考试评分和试题撰写。该发现与Vogt 和Tsagari 对欧洲七国外语教师语言测评培训现状的调查结果一致[7]。

通过语言测评课程或培训,教师并未将所学测评知识和技能转化为实践。这种窘境既有需求端的缺陷,也有供给端的问题。例如,目前培训机构提供的语言测评培训存在两个主要问题:偏重测评理论,忽视测评实践[20];偏重标准化考试,忽视课堂测评实践[28]。

语言测评培训存在的问题表明,必须重新审视语言测评课程或培训的内容课时分布,如测评理论与实践的分配、标准化测试与评价内容的分配等,重新评估这些内容的实用性和有效性,同时对培训或课程内容教授方法的可行性和有效性进行探讨[29]。

研究还发现,大多数受访的大学英语教师对语言测评培训需求不高,且对具体的培训需求仅能泛泛而谈,但以往的研究发现教师有强烈的测评培训需求[6,7]。造成教师培训意愿低下的原因是多方面的,但以下因素值得重点关注。第一,因为受访教师在教学实践中并未按照《指南(2017)》指导原则实施测评活动,认为个人的经验式语言测评技能足以支持教学实践。第二,有限的语言测评培训或学习经历让教师对语言测评培训的具体需求知之甚少。第三,教师缺乏必要的手段或方法反思他们的课堂测评实践[30]。第四,对语言测评统计知识的焦虑也是很多教师参加语言测评培训的一个障碍[31]。第五,以往其他教学培训的实践效果不佳,因此教师们形成培训倦怠心态[32]。

影响大学英语教师语言测评培训需求的因素主要涉及环境和个人两方面。环境因素主要包括教研工作与家庭责任和培训时间的矛盾、缺乏学院或学校的支持以及学生语言水平较低等。这一发现部分验证了Yan等人的研究结论[23],即过重的教学负担会约束教师参加语言测评培训的时间。学院或学校的政策和资金支持也直接影响教师的语言测评培训需求。目前,国内每年各大外语出版机构都会提供众多收费的语言测评培训项目,若学校或学院对语言测评不够重视,不提供资金支持,很少有教师会积极主动参与语言测评培训。此外,学生的语言水平在一定程度上决定了大学英语教师语言测评培训的需求。学生语言能力不足,教师对语言测评活动的自我效能感低,久而久之,实施测评活动的意愿及频率也会降低,对语言测评培训的需求也不高(如T8)。

个人因素主要指教师的研究方向和教师对测评的认知。教师的研究兴趣直接影响他们参加培训的动力和积极性。这一结果在Sultana的研究中也得到了验证[33]。她的研究发现,研究兴趣不在语言测评的外语教师不会花费时间和精力寻求办法提升自身的语言测评素养,因为现有的测评知识和技能足以应付课堂测评活动。因此,这些教师不会主动明确地提出具体的测评培训需求。此外,教师对语言测评的认知也影响语言测评培训需求。多数教师没有完全理解测评对教学的促进作用,对语言测试的错误认知(如T1和T5)往往促使教师矮化语言测评,不会有意识地通过语言测评培训及其它途径提升自身语言测评素养,改进测评实践。

总之,这些环境和个人影响因素导致大学英语教师陷入了“培训困境”。一方面,理念上他们认为语言测评培训有利于提升他们的语言测评素养,提高课堂测评质量,从而以测评促教学。另一方面,现实中他们又深陷教学、行政以及个人因素的泥沼,无法更多地参与测评培训,导致大学英语教师的语言测评学习或培训非常有限。“培训困境”成因复杂,但自上而下的测评政策是主要因素[34]。在测评政策实施过程中,教师是语言测试政策的被动接受者和实施者,他们在执行语言测评规定或政策时往往无发言权。

尽管各种因素会导致大学英语教师对语言测评培训的需求不高,仍然有必要为大学英语老师提供充分的语言测评培训,因为语言测评培训有助于大学英语教师学习语言测评理论知识,掌握具体的语言测评技能,尤其是能应用于语言课堂实践的测评技能[35]。《指南(2017)》从宏观上对大学英语课程的语言测评作出了明确指示,为学校层面的语言测评培训指明了方向,但未对语言测评实践提供具体指导。教师无法从《指南(2017)》以及其他资料中获得有针对性的、可操作的语言测评知识和技能。语言测评是一门技术性较强的学科方向,没有专门的培训或学习,很难理解《指南(2017)》所倡导的形成性测评的真正意义,无法了解多种替代评估方法(alternative assessment methods)的具体实践,也就无法有效地在课堂中实践。目前开设的语言测评课程以及培训课程比较有限。回顾笔者的语言测评培训经历,众多培训把重心放在编制标准化测试题上,而忽略了教师课堂测评的实际需求,如如何有效进行师评、同伴互评、自评,如何制定评估标准以及如何选择现成试卷题目组卷等。

基于语言测评培训现有的问题,我们从培训机构和学校两个层面提出一些建议。首先,语言测评培训机构以及其他培训提供者应当根据教师的培训需求,制定相应的培训内容,选择恰当的培训资料和培训方法,为教师提供更多满足其测评需求的培训。此外,为减少各种因素的影响,培训方式可以灵活多样,例如翻转课堂、慕课、公众号等。其次,学校或学院应将语言测评培训作为大学英语教师入职培训的一部分,并持续关注在职教师的语言测评培训。

测评与教学密不可分,有教无测是不完整的教学链。但目前的研究表明,语言测评培训在学院乃至学校层面并未受到重视。因此,建议学校和学院的教学部门对大学英语教师的语言测评培训给予更多的资金支持,为教师提供参加语言测评培训的机会,使他们得以更新语言测评知识和技能,提升自身的语言测评素养。各学校的外语学院或语言中心可以利用院内资源(如以语言测评为研究方向的或者已经系统地参加过语言测评培训的老师)或吸引外部资源(如外单位的语言测评专家或培训专家)对新入职的大学英语教师进行测评培训,同时支持在岗教师定期参加各大外语机构提供的语言测评培训。

附录:访谈提纲

1. 您职前或在职期间是否参加任何有关语言测评的培训或学习?如果有,培训或学习的内容有哪些?

2. 您接触过哪些有关语言测评的书籍、论文或学习资源?如果有,有哪些?

3. 如果前两题的答案都是“否”,那您是如何学习如何测评的?

4. 您在课堂上采用哪些测评活动?

5. 您是否有出卷经历?如果有,您是怎么做的?

6. 您认为高校教师是否有必要进行语言测评培训?为什么?

7. 您需要发展哪方面的语言测评培训?

8. 您觉得有哪些因素会推动/阻碍您发展语言测评培训的需求?