泰中华 刘佳文
(大连外国语大学英语学院,辽宁大连)
语言测评素养(language assessment literacy)这个概念是基于测评素养提出的,指人们进行测评过程中所应具备的知识和技能(参阅Stiggins,1991;Webb,2002;Popham,2008;林敦来 高淼,2011)。Inbar-lourie(2008)进一步解释了语言测评素养,认为其是语言测评行为过程中所需的知识库。随着越来越多的利益相关体(如政府人员、校长、专业测试人员、教师、家长、学生等)参与语言测评的相关过程,对语言测评素养的研究逐渐纳入更多因素的考量。学界最初关注该问题是1984年发表在Language Testing Journal的文章,文章指出,语言测试不仅仅应该包括测试的信度、效度和公平性等方面,还应该包括测试者本身,或者是参与测试的教师。在此基础上,Stiggins在1991年完善了测评素养,指出测评素养的核心是评估人员需要具备的相关专业知识。但是对于语言测评素养的研究却晚了将近20年,直到后来,Bierema和Eraut(2004)提出了测评理论(assessment theory),即,在语言知识的基础上,语言测评应该涉及到社会文化需求,考虑动态测评的价值。
自从20世纪90年代后期“测评素养”的概念引入我国之后,各种研究都围绕着Stiggins所构建的测评素养理论框架进行探究,国内关于“语言测评素养”的理论和实践的研究都相对较少,且多数发表于2010年后,而近些年来呈逐年上升趋势,说明我国对语言测评素养的研究起步较晚,但关注度逐渐上升,国内外重大测试会议也越来越重视语言测评素养的主题讨论。2011年举办的“第33届语言测试研究学术研讨会(LTRC)”开了以“测评素养”为主题的研讨会;2013年国际期刊Language Testing发表专刊探讨语言测评素养问题。2017年国内的“第四届全国外语测试学术研讨会”专门把“课堂评估和教师评估素养发展”作为会议主题之一。2017年举办的“第39届语言测试研讨会(LTRC)”把题目定为“国际语言测试协会关于Language Assessment Literacy (缩写为LAL)的政策:如何定义LAL?为谁定义?”。这些会议都凸显了语言测评素养研究在语言测试中的重要性。
国内外关于语言测评素养研究主要涵盖四个方面:首先是测评素养概念的界定;其次是与语言测评密切相关人员的语言测评知识,包括测试专业人员,测试管理者;再次是测试素养课程设置的研究;最后是关于语言测评素养研究方法的讨论。
在概念理解方面,Boyles(2005)把语言测评素养定义为外语教师要培养的对测试和测评原则和实践的理解(林敦来 武尊民,2014),对“原则+实践”的理解揭示了语言评价素养的两大基本层面,体现的是理论与实践的辩证统一。Davies(2008)提出了“知识+技能+原理”的外语教师测评素养研究,Popham(2008)持有类似观点,他认为测评素养分为能力和知识维度,此外还要求测评者在评价过程中能够发现并消除测评过程中的偏见,了解并掌握残障学生或特殊需要学生的测评方法,在之前概念研究的基础上提出测评伦理,强调测评者素养的全面发展。对“知识+能力”的理解表明了语言评价素养的两大基本内核。两种理解虽有差异,但共同诠释了概念本质,这里的知识恰如原则或原理,能力或技能则体现于实践之中。
在内容维度方面,最为显著的特点是社会文化视角的引入,Fulcher(2012)从社会文化视角和社会政治视角来讨论语言测评素养,认为教师应该考虑到测评人的社会角色。Scarino(2013:314)从社会文化领域来理解语言测评素养,认为语言测评素养是一个发展的过程,把外语教师的测评素养界定为教师的知识、实践经验和价值观,发展测评素养应该与语言、文化和学习三者联系,把语言测评素养作为一个动态的自我意识的形成过程,测试的目的是提高教学和更好地测试学生的能力。Taylor(2009: 28)则更进一步,对语言测评素养的概念做了进一步的细化,把语言测评素养分为八个维度,包括:1)理论知识(knowledge of theory);2)技术技能(technical skills);3)原则和概念(principles and concepts);4)语言教学(language pedagogy);5)社会文化价值(sociocultural values);6)地方性实践(local practices);7)个人信念(personal beliefs);8)分数和决策(scores and decision making)。Taylor明确了语言测评素养的具体维度并把社会文化价值列入其中,凸显了语言测评素养的社会文化属性。
第二个特点是测评素养的具备者属于利益共同体(a community of stakeholders)。Inbar-lourie(2013: 301-302)提出语言测评素养应该考虑到三个方面。第一,语言测试的范围,即是否有一个理论、实践和经验的知识库(language base)用于语言测试有关的情景;第二,语言测试专家是否应该学习广泛的语言测试知识;第三,相关人员,如老师,家长和管理者是否也应该学习相关知识。也就是说,测评素养不再只是语言测评人员或教师的“专利”,其他贯穿整个语言测评活动的相关人员甚至机构也属于这个共同体的一部分,他们具备一定的测评素养符合社会与时代要求,更是保证测评效果的必然要求。
另外,Baker和Caroline(2018)又把语言测评素养定义为专业能力(LAL as a professional competency by applying insights from research in professional workplace knowledge and development),在Taylor提出概念的基础之上又增加了意识和认知层面的理解。认知和意识视角的引入丰富了测评素养在个体层面的概念范畴。廖善平(2016)和刘昕(2018)关注国内外外语教师测评素养,总结了国内国外语言测评的研究点。
综上所述,语言测评素养的定义在近年内得到了不断扩展,这与语言测试学的社会学转向(McNamara & Roever,2006)是一致的(林敦来 武尊民,2014: 712)。学者们主要考虑语言测评素养中应该包含的社会维度和意识维度,尤其是Taylor(2009)和Baker和Caroline(2018)和把语言测评素养明确分为八个维度或者更多维度,这为继续研究语言测评素养提供了具体的维度参考。而在概念界定中涉及的伦理和道德问题也是语言测评素养概念的创新点,其有助于进一步完善语言测评素养的概念。然而,语言测评素养的具体维度该如何界定以及素养高低的标准该如何衡量,目前尚无统一标准,仍需进一步探究。而在我国,除了在全国教师资格证考试中增加语言测评素养相关知识的考核外,如何更好地将语言测评素养概念的内涵在培养教师队伍中体现,如何增加教师对语言测评素养的理解,也需要进一步探索和研究。
语言测评素养的不同利益相关者(stakeholder)是语言测评素养研究的又一关键点。利益相关者主要涉及到测试工作人员、相关政府人员、学生等等,在研究与语言测评素养相关的利益者中会涉及对多个利益者的讨论,因此学者们分层次、有区别地关注不同利益相关者。
Bracty(2000)在其著作Thinking about Tests and Testing: A Short Primer in Assessment Literacy中提出测评者和利益相关者的探讨。Newton(2005)关注语言测评政策制定者的测评需要。Taylor(2009)提出了测评素养的培养目标不应只关注测试的研发者,还应该关注利益相关者,如测试工作人员、相关政府人员、学生和政策制定者,其在2013年明确提出不同利益相关者对语言测评应有的模式,图1展示不同利益相关者应该具备的测评素养。
Malone(2013)从语言测评素养的不同人员角度出发,把测试人员分为测试者和使用者以表明语言测评专家和外语教师在语言测评方面的异同点。根据测试44名专业测评专家和30名语言教师,研究发现语言测评专家关注概念的真实性和测试使用的合理性,而语言教学专家更加关注展现和表达时的实用性和解释的清晰性,目的是缩小理论和实践中英语测评素养的差距。
Jeong(2013)重点关注语言测评素养的课程设计者,强调不同背景的测试者对其测评素养课程设计的不同理解。通过研究专业测试者和非专业测试者,发现专业测试者和非专业测试者的关注点不同,专业测试者关注技术测试问题,非专业测试者关注教学测试实践。
O’Loughlin(2013)关注了与语言测评有关的其他利益群体,通过对50名IELTS相关工作人员进行网上调查,发现语言测试者重点关注如何减少测试过程中的错误而不是人类使用语言时可能存在的问题。他强调其他测评的相关者也应该提高其语言素养,如工作人员使用语言测评分数,此外,还重点关注学生的需求,如学生更倾向于什么类型的测试,哪个测试更有益于学生的理解和需求,从而减少因非试卷因素而造成的误差。
Pill和Harding(2013: 381)讨论语言测评素养的利益相关者,重点关注非执行者(指没有发展或管理语言测评的直接经验者)。非执行者把测试成绩作为制定决策的基础,但其本身并没有参与测试的材料、测试标准、测试过程等相关评定。在此基础上勾画出语言测评素养连续体。
上述研究肯定了不同利益相关者对语言测评素养的影响,同时研究内容也涉及到不同人群,这体现出语言测评素养同语言测评相关人员的互动性。此外,学者还讨论了教师背景对课程内容影响的六个方面,包括测试大纲、 测试理论、基本数据、课堂测评、评分量表研发和测试折衷办法(Jeong,2013),反映了教师素养可以在微观领域对语言测评素养产生影响,但 这只是理论方面的进一步提出,在微观领域的进一步探讨和相关实证研究不足,这方面研究有待进一步拓展。今后的研究可以更加关注学生视角,学生作为教师教授的对象,对于教师是否已提高其测评素养有着直接感受,可进行相关实证研究对学生进行测试和相应的调查问卷或访谈,从学生的角度来关注教师测评素养是否提高。
2013年之后的研究重点逐渐转向语言测评素养的相关课程。此外,语言测评素养还更加关注学生的反应,提倡通过学生学习的进步来测评相关利益者测评素养课程是否有意义。
在理论和原则探讨方面,林敦来和高淼(2011)重点关注了语言测评素养的概念和语言评估素养的培养教育。根据国外的研究,总结了语言评估素养主要包括测什么、为什么这样测和如何测三个方面。语言评估素养的课程主要呈现了课程应涉及的内容和不同国家关于语言评估素养的相关课程。在此基础上,林敦来和武尊民(2014)论述了国外语言测评素养的最新进展,从语言测评知识库的理论探讨、语言测评培训需求调查、语言测评培训材料研究、语言测评课程研究和语言测评培训手段研究等方面对外国的研究进行整理,指出我国国内语言测评素养研究的最新方向。这是我国学者在语言评价素养课程设置及培训需求方面少有的尝试。
相关的实证研究也成果颇丰,Lam(2015)通过对5名教师进行为期两年的语言测评素养课程的培训,发现香港外语教师测评素养理论和实践存在着差距,提出三点建议:一是要制定符合当地老师需求的语言测评素养培训课程,课程的内容不仅要涉及测评的知识,还要涉及到社会文化领域的知识,课程标准的评判应具有统一性;二是课程内容的重点是为了更好地帮助学生获得知识,应关注学生的学习成就,在此基础上应使用基于学生测评的网站(www.hkeaa.edu.hk/en/sa_tsa/sa),保障测评的有效性;三是测评管理者,项目设计者和教师,尤其是职前教师应相互合作,帮助职前教师学习相关的知识,促进职前教师语言测评素养的知识、技能和原理的发展(Lam,2015: 176)。
Baker和Caroline(2018)从海地英语考试发展的角度出发,侧重关注语言测评素养、教师间的相互合作和教师与测试者之间的相互合作。通过调查研究120所中学的英语教师与测试相关人员,发现实验对象在经过一段时间后,掌握了更多关于测试的知识,测试设计者更加了解学生的学习需求。该研究还明确了教师和专业测试人员对于语言测评素养的不同需求,最终结果表明专业测试人员和教师的合作有利于提高专业测试人员和教师的语言测评素养,最终实现互惠。
Koh等(2017)从任务设计的角度出发来研究教师测评素养。调查了12名参加两年专业发展测试项目的中文老师,以真实智力素质(Authentic Intellectual Quality, AIQ)框架为理论基础,展现情景真实性和交际、互动的真实性,目的是通过提高老师任务设计的能力来提高老师的测评素养。这篇文章的优势在于从学生的作业结果来反映教师的测评素养是否提高,实现从对老师本身的测试向通过学生的作业来反映教师成果的转变。
分析来看,语言测评素养的相关课程研究以实证为主,填补了理论研究的不足,是语言测评素养研究的重大突破之一。在此基础上,部分研究也关注了语言测评素养涉及到的不同利益者,从不同利益者的角度来反映这些课程是否有利于提高语言测评素养,值得今后研究的借鉴。此外,研究发现,更多的学者倾向于评价素养的课程应与教学联系密切的评价课程(Brookhart,2004;王磊,2007),但在教师课程培训中,受训老师认为测试开发与其日常课程教学评价的需要不相符(Kleinsasser,2005),目前测评素养的课程不能满足测评者的需求。实证研究的逐渐增多是测评素养课程设置与培训环节的必然内在需求,增加规模和数据样本、丰富研究方法和设计是未来方向所在。此外,我国对于职前和在职过程中语言测评素养的相关课程较少,且覆盖范围只是包括语言测评的基本理论和实践方法,缺少对教育和心理测量的关注(许悦婷,2013: 44),应加大相关课程的设置,提供与评价实践相关的评价知识(Vogt & Tsagari,2014; Lam,2015),如香港地区中小学教师就希望能得到如何使用测试促进教学的评价知识,即形成性地使用终结性测试等相关知识(Carless,2011; Lam,2015)。
语言测评素养研究工具和理论视角的特征也逐渐清晰。研究工具主要指Brown & Bailey(2008)的研究工具;理论角度除了上述概念界定中所涉及的社会文化理论之外,还运用学习共同体理论和生态理论。
在研究工具层面,二十世纪九十年代,Bailey和Brown(1996)用发问卷的方式调查了语言教师培训中的语言测评课程,对问卷数据进行量化,之后他们用类似的工具重新进行调查,发现语言测试课程知识库的内容在增加,但其性质没有发生根本性变化(Brown & Bailey,2008)。金艳和范劲松(2010)借鉴Brown和Bailey的研究工具,对中国高校的测试课程设置和教学情况进行了调查研究。共有87位课程教师参与了问卷调查,研究结果表明此类课程总体上涵盖了语言测试理论与实践的基本内容,但是外语教师测试理论知识和实践能力,包括开发和运用新型测评手段、对考试反馈作用的理解、运用教育统计学和心理测量知识的技能等方面不足,教师们应进一步加强这些方面的学习和培训。
在研究理论层面,主要包括学习共同体理念和生态理论。詹颖(2015)基于专业学习共同体理论来探究大学英语青年教师课堂评估素养的发展,提出专业学习共同体的理论模型,从实践的角度为语言测评素养的发展提供可参考的方向。蒙岚(2016)从生态理论视角来探究大学英语教师的语言测评素养,采用生态学的平衡观点和可持续发展的观点,分析大学英语教师语言测评素养的构成要素和影响因素,提出提升模式图(图2),从内部和外部两个方面来提高教师的语言测评素养。
图2 教师评估素养提升模式图(蒙岚,2016: 75)
运用Brown 和Bailey(2008)的研究工具来对我国教师语言测评素养进行研究是一大创新,可继续作为我国教师语言测评素养研究的一个重要方面,进行相关的实证研究。此外,采用访谈、学习计划、行动日记、相关测评课程总结、考勤等其他工具或者方法对测评人员进行过程中考察也有利于获取测评者学习过程中的不足之处,后续加以改进,这也是研究的重要方法之一(唐雄英,2017)。学习共同体理论和生态理论模型的建立有利于更好地衔接原则概念与实践操作,从而更好地提高语言测评素养;而从不同的理论来关注语言测评素养,则有利于跨学科知识的合作和交流,在这方面,可以从更多不同的理论,如社会文化理论、教学理论、社会心理理论等多维度甚至多学科视角来解读语言测评素养。还应开发和论证多种不同的研究工具和手段,不断丰富和扩展语言测评素养的研究广度与深度。
本文基于国内外文献,从语言测评素养的概念、语言测评素养的人员、语言测评素养的课程和语言测评素养的方法等方面综述语言测评素养的发展历程。在现有研究中,研究者更多是采用网络问卷,实证研究在2013年之后逐渐增多,其更多关注语言教师的测评素养,对不同利益相关者的实证研究仍较少,对测评素养的现状和构念的研究还需进一步展开。此外,只有个别研究考虑从学生的角度来界定教师测评素养。教师测评素养是否提高、语言测评素养相关课程是否有效,需要更多考虑学生在测评中的作用,如:根据学生能力和成绩的提高程度来评估学生是否在测评中受益,最终提高整个教学质量。
国内对于语言测评素养的研究较少,重点关注的是语言测评素养的概念。作为一个外语考试大国,语言测评素养研究具有非常重要的意义(林敦来 武尊民,2014: 718;郭英剑,2019)。提高语言测评素养可以从储备人员抓起,与教师资格证考试或者与相关学习课程相结合,在考试和课程中涉及相关语言测评的专业知识,提高语言测评素养,保证学生福祉(许悦婷,2013: 44)。语言教师的测评素养该如何界定?有哪些维度?在界定的基础上,探讨如何研发出能够准确衡量语言教师测评素养的量表或测试,以便对教师的测评素养有更加客观的认识,并在此基础上设定教师在测评方面的准入标准等等都值得进一步研究和探讨。