传承性与创新性：基于证据的六级、雅思、托福考试效度对比研究

主持人语

辜向东

本课题以“基于证据的社会-认知效度验证框架”（Weir 2005）为理论指导，从情景效度、认知效度、评分效度和后果效度四个方面，开展了基于证据的六级、雅思、托福考试效度对比研究。

一方面，本课题运用语言测试效度研究普遍使用的研究方法（自动文本分析、有声思维、话语分析、问卷调查和半结构式访谈）做了八项传承性研究，主题涉及三项考试阅读文本词汇复杂度、阅读文本选择与改编、听力长对话和阅读测试受试有声思维认知过程、口语测试样本视频考官与考生会话特征和主题发展、三项考试的口语和写作测试对考生的反拨效应。其中四项传承性研究已经在《外语与翻译》2020年第3期“语言测试对比研究”专栏中刊出。

另一方面，本课题也尝试使用语言测试领域近年较新的跨学科研究方法（数据挖掘、眼动技术、结构方程模型）做了三项创新性研究，主题涉及文本自动分类、受试认知加工过程、写作反拨效应机制。其中两项创新性研究：数据挖掘文本自动分类和眼动技术认知加工过程实证研究在本期专栏中刊出，以飨读者。

本课题的这些研究使用了丰富的数据：测试文本900余篇，受试作答题目777项（听力和阅读），口语测试样本视频7段；参与问卷调查、访谈、有声思维、眼动的考生和受试共1,000余人次。这些丰富的数据充分体现了本课题的宗旨：基于证据的六级、雅思、托福考试效度对比研究。所有这些实证研究旨在回答一个总的研究问题：六级、雅思、托福考试的效度有何异同？

本课题研究结果表明，六级、雅思、托福三项考试均具有良好的效度。换言之，根据三项考试的成绩对考生英语语言能力做出的推论是可靠合理的。总体而言，雅思与托福的效度在各方面相同点较多，而六级的效度与二者相比差异性更大。

本研究探索、验证、丰富和发展了效度研究理论，充实、完善和建立了新的效度研究模型，尤其是三项考试效度对比研究的多个子框架或模型，比如听力长对话测试构念描述框架，三项阅读测试分析框架，三项口语考试考生反拨效应理论框架，写作考试考生反拨效应理论框架等，为今后其他大规模、高风险考试的效度研究，尤其是效度对比研究，提供了理论和方法上的借鉴。本课题为考生的学习、教师的教学提供了富有建设性的意见和建议，为三项考试设计者/考试机构/决策者进一步提高命题质量、施测环境、评分标准等提供了具有针对性和可操作性的方案与决策依据，为语言测试研究者和工作者以及对此感兴趣的广大读者提供了思路和方法上的参考。

效度研究是一个持续收集多方面效度证据的过程，一项考试的效度验证已经是一个系统工程，而考试效度对比研究涉及多项考试，其工作量更为庞大，需要强有力的团队，尤其是跨学科团队的通力合作与支持。课题研究是高等教育，尤其是硕士、博士研究生培养必不可少的一部分，是培养学生创新思维、实践能力、团队精神和社会责任感的重要途径；坚持不懈加强团队建设，通过传、帮、带来提升团队的整体科研能力，培养团队不断创新、无尽求索的科研精神。团队、团队精神和科研精神是出色完成考试效度对比研究，甚至任何学术研究的前提条件。因此，坚持不懈提升团队能力，尤其是跨学科团队建设与合作是高等教育与研究的重中之重。