Versant英语口语测试：特点分析及其启示

程蒙蒙

Versant英语口语测试：特点分析及其启示

程蒙蒙

Versant英语口语测试（The Versant English Test）是一种测试非英语母语成年英语学习者口语能力的计算机辅助口语考试，也是世界上第一个使用语音识别和处理技术的全自动口语考试。本文首先从考试界面和流程、试题和题型、成绩报告三个方面分析了Versant英语口语测试的特点，然后对Versant英语口语测试自动评分技术做出阐述，最后介绍了此考试系统在研发过程中所做的效度验证及其他相关研究。希望能够为努力提升自己英语口语水平的广大英语学习者带来一定帮助，并对国内的计算机辅助英语口语测试的研发有所启示。

Versant英语口语测试；计算机辅助测试；测试特点；口语自动评分；效度验证

Versant英语口语测试（The Versant English Test）是一种测试非英语母语成年英语学习者口语能力的计算机辅助口语考试，也是世界上第一个使用语音识别和处理技术的全自动口语考试。该考试通过电话或计算机实施，并由计算机进行自动评分。Versant英语口语测试原名为PhonePass，是Or⁃dinate公司的专利产品。2002年PhonePass更名为PhonePass SET-10。在2003年Harcourt评价公司收购Ordinate公司后，PhonePass SET-10于2005年正式更名为The Versant English Test。2008年1月Pearson PLC收购Harcourt评价公司，Versant英语口语测试正式成为Pearson集团的产品。[1]目前，全球多个学术、商业和政府组织在使用Versant英语口语测试对求职者、雇员、学生或国际助教的英语口语能力进行评估，并应用于入学、招聘或职位安排方面的决策。

1 测试特点分析

1.1 界面和流程

1.1.1 基本情况

Versant英语口语测试时间为15分钟，考试可以通过电话或计算机实施。通过电话实施的考试同时需要一页纸质试卷的支持。试卷包含关于考试实施和流程的介绍，例如：如何拨号，如何输入准考证号，如何握话筒，口语指导语、例题，以及第一部分朗读试题。[2]根据不同国家和地区的情况，纸制试卷可以由考生在考前固定时间段上网下载，或采取由考务人员发给考生的形式。考生拨打电话开始考试，系统要求考生利用电话拨号键盘输入准考证号，然后说出自己的名字。电话中传出的口试教师指导语同时在试卷上显示。由于考试号码一次有效，考试过程中考生不能挂断电话，否则考试中断且不能重考。

通过计算机实施的Versant英语口语测试是基于网络传输的计算机辅助考试。客户端计算机需要有网络连接，并需要从Versant网站下载安装Ver⁃sant计算机传输测试软件。考试过程中，耳机中传出的口试教师指导语在计算机屏幕上同时显示。

1.1.2 特点分析

从各种渠道的宣传资料来看，考试的便利性是Versant英语口语测试的最大卖点。Versant英语口语测试宣称只要通电话的地方就可以进行考试，考生可以自由选择考试时间和地点，这也就是说考生在家中、在办公室、甚至在电话亭中都可以参加考试。但实际上，由于考试的实施还需要纸质试卷的支持，考生需要在考前的固定时限里上网下载试卷，获取考试号并打印试卷。因而，要进行考试，仅有电话连接是不够的，考试顺利完成还需要计算机、网络连接甚至打印机的支持。在中国，依然采取的是考生去固定考点参加考试的方式，纸质试卷由考务人员打出并发给考生。

此外，由于考试号码一次有效，当线路故障或声音质量不好时，需要与监考老师联系，确认故障并做出调整安排。这也说明，Versant英语口语测试并未实现其宣传的随时随地进行考试。Versant英语口语测试虽然不是高利害考试，但由于成绩会用于入学、招聘或职位安排方面的决定，若考生自行进行考试，由于设备或信号问题造成的考试中断必然会对考生造成一定的影响。

通过计算机实施的Versant英语口语测试与通过电话实施的考试相似，同样需要网络连接，只不过纸质测试页上面的内容通过计算机屏幕，与耳机中的口语考试教师指导语同步显示。

1.2 试题和题型

1.2.1 基本情况[2]

Versant英语口语测试分为6个部分，共63道试题。

第一部分：朗读。根据指导语提示朗读纸质试卷或计算机屏幕上给出的3组（每组4个句子）共12个句子中的8个句子，提示朗读的句子以随机顺序出现（见图1）。

第二部分：复读。要求考生重复听到16个句子，句子长度在3～15个单词，难度逐句增长。如Bi⁃ology requries study.It’s supposed to rain tomorrow,isn’t it?

第三部分：回答简短问题。共24个问题，多为基本常识问题或关于时间、顺序、数字、词汇内容或逻辑的简单推理问题。此部分问题不涉及英美文化、地理、历史或社会关系等方面内容。如What season comes before spring?What is frozen water called?Does a tree usually have fewer trunks or branches?

第四部分：句子构建。要求考生将听到的3个短语组成句子并读出。每个试题给出的3个短语在语法和时态方面已做出变化，考生在组织句子时只需考虑短语的排列顺序，而不需做语法和时态的变化。句子构建共10个问题。如Ralph/this photo⁃graph/could convince。

图1 Versant英语口语测试朗读样题

第五部分：复述故事。考生听到3个故事，每个故事约为30～90个单词，包含2～5个句子；要求考生将听到的故事复述出来，要包含故事的情景、人物和结局（见图2）。

第六部分：开放性问题。考生听到2个问题，考生被要求说出观点并做出阐述。问题多为询问家庭生活或考生的喜好和选择。如Do you think tele⁃vision has had a positive or negative effect on family life?Please explain.

1.2.2 特点分析

Versant英语口语测试具有真实性强的特点。多达540名来自不同地域和社会阶层的美国人参与考试试题的录音制作；每套试题的声音输入选取了不同的具有代表性的美式英语口语，并在地域分布和男女性别方面做出平衡，从而保证考生在Versant英语口语测试中听到的声音场景贴近日常生活、学习和工作中的真实场景，符合语言真实性的要求。[2]

Versant英语口语测试体现了听说过程自主性的特点。Versant英语口语测试建立在Levelt听说模型（图3）的基础上，要求考生能够“快速、轻松地理解声音输入，同时产出实时、恰当的对话”。在输入并产出的过程中，自主性发挥了至关重要的作用，保证了说话者快速理解听到的内容，快速组建句子并做出回答，而不需特意进行语言学代码分析。[2]基于上述考试构想，Versant英语口语测试采取听说综合测试的方式，并利用短时间（共15分钟）、大题量（共63道题）的方式实现听说过程的自主性。然而，从一些评论文章[3]和英语学习者的反馈[4]来看，短时间、大题量且没有热身问题的考试形式很容易增加考生的焦虑情绪。

图2 Versant英语口语测试复述故事样题

图3 Levelt听说模型

1.3 成绩报告

1.3.1 基本情况[5]

Versant英语口语测试采取计算机自动评分，在通常情况下，在考试结束几分钟以后，考生就可以在网上获得详细的成绩报告。Versant英语口语测试成绩报告单包含总体分数和4个分项技能分数。分项技能分数分别为：句子掌握、词汇、流利度、发音。总分和分项分均采取20～80分制（见图4）。

图4 Versant英语口语测试成绩报告单

Versant英语口语测试成绩报告还给出关于总分的解释和考生的听说能力总体描述，4个分项技能的具体描述，和对应的考生现阶段的能力水平描述。

Versant英语口语测试4项分项分数可以归为谈话内容和产出方式两大类。句子掌握和词汇属于谈话内容，流利度和发音属于产出方式。此考试官方效度报告表明，关于谈话内容和产出方式的分类来自Carroll 1961年提出的语言表现分为知识掌握和控制能力的分类，Carroll在1986年将控制能力称为自动性，即不用考虑应该使用何种语言知识便能够进行流利交流的能力。[5]Versant英语口语测试任务认为谈话内容和产出方式同等重要，因而句子掌握和词汇的分项分，与流利度和发音的分项分权重相同。

基于“欧洲语言学习、教学、评量共同框架”（CEFR）的能力描述和对来自东亚、中东、南美、欧洲的22个国家、年龄在12～65岁的大规模考生声音样本评分，成绩报告单给出获得某总体分数的考生在听力、口语产出、口语互动、语言质量、策略和技能5项分技能方面在一般情况下能够完成的任务。此部分信息针对获此总体分数的考生群体在一般情况下的表现，个体考生的差异体现在4项分项技能分数对应的考生目前能力描述。

Versant英语口语测试成绩报告单还针对考生现阶段的能力水平提出下一步的改进方案。成绩单最后报告考生成绩在其他语言能力量表上的对应，如CEFR量表、TOEFL口语成绩、TOEFL总分、TOEIC成绩。

1.3.2 特点分析

Versant英语口语测试成绩单不仅从三个维度（总体分数和4项分项技能分数的能力描述、基于CEFR量表的考生的5项分项技能能力描述、考生分数在其他语言水平量表上的对应）对考生的分数和能力做出详细诠释，还为考生提供了详细的改进方案，体现了“为了学习的评价”理念。此外，考生还可以在Versant英语口语测试官方网站找到更为详细的Versant英语成绩分数与CEFR的对应和能力描述。

2 口语考试自动评分技术

自动评分技术是Versant英语口语测试的最大创新之处。口语题目采取自动评分有两大优势：其一，跟评分教师相比，自动评分系统不受非语言因素的影响，如考生外表、性格、口音、肢体语言等，因而比人工评分更为客观。自动评分的结果不仅能够真实地反应语言能力，也更具普遍性，即无论测试发生在哪里，最后结果都相同。其二，自动评分能够保证单一语言特性的独立分析，而不受其他方面语言特征的影响，避免了评分教师受到“判断转移”的影响。

Versant英语口语测试采用Ordinate技术进行自动评分。Ordinate技术经多年语音识别、统计模型、语言学、测试理论方面的研究，不仅可以识别单词，还可以定位和分析相关音段、音节和短语，并利用统计模型对英语母语和非母语的英语口语表现进行评价。Versant英语口语测试口语部分通过试测收集用于训练语音识别器的语音样本，从而建立口语部分自动评分模型。首先，采用口语评分员对用于训练语音识别器的语音样本的内容、词汇、语言运用、发音、流利性和重音等特征进行打分。其次，语音识别系统对上述特征做出评判，并与口语评分员的评判进行比较，从而建立评分模型，并对评分员就下一份考生口语做答如何评分做出预测。对于简短问答题型，Ordinate评分系统对考生单词准确性、发音、流利度和语法做出评判；对于更长，更复杂的做答，评分系统还会对词汇使用广度以及内容方面做出评判。[6]

在Versant英语口语测试的63道试题中，目前有54道用于自动评分。每部分的第一道试题为练习试题，不计入总分。3道复述故事的试题不计分；最后两道开放问答题也不计入总分，但考生的作答会被保留下来“供相关授权人员审核”。目前，对于朗读、复述、回答问题等可控制的口语试题，计算机语音识别自动评分技术相对比较成熟，这也是Ver⁃sant英语口语测试在很短的时间之内就可以为考生提供成绩报告的主要原因。然而，Versant英语口语测试6类试题中，能够考查到语篇运用能力的复述故事和开放问答题并不参与评分，在追求考试高效和为考生提供便利的同时，如何平衡与效度和真实性的关系，是值得思考的一个问题。

3 效度验证及相关研究

Versant英语口语测试进行了两次大规模的效度验证。第一次效度验证（PhonePass和SET-10阶段）在超过4 000人的群体（包括英语母语的人群和非英语母语人群）中进行。其中英语为母语的标准参照组，包括775名具有美国地域代表性、18～50岁，男女比例为40∶60，18%为非裔美国人，是有读写能力的成年人。英语为非母语的标准参照组由3500多名考生中选出的514名分层随机样本组成，能够反映包括阿拉伯语、汉语、西班牙语、日本语、法语、韩语、意大利语、泰语等超过40多种语言的考生人群，年龄介于17～79岁，男女比例为50∶50。由于Versant英语口语测试代替了之前的PhonePass和SET-10，Pearson公司进行了二次效度验证。其中英语为母语的标准参照组包括775名成年人，66%来自美国、34%来自其他国家，年龄介于18～75岁，男女比例为45∶55。英语为非母语的标准参照组包括来自亚洲、欧洲和南美的603名考生，年龄介于12～56岁，男女比例为38∶62。根据效度验证报告，Versant英语口语测试与之前的PhonePass版本考试相关高达0.98（n=200）。

Versant英语口语测试的效度验证报告表明，自动评分与人工评分相关程度极高。总体分数相关高达0.97；关于谈话内容的分项技能分数人机评分相关略高于关于产出方式的分项技能分数人机评分相关。

Versant英语口语测试分数与CEFR相关为0.88，与TOEFL iBT口语考试相关为0.75，与IELTS口语考试相关为0.77。

Versant英语口语测试科研发展团队还进行若干与口语考试相关的研究，主要有：口语考试理论与应用研究、考试实用性研究、电话实施的考试与计算机实施的考试对比研究、计算机辅助考试研究、应用Ordinate技术的新产品研发等。[7]

4 结语

Versant英语口语测试作为国际性的计算机辅助英语口语考试，在考试形式、试题内容、考务实施、后台技术、科研支持等方面均具有其独特之处。其基于网络传输的计算机辅助测试形式，以及采取语音识别和处理技术的口语自动评分方式，对我国英语口语的测试和评价有着特别的借鉴作用。计算机辅助口语测试是口语测试发展的新方向，国内外考试机构在这一领域都非常重视，投入了大量的人力物力进行研究和实践。与此同时，在保证测试效度的前提下，如何采用现代化的技术手段改造英语测试也成为各考试与评价机构竞争的重要领域。目前，我国已有一些计算机辅助英语口语考试项目，如PETS低级别计算机辅助口语考试和一些省级口语考试，但由于其尚未形成规模并依然采取人工评分的方式，总体来说和国际先进水平还有一定差距。因此，追踪国际上先进的语言测试技术，进行我国自己的计算机辅助英语口语测试的研究和开发，是利用先进技术提升考试层次，使我国语言测试向现代化迈进的必然趋势，也是每个语言测试工作者的必尽职责。

[1]Versant for English.(n.d.)Retrieved from December 12,2010,from http://edu.gter.net.bbs/thread-614487-1-1.html.

[2]Ordinate.Versant English Test:Test Description&Validation Summary.Retrieved from December 12,2010,from www.ordinate.com/technology/VersantEnglishvalidation.pdf.2011a.

[3]Chun,C.W.Comments on“Evaluation of the Usefulness of the Versant for English Test:A Response”:The author responds,Lan⁃guage Assessment Quarterly,2008，5(2),168-172.

[4]Versant for English.(n.d.)Retrieved from December 12,2010,from http://edu.gter.net.bbs/thread-614487-1-1.html.

[5]Versant.Score report.Retrieved from December 12,2010,from www.ordinate.com/SAMPLE-SCORE-REPORT-VET-WATER⁃MARK.pdf.2010.

[6]Versant.Versant English Test:Test Description and Validation Summary.Retrieved from December 12,2010,from www.ordinate.com/TEST-DESCRIPTION-VALIDATION-SUMMARY.pdf.2010.

[7]Ordinate.Featured Research Papers and Presentations.Retrieved from December 12,2010,from www.ordinate.com/technology/re⁃search/jsp.2011b.

An Analysis of The Versant English Test

CHENG Mengmeng

The Versant English Test is a computer-assisted spoken English test for non-native English adult speakers.It is also the first automatic spoken English test using speech processing technology and the advanced science of linguistics.To offer some helps to those who want to increase their spoken English skills,as well as some insights to our own research of computer-assisted spoken English tests,this essay analyzes the strengths and weaknesses of The Versant English Test in the aspects of test interface and procedure,test and item types,as well as score reports.It also investigates the automatic scoring techniques used in The Versant English Test,and introduces its relevant studies,such as reliability study,validity study,etc.

The Versant English Test;Computer-Assisted Tests;Test Characteristics;Automatic Scoring;Validity Study

G405

A

1005-8427(2012)08-0052-6

教育部考试中心