基于AUA框架的剑桥职业英语考试评介

谢颖怡 张逸诗 徐煜俊

[摘要]基于测试使用论证框架（AUA），对剑桥职业英语考试（OET）用于护士职业资格注册这一决策进行效度分析，参考分析结果对中国医护英语水平考试（METS）用于護士招聘和调配这一决策提出以下建议：（1）公开测试记录相关信息；（2）提供真实性医疗场景需求；（3）测试结果与其他等级系统对接；（4）提供详细测试结果报告；（5）公布测试开发和使用信息。

[关键词]剑桥职业英语考试（OET）；测试使用论证（AUA）；医护英语水平考试（METS）

[中图分类号]G424.74[文献标识码]A

[文章编号]1673—1654（2023）03—033—009

基金项目2018广东省高职教育教学改革项目“基于SPOC的产出导向型护理职业英语听说课程混合式教学改革和实践”（GDJG2019349）；惠州卫生职业技术学院创新强校工程课题：基于AI人工智能与SPOC的护理职业英语听说课程混合式教学研究（3.72）。

一、引言

《国家职业教育改革实施方案》[1]和《职业教育提质培优行动计划（2020—2023年）》[2]，是我国最新发布的职业教育重要政策文件，其中提到“职业教育培训评价应对接职业标准，与国际先进标准接轨”“培养适应合作国经济社会发展急需的高素质技术技能人才”。当前我国唯一面向医药卫生人才的全国性专业英语考试项目为医护英语水平考试（Medical English Test System，以下简称METS）[3]，而国际普遍认可的考试则是职业英语考试（Occupational English Test，以下简称OET）。OET由剑桥博士山语言测评中心（Cambridge Boxhill Language Assessment，CBLA）主办，主要评估考生在医疗职业场景下的英语技能水平。有些医务工作者毕业于不以英语为教学语言的学校（或其他技能培训单位），他们在英国、澳大利亚、新西兰等9个国家进行职业注册、求职、求学时，必须以OET或雅思成绩作为英语工作水平的佐证。在部分国家，OET甚至可以用于签证和移民[4]。可以说，OET代表了英语环境下对医疗人员的语言能力要求。分析OET有利于了解英语医疗职业交流环境下对医学人员的语言能力要求，促进对接护理国际人才语言能力标准的建设。

但是当前对于两个测试的研究非常有限，中国知网收录的核心期刊论文中，针对METS的研究仅为一篇[5]，主要关注该考试对教学资源建设的影响，暂无针对剑桥职业英语考试的研究。因此，本文基于测试使用论证框架（AUA），对剑桥职业英语考试（OET）用于护士职业资格注册这一决策进行效度分析，以期为METS的发展提供参考。

二、测试使用论证框架（AUA）

AUA（Assessment Use Argument）是国际著名语言测试专家Bachman教授在2003年针对现实需求提出的概念框架，用于指导测试开发与使用[6]。从测试使用的角度来看，AUA自上而下分为作答表现（performance）、测试记录（assessment record）、结果解读（interpretation）、决策（decision）和预期影响（consequence）五个环节。论证分为2个步骤：首先构建4个具体的主张（claim），以说明上述五个环节间的联系；然后列举4个具体主张的理由（warrant）、证据（backing），也可能有对应的反驳（rebuttal）和证据（见图1）。其论证形式以英国哲学家Stephen Toulmin的实用推理模型为理论依据，认为主张应有事实理由作为支撑，而理由也需要证据证明。主张的可靠性在于理由是否成立以及反驳是否充分，即理由的证据和反驳的证据是否确凿。Bachman和Palmer强调测试开发者和使用者应就每一具体的测试使用目的进行论证。很多因素对论证过程有影响，如利益相关者（包括考生、考生家长、考试组织方、资格注册中心、移民管理局等）、当地教育管理政策规则等。

因此，本文基于AUA对OET进行评价及对比，主要分为三部分：第一部分总体介绍OET和METS；第二部分基于AUA分析OET用于护士资格注册的效度，选择OET用于护士资格注册，是因为基于2013年剑桥英语语言测试中心的调研，大部分OET考生的考试目的是为了获得职业注册资格（78%）和在医疗行业求职（18%）[7]，最后一部分对提高METS用于护士求职这一决策的效度提出建议（4%）。

三、OET和METS简介

（一）考试历史

20世纪80年代末期，澳大利亚政府委托墨尔本大学的Tim McNamara教授主导设计及实施OET。为将考试从澳大利亚推广到英国、欧洲和北美等国家，2013年，原负责该考试的澳大利亚成人教育中心（Centre for Adult Education）将70%的股权出让给剑桥大学英语考评部（Cambridge English Language Assessment）；同时，其下属机构墨尔本博士山学院（Box Hill Institute）与剑桥大学英语考评部合办了剑桥博士山语言测评中心，成为OET的主考机构。墨尔本博士山学院是澳洲最大的技术与继续教育（Technical and Further Education，TAFE）学校之一。这项合作被认为是澳大利亚资格考试走向世界的一个典型例子。

根据《国务院关于大力发展职业教育的决定》（国发〔2005〕35号）的文件精神，教育部考试中心及中国国际人才交流协会在2005年创办了METS。2019年METS主办方变更为国家卫生健康委人才交流服务中心和中国教育国际交流协会。

（二）考试目的

OET主要用于移民、职业注册资格、求职、求学申请，证明申请人具备在医疗环境中有效沟通的能力。OET针对12类不同医务职业的考生设定了不同的考试内容，覆盖的职業包括：牙医、营养师、医生、护士、职业治疗师、验光师、药剂师、物理治疗师、足部病医生、放射科医生、言语治疗师和兽医。据2008～2013年的官方数据显示，考生人数中占比最高的为护理人员（47%），其次是医生（23%）、牙医（20%）和药剂师（6%）。到了2017、2018年，护士的报考人数分别增加到83%和73%[8]。

METS致力于成为医药卫生部门招聘员工时评估其英语能力的标准，以及单位人力资源部门提升或调配员工及制定人力资源解决方案的依据。

（三）考试时长及内容

OET共165分钟，分为4个子测试项目：听力、口语、阅读及写作（以下简称听说读写）。其中，所有考生的阅读和听力考试内容一样，主题均与医务工作相关；而不同医学岗位的口语和写作考试内容不同[9]。

METS共分为4个级别，1—4级分别对应中专、高职高专、本科及硕博医学生的英语难度水平。1—3级考试时长为120分钟，4级为150分钟。考试包括3个子测试项目：听力、阅读及写作，所有医学岗位的考试内容相同[10]。

（四）考试形式

当前OET有三种考试途径，一是过往30年一直使用的方法，即在官方指定的考点范围中自由选择考点，参加面对面线下纸质考试；二是在官方指定的考点范围中自由选择考点，在考点中使用电脑进行在线考试；三是远程居家电脑在线考试（简称居家考试），仅支持医生和护士岗位考试，且并非所有机构和国家都认可OET居家考试成绩[11]。

METS考试为指定考点现场考试，使用纸质试卷。

（五）考试评分及流程

OET评分分值范围为0-500分，其分值与雅思[12]、欧洲语言共同参考框架[13]（其中与CEFR的对照是选取了医生、药学、护理和牙科的考试内容）对接情况如下：

根据OET官网介绍，听力、阅读的B和C部分为选择题，由电脑自动评分；而听力和阅读的A部分（为填空题）、写作和口语部分至少由2名评分员评分，分值差异过大的，将由第三名资深评分员重新评分。试卷将随机分配给评分员，评分员依照清晰的打分规则进行评分，口语考官不担任评分员[14]。

METS四个级别的题型和分值大致相同。试卷原始分为80，采用分数加权的方法，对各部分题目的原始分数分别给予不同的权重。经加权处理，考试成绩60分以上为合格，60以下为不合格，除此以外不做其他评分等级。在METS考试大纲中，详细介绍了写作部分的评分原则和评分标准，分为14分档（13—15分）、11分档（10—12）、8分档（7—9分）、5分档（4—6分）和2分档（1—3分）。每档有对应的评分标准，但未找到评分流程的介绍[15]。

（六）价格

OET考试费为587澳元（约合2760人民币），三种考试方式价格相同。依据不同等级，METS考务费为125-185元人民币不等。

四、基于AUA的OET决策评价

由于OET的主要考试群体是护理人员，他们以获取护理资格注册为主要考试目的[15]，因此本文主要论证使用OET进行护理资格注册中语言能力证据这一决策的效度。针对四个声明的论证分为三个部分：主张和支持该使用目的的理由；支撑理由的证据；部分理由可能会有潜在的反驳，需要进一步的调研。本文的证据来源于官方公开信息和文献。

论证过程中，有些主张和理由未能找到可靠的证据。这可能是由于OET的开发者在开发过程中，未将这个因素考虑在内，也有可能是未考虑AUA的论证范式，因此没有披露相关的信息。

（一）测试记录（Assessment Records）

测试记录的一致性（Consistency）要求测试记录在不同的测试任务、不同施策环节、不同评分员、不同考生间保持一致性，共有10条理由。其中OET有7条理由有证据，3条理由没有找到证据，1条理由有反驳。

（二）解释（Interpretations）

作为医疗环境下的英语水平证据，要求通过OET或METS能了解考生在医疗环境下的沟通能力（有意义性），平等解读所有考生的测评记录（平等性），测评任务、标准和程序符合真实医疗场景（可概括性），并且与“判断考生能否在英语的医疗环境工作或学习”紧密联系（关联性），能充分解释考生的语言能力（充分性）。以下详细展示两个考试在有意义性（理由A1-A7）、公平性（B1-B5）、可概括性（C1-C2）、关联性（理由D）和充分性（理由E）方面的具体体现。其中OET有14条理由有证据，2条理由未找到证据，1条理由有反驳。

（三）决策（Decisions）

主张：基于考试成绩的解读所做的护士资格注册或护士招聘决策，符合现有的教育和社会价值以及法律法规，同时对所有受决策影响的相关人员都是公平的。以下A1-A3论证符合价值观，B1-B2阐明其公平性。其中OET有4点理由有证据，1条理由未找到证据，1条理由有反驳。

（四）影响（Consequences）

主张：测试的使用以及基于OET做的决策为测试的利益相关者带来有益影响。OET的全部理由都有证据。

以上对使用OET作为注册护理资格的语言能力证据这一决策的效度进行了基于AUA框架的论证。每个环节的论证包括主张、每个主张相应的理由、每个理由的用于支撑理由的证据以及对于部分理由提出了反驳。

分析证据主要源自OET官方信息和公开的论文及调查报告。论证发现，在测试记录、解释、决策和影响四个环节中，影响的证据最为充分。在解释和决策环节中，除了平等性（测试任务不含任何话题或文化等方面可能冒犯任何考生的内容）和符合价值观（在确认错误肯定和错误否定的决策错误严重性时，严格谨慎地将现有的教育和社会价值以及法律法规考虑在内）两个主张证据不足，其他主张均有充分的证据。而在测试记录中，有6条理由没有找到任何相关资料，而其余的4条理由的相关证据也都为OET官方的简略陈述，缺少详细的佐证或第三方文献证据。

五、对METS开发与使用的建议

基于OET的实践和公开途径获取的METS测试信息，以及AUA的四个主张：测试记录、解释、决策和影响，从METS用于护士招聘和调配这一决策出发，对METS的开发和使用提出以下建议。

（一）在测试记录方面：公开测试记录的相关信息

暂时在公开途径没有查询到METS的测试记录相关信息，因此测试的利益相关者难以了解测试记录一致性。基于OET的实践，可以尝试在测试设计阶段，由METS开发团队与医务一线专家、语言测试专家一起研究及论证，然后通过系统的培训，实现不同测试任务、不同施策环节、不同评分员、不同考生间条件下，测试记录的一致性；同时在施考后，开发团队要通过收集数据，论证这些设计是否确实实现一致性。最后建议对考生、医疗用人单位等利益相关者提供相关的论证数据和结论，为利益相关者解读测试、依据测试做决策和发挥测试对社会的有利影响奠定基础。

（二）提高测试解释的有意义性和概括性：考试内容、题型和评价方式要符合真实医疗场景需求

医护英语考试作为专门用途英语测试，应通过系统的需求分析，确保考试任务的真实性。OET的开发者McNamara也是基于需求分析研究后，决定依据12个专业特色，单独设立了口语和写作测试任务。

当前METS的需求调研范围主要是北京协和医院、四川华西医院和北京朝阳医院等医院相关岗位[47]，覆盖面较小，建议可以联合更多有需求的医疗单位，展开需求调研，了解国内不同卫生医疗岗位的英语使用需求，考虑增设以医疗环境下口语交流为考试内容的口语考试任务，并对是否需要分岗位提供不同版本试卷展开调研。

（三）提高测试解释的充分性：测试结果与其他英语能力等级系统对接

OET提供了与雅思、欧框等语言能力标准的对标。目前，中国英语能力等级量表的颁布为我国英语能力测评提供了统一的标准参照框架[48]，同时也已经有学者开展了职业英语能力等级考试的研究[49，50]。建议METS将测试结果与国内权威能力量表进行对接，使得决策者能基于测试结果充分了解考生的能力。

（四）提高测试解释的充分性：提供详尽的测试结果报告

OET测试结果提供听说读写四个子测试项目的分值，而目前METS分数报告中仅显示“合格”，没有其他分数信息。建议提供详细的分值报告，这既有利于考生了解自身水平并进行下一步学习；也有利于护士认证机构等测试使用者基于METS成绩进行决策。

（五）在测试的有益影响性方面：公布测试的开发和使用信息，提高考试影响力

OET官网的新闻中心栏目会实时更新认可OET成绩的政府部门或机构，这有助于考生了解自己是否适合参加该考试，同时也说明OET团队在不断扩大考试的使用范围及影响力。METS也可以参考此做法，通过公布测试的开发和使用信息，让更多医疗机构认可和使用METS测试结果进行人才筛选，以提高METS的影响力。

本文仅论证了OET在護理资格注册和METS在护士招聘这2项决策中的有效性，这两个考试对其他卫生从业者影响的有效性有待于后续研究做进一步论证。

（文章得到重庆大学辜向东教授指导，特此感谢！）

参考文献：

[1]国务院关于印发国家职业教育改革实施方案的通知[EB/OL].（2019-01-24）[2022-11-04]. http：//www.moe.gov.cn/jyb_xxgk/moe_ 1777/moe_1778/201904/t20190404_376701.html.

[2 ]教育部等九部门关于印发《职业教育提质培优行动计划（2020—2023年）》的通知[EB/OL].（2020-09-23）[2022-11-04]. http：// www.moe.gov.cn/srcsite/A07/zcs_zhgg/202009/t20200929_492299.htm.

[3]医护英语水平考试介绍[EB/OL]. [2022-11-04].http：//www. mets.org.cn/.

[4] Why Choose OET？ [EB / OL]. [2022-11-04].https：//www. occupationalenglishtest.org/why-choose-oet/.

[5]孙婕，徐娟，吕普，等.基于英语医护水平考试的高职高专医药英语教学资源的构建[J].重庆医学，2017，46，（22）：3156-3158.

[6] Lyle F Bachman & Adrian S Palme. Language Assessment in Practice：Developing Language Assessments and Justifying Their Use in the Real World [M]. Oxford：Ox ford University Press，2010.

[7]VidakovicI，KhalifaH.StakeholdersPerceptionsof Occupational English Test（OET）：An Exploratory Study [J]. Research Notes，2013，54：29-32.

[8]TestStatistics[EB / OL].[2022-11-04].https：//www. occupationalenglishtest.org/test-information/test-statistics/.

[9] Find Free Sample Tests | OET Preparation Materials [EB/OL].[2022-11-04]. https：//www. occupationalenglishtest. org / preparationportal/free-sample-tests/.

[10]醫护英语水平考试办公室.全国医护英语水平考试大纲（全新版）[M].北京：高等教育出版社，2017.

[11]Delivery-modes[EB / OL].[2022-11-04].https：//www. occupationalenglishtest.org/test-informati7on/delivery-modes.

[12] Lim，G.（2016，updated October 2017）The Occupational English Test and IELTS：A Benchmarking Report[R]. Cambridge Assessment English，UK.

[13] UK NARIC. Relating the Occupational English Test（OET）to the CEFR. [EB/OL]. [2022-11-15]. https：//prod-wp-content.occupationalenglishtest.org/resources/uploads/2019/07/28135938/OET-CEFRbenchmarking.pdf.

[14] Result & Assessment [EB/OL]. [2022-11-04]. https：//www. occupationalenglishtest.org/test-information/results-assessment.

[15]医护英语水平考试办公室.全国医护英语水平考试应试指南3[M].北京：高等教育出版社，2016.

[16] How Is OET@Home Different To OET On Paper？ [EB/OL].[2022-11-15] https：//support. occupationalenglishtest. org / hc / en-gb / sections/4403209927055-OET-Home？_ga=2.206746003.1217117857.1 633764005-847230800.1587009438，2021-2-04.

[17] Results-assessment [EB / OL]. [2022-11-15]. https：//www. occupationalenglishtest.org/test-information/results-assessment/，2021-2-04.

[18] Elder C，McNamara T，Woodward-Kron R，et al. Towards Improved Healthcare Communication：Development And Validation Of Language Proficiency Standards For Non - Native English Speaking Health Professionals [EB/OL].（2013-8）[2023-03-27].https：//prod-wpcontent. occupationalenglishtest. org / resources / uploads / 2018 / 05 / 31235220/Elder-C-et-al-2013-Towards-Improved-Healthcare.pdf.

[19] Knoch，U.，Elder，C.，Woodward-Kron，R.，Flynn，E.，Manias，E.，McNamara，T.，... Huisman，A. Towards Improved Quality Of Written Patient Records [EB/OL].（2017-5）[2023-03-27]. https：//arts. unimelb.edu.au/__data/assets/pdf_file/0008/2546585/LP130100171-Final-Report-1-November-2017.pdf.

[20] Candidate Performance 2021 [EB/OL]. [2023-03-27]. https：// cdn-aus.aglty.io/oet/pdf-files/2021-test-stats-Candidate-performance. pdf.

[21] OET Accepted In The US For Both Doctors And Nurses [EB/ OL].（2020-7-9）[2022-11-04]. https：//www.occupationalenglishtest.org/ oet-accepted-in-the-us.

[22] Lumley T，Mcnamara T F. Rater Characteristics And Rater Bias：Implications For Training [J]. Language Testing，1995，12（1）：54- 71.

[23] Knoch，U. Investigating The Effectiveness Of Individualized Feedback To Rating Behavior：A Longitudinal Study[J]. Language Testing，2011，28（2）：179-200.

[24] Why Are Some Of The OET Tests‘Profession Specific？/ Results & Assessment | OET - English Language Test For Healthcare[EB/OL]. [2022-11-04]. https：//www.occupationalenglishtest.org/testinformation/results-assessment/.

[25] Speaking Sub-test | OET - The Only English Test for Healthcare [EB/OL]. [2022-11-04]. https：//www.occupationalenglishtest. org/test-information/speaking/.

[26] Woodward-Kron R，Elder C. A Comparative Discourse Study OfSimulatedClinicalRoleplaysInTwoAssessmentContexts：Validating A Specific-Purpose Language Test [J]. Language Testing，2016，33（2）：251-270.

[27] Macqueen S，Pill J，Knoch U. Language Test As Boundary Object：Perspectives From Test Users In The Healthcare Domain [J]. Language Testing，2016，33（2）：209-261.

[28]VidakovicI，KhalifaH.StakeholdersPerceptionsof Occupational English Test（OET）：An Exploratory Study [J]. Research Notes，2013，54：29-32.

[29] Knoch U，Macqueen S. Assessing English for Professional Purposes [M]. 1st ed. Britain：Routledge，2019：100-101.

[30] NMBA---Registration-standard---English-language-skills_ final [EB / OL]. [2022-11-15]. https：//www. ahpra. gov. au / documents / default.aspx？record=WD19%2f28849&dbid=AP&chksum=iQZigaacCzjnl AMcvGDb7Q%3d%3d.

[31] Cambridge Boxhill Language Assessment. OET Nursing：Official OET Practice Book 1 [M]. Independently Published，2018.

[32] Frost，K. Investigating Test Taker Processes On Two ESP Listening Tasks [D]. Language Testing Research Centre，University of Melbourne，Melbourne，Australia，2013.

[33] Macqueen S，Pill J，Elder C，et al. Investigating The Test Impact Of The OET：A Qualitative Study Of Stakeholder Perceptions Of Test Relevance And Efficacy [EB / OL].（2013-12）[2023-03-27]. https：//prod-wp-content.occupationalenglishtest.org/resources/uploads/ 2018 / 05 / 31235220 / Maqueen-S-et - al-2013-Investigating-the-testimpact.pdf.

[34] Pill T J H. What Doctors Value In Consultations And The Implications For Specific-Purpose Language Testing [D]. University of Melbourne，2013.

[35] Elder C，McNamara T，Woodward-Kron R，et al. Developing AndValidating Language Proficiency Standards For Non-Native English Speaking Health Professionals [J]. Papers in Language Testing and Assessment，2013，2（1）：66-70.

[36] Pill J. Drawing On Indigenous Criteria For More Authentic Assessment In A Specific-Purpose Language Test：Health Professionals Interacting With Patients [J]. Language Testing，2016，33（2）：175-193.

[37] OHagan S，Pill J，Zhang Y. Extending The Scope Of Speaking Assessment Criteria In A Specific-Purpose Language Test：Operationalizing A Health Professional Perspective [J]. Language Testing，2016，33（2）：195-216.

[38]ElderC，PillJ，Woodward-KronR，etal.Health ProfessionalsViews Of Communication：Implications For Assessing Performance On A Health-Specific English Language Test [J]. TESOL Quarterly，2012，46（2）：409-419.

[39] NMC Amends OET Writing to C+ [EB/OL].（2019-11-28）[2022-11-04]. https：//www. occupationalenglishtest. org / nmc-amendsoet-writing.

[40] Manias E，McNamara T. Standard Setting In Specific-Purpose Language Testing：What Can A Qualitative Study Add？ [J]. Language Testing，2016，33（2）：235-249.

[41] Pill J，McNamara T. How Much Is Enough？ Involving Occupational Experts In Setting Standards On A Specific-Purpose Language Test For Health Professionals [J]. Language Testing，2016，33（2）：217-234.

[42]REGISTRATIONSTANDARD：ENGLISHLANGUAGE SKILLS，Medical Board of Australia Standard For Registered Medical Practitioners. [EB / OL].（2015-07-01）[2022-11-15]. https：//www. ahpra.gov.au/documents/default.aspx？record=WD15%2f16888&dbid= AP&chksum=Qt6fclXbe4YXYTcrrq%2fUjg%3d%3d.

[43] Who-Recognises-Oet [EB/OL]. [2022-11-15]. https：//www. occupationalenglishtest.org/test-information/who-recognises-oet.

[44] How Your Organization Can Benefit From OET [EB / OL].[2022-11-15]. https：//www.occupationalenglishtest.org/organisations.

[45]Latest-News[EB / OL].[2022-11-15].https：//www. occupationalenglishtest.org/latest-news.

[46] Privacy Statement And Policy [EB / OL]. [2020-11-15]. https：//registration.myoet.com/documents/id/ggLevMmtza8kNdw4DOnoZ tZa1T8Yc2XsDZlH3tpwOn1heoPK/privacy.html.

[47]關于METS http：//www.mets.org.cn/index.php？c=content&a= list&catid=38. [EB/OL]. [2022-11-15].

[48]刘建达.我国英语能力等级量表研制的基本思路[J].中国考试，2015，（1）：7-11，15.

[49]曾用强.职业英语能力构念的实证研究[J].外语界，2020，（02）：12-19.

[50]王丽，王华.ESP能力等级量表评价体系的构建原则和方法[J].外语学刊，2019，（03）：79-85.

Comparison of Occupational English Test and Medical English Test System： Building An Assessment Use Argument

Xie YingyiZhang YishiXu Yujun

Huizhou Health Sciences Polytechnic，Huizhou，Guangdong，516001

Abstract：The article adopts the Assessment Use Argument（AUA）framework of Bachman and Palmer to review the use of Occupational English Test（OET）in making decisions for overseas trained nursesprofessional registration. Based on this analysis，five suggestions are put forwards for Medical English Test System（METS）organizers：open test records to generate information，provide authenticity，connect test results with other level systems，provide detailed test results，and promote test use.

Key words：Occupational English Test（OET），Assessment Use Argument（AUA），Medical English Test System（METS）

（责任编辑：吴茳）