计算机化考试的试题编拟与命题管理

任子朝 程力 陈昂

计算机化考试的试题编拟与命题管理

任子朝 程力 陈昂

计算机化考试（CBT）具有高效、快捷的优点，不仅带来了试题编拟、存储、组卷和试题呈现方式的革命，更带来了命题思想、观念的革命。在命制试题时，需要利用计算机考试的特点，创设新颖的情境；组卷时，线性动态考试系统（LOFT）建立了自动组卷的新模式；命题管理系统也借助题库系统将参与命题的人员进行了分类管理。研究CBT有助于命题人员更新命题理念，创新题型设计，优化组卷方式。

计算机化考试；命题；组卷系统；题库管理系统

1 引言

随着计算机和信息技术的发展，计算机化考试（Computer-based Test，CBT）逐渐应用于考试实践中，越来越多的考试机构开始使用计算机化考试取代传统的纸笔考试。在过去的三十多年里，相继开发出的一些高水平的大型计算机化测试，宣告了世界测量已进入一个高科技时代。甚至有研究者预言“所有的考试总有一天都会采用某种计算机化测试形式”[1]。一般认为，利用计算机进行题目命制、考试实施、评分、试卷分析及成绩反馈的各类测试均可称为计算机化测试[2]。CBT省去了试卷印刷、发送等工作环节，更具有高效、快捷的优点，并由此带来了试题编拟、组卷、管理等一系列的革命，因此CBT不仅是技术革命，更是命题管理的革命。本文将从试题情境设计、组卷系统、命题管理等几个方面讨论基于CBT的试题命制以及带给我们的启示。

2 试题情境设计

试题的立意、情境和设问是编制试题的三个要素。在明确试题考查目的之后，如何选取合适的素材，设计恰当的情境来实现考核目的是试题命制的重点之一。利用计算机独特的功能，如多媒体、互动方式等，可以开发出更优质的创新试题（Innova⁃tive Items），创设出更新颖的情境，从而提高考查效度。在CBT试题编制的设计中，需要注意以下因素：

2.1 利用计算机技术的创新

随着多媒体技术的发展，CBT不仅可以呈现文字、图像、表格等文本信息，而且可以包含音频、视频、动画等多种形式的媒体，能够呈现各种复杂的、动态的信息，能够模拟考生生活或工作中的真实场景，扩大了考试的内容范围，更新试题呈现方式。[3]另外，考生可以通过点击鼠标、键盘输入、对着麦克风说话等行为作答，使得测量的渠道更为多元、更为互动、更为直观。这些技术创新拓展了命题设问的空间。

在进行试题情境的创设时，可以根据试题的考查目标和考查内容，整合贴近考生的文字、图像、表格、视频、音频、动画等素材，合理地设计试题呈现的内容，将多种形式信息合理地组织利用起来。例如，一类新题型：热点题，在屏幕上提供试题情境，让考生通过点击鼠标，点击不同区域作答。例如在计算机屏幕上呈现太阳系，要求考生将太阳系的八大行星拖拽到正确的屏幕位置。或在屏幕上给出太阳的影像，要求考生在图上标注出太阳耀斑最强烈的地方。

2.2 能力要求的创新

CBT创新试题具有素材来源广泛、呈现形式多样、信息量丰富、情境真实、设问角度灵活的特点。这些特点使得CBT能够考查传统纸笔考试所不能考查的新能力。例如数据处理能力、综合推理能力等。数据处理能力是：从庞大的数据中排除次要信息，分析、整合并提炼出重要信息的能力。这个能力对今后的学习至关重要，也是职场上所必不可少的技能。在对数据处理能力进行考查时，考生可以利用计算机独特的排序等功能对呈现的数据进行编辑，挖掘数据背后的规律，发现解题的路径，展现推理能力。综合推理能力是：考生需要综合各种不同的信息，选择合适的方法、路径进行推理论证。例如GMAT最近推出的综合推理题型（Integrate Reasoning），考生在回答问题时，需要运用表格分析、图表解读、统计推断等方法，综合分析多种形式、多种来源的输入信息，评估可能的结果后，探索可以选择的决策，寻求最恰当的可行方案。试题考查了考生分析综合、评估、批判性思维等更高层级的认知技能。

还有一些传统纸笔考试中无法考查的能力，在CBT中也有不同的考查形式和内涵。例如，实验能力是自然科学研究中的一项重要能力，然而在传统的自然科学考试中，实验能力的考查往往只能在纸上进行。借助计算机，通过模拟真实的实验情境，CBT的试题可以考查考生实际动手操作的能力，特别是设计实验的能力。这些试题提供大量的实验器材，要求考生根据实验目的，设计原理和步骤，挑选适当的实验器材，在仿真的实验环境中，获取实验数据，分析和处理实验结果等，实现对考生实验能力的考查。

2.3 为考生提供多种选择

每个考生的个性是不同的，传统的纸笔考生往往难以照顾到这点，而计算机化的考试可以方便地按照一定的方式分发试题，CBT呈现的试题情境可以根据考生回答的情况变化，从而有效地区分各类考生群体，使考试更加个性化。例如，在模拟的实际办公情境中，假设你是一名员工，需要与客户联系，你可以选择电话、E-mail等方式。如果选择电话，屏幕上呈现电话场景的试题；如果选择E-mail，屏幕上呈现一封实际的E-mail，你需要给客户发一封电子邮件。这种非线性的呈现试题的方式，体现了考生的自主选择性，有利于激发考生的真实的反应行为。

2.4 利于考后的评价

值得注意的是，CBT试题进行创新的同时，评价细则也同样进行创新。一般来说，评价细则应与思维量相匹配，具有可操作性，以方便后期的数据统计分析。如GMAT推出的综合推理题型，每一道试题的分值相同，且都有2至3道子题。考生答对全部子题得1分，否则得0分，降低了考生猜测的因素。另一种赋分方式是每一道子题1分，考生的得分为答对子题的个数。另外每个试题需要考生作答的量较小，这样阅卷的工作量也就相对较小。

最近，采用人工智能进行评分成为CBT测试发展的新方向，更多科学技术被运用到评价中来。例如：人工智能在CBT中的应用主要体现在：利用自动语音识别技术进行口语评分，以及利用统计、自然语言处理和人工智能实现写作自动评分[4]。

2.5 促进考生充分发挥真实水平

创新题型的情境复杂，信息量大，思维容量大，呈现方式多样，对考生的思维能力要求较高。考生要求在2～3分钟内完成一道试题，因此需要集中注意力，激发全部的潜能，综合分析屏幕的多个信息才能完成解答。

试题情境的创设力求对所有考生都是公平的，不出现试题功能性偏差。试题的情境和设问具有一定的挑战性，能够让不同层级的考生发挥自身的水平，能够在更高层级的思维水平上区分考生。

3 组卷系统

单个的试题命制完成后，需要组拼成一个集合，即一套试卷。传统组卷方式是在考试开始前就组成一套固定的试卷，所有考生使用的试卷是完全一样的。而CBT中的线性动态考试系统（Linear onthe-fly Testing，LOFT）则是在此基础上进行了改进，与传统的组卷方式不同，LOFT是在考前为每位考生临时组拼一套试卷，进而组拼成多套平行试卷用于考试，并且考试的内容和统计指标严格受控。

3.1 线性动态考试系统（LOFT）介绍

线性动态考试系统以题库为依托，在每位考生坐到计算机前，题库就为其组拼了一套试卷。组拼试卷具体的指标主要包括以下内容。

（1）内容结构（Content Structure）。首先将题库中考试科目的考试内容分为若干部分，分别存储。在组卷之前确定试卷中每部分内容试题的数量。每部分题目的数量=本部分内容在大纲中的比例×试卷题目数量。同时，根据考查重点内容的题目在本部分内容中的比例，决定考查重点题目数量。在组卷过程中，注意避免“敌对题”的出现，所谓“敌对题”就是相互之间有提示影响的试题。

（2）试题曝光率（Item Exposure Rate）。因为题库中的试题是重复使用的，所以要控制每道试题的曝光率，使每道试题被抽到的概率大体相同。避免统计数据较好的试题曝光率过高。

（3）试卷之间题目重叠率（Form Overlapping Rate）。因为每个考生的试卷既不是完全相同，也不是完全不同，每张试卷之间都可能有部分相同的题目，必须控制试卷间相同试题的数量，或者说相同试题的比例。这个比例根据题库中试题的数量、考生人数、考试次数、试题难度等因素综合考虑确定。

（4）试卷难度区间（Form Overall Difficulty Range）。在考试中，为保证公平，要保证每张试卷的难度是等值的，所以每张试卷的整体难度要控制在一个基本相同的区间。因此每张试卷难度的估计区间不能过大，以便使不同试卷等值。

（5）信度（Rasch Reliability）。为保证考试的稳定性和可靠性，也要控制试卷的信度区间，使考生的成绩稳定、可靠。

3.2 线性动态考试系统的基础

LOFT的设计和使用是以题库为基础的，为了保证考生的成绩等值、可信，要采取多项措施，一是全面规划题库中试题的数量，二是实施共同题等值，三是进行大规模的试测，分析考试试测数据，使每个试题都有一整套数据指标。这样就使考生能力水平在每次考试间具有可比性，考试数据年度间具有可比性。另外LOFT更适用于标准参照测验，因为标准参照测验主要测试考生的知识、技能和表现，一般不进行考生个人之间的比较，考生通过与否是关键，因此可以实行窄全距的难度分布，在标准附近多设计试题，以测试考生是否达到了规定的标准。

3.3 LOFT特点分析

线性动态考试系统和固定试卷相比有三个优点：一是提高考试安全性，因为每个考生使用的试卷中的题目不完全相同，降低因为考生考试后互相对题而产生的潜在漏题风险。二是减少因为试题仅仅使用一次，所以命制大量试题而增加的研发的费用。三是提高题库试题的利用率。

4 命题管理

CBT不仅改变了试题的呈现形式，而且对命题管理也带来了巨大的变化，特别是对基于题库命题的考试项目。利用题库管理系统，可以将参与命题的人员分成几类，例如项目管理者、试题编写者、审题专家等。

项目的管理者在题库建立伊始就要规划和设计好考试项目的管理流程，从而设定不同的用户。借助计算机的功能，项目管理者可以增减用户、限定不同用户的权限、记录用户的登录记录等。这些不同用户之间的权限有所不同，例如，审题专家有权限看到已经编写完成的试题，而无法看到已经进入题库中的试题。

基于题库命题管理后，项目管理者可以不用再把试题编写者聚集到一起进行面对面的讨论，而是可以借助计算机和互联网实现远程管理。项目管理者利用题库软件的功能，甚至可以回溯试题编写者的命题过程，这样能更好地从命题的立意、材料的选取、方法的使用等多个角度来审定和处理试题。试题编写者也可以根据自己的时间来安排工作，当试题编写者登录到题库系统后，他能够明确知道自己所需要编写的试题内容、题型、数量、难易度等要求。项目管理者能随时从命题蓝图中掌握试题编写进度（见表1）。

当试题编写者完成试题编写后，项目管理者可以把这些试题发送给其他的试题编写者进行审校，或者是发给审题专家进行裁决。这些反馈意见都可以通过计算机网络实现远程传输，并最终体现在题库管理系统中（见表2）。

表1 命题蓝图

5 思考与启示

（1）计算机化考试不但是试题呈现方式的变革，而且是试题情境设计、组卷和统计方式的变革，命题人员要勇于面对挑战，开拓思路，积极研究CBT的特点，善于应用计算机技术，设计适应CBT的试题。可以选择一些科目或一些科目的部分试题实行CBT，总结经验，逐步推广。

（2）应用技术手段是为了更好地实现考试目的，要恰如其分地使用技术手段，不能机械地为使用而使用，要充分发挥其独特的作用，为实现考试目的服务。在试题情境的开发中，应合理使用多媒体技术，要根据测量目的，挑选最适合计算机呈现的、适合作答的情境和呈现形式，而不能本末倒置，由于滥用多媒体技术而影响了考试目标的实现。

（3）LOFT组卷系统既不同于传统的固定试卷，也不同于计算机自适应测验，而是根据考试需要开发的组卷系统。这就启示我们，在题库的建设过程中要本着实事求是的原则，不能教条主义、本本主义，以单题形式存储的是题库，以试卷形式存储的也是题库，只要能灵活、快捷、高效完成考试任务，全面、准确、完整实现考试目的就是好的题库。

表2 试题编写者的管理

（4）CBT改变了试题的命制方式，也同时改变了命题管理，如何利用新的技术、新的管理平台完成命题工作是命题人员需要研究和实践的任务。命题人员要总结出题库管理的经验和特点，结合不同的科目形成具有学科特点的管理流程和经验。

[1]Bennett，R.E.Inexorable and evitable:The continuing story of tech⁃nology and assessment[J].Journal of Technology,Learning,and Assessment，2002,1(1).

[2]Davis，A.,et al.Dictionary of Language Testing[M].Cambridge:Cambridge University Press，1999：28.

[3]曾用强.对计算机化考试的几点思考[J].外语电化教学,2010（1）：52-55.

[4]程蒙蒙.计算机化语言测试的历史与我国的实施条件和研究方向[J].北京师范大学学报（社会科学版）,2012（增）：65-69.

Cogitation upon Item Writing and Management Which Based on Computer-based Test

REN Zizhao，CHENG Li and CHEN Ang

Computer-based test（CBT）enjoys the advantage of being an effective and efficient testing method.It brings a revolution in test design,storage,editing,and presentation.It also brings a revolution in the philosophy and concept of testing design.When designing a test on CBT,we should adopt innovative scenario to appeal to the feature of CBT.In test editing,we should take advantage of the LOFT system to enable a new model of automatic test editing.Using the item pool system,the test design management system arranges test design personnel based on categories.Research on CBT enables test design personnel to adopt new concepts for test design,new test item format,and to upgrade test editing methods.

CBT；Item Writing；Component System；Item Banking Management System

G405

A

1005-8427(2014)03-0003-6

本文系全国教育科学规划教育部重点课题“高考能力考查与内容改革创新研究”（GFA111006）。

任子朝，男，教育部考试中心，研究员（北京 100084）

程 力，男，教育部考试中心，助理研究员（北京 100084）

陈 昂，男，教育部考试中心，助理研究员（北京 100084）