计算机自适应测试系统设计与开发

陈明

【摘 要】随着计算机技术和人工智能的发展，测试的手段和方法正在发生变革，运用了自适应测试理论的计算机化自适应测试（CAT）得到了越来越广泛的应用。本文在介绍计算机化自适应测试的基本概况的基础上，提出了一个基于互联网的网上自适应测试系统的设计方案，然后创建了自适应测试环境，对自适应测试的原理及作者的实现思路提出了一些看法。

【关键词】自适应测试；计算机化自适应测试（CAT）；项目反应原理（IRT）

【Abstract】As an important method of judging peoples abilities ， the kind of examinations is becoming more and more. As the science and technology is developing continuously， computerized Adaptive Testing （CAT） is used more and more widely. This article introduces the conception of CAT. It also presents the basics in theory of it------Item Response Theory （IRT）， The author designed a Computer Adaptive Testing （CAT） blue print and developed a system based on this print. The CAT Theory and Method are introduced in this article.

【Key words】Adaptive Testing； Computerized Adaptive Testing （CAT）； Item Response Theory （IRT）

自適应测验是一种新型的测试手段，操作起来各个阶段都比较复杂，涉及到试题选择与考生能力的估计，如果不适用计算机，会较难实施。与传统的纸笔测试相比，其速度更快，效率更高，也更准确。可以有效避免了传统测验中能力低者做难度高的试题，能力高者做难度低的试题这类情况。

基于自适应测试理论来建立基于计算机的自适应测试系统，还可以充分的进行试题分析，试卷分析等教学信息方面的工作。可以更真实地反应学习者的学习水平和特点，有利于教师对学生因材施教。

1 测试理论

计算机自适应测验建立在项目反应理论的基础上，从建设题库到选择试题，全部以项目反应理论为指导。“IRT称为项目特征曲线或潜在特质理论，它是根据某一数学模型，用项目特征曲线参数估计潜在特质的一种测量理论。”其中，最重要的两个概念是”潜在特质”和”项目特征曲线”。“潜在特质是指人具有相对稳定，支配其对相反的测验做出反应，并使反应表现出一致性的内在特征，一般用θ表示。决定某一行为的潜在特质往往不是一种，潜在特质的集合称为潜在特质空间。”

1.1 经典测试理论（CTT）和项目反应理论（IRT）的比较

在现代教育测量当中主要有两种指导理论：经典测试理论和项目反应理论。它们都有各自完整的试题分析的指标体系和评价标准，例如：难度，区分度、标准误差以及信度等。

一般情况下，绝大多数纸笔考试是基于经典测试理论的，它以信度，效度，区分度等为主要测量特征。但是经典测试理论有一个显著的缺点，被测试者的分数与题目的难易程度相关，即题目难度不会因为被测试者能力的高低而改变。项目反应理论正好可以克服这样的缺点，它依据被测试者的能力，根据不同的被测试者具体情况来出题，可以很好的克服传统测试理论的缺点。

1.2 项目分析参数

好设置合理的测试题目，需要对每一个题目进行分析，这包括难度，区分度，效度以及信度等。“难度就是试题的难易程度，是衡量一道题目质量的一个重要指标，难度和区分度共同影响并决定测试的鉴别性。”难度一般用可以用以下公式计算：P=R÷N（其中P代表试题的难度指数，R代表试题的答对人数，N代表考生人数）。“区分度是测评试题区分应试者能力水平高低的指标。”试题区分度高，则能够拉开不同水平应试者分数的距离，使水平高者得高分，反之得低分。区分度可用以下公式计算：D=（H-L）÷N（其中D代表区分度指数，H代表高分组答对题的人数，L代表低分组答对题的人数，N代表高分组与低分组人数之和）。信度是指人测试结果的一致性或稳定性，稳定性越大，一致的程度越高，就意味着测试结果越可靠。一般来说，测试的信度要控制在0.7以上。效度是指测试的有效性和正确性，即测试是否有效测量了它要测定的东西，是否达到它所预定的测评目标。效度是一个相对概念，而不是一个绝对概念，即效度只有高低之分，而没有全部有效和全部无效之分。

1.3 项目反应模型

项目反应理论（IRT）一种先进的测验理论。基于这一理论的测验模型称为IRT模型。IRT模型是一种数学模型，他定义了被测试者对试题的反应和潜在能力特质之间的关系。项目反应理论（IRT）建立了被测试者反应与试题参数和能力水平之间的非线性模型，具有参数不变性，估计出的能力值不依赖于测试题目样本的特性，同时可以根据题目信息量，选择与被测试者能力相匹配的题目，直到达到预定的测试精度要求。

2 自适应在线测试系统设计

2.1 自适应考试模型流程

此次考试模型设计通过测验算法来实现的。首先为被试者确定一个初始的特质水平估计值θ，根据这个值，给出第一个测验项目，答题之后，系统自动估计其能力值θ，再根据这个值来选择下一道题，并以此类推，直到测验条件满足，结束答题。

2.2 自适应考试系统模型设计

测试考试系统采用三参数模型，难度、区分度和猜测指标。在建立题库时，题目的难度、区分度指标都是由有经验的教师或者是该领域的专家进行初始设定，有一定的权威性。在以后考试的过程中可以根据实际情况进行修改。初始测试项目的选择：在初始项目中假设在测试开始前已经知道了所测试对象的相关情况，我们就以以往参加过测试的被测试者特质水平的平均值为初始估计值。应试者能力水平的估计：通过最大似然法通过被测试者的似然函数区最大值来求测试者的能力参数θ。测试项目的选择：在考生答题完毕，系统对次此考试进行测试项目分析，算出考生的能力参数θ，采用项目反应的Logistic模型中的三参数模式。

3 在线考试系统的设计

3.1 系统总体设计

系统包括了用户注册、登录、参加在线考试以及管理员进行试题录入、修改、删除、成绩查询、管理等功能，具有开放性、方便性和灵活性。可以实现向题库添加、修改和删除试题。对考生进行有效的身份验证登录后，选择进入考试系统，并要求在规定的时间内进行答题，当达到规定的时间后，系统将自动予以提示。一旦考生做完交卷后便能立即看到自己的考试成绩，并且其分数将被记入库中以供审核和查阅；另外，还可完全由计算机自动灵活、随机的抽取试题库中的各类试题组成各种形式的试卷，其内容会随着库中试题的改变而改变，而且，不同的考生生成的试题是不同的。在线考试系统的结构图1所示：

3.2 题型、数据库设计

考试系统的核心部分是數据库的设计，系统能够快速合理的从后台的数据库中检索出相关的数据。数据库中表的设计通常，每一类型的试题都应有一个表结构。但考虑到目前系统存贮空间可以很大。我们采用把全部试题集中在一起的方案来建立数据（下转第277页）（上接第283页）表，每道客观题均有四个备选答案项，每个试题均具有题型，分值等数据段表示其属性。字段名一般是相应的英文单词。这样，查询起来较方便，会节约时间，也不致于造成数据十分杂乱等。

4 功能模块详细设计

考试系统主要包括以下模块

4.1 系统管理模块

管理员可以向题库中添加各种类型且符合要求的试题，也可以对它们进行修改和删除。同时，管理员也能对用户、考试题目、考试记录等数据进行管理。

4.2 成绩管理

考生每次考试的成绩都会被录入数据库，系统对这些数据进行加工统计分析。提供学生在线查看学生的成绩。

4.3 考试试卷管理系统

包括试卷的考试时间，单选多选的题量以及单选多选的分值（设定试卷的各项数值）。考试监控在线查看学生的到场及交卷情况。在线阅卷是针对主观试题的测试者在提交后，通过网络把答题的内容传到管理员（这里一般的教师就是管理员）的在线阅卷的浏览器上进行阅卷。

4.4 用户管理

进行用户的添加，删除，查询和登陆权限的设定。

4.5 在线考试模块

考生登录后，只要选择考试以后，就可以调出试卷进行在线考试。为了实现动态随机不重复的抽取试题，需要在选题过程中每选出一题，就要在试题库中作相应的标志，以便下次不会重复取出此题。试卷出来后要对试题库中的标志位复原。这样就会使每个考生的试卷都不同。考生的其答题信息通过单、复选按钮选择答案来反应。考试结束采取自主交卷和到了规定的时间自动题示有机结合的方式办法予以实现。

用户注册模块

该模块的功能是实现用户远程注册。用户输入想要注册的用户名、密码、重复密码、真实姓名和学号，提交之后由系统判断该用户是否已经存在，如果存在，就给出相应信息，如果不存在，就把用户输入的用户名和密码写到数据库中，完成注册。当然，在进入系统后，无论是系统管理员还是普通用户都可以修改更新自己的个人信息资料。

5 小结

本文通过对项目反应理论的研究给出了一个计算机网络在线考试系统的设计模型，可以提高测试的效率，才外还克服了传统组卷方法的随机性和偶然性，提高了随机组卷的合理性，实现透明管理，增强了测试的安全性，教师可以轻松的对题库进行操作和管理，能够方便的查询试题信息、考生信息和考试成绩，并在此基础上对成绩进行分析，极大的提高了效率。

【参考文献】

[1]李克东.教育技术学研究方法[M].北京师法大学出版社.

[2]傅德荣.教育信息处理[M].北京师范大学出版社.

[3]向广莉.CAT在远程教育中的应用[J].湖北教育学院学报2002，19（2）.

[4]何利平.C程序设计非标准化试题CAT模型的建立[J].衡阳师范学院学报2003，24（3）.

[5]田怀凤.机助自适应考试CAT系统题库的仿真研究[J].计算机仿真2005，22（7）.

[6]肖艳群.基于IRT理论的CAT系统设计[J].扬州职业大学学报，8（4）.

[责任编辑：朱丽娜]