大学英语机考系统与试题库建设问题探析

郭文正

（平顶山学院 外国语学院，河南 平顶山 467002）

大学英语机考系统与试题库建设问题探析

郭文正

（平顶山学院 外国语学院，河南 平顶山 467002）

大学英语作为高校的一门公共课，期末或学期中阶段性大规模的纸质考试从制卷、组织考试到改卷、批卷都对教师及教研组提出了很大的挑战.大学英语在线考试因其便利性、高效性，逐渐在高校普及.在阅卷后的试卷分析环节，机考系统可以直接提供大量数据，帮助教师更加科学、深入的了解学生对大学英语课程的掌握程度.但大学英语机考系统及试题库的建设是一个开放、持续的工程，通过机考系统提供的数据对学生成绩进行分析，可以看出机考系统及试题库还有很多问题仍需解决.

大学英语；上机考试；试题库建设

随着多媒体、计算机技术和网络在高校的普及，无纸化、网络化办公已经成为高校教学、管理过程中的一个不可或缺的重要组成部分，而作为教学工作的末端——大学英语考试管理，是网络化普及的重点和难点，正在试用的大学英语四、六级考试系统是当前英语考试改革的一个趋势.科学合理的利用校园网开展网络教学可以缓解高校考试过程中大学英语公修课学生多、工作量大的问题，而大学英语考试系统在考试过程中的应用不仅提高了考试效率、增强了考试的公平性，同时也降低了老师改卷的压力.

1 大学英语机考系统

2009年6 月，平顶山学院大学英语实行了上机考试，首次参加考试的学生为在校普通本科生.大学英语机考系统主要是由校网络中心研发推出的，采用NET2.0技术，以SQL SERVER2005作为底层数据库，通过Internet WWW服务所具有的各种功能，采用多层B/S结构实现大学英语考试系统.

1.1 大学英语机考系统的特点

1.1.1 高效性

为了提高考试系统的试卷安全性，防止学生互相抄袭，上机考试采用临时随机组卷，在考生进入考试系统时，自动调用组卷的方法为各位参加考试的学生组卷，使得每个学生的考试内容不同.在机阅试卷的时候，机考系统可以自主计算每位应试者的成绩，教师对成绩有自主修改权限.

1.1.2 便利性

机考系统可以很方便的从试题库中随机抽题，供学生进行考试用，也可以自动计算学生考试成绩，在考试完成后，系统可以自动针对班级进行成绩统计.这样省去了很多人工操作.

1.1.3 较大的可访问性和包容性

互联网可以突破地区的限制，增加学习的群体和共享的学习资源.互联网的广泛适用性能够提升传统远程教育技术的适用范围，也就真正体现了远程教育的优势，避免其局限.

1.2 大学英语机考系统的六大模块

大学英语机考系统主要包括以下六个方面的模块：试题库管理、权限管理、自动组卷管理、考试控制、自动评分、查询统计管理.

1.2.1 试题库管理

以每个课程章节为依据，按顺序采集考试相关信息.在录入考试题目的同时，以类型和难度对考试内容分门别类，方便对试题库的管理.

可以适时对试题库进行丰富、完善.机试要求有有充足的试题，题量应依据知识点来进行合理安排.为了保证试题符合机试的要求，要将重复内容去除掉.

1.2.2 权限管理

机试体系的使用者权限分为三个级别：管理员、教师、考生.

管理员权限主要包括以下几个方面：基本信息的设置，课程管理，教师管理，学生管理，权限管理，考试统计等.

教师权限：试题录入、修改、审核、删除，主观题试卷批改，考试成绩录入.

考生权限：在线测试，查询成绩.

1.2.3 组卷方式

按照试题类型、试题容量、课程范围、分数比值、测试时间、难度系数等参数组合试卷.

组卷参数存入组卷表中，在应试者登录考试系统以后，从组卷表中选择对应信息，系统会自动组卷.

为了防止抄袭，每个参加考试的考生所用试卷不完全相同.

1.2.4 考试控制

管理员统一掌控网上测试的权限，考前，管理员开放本次考试的考生的权限，考后，由管理员关闭本次考试考生的权限.

1.2.5 自动评分管理

考生在时间结束前向系统提交试卷或者系统在考试时间结束时自动终止答题，系统可自主对考生所有客观题和部分主观题判分.

1.2.6 查询统计

系统管理员可以统计查询系统评分的所有班级成绩，也可以调阅各个班级的成绩分布，也可以调阅个体考试成绩，并根据需要导出相应的数据出.

教师可以调阅并导出相应班级的成绩，并浏览成绩分布，查看单个考生的分数.

学生也可以从系统中调阅自己的试卷和得分和详细的评分信息.

2 大学英语机考试卷分析

学生完成考试后，由管理员分配改卷权限，将某些班级的改卷权限分配给某个老师，教师通过自己的工号登录到该系统中进行主观题改卷操作.改卷之后，可以通过考试统计功能来统计班级考试信息以及班级考试成绩的分别比例信息.教师可以针对有异议成绩调出试卷进行查阅，对确实存在评分问题的试卷将该考生信息报给管理员由管理员对考生得分成绩进行修改.点击对应学生的卷子名称调出考试卷进行查看.

教师也可以把数据从系统中导出来，对做过该套卷子的所有学生进行试卷分析.

以2012-2013学年第二学期平顶山学院2011级普通本科学生使用的题库“大学英语（四）”试题为例，就本套试卷而言，是严格按照教学大纲和考试大纲的要求来命题的，实行了客观题机考、主观题教师评卷.试卷的题量比较适当，题型覆盖了大纲中100%的章节，考查学生基本理论、基本知识、基本技能的试题占到55%；试卷难度系数为0.40，较难.第一大题选词填空的难度系数为0.53，第四大题听力的难度系数为0.58，相比其它大题而言难度较大.

3 大学英语机考试题库的问题

大学英语机考系统主要是由我校网络中心研发推出，而试题库的建设尤其是试题的采集主要是由我校公共外语教学部负责承担.在建设初期，由于对试题库没有很科学、系统的认识，国内也没有过多高校有类似项目可供参考，所以试题的采集遇到了很多困难.在国家著名的外语学府——上海外国语大学——的帮助下，我校得到了上海外国语大学英语试题库的第一手资料，并组织教师按照题库系统要求进行试题录入工作，之后对试题进行抽样检查，具体步骤如下：

3.1 筛题组卷

2010年1 月，我校第一次进行英语机考实验，英语试题库的建设是在2010年9月之前完成的.在录入各个级别的试题过程中，教师根据自身教学经验对试题进行了筛选，试题录入结束后，部门对各个级别试题分别进行了组卷，以备教师模拟测试.

3.2 模拟测试

网路中心设置了10个学生模拟账号，教师可以用这些账号以学生的身份登录考试系统进行做题，目的有两个：检测同一级别随即所抽取的不同套题难易度是否相近；检测不同级别随即所抽取的试题难易度是否呈阶梯状排列.为了检测结果的客观、公正，所有的检测试卷由同一个教师做题验证，避免教师之间因为程度的不同而导致检测结果存在偏差.试题做完后，又选取另一位教师对所有试题进行评阅.根据评阅结果，同一级别试题的难易度基本持平，不同级别的试题难易度也有所体现.

但根据上述试卷的分析结果可以看出，学生的成绩并不理想，不及格率达到了46.48%，除了学生自身学习可能存在一定的问题之外，说明题库本级别试题难度过大，个别题型的区分度不大，试题库的建设存在一定的问题，其主要原因还是试题库建设初期试题的采集不够科学.

4 大学英语机考试题库的完善措施

语言测试是一项专业性极强的工作.一个大规模考试项目，从开发到成熟，至少要经过三个环节：设计阶段、实施阶段和考后阶段.[1]在考后阶段，要有详尽的试卷分析，包括各种描述统计、试题项目分析、试卷各部分相关，而一项测试的好坏，主要是看试卷的区分度、信度及效度.

区分度是指试题能以何种标准能把不同英语能力水平的考生区分开，也就是试题的鉴别力.区分度越高，就越能够把不同能力阶段的考生区分开来，该试题被录入系统的价值也就越大.如果测试中针对一道试题，能力强的考生都对了，能力弱的考生答错了，这题的区分能力就很强.反之，如果能力强的考生都答错了，能力弱的考生都答对了，则该题的区分度很差.著名测量学方面的专家伊贝尔指出：一道试题的区分度如果在0.4以上，则表明其区分度很好；如果在0.3～0.39之间，则说明题目的区分度较好；如果区分度在0.2～0.29之间，则此试题的区分度不太好，需要调整；如果在0.19以下，那么此题的区分度特别差，应淘汰.比如，前文提到的考题区分度是0.45，很好；阅读理解B为0.30，较好；阅读理解A和听力理解的区分度不太好，需要修改；而作文的区分度非常不好，应对题库中该类题做一个大的调整.因为作为是主观题，教师的评分主观性也影响了该题型的区分度，所以也应该从评卷环节反思，如何是给分更加客观、科学.由于所有接受测试的考生能力往往呈正态分布，测试中题目难度的分布也是如此，也就是难、中、易都存在，中等难度的试题较多.只有如此，考试才具有较高的鉴别力.

测试的信度也是衡量试卷质量的一个不可或缺的标准，也指的是考试成绩的统一或稳定程度，也即考试能否较好地度量考生的语言水平，这往往使用相关系数为指标，称为信度系数.[2]信度系数愈高即表示该测验的结果愈一致、稳定与可靠，一般来说，在一个测试中增加同质的题目，可以使信度提高.检测测试信度时，可以拿同一份试题对同样的考生进行两次或多次网试，如果成绩很统一，表明该试题的信度较高，也就是不同的阅卷人评分，所得成绩基本一样；同一阅卷人在不同的时期评分，分数基本一致.需要指出的是，区分度过低的题目中真实偏差的成分较少，随机偏差的成分相对较多，试卷的信度会降低.机考试题库不同于一般的纸质卷子，系统是按照一定的程序随机组出来n套试题，所以对试卷信度的检测也较一般的纸质卷子复杂、繁琐，但即便如此，为了保证试卷的质量，也应抽出时间和精力，通过测试分析的方式，检测试卷信度.

所谓效度（content validity），是指一套试题是否检测出了所有应该考查的内容，也就是说考查的内容是否反映了考试的要求，即试题的代表性和覆盖面的标准，是测试准确性和有效性的指标.一项考试的效度如何，可以以此来说明、验证.第一，表面效度（face validity），即试题是否检测出了考试内容.第二，内容效度（content validity），指考试对考试大纲规定内容的考查在何种程度上能表明它所要考试的目标.第三，结构效度（construct validity），也就是考试是否以有效的语言观（包括英语习得观和语用观）为参考.第四，共时效度（concurrent validity）.它指将一次考试成绩同另外一次考试时间接近的考试成绩相比较或教师对考生的评估相比较而得出的系数.第五，预测效度（predictive validity）.它指考试的预测能力，也就是考试成绩到底在多大程度上能够预测出某些可能性，或者说对考生行为做出的预测性的程度有多高.[3]从前文举例的“大学英语（四）”试题分析可以看出，该试卷的难度系数为0.40，偏难，某些题的区分度也不大，从题库中抽取并组卷的该套试题效度不高.测试的效度可以通过以下几个方面得到提高：

（1）明确测试的目的和意义，依照教学大纲和考试大纲，实现命题程式化.试题太少、覆盖面太小、编排不当、过易过难等都会影响测试效度.

（2）提高题库试题质量.题库试题有待更新、完善，剔除偏题、怪题，适时补充与书本相关的试题.（3）提高测试的信度，减小随机误差的影响.（4）增大样本容量，使题库试题具有较好的代表性.

（5）测试标准化、评分标准化，减少与测试目的无关的因素，降低系统误差的影响.

5 小结

在线英语测试体系是伴随着网络的普遍应用，在九十年代末开始出现的一种新的教学测试体系.我校的大学英语考试改革始于2009年6月，经过三年共6次大规模的使用，可以发现大学英语上机考试相对以往纸质考试更加便利、高效.机考系统可以很方便地从试题库中随机抽题，考试结束后，系统可以自动准确地统计出相关数据，教师或教研小组可以利用这些数据对一套上千名学生参加考试的试卷进行总体及各项成绩的分析，这在以往纸质考试中是很难实现的.通过上机考试，我校的大学英语在某种意义上实现了教考分离.同时，正是通过历年的试卷分析结果，尤其是及格率、各题型的区分度、平均分及成绩分析统计直方图，可以看出，大学英语试题库在题量、题型、难易程度及梯度上应该进一步地完善、修正.机考系统的随机抽题也应该更加细化，同一级别的每一种题型尽可能有一个难、中、易的区分，在组题时，通过系统设置，使每一个学生随机抽到的卷子难易程度趋于均衡，以达到考试更加科学、合理、公平，用更加客观的数据说明学生对知识的把握及语言熟练运用的程度.

〔1〕J.Charles Alderson,Caroline Clapham,Dianne W all.Language Test Construction and Evaluation (杨惠中导读) [M].Foreign Language Teaching and Research Press:Beijing,2000:F11.

〔2〕朱音尔，张肖莹.基于网络的大学英语机考探索与实践[J].外语电化教学，2009（2）：63-67.

〔3〕J.B.Heaton.W riting English Language Tests (韩宝成导读)[M].Foreign Language Teaching and Research Press:Beijing,2000:F26.

G642.474

A

1673-260X（2014）03-0170-03