沈 钢 赵晓茫
题库通常是指大量优良试题的集合,这些试题被分类有序存放,便于构造某种考试所用的试题或试卷。在经典测量学理论中,题库被定义为“在某种测量理论的指导下,试题经过测试计算出相关的统计参数,试题参数经过等值并建立在同一量表上,按照一定原则组织起来的能够满足某种考试需要的大量优良试题的组合”。[1]
与传统命题模式相比,采用计算机系统管理题库有以下优势:①大量存储。题库要采用恰当的标引语言,按照科学的顺序与原则,把试题和应有的信息资料有机组织起来。[2]计算机系统可以对试题及相关参数进行大批量导入并有序存储,这种采用数据库对试题进行储存和管理的模式相比纸质存储和文件夹存储的优势是显而易见的。②高效检索。传统题库模式对于试题的检索要耗费大量的人力和时间,而计算机题库可以利用试题的参数,设置多种检索条件,对单题或试题集合进行多维度的查询。③提高平行性。同一课程不同试卷间的一致性和可比性即为高等教育自学考试试卷的平行性,它对自学考试的科学性和有效性具有非常重要的意义,是关乎命题质量和考试科学的重要因素。[3]计算机题库系统能够在制定好的规则下根据试题的参数进行随机组卷。无论是使用双向细目表组卷策略还是考核内容分布组卷策略,都对试卷的难度、认知层次、知识点(章节)有相应控制,这样可以避免命题教师主观上的随意性,提高试卷之间的并行性。④确保安全性。使用计算机管理题库可以将原来由保密柜存放试题改为由计算机或服务器存放试题,避免纸质文件管理的混乱。计算机题库系统设置账户、密码和权限控制,避免使用人员以外的人接触试题。由计算机题库系统按照一定规则随机生成考试试卷,连建库教师也无法知晓试卷具体内容,进一步缩小接触试卷的人员范围,减少泄密风险。
随着自学考试事业的发展,开考专业和考试课程数量逐年增长。原来那种粗放的手工管理已经不能适应自学考试事业飞速发展的客观需要,运用计算机管理技术和管理手段管理自学考试题库成为必然选择。[4]前教育部考试中心主任戴家干在全国自学考试题库和命题管理信息系统建设工作研讨会上特别提出:“要积极稳妥地推进自学考试题库的规范化建设和命题管理信息化建设工作。”[5]
自学考试北京命题中心从2010年开始研发自学考试计算机题库管理系统,目前系统存储管理25门自学考试课程,存储12000余道试题,自动组配试卷累计120余套。通过该系统生成的试卷在试题难度和认知层次的比例、知识点在各章分布的广度、重点知识的考核比例等方面均符合要求,同时该系统的使用大大提高工作效率,传统人工排版一套试卷大约需要30分钟,而该系统自动排版只需几秒钟。
自学考试计算机题库系统基于微软.net开发平台,使用C#语言,数据库采用SQL Server 2005及以上版本。服务器采用IBM服务器,具有四核处理器、硬盘阵列、UBS电源等硬件配置,操作系统为Windows Server 2003。系统采用C/S模式,即客户机与服务器架构。由于计算机题库管理系统对于保密性要求较高,且使用人员仅限于录入室内部工作人员,因此系统网络采用内部局域网方式。整个系统由教师原稿录入模板软件、录入员管理软件和题库组卷软件3个子系统组成。具体的系统功能模块如图1所示。
图1 系统功能模块
试题数据是题库系统的基础,因此数据来源的规范与否是保证系统正常运行的基础。设计教师原稿录入模板软件的目的是为命题教师制作一个方便录入试题和参数的载体,通过这个载体可以向题库系统批量导入试题和参数。命题管理人员在实践中发现,模板文件的设计是模板软件设计中的难点问题,必须要满足以下几个要求:①支持多种试题类型;②支持试题的多种呈现形式,主要是试题的图文混排;③支持多种试题参数。为了满足以上要求,同时符合命题教师的使用习惯,系统最终采用包含保护区和书签的Word文件作为试题录入的载体。这种模板文件的优势有:①大部分命题教师对于基本的Word填写方式比较熟悉,采用Word文件进行录入比软件填写方式更容易被教师所接受;②在Word中加入保护区,命题教师只能在保护区内填写内容,保证了教师不会随便改动模板的结构;③系统可以精准定位试题首尾并把相关试题和参数抽取出来。
教师原稿录入模板软件主要包括原稿结构设计、原稿模板生成、原稿校验、原稿统计4个功能模块。
2.1.1 原稿结构设计模块
本模块负责生成试题模板的结构,包括题型、题量和分值。各命题组按照命题蓝图进行模板结构设计。
2.1.2 原稿模板生成模块
本模块根据教师制定的命题蓝图生成Word原稿模板,生成的原稿模板包括课程名称、课程代码、题目指导语、大小题序号、试题和参数保护区等。命题教师在生成的Word模板内进行试题、答案和参数的录入。
2.1.3 原稿校验模块
本模块负责对命题教师填写完成的原稿模板进行错误校验,以帮助命题教师查找试题和参数填写错误和不规范的地方。根据命题教师填写模板时常发生错误的类型,该系统进行以下错误判断:试题、答案和参数是否为空;章、节是否唯一;难度和认知层次是否符合填写要求等。原稿校验后会生成一份结果报告,报告中详细注明某小题发生某种错误,提示命题教师修改。
2.1.4 原稿统计模块
本模块根据教师填写的题型、章节、难度和认知层次等数据,自动生成一张二维统计表。统计表给出该原稿各章中题量及分值的分布以及各个题型中各种难度、认知层次的题量及分值的分布。命题教师根据统计表核对试题分布及参数是否与命题蓝图一致并进行调整。
录入员管理软件负责加载试题原稿模板并对试题进行管理,主要包括试题导入、试题打印、试题查询、试题修改4个功能模块。
2.2.1 试题导入模块
本模块是由录入员管理软件对Word原稿模板进行加载,利用Word书签对内容定位,把相应内容进行切割再分别存入数据库。这种文件加载模式可以解决题库信息化存储的难题,也就是试题的图文混排。无论是图片还是表格,系统都会将整个试题完整地切割成Word文件,并在后面的自动排版过程中调用上去。
2.2.2 试题打印模块
本模块调用预先设计好的Word单题题卡模板,将试题、答案及所有的参数展现在Word题卡上。操作中可以选择单题打印或者批量打印以供教师校对。
2.2.3 试题查询模块
试题的查询是计算机题库对比传统题库的一大优势,为了让使用者在短时间内查询到所需的试题集合,试题查询模块提供多种条件在多个维度上的复合查询。查询条件几乎覆盖所有参数,包括试题编号、命题者、题型、章、节、分值、难度、认知层次等。
2.2.4 试题修改模块
使用者在查询到所要修改的试题后,选择要修改的部分,包括试题内容和参数。试题修改模块会调用前期切割存储的相应的Word文件,并展现出来以供修改。
题库组卷软件实现了试卷的组配、试卷的自动排版和打印,是对试卷全方位的管理,主要包括组配试卷、试卷自动排版、试卷打印、数据统计分析、用户管理5个功能模块。
2.3.1 组配试卷模块
自动组卷是按照一定的要求,由计算机自动从试题库中选择试题,组成符合特定总分、总时间要求、题型、试题数量、知识点、难度等约束条件要求的试卷,是题库系统的重要组成部分。[6]组配试卷模块提供双向细目表策略和考核内容分布策略两种组卷策略。双向细目表策略,根据试题分布的章节、难易度和认知层次等参数进行组卷,该策略试题分布合理、平行性好,但是灵活性较低,只能抽取细目表中设定相应参数组合的试题,因此一门课程需要制定多张双向细目表来满足知识面覆盖率的需求。考核内容分布策略,根据预先设定的试卷题型、分值、难度、认知层次的分布以及章节分值的分布进行组卷,该策略对题型、难度和认知层次作出限制,同时又兼顾知识点在各章分布的广度、重点知识的考核比例及抽题的灵活性。因此实际操作中一般采用考核内容分布策略进行组卷。
2.3.2 试卷自动排版模块
试卷自动排版功能负责把计算机抽取出的试题以正式考试用试卷的格式呈现出来。自学考试对试卷的排版格式有相当严格且详细的规范化要求,对试卷卷头的设计、试题提示语的格式、不同题型的排版、字号的大小、表格内外边框的宽度以及空行的行距都有非常严格的标准。试卷自动排版模块程序参照《高等教育自学考试命题工作手册》对于试卷排版的详细规范要求,在系统后台以代码形式将试卷的排版要求嵌入到系统中,根据使用者的需求自动执行排版代码生成指定的试卷格式。试卷排版是一项复杂且机械的工作,由计算机程序代替人工排版大大节省人力和时间,减少出错率,体现该系统的优越性。
2.3.3 试卷打印模块
本模块负责将排版好的Word试卷文件打印成A3纸质试卷,根据打印的需求,可打印单张试卷、整套试卷以及硫酸纸试卷反打等。
2.3.4 数据统计分析模块
本模块可以分别对单门课程所有试题和单套试卷的试题进行参数统计。根据题型、章节、难度和认知层次等数据,系统自动统计出题库各参数试题的总量、各章中题量及分值的分布以及各题型中各种难度、认知层次的题量及分值的分布。题库试题参数统计表可以让使用者对整个题库的试题分布有一个清晰的认识,更好地把握题库的情况。单张试卷的试题参数统计表除以上统计功能外,还添加对试卷预估难度的统计。
2.3.5 用户管理模块
本模块主要有两个功能,包括账户管理和日志管理。管理员通过用户管理模块对账户进行管理,功能包括用户的创建、编辑和删除;操作权限的创建、编辑和删除。日志管理对用户在系统中的任何操作进行记录,尤其是涉及试卷的组配、试题的修改、关键信息的查看等操作都要作出详尽的记录。日志的信息项包括:操作时间、用户名、操作的功能、操作的对象、是否操作成功、操作的描述。赋予权限的用户可以对指定时间、指定用户、指定功能的日志信息进行筛选查看。
自学考试计算机题库管理系统解决通用试题模板图文混排的难题,实现自动组卷、自动排版功能。该系统的使用提高了命题管理工作效率,使命题管理工作更加科学化、标准化。但在使用过程中仍存在一些问题有待解决。
第一,试题录入模板的通用性仍需加强。专门为自学考试计算机题库系统制作的通用Word模板虽然可以满足绝大多数课程和题型的需求,但是对于部分语言类课程,尤其是包含某些特殊题型的课程还无法使用现有的模板。系统在改进和升级时,应着重对个别目前无法处理的题型进行研究,例如连线配对题、完形填空题等。
第二,组配试卷模块无法避免考核点重复的问题。系统的自动组卷策略虽然对试卷的难度、认知层次、章节都作出相应的控制,但由于试题属性中未设置考核点属性,在生成的试卷中有时会出现同题型同考核点的多道试题。若要解决考核点重复的问题,需要对相应课程进行知识点划分,并在命制试题过程中加入考核点属性,在组配试卷策略中设置同一张试卷不出现同一考核点的命令。
第三,无法对预估难度进行调整。自学考试标准化题库是基于经典测量理论的大容量题库,难度是试题最重要的参数之一,对于试题、试卷难度的评定是题库建设质量控制的重要工作之一。本题库系统采用预估难度对试题难度进行控制,试题的预估难度值完全取决于命题专家组多年的命题经验及对自考学生群体水平的认识。如果能够引入考后实测数据,则可以同预估难度进行对比,根据结果对整个题库试题的预估难度进行调整。
[1]柳博.题库的类型与质量控制探析[J].中国考试,2009(10):31-36.
[2]漆书青,戴海琦.题库建设理论与实践[M].北京:光明日报出版社,1991:1-10.
[3]赵海燕,王桥影,赵晓茫.高等教育自学考试试卷平行性及其评价维度初探[J].中国考试,2010(2):14-20.
[4]魏成松,周连勇,姜源媛.计算机管理自学考试题库的探索性研究[J].中国考试(研究版),2008(11):45-48.
[5]田凤江.高等教育自学考试命题资源共享信息平台系统的建设构想[J].考试研究,2007(6):31-33.
[6]陈蕾.基于遗传算法的自动组卷系统研究与应用[D].成都:四川大学,2006.