公安大学网络化课程试题库建设的实践与思考

王 龙， 秦立强

(中国人民公安大学，北京 100038)

教学考核是教学工作的有机组成部分，是加强教学工作、提高教学质量、检验教学成果的有效手段。课程试题库建设是高等学校推进教学建设和考试改革的重要举措。2009年公安大学改革由任课教师人工命题考核的传统做法，积极推进课程试题库建设和计算机考核应用工作，开展在线考核命题、计算机随机组卷等，取得了良好的效果。本文以学校推动网络化课程试题库建设的实践为对象，从建设背景、组织实施、功能实现、应用反思等方面进行总结和分析，以期为进一步加强和改进工作提供借鉴。

1 网络化课程试题库建设的背景与基础

1.1 网络化课程试题库建设的背景

教学考核具有鉴定、诊断、调节、激励、目标导向等功能。一方面可以检验教师教学的效果，另一方面也可以检验学生学习的效果，其基本类型包括形成性考核(侧重过程性评价)和总结性考核(侧重结果性评价)。当前教学考核发展趋势越来越重视过程性评价与总结性评价的结合，更加侧重对学生分析和解决问题的综合能力、实践动手能力、创新能力、发散性和创造性思维的考查，课程答辩、撰写调研报告、开展社会调查等开放式、综合性考核方式受到师生欢迎，也涌现了建立电子档案袋(e-portfolios)、博客群(Blog)等基于网络信息技术的发展记录、学习过程记录、开展网络化课程试题库建设和应用的新实践。

随着教学信息化建设的不断深入，网络化课程试题库的建设和考核应用已成为高等院校推进教学考核工作改革、加强教学基础建设的重要措施。一些地方院校已经率先推行了改革，例如南方医科大学2010年在开展课程试题库建设的基础上全面推行网络化无纸考试［1］，学生利用鼠标和键盘参加考试，试卷内容可以呈现除文字和图片外的音频、视频等直接展现医学临床工作情景的生动资料，取得了良好的实践效果。近年来，公安院校和公安机关广泛开展“三基工程”、“三项建设”和“三个重点工作”的考核练兵，考核试题库系统作为实战部门加强教学训练工作的重要手段，已得到推广应用。随着网络信息技术的发展和进步，试题库建设和应用的专用支持工具不断发展和丰富，试题库系统朝着随机智能组卷、支持在线考试和网上阅卷、自动归档和建立考核档案等方向发展，并形成了一套成熟的技术解决方案，为实际应用提供了良好的技术支撑。

1.2 网络化课程试题库建设的基础

网络化课程试题库建设需要一定的基础，公安大学在这方面已先期开展了大量工作。一是试卷库建设基础，公安大学20世纪90年代启动试卷库建设，目前所有考试课程均已建立了试卷库，并逐年进行试卷库的更新和完善。经年积累的试卷库为有关课程开展试题库建设提供了良好的命题基础。二是课程建设基础，2003年以来，学校建设了一批国家级、公安部级和北京市级精品以及校级精品课程和网络课程，进一步提高了课程建设的整体水平，而且大大提高了课程建设的信息化水平。课程试题库作为课程建设的组成部分，也得到了较大发展和提高。三是信息化建设基础，学校建设了功能较为完备的信息化网络环境，为课程试题库的建设、管理和应用提供了良好的技术基础;教师的信息技术技能不断提高，能够胜任基于网络环境运行的课程试题库建设过程中的命题、入库、审核、评阅等工作。

2 关于网络化课程试题库建设的理解

2.1 网络化课程试题库的内涵

计算机辅助教学系统是将信息技术应用到教学领域以提高教学水平和效率的教学辅助工具，自20世纪60年代开始出现后迅速发展。试题库系统是计算机辅助教学系统之一，并随着网络技术的发展进入到网络化试题库阶段。

网络化课程试题库是以课程为基本建设单位，依据专业教学大纲、考试大纲，以网络化技术平台为建设、运行和管理载体，以试题(主要分为主观和客观两大类型)为基本组成单位，包括知识点、难易程度等元数据信息，可以实现试题入库、智能组卷、在线考试等功能的基本教学测量系统和教学资源实体，通常需要达到一定课程门数和试题总量。对于入库试题的基本要求是其效度、信度和难度必须符合人才培养方案和考核大纲的要求。许多学校在实际工作中也常常建设课程试卷库，采用从试卷库中随机抽取试卷的方式实现“考教分离”。从本质上来说，试卷库也是试题库，试题库是对试卷库的进一步发展，而网络化试题库是试题库建设的最新发展阶段。

2.2 网络化课程试题库的主要功能

目前，市场上支持开展试题库建设的信息系统有多款成熟产品，其通用功能包括题库管理、在线命题、在线组卷、查询统计等模块，不同功能定位的试题库系统在网上考试、防考试作弊、成绩管理、数据挖掘和分析(试题分析、试卷分析、考试结果分析)、技术模式(基于B/S或单机版)等方面有所差异。公安大学经过需求分析和功能测试，选用的试题库系统包括试题库建设和在线考试两大功能模块，主要的亮点功能包括［2］：

(1)添加试题(命题者)。支持两种添加试题模式：一种是在线逐题添加，添加每道试题时均填写试题类型、题目内容、参考答案、分数、难度、考查知识点、命题人等试题元数据信息;另一种是批量添加，在离线状态下(不登录系统)使用命题参考模板，在Word文档或Excel文档中编写一定数量的试题，用不同的参数和排版格式标记题型、试题分类、知识点等信息，然后在线(需登录系统)批量导入，系统可以自动识别格式并匹配参数，将该文档中的试题一次性导入系统，批量导入方式在原则上仅需要一个文档就可以实现对一门课程所有试题的编辑和管理。

(2)审核试题(审核者)。审核试题是确保命题质量和试题库质量的重要措施。试题库系统支持对试题进行逐题审核，审核环节可自主配置(譬如设定教研室审核环节和系部审核环节等多个环节，每个环节可指定一个或多个审核人)，审核流程按照审核环节自动跳转。启用试题审核机制后，命题教师入库试题默认处于草稿状态，须通过审核后变成正常状态后，该试题方可用于组成试卷。

(3)随机组卷(系部或学校教学管理者)。试题库系统根据考核教师提交的组卷策略设计表(包括试卷总分、各题型数量、计划用时、试卷难度、试卷区分度等设计参数)，进行随机组卷。组卷策略包括难度和知识点两种。基于试题难度的组卷策略可以根据不同题型、不同难度的试题数量分布，自动组成考核试卷。基于知识点的组卷策略可以根据教师提交的课程考核知识点，在知识点关联的试题中自动组成考核试卷。

(4)在线考试(学生)。考试管理人员做好在线考试安排以后，学生登录系统后可以在规定的时间内在线参加某一门课程的考试。系统将能够记录学生客观试题或主观试题的作答过程信息。通过设定不同的参数，可以实现同类型考核对象使用同一份考试试卷或使用同样难度分布的试卷(难度相同但每套试卷之间的题目不同)，系统内置的随机排列客观试题的选项功能可以实现同一题目、不同正确答案选项，有效防止考试作弊。

3 网络化课程试题库建设的组织实施

3.1 网络化试题库建设的原则

网络化课程试题库在本质上是运用教育测量学和教育统计学的原理和方法，借助于基于网络化环境的计算机软件技术而建立的教学测量系统，其最终目的还是直接为教学服务。推进网络化课程试题库建设应遵循以下原则。

表1 网络化课程试题库系统主要功能一览表

(1)循序渐进原则。课程试题库建设对于课程的建设水平、课程发展成熟程度、课程内容体系完善程度和课程考核测试等方面均提出了更高的要求。对于学校整体的课程试题库建设工作来说，要发挥建设水平高、内容体系完备、课程数字化资源积累丰富的课程的示范引领作用，逐步推进。对于某一门特定的课程试题库建设来说，通过考核测试不断更新和丰富试题，对入库试题的参数进行必要修订，不断提高题库的质量和组卷质量。

(2)灵活开放原则。灵活开放是课程试题库建设的基本要求。课程试题库须能够随着学科的发展和学生群体的变化对试题参数和考核能力层次进行必要的修订，包括增加试题、淘汰质量差的试题等。对参与试题库建设的教师进行授权配置，教师可以在网络环境下随时进行本课程试题库的更新和维护。灵活开放也意味着对多种个性化使用需求的响应，如选择试题范围和难度组卷实现同一课程试题库满足不同层次学生考核需要(如本科生、专科生等)、不同考核形式需要(如闭卷考试、闭卷考查等)，组卷参数可以按照任意比例进行高、中、低难度试题的搭配等。

(3)质量为本原则。质量是课程试题库建设的根本，是推动课程建设的基础。试题库的优劣除了软件系统自身的原因之外，最重要的就是试题库的试题数量、命题质量和试题结构。入库试题的质量是题库质量保证最基础的环节，关键的是要把握四点：一是在选择题源时既要充分考虑试题的广泛性、适用性，又要注意其代表性和典型性;二是根据决定或影响试题难度的主要因素，如试题所考核的认知能力层次、试题所涵盖的知识点多寡及其综合程度、知识点在课程内容体系中的地位和出现频繁程度、试题的灵活程度、问题情境表征的专业化程度、解题者心理加工过程的复杂程度以及解题所需的技能、技巧和推理的步骤、试题所涉及相关知识的程度等，合理确定试题的难度参数［3］;三是从内容规范和技术规范两个方面把好教研室和系部入库审核关;四是每门课程的试题库要达到一定的数量，并对题库不断进行更新和完善。

(4)安全保密原则。命题是课程考核工作的重要环节，是一项非常严肃的工作。要明确试题库建设的责任单位和责任教师，综合采取技术、管理、教育相结合的方法，加强题库建设过程中的安全保密工作，严防发生泄题、泄密事件;同时，试题库系统需加强系统防侵入和权限管理等安全技防措施。

3.2 网络化课程试题库建设的保障措施

网络化课程试题库建设和教学应用是一项牵涉面广、应用周期长、工作环节复杂、工作质量要求较高的系统工程。为做好课程试题库建设，公安大学主要采取了以下保障措施：

(1)统筹规划保障。学校高度重视试题库建设工作，将其作为推进教学改革的重要措施之一列入年度工作要点，由校领导主持召开专题会议进行研究部署，统一思想和要求，明确责任和进度，并遴选建设基础好、发展成熟度较高的48门省部级精品课程作为首批试点课程;同时，学校在经费支持、技术支持、人员队伍、建设标准等方面提供了充分的保障和支持。

(2)系统建设保障。网络化课程试题库建设首要任务是搭建基于网络环境进行试题建设的系统环境。学校在短时间内完成了硬件尤其是软件系统的遴选和部署工作，结合题库建设与管理、推行网上考试的实际需要，最后选用了功能强大、扩展性好、定制特性丰富、满足学校工作实际需求，而且在行业内居于主导地位的主流技术产品。选用的试题库系统具有批量导入、在线编辑、知识点管理、试题分类管理、试题审核、试卷审核、智能组卷、在线考试、试卷分析等功能，为开展试题库建设工作提供了良好的技术支撑。

(3)组织管理保障(学校和系部两级)。试题库建设工作涉及全校10余个系(部)、数百门课程、全体教师和学生，是一项复杂的教学建设和改革系统工程，对整个组织管理工作提出了较高要求。为此，学校成立了试题库建设工作领导小组，由主管教学的副校长任组长，成员包括各系(部)负责人和有关职能部门负责人，各系(部)成立本单位的试题库建设工作领导小组，加强本级的具体组织管理和落实工作。学校组建精干力量，研究制定试题库建设工作方案，确定了工作原则、指导思想、工作安排和要求等，并根据试题库建设在启动、组卷、更新、完善等不同阶段的工作重点，及时发布指导性通知，提供咨询和技术支持服务等;同时，为确保入库试题的质量，学校启用“教研室审核－系部审核”两级审核流程，加强试题内容规范、技术规范的质量审核。

(4)技术支持保障(学校和系部两级)。由于试题库建设完全基于网络运行环境、技术编排规范的标准化程度较高、参与教师的信息技术素养参差不齐等，对整个网络化课程试题库建设工作的技术支持提出了较高要求。结合学校和参与教师实际情况，试题库建设工作启动伊始即组建校系两级技术支持队伍，学校一级的技术支持主要负责系统运行管理、系统技术培训、技术咨询答疑等;系(部)一级的技术支持队伍由计算机基础扎实的教师组成，承担本单位的技术支持工作。

3.3 网络化试题库建设和应用的主要效果

启动基于网络信息系统的课程试题库建设工作，是公安大学推进“三项建设”、加强教学信息化建设、促进教考分离、确保考核公平公正和透明、促进教学改革的重要举措。学校2009年11月19日启动试题库建设工作并经过两个学期的不断建设和完善，共建设78门课程试题库，累计入库试题总量3.6万余道(截至2010年7月12日)，两个学期共有80门次考试课程、7门次考查课程采用试题库系统组卷考核，取得明显的建设和应用成果，标志着网络化课程试题库建设暨考试改革取得了阶段性进展。网络化课程试题库建设和应用的效果主要表现在以下方面：

(1)推动考教分离，有效促进课程考核方式方法改革。推动课程试题库建设和考核应用，是教学考核多元化的重要举措，比较彻底实现了考教分离，有助于提高考核公平公正和透明度。采用试题库随机组卷考核的课程，在考卷组成上具有内容不定向、范围不确定、全部随机选取的特点，有利于充分调动学生学习积极性和主动性，学生需认真听课、深入理解和全面掌握课程有关知识并提高应用能力才能够取得理想成绩。

(2)加强教学基本建设，提升了课程考核的信息化水平。试题库建设是教学建设的基本组成部分，是课程信息化建设的直接组成部分，也是加强教学基本建设的重点。开展网络化课程试题库建设，丰富了课程资源，完善了课程内容体系，也提高了课程建设和课程考核的信息化水平。试题库系统基于校园网部署和运行，采用先进的技术架构和功能模块支持，具有智能随机组卷、开展在线考试两种主要应用方式，其命题、审核、组卷、管理、维护、更新、考试、批阅、统计和分析实现了全程信息化，实现了从试卷库到试题库的跨越，可以进行“无纸化”考核，是教学考核信息化的发展方向。

(3)促进教学规范化建设，加强了各系部的教研室教学研究活动。课程试题库的题目是课程组教师根据教学大纲、授课内容体系并结合考核题型进行命题的，具有数量大、覆盖面广、依据授课教材的特点;因此，教师授课要遵循教材，平行班之间授课要统一进度，课堂教学进一步规范。各系部的教研室高度重视试题库建设工作，经常举行专题研究活动，开展集体备课、命题审核等活动，规范了平行班级之间的授课进度，提高了教研室活动的频次和效果。

(4)各级精品课程的示范引领作用得到体现和发挥。学校试题库建设选择发展相对成熟、课程信息化建设水平较高的48门校级以上(含)精品课程作为试点，先期开展试题库建设。各级精品课程在试题库建设的组织管理、团队合作、建设质量、建设标准等方面切实发挥出了示范引领作用。

4 关于网络化试题库建设和应用的几点思考

作为参加公安大学试题库建设工作的主要管理工作者，笔者参与了整个组织实施过程，听到了来自教师、管理人员、研究者的不同声音，促使笔者对试题库建设工作进行了进一步的理性思考。

4.1 思考之一：推进网络化课程试题库建设是否会使教学工作回到“三个中心”(以书本为中心、以课堂为中心、以教师为中心)?

这种质疑在参与试题库建设工作的教师中具有代表性。有研究者提出，建立试题库(试卷库)的机械性与教学过程的互动生成、动态发展的特点相悖［4］，并批评指出“试卷库制度的导向性作用无疑将学生引向了对学科知识的死记硬背，在一定程度上压抑了学生素质发展和对新知识的探求。”

笔者认为，“三个中心”深深打上了传统教育模式的痕迹，深受行为主义学习理论影响，有其积极意义和时代局限性。教学工作是一个师生动态交互、互动生成的过程，教学效果的关键在于教师的教学理念转变、教学方法和技巧的使用、学生在教学过程的参与度、学生信息加工的效果。考核工作处于整个教学工作流程的末端，具有导向和评价作用。考试的形式、考卷的组成方式会对教学产生一定影响，例如选择开卷或闭卷考试方式、由教师自主命题组卷或由试题库系统随机组卷，但并不必然导致走向传统的“三个中心”。纵观目前公安院校的课堂教学工作，存在的突出问题是对于培养学生独立思考能力、自主探究能力、问题分析和解决能力非常具有针对性的建构主义教学策略(支架式、抛锚式、随机进入式等)、基于网络环境的互动研究性学习、面向实战的案例教学和角色扮演教学等应用还比较有限。基于试题库系统智能组卷考核作为一种改革措施，在客观上增加了教学和学习的难度，但基于教育测量理论的组卷方式、任务驱动的考核要求，能够与其他形成性考核方式(平时作业、期中测试等)、开放式考核方式(课程设计、课程论文、课程答辩)互补，有利于促进教风、学风、考风和警风建设。

在网络化试题库建设和考核应用中可以采取有效措施缓解或消除这一矛盾：一是开放试题库建设环节，教师及时更新和完善题库。试题库建设在客观上对考核组卷形式进行了限定，但命题的基础环节仍由任课教师负责，尤其是试题库可以随时进行更新。任课教师可以根据课程内容更新情况、考核侧重点调整情况完善题库，在组卷策略设计时突出考核重点知识点和重点章节。二是科学规范命题，提高课程试题库的结构质量和内容质量，提高教师的命题技巧，建设高质量的试题，突出对学生应用能力、综合素质的考核。例如命题要有效涵盖课程知识点并侧重重点部分，合理确定不同难度层级的试题数量，适当增加小分值试题的数量，并确保试题的不同参数(分值、难度系数、答题时间)内在联系一致等。

4.2 思考之二：如何确保试题库自动组成试卷的信度、效度和难度等质量指标?

在教育测量中，信度指测量的可靠性，即测试结果是否稳定可靠。效度亦称测试的有效性，指对应该测试的内容所测的程度，即是否达到了预定的目的以及是否测量了要测量的内容。信度和效度是密切相关的，高信度是高效度的前提条件，但效度较高不能保证信度也一定较高。测试的信度主要涉及试题本身的可靠性和评分的可靠性两个方面。试题本身是否可靠主要取决于试题的范围、数量、区分度等因素;评分是否可靠则要看评分标准是否客观和准确。难度指被试者作答时心理上所感受到的困难程度。难度指标是评价试题质量的一项重要指标，任何形式的考核试卷都存在一个难度控制问题。难度控制适当的试卷则具有较好的区分度，即能够拉开档次，把满足考核目标不同程度的学生区分开来。

试题和组成试卷的信度、效度、难度是衡量网络化课程试题库质量的重要指标。基于试题库系统智能组卷形成的考核试卷，对这3个重要指标均需有合理的体现。学校部署的试题库系统抽题组卷的算法模型基于项目反应理论(Item Response Theory简称为IRT)，采用一种综合平衡的抽取算法，随机策略对于抽取试题的优先级设定、多次抽取的命中概率、多次抽取的试题分布控制等在这3个方面均有良好表征。在信度和效度控制方面，假设试题的难度与测试对象人数及答对人数有关，测试对象的能力与项目数及答对数有关，信度、效度、难度、区分度等均以参数形式出现，这些参数既可以相互佐证，又可以相互独立使用。在难度控制方面，试题默认的难度由经验丰富的教师根据试题构成要素进行预估确定，但在利用试题库系统开展多次网上考试的情况下，系统还可以根据多次考试结果对抽取试题的难度进行自动修订。科学的算法模型设计、高质量的基础命题、优化的试题库结构基于质量保证的建设与审核流程，并最大限度减少整个过程中主观因素的影响，能够确保试题库智能组卷的信度、效度和难度控制。2个学期、80多门课程抽题组卷的实际应用检验表明，课程试题库在智能组卷的信度、效度和难度控制方面均有较好的体现。

4.3 思考之三：网络化课程试题库建设工作对教学工作带来了哪些改变、这些改变都是积极的吗?

考核对教学工作具有导向作用。推进网络化课程试题库建设、采用题库系统随机组卷、推进考教分离，改变了学校延续多年的命题组卷和考核方式，给教学工作带来了新变化。

变化之一：平均答题时间增加。来自学校的考核统计数据表明，采用试题库组卷考核的课程，60分钟内交卷人数占参加考试人数的比例最高为3%，而未采用试题库系统组卷课程的比例最高为20%。

变化之二：教学规范化程度提高。开展试题库建设提高了课程的教学规范化程度，集体备课、平行班授课、命题与审核等成为开展教研室活动的重要主题，教师的课堂讲授严格执行教学大纲、教学日历、教学进度，平行班级之间的授课协调同步程度提高。

变化之三：课程基本建设得到重视和加强。高质量的课程试题库，对课程的内容体系、知识点体系、考核体系等方面的成熟和完善程度均提出了更高要求。网络化课程试题库也促进了课程资源的数字化建设。

变化之四：学生更加重视课程学习。课程试题库的建设和应用强化了学校教务管理部门对考试的管理，最大程度降低教师主观因素对教学考核过程的影响，在一定程度上提高了考核的要求和标准，增加了考核的难度，也增加了学生的答题难度，学生需要加倍努力才能取得比较优秀的考核成绩，从而有利于督促学生认真刻苦学习，使教、学、管、考处于平稳、规范的运行过程之中。

变化之五：考核过程发生了质的变化。课程试题库的建立和应用，尽管检验教和学质量的考核本质没有发生变化，但考核的模式正在发生质的变化。一方面，由教师命题到采用试题库系统随机命题是一个根本性转变，考教分离的目标第一次比较彻底地实现了;另一方面，网络化、无纸化、基于多媒体技术的支持，可以考核文本、图片、音频、视频、互动操作类命题题目，考核问题的情景信息呈现更加丰富，有利于实现对综合性、实战性、复杂应用性能力的考核。

变化之六：课程考核方式更加多元化。利用试题库智能组卷考核或在线考试，仅仅是多元化考核方式的一种，要辩证认识其优势和不足，不能将其作绝对性的理解和应用。它不一定适合所有的课程(如侧重操作性和技能性考核的警体类课程)，也不一定是所有考核方式中最优化和最有效的，需要和课堂答辩、课程设计、撰写课程调研报告等综合性、开放性能力考核形式相结合，形成多元化的课程考核方式。

另外，有不少教师反映，采用试题库系统组卷以后，学生要求教师考前辅导、划重点的现象大大减少了。教师可以在遇到类似情况下坦然回答学生，放下了一个“人情包袱”。

目前，公安大学的网络化课程试题库建设工作还主要处于加强建设、提高入库课程门数、增加入库试题总量、提高命题质量的阶段，对课程试题库的主要应用方式是用随机进行考核组卷替代了传统的命题3套试卷、随机抽取1套试卷的做法。学校的预期规划建设目标是实现培养方案中的约200门考试课程均建设试题库，并遴选条件成熟的课程开展网上考试。这里，我们也可以展望一下试题库系统应用的远景效益：相对于传统纸笔考试方式来说，试题库系统及其在线考试是一种相对“低碳环保”的考核方式，试卷印刷费用大幅度降低，试卷组成、试卷审核及监考和阅卷的工作量大幅度降低，考试成绩分析、试卷分析、试题分析等准确度提高而工作量大幅度降低，教学考核改革和教学考核信息化将进一步深入发展。

［1］ 吴春燕，朱汉祎.广东南方医科大学全面推行网络化无纸考试［N］.光明日报，2010－08－02(3).

［2］ 史保怀，魏裕博，王金柱，等.高等学校学科试题库建设的实践与研究［J］.陕西教育学院学报，2005，21(4)：104 －107.

［3］ 许化宁.试论试卷库制度的教育影响［J］.徐州师范大学学报：哲学社会科学版，2001，27(4)：130 －133.