王秀慧,麻淑芳,冯丽露
(山西大同大学教育科学与技术学院,山西大同037009)
“互联网+”时代下智能在线考试平台开发
王秀慧,麻淑芳,冯丽露
(山西大同大学教育科学与技术学院,山西大同037009)
针对传统纸笔考试存在的弊端,融合分词、相似度计算等技术,探讨“互联网+”时代下的智能在线考试平台开发。主要实现试卷自动生成、学生在线考试、系统自动打分、站内搜索、各类试题管理等功能。智能在线考试平台的开发实现了无纸化考试,方便了教师出题、监考、阅卷、统计分析等,使得考试实施过程更为方便、高效、公平公正,并大大推动了高校教育的信息化。
智能;在线考试;教育
互联网改变了世界,改变了我们的生活,也不断在改变、影响着教育模式。互联网及信息技术的快速发展使得教育考试模式的变革也成为可能。目前,我国高校的各类考试大多还是采取传统的纸笔考试的模式,存在诸多不足。主要有:(1)试卷生成周期长。试卷从教师制定、审核、系部汇总、提交教务、印刷、分装到回归学院,每一阶段都要耗费诸多时间;(2)易造成教学资源及成本的浪费。仅印刷试卷一项,就需要大量的时间、人工和纸张;(3)教师需要提前出题,且所有的考生用同一份试卷,使得学生作弊变得可能;(4)试卷采用人工评判方式,容易出错,且可能出现不公正现象;(5)考试数据难以统计。[1]针对传统考试的不足,本文融合数据库、分词、相似度计算等技术,基于NET框架开发B/S模式下的智能在线考试平台,以使得考试实施过程更为方便、高效、公平公正,并能大大推动高校教育的信息化。
1.1 功能分析
传统的在线考试平台大多只是针对某些特殊课程,且考试题型主要以客观题(选择、填空、判断等)为主,试题类型偏少,不能满足大多数考试科目的要求。文中涉及的在线考试平台可以自由指定考试科目,提供手动组卷和自动组卷两种生成试卷的方式,同时支持客观题和主观题两大类考试题型。考试结束后,不仅能对客观题进行评分,还可以通过相似度计算算法对主观题进行评分。[2]考试过程流程图如图1所示。
1.2 模块划分
图1 考试流程
开发一个功能齐全、结构完整的智能在线考试平台,需要满足教师、考生和管理员三类用户群的需求。主要功能模块图如图2所示。
1.2.1 教师模块
教师登陆平台以后,可完成组卷、试题管理、手工干预评分和查看成绩分布四类操作。
(1)组卷。平台提供手动组卷和智能自动组卷两种试卷生成方式。其中,手动组卷要求教师指定题型、分数,之后在每类题型中,教师通过复选或查询的方式从试题库中选择考试题目。这种组卷方式虽然可以满足教师主观选题的需求,但是效率偏低。为此,平台又提供智能自动组卷功能。教师只需要指定题型、数量和分数,平台会在综合考虑知识点覆盖率、试题难度、重复度等参数的前提下,随机从试题库抽题,自动生成一份科学合理的试卷。
图2 功能模块图
(2)试题管理。教师对自己所负责的课程进行试题管理,操作主要包括不同类型试题及相应答案的添加、删除和修改。
(3)手工干预评分。考生提交试卷以后,系统通过智能阅卷子系统对客观题和主观题进行评分后给出最终得分。由于主观题答案相对自由,机器对自然语言语义的理解能力还有待提高,导致主观题评分机制可能会存在误差。为此,平台对主观题评分开放了手动干预功能,使得教师可以根据实际情况修正分数,以保证评分系统更准确。
(4)查看成绩分布。以直方图的方式给出考生成绩分布情况,使得教师对考试情况有一个直观的了解,以便于根据考试情况调整教学内容,改进教学效果。
1.2.2 考生模块
考生登录平台以后,可以在线参加考试、查看成绩,考试结束后平台会依据学生的答题情况向学生推送相关试题,以便于弥补知识点掌握的不足。
(1)参加考试。考生登录以后,选择考试科目,平台会自动把与该考试科目对应的试题展现给考生。在考生解答试题的过程中,平台会根据需要实时提醒考生考试剩余时长。考生试题解答完毕后,点提交按钮即可。
(2)查看成绩。考生登录以后,选择考试科目,可查看到本科目得分及排名。
(3)平时测验:学生登录以后,选择相应课程,在平时测验区可以按章节选择测验内容,平台会列出相应试题,学生测试结束后可以查看到自己的答题情况。
(4)试题推荐:根据学生的答题情况筛选出错题,依据错题为学生推送相似试题,学生通过相关试题的练习可以加强对薄弱知识点的掌握,进一步提高学习成绩。
1.2.3 管理员模块
(1)用户管理。包括增加删除管理员,教师用户导入、增加、删除,学生用户导入、增加、删除。
(2)课程(考试科目)管理。实现课程信息的查询、增加、删除及修改等维护操作。
在制定试卷环节,教师可通过在试题库选题的方式完成手动组卷,但这种方法主观性太大且效率不高。为此,本平台增加了自动组卷功能。自动组卷过程中,自动抽题的设计策略至关重要。[3]本文在充分考虑知识点覆盖率、试题难度、区分度、重复度等影响因素的前提下,设计随机抽题策略,以使得试卷制定更科学更合理。
2.1 知识点覆盖率
教师手动填写每一章试题的分值比例,以期考试范围合理的分布到每一章节。也可以以平均分配的方式自动设置知识点覆盖率。
2.2 试题难度
试题难度是衡量试卷合理程度的一个重要参数。试题的难度并不是直接给定的,而是在多次的考试结果中统计出来的,所以该参数在真正的确定下来之前一直是一个动态变化的值。随着测评次数的不断增加,每一道题的难度系数逐渐趋于稳定。在自动组卷之前要求教师根据教学经验及学生对知识点的掌握情况,指定合理的难度系数初值。
2.3 试题区分度
区分度能把不同水平的考生的知识掌握能力鉴别能力出来。同试题难度一样,该参数也是一个统计结果。组卷之前教师根据实际情况指定试题区分度初始值。
2.4 重复度
随机抽题的组卷模式有可能导致一张试卷存在重复试题。如一道题可能以选择题的形式出现,也可能以填空题的形式出现。为避免试卷出现重复试题,本平台在试卷形成过程中试题采用基于向量空间模型的相似度计算算法对试题去重。
传统考试试卷采用人工评判方式,效率较低,且容易出错。为此,本平台开发了自动评分模块机制。客观题(选择、填空、判断等)的自动评分易于实现。但对于主观题(简答、论述等),由于其求解思路和答案带有主观性,没有标准答案,导致机器评分难以实现。本研究通过计算用户答案和标准答案之间的相似程度这种方式给出分数,相似度越高,则与标准答案越接近,分数也越高。这样,可以为教师手动打分提供一定的参考,加快打分速度。
学生答案和标准答案之间的相似度计算采用基于向量空间模型的方法。[4-5]其计算步骤为:
(1)对答案进行解析,得到答案文本段所对应的特征项;
(2)采用基于lucene的中文分词算法对答案文本段进行分词,对结果词集首先要进行禁用词过滤,然后再剔除虚词、特高频词及特低频词,最终得到特征项;
(3)利用 TF-IDF(Term Frequency and Inverse Document Frequency)方法分别计算每段文本特征项的权重,生成权重向量;
(4)以上一步求得的权重向量为基础,利用余弦系数计算公式计算出答案所对应的文本段之间的相似度值。
相似度值越高,表明学生答案和标准答案越接近,得分则越高。
此外,平台为学生提供了习题智能推送子系统。该子系统依据学生平时的测验情况,列出错误试题,并依据错题为学生推送相似试题,使得学生能够有针对性的提高对薄弱知识点的掌握水平。相似试题的计算思想与智能阅卷子系统中相似答案的计算方法类似。
B/S架构下的互联网智能在线考试平台避免了传统考试的诸多弊端,实现了考试过程的自动化管理,极大方便了教师对学生的考核工作,实现了无纸化考试。同时,平台聚集的大量数据为下一步的学习者学习行为分析提供支撑,便于基于数据了解学生的需求和存在的问题,实施个性化教学。
[1]李红艳.在线组卷策略的研究与设计[J].计算机工程与设计.2011(6):2183-2186.
[2]黄海.基于人工智能的考试系统研究与实现[D].成都:西南交通大学,2015.
[3]徐琳,杨姝.基于改进的协同过滤算法的练习测试推荐系统[J].沈阳师范大学学报(自然科学版).2015,33(2):270-272.
[4]李可欣.智能考试系统相关技术研究[D].长沙:中南大学,2010.
[5]李红艳.在线考试系统智能组卷策略的设计与实现[D].长沙:中南大学,2010.
The Deployment of an Intelligence Online Test System in the“Internet Plus”Era
WANG Xiu-hui,MA Shu-fang,FENG Li-lu
(Institute of Education Science and Technology,Shanxi Datong University,Datong Shanxi,037009)
Focusing on the defect of traditional test based on paper and pen,we discuss the deployment of an intelligence online test system in the"Internet plus"era.Such technologies as word segmentation,similarity computation are used in the system.The main achievements of the system include automatic test paper generation,student online examination,automatic scoring,station search and test questions management etc.The system realizes the paperless examination,facilitates teacher questions,makes the task of making papper,invigilating,marking and performancing analysis more easier.Also,it makes the examination process more convenient,effi⁃cient,fair and just,and greatly promote the informationization of education in colleges and universities.
intelligence;online test;education
TP399
A
1674-0874(2017)03-0001-03
〔责任编辑 高海〕
2016-12-16
山西省教育科学“十二五”规划课题[GH-13091];山西大同大学校级科研项目[2016Q9];山西大同大学教学改革项目[XJG2016212]
王秀慧(1981-),女,河北石家庄人,硕士,副教授,研究方向:教育信息化与数据挖掘。