王瑞
网上评卷与自学考试信息化建设
——以甘肃省为例
王瑞
信息化建设是目前自学考试改革和发展的关键环节,而网上评卷就是其核心内容之一。本文以甘肃省自学考试发展中的网上评卷为个案,分析网上评卷需要重点解决的关键问题和合理步骤,探讨网上评卷在自学考试中实施的必要性与可行性,为当前自学考试发展提供地方实践经验。
信息化建设;自学考试;网上评卷
近30年来,自学考试获得迅速发展的同时,也迎来自身的诸多挑战。尤其突出的是考试科目较多,各科科次数差别较大,助学周期长,考务组织复杂,评卷教师的需求量不平衡,缺考人数较多,评卷点相对分散,登分、办证环节管理复杂等一系列问题;这些现实问题给自学考试工作者提出了巨大的挑战。
加快信息化建设,实现自学考试的网络化与高效率,无疑是解决以上问题的重要路径,网上评卷更是重中之重。为此,甘肃省高等教育自学考试办公室为加强信息化建设,提升甘肃省高等教育自学考试办公室信息化管理水平,结合计算机技术、网络技术、数据挖掘技术和通信技术的发展和应用,经过多次调研、考察、研讨,决定甘肃省全面实施高等教育自学考试网上阅卷工作。
实施网络阅卷,着重解决了传统阅卷各环节的差错率较高,确保评卷信息的安全性和准确性,充分保证评卷结果的公平、公正。并在降低网上评卷的成本和减轻命题、考务、评卷人员的工作压力上下功夫,与此同时,加强数据管理和应用,结合考务考籍新管理平台,提升办证管理水平、办证效率,提供多项数据分析报告,为评卷分析、科学管理、自学考试工作信息化建设提供基础数据平台。
我国正处在应试教育向素质教育的转型期,人才培养的重点将逐步转向创新能力和实践能力的培养。探索教育多元评价手段,选拔具有创新思维、实践能力的优秀人才,是下一步教育改革、发展的大趋势。在这一涉及深层的变革中,信息技术的发展与应用将越来越显示不可替代的巨大作用。
当前,大数据和云计算的出现,为全球开启了一次重大的时代转型。云计算和大数据是一个硬币的两面,两者相辅相成。一方面,云计算驱动大数据不断地成长,另一方面,不断产生的海量数据需要云计算的挖掘和处理。
随着当今信息化技术的高速发展,现有的处理能力和手段已难以适应未来大数据时代。特别是近年来,由于互联网的迅速发展和普及,对数据的搜集、整理和存储已相当高效、便捷,除用于考试、招生、选拔之外,如何更充分地挖掘其深层价值,是值得探索与实践的主题。有鉴于此,甘省自学考试面对省级特定考试情况,总结多年组织实施考试经验,大胆推进自学考试的信息化建设。数据的处理是整个信息化建设的核心所在,因为数据是基础,关键是隐藏在数据背后的分析与探讨。对考试数据进行深入挖掘和分析,可以帮助决策者在进行制度改革时做出更准确的判断依据。
基础数据的存储,记录学习历程,收集、整理和分析教育考试过程中产生的数据,建立教育质量监测与评价体系,可以实现对整个教育过程中的学生学业水平、学习能力、智力水平、综合素质、心理特征等方面以及对教育考试管理部门的管理水平的综合评价,形成一系列科学、量化的分析报告,有助于教育评价体系的进一步发展和完善,促进素质教育、提高教育质量。有关的教育测评实践已经在一些领域和地区获得了初步的成果,并取得较好的社会反响。
网上评卷是一种新的评卷方式,它以计算机网络技术和扫描技术为依托,以控制主观题评卷误差、实现考试公平、公正性原则为最终目的,把多年来人工评卷积累起来的丰富经验和现代高新技术相结合,客观题部分采用OMR技术由计算机自动判分,主观题部分采用图像切割技术,按题号将考生答卷切割成题块,由评卷教师在计算机上通过网络,对考生答卷的电子图像评分,最终由计算机自动进行分数合成和成绩校验的一种新的无纸化评卷方式。网上评卷可以有效引入误差控制机制,最大限度地减少评卷误差,更能体现评卷公平公正的原则。网上评卷全过程采用计算机管理,减少了传统评卷方式的诸多手工环节,提高了评卷工作效率,可以实时监控评卷质量和评卷进度,加大对评卷的管理力度,便于对命题、答题和评卷情况进行有效分析,进一步提高评卷工作的科学化管理水平。
传统评卷的阅卷组织模式为一人阅一道题,多人阅一份试卷,但由于手工评卷分数直接标在试卷上,质检人员评分标准很容易被前一个评卷老师所左右,所以每道题很难实现多评的机制。
网上评卷的最大优势所在是评卷结果的误差控制,控制误差的一个重要手段是引入多评机制,即一道题让至少两个以上的教师来评阅,将评阅结果进行比较、配对或仲裁后产生最终成绩。
每道题随机分给两个不同的老师评阅,当两个老师对同一道题的给分之差超过规定的范围时,则自动将该试卷分发给第三个老师评阅;
第三个人可以是该科目具有权威的专家,他可以专门处理这些“超误差卷”,这些试卷一旦经他批阅就成了考生的最终成绩;第三个评卷老师也可以是普通评卷员,他批阅完之后的分数自动会去跟前面两位教师匹配,若两两匹配之差在设定范围之内就采纳两者的平均分(或按特殊算法给最终分,系统默认取平均分);
如果第三个人给的分数还无法跟前两者匹配,系统会把这份试题发给第四个教师,通常四评由评卷经验丰富的题组长评阅,该评阅为最终评阅。
另外,由于每次大部分评卷老师变化很大,评卷老师在时间紧、任务重、长时间疲劳作业的情况下,会产生较大的评卷误差。
人工评卷虽然也有质检过程,通常采用的是随机抽检,由于手工评卷分数直接标在试卷上,数据量太大,对评卷误差难以实时统计和发现,评卷质量难以实时控制和改善。人工评卷评分中存在的误差主要在试题的主观性程度越强(如作文题、论述题、简答题等),误差越大;每题赋分越高,误差越大,且无法有效及时发现。
答卷在运输、保管、交接和评卷的流转过程需投入大量的人力和物力。由于数据量庞大,登分和合分需大量人员,而且极易出错。
与传统阅卷方式相比较,网上评卷优势如表1所示。
高等教育自学考试是国内规模较大、参加人数较多、社会化程度较高的学历文凭考试。随着自学考试不断的发展,目前覆盖的专业和科目也越来越多。但另一方面,参加各科目的考试人数也存在着极其严重的不平衡状态,增大了考务和阅卷工作的复杂程度。造成了混编考场多,给命题、考务和阅卷环节造成很大困难。
表1 与传统阅卷方式的比较
控制评分误差,体现公平公正。采用网上评卷,通过二评、三评、四评等多评机制,能有效地控制了评卷老师的评分误差,使评卷过程中的误差降到了很低程度,最大限度地体现了考试的公平公正性;
改进管理环节,提高工作效率。与手工评卷的一评一复(核)机制相比,网上评卷多评机制下的实际评卷量要大二倍以上,网上评卷省略了搬运、保管、翻阅试卷的环节,由系统自动调阅试卷,大幅度提高了工作效率;
采取网上评卷,通过试题和答卷分开的方式减轻了试卷回收和后期存放的压力;在评卷过程中,可以大规模地减少以往负责看管试卷的保密人员和评卷教师领还试卷的工作;实行网上评卷以后,减少了原有的人工登分和核分环节,避免了上述环节容易出现的差错情况;
评卷实时监控,保证评卷质量。采用网上评卷可以通过计算机系统提供的实时评卷数据,有效地监控评卷教师的评卷进度和质量,从而解决了人工评卷无法实时监控的问题,保证了评卷的质量;
便于统计数据,提供信息反馈。实行网上评卷后,考生的各种答题信息和评卷信息都被详细存储在计算机系统内,便于对命题、答题和评卷情况等进行各种统计分析,既可以为一线教学提供评价和指导,也便于建立评卷教师档案,建立一支高水平的评卷教师队伍。
根据网上阅卷系统的功能及其应用特点,我们从技术、投资、安全及应用几个方面来分析两种模式的可行性。
在计算机网络技术高速发展的今天,自学考试应用网上评卷可以从“分布式”与“集中式”两个方面进行,两种模式可结合高校现有的师资力量、计算机硬件的配置条件和网络状况进行选择,两种模式的技术可行性最大的不同是中心数据的实施存储地完全不同,但两种模式结合甘肃省的情况从技术可行性都可实现自学考试网上评卷。选择不同的模式,对数据的管理模式截然不同。
项目的投资可行性与项目建设目标密切相关,我们对“分布式”与“集中式”的投资可行性分析也是基于预定目标进行的,即实现全省自学考试网上阅卷与统计分析;与传统评卷方式相比网上评卷在提高效率,保证公平,保障安全,有利促进考务管理的前提下,进行投资压力的论证。
(1)“分布式”投资分析
“分布式”系统需要同时处理的数据量都不大(一般单次不超过2万人);存储容量最大的“考生答卷图片”全都采用“本地化加异地”共同存储,没有远程大数据量传输的要求。
因此,分布式”系统对服务器、支撑软件及网络环境等要求不高,一般无须购置额外的硬件,也不必大规模改造现有网络,故建设投资较小。
(2)“集中式”投资分析“集中式”系统须以全省参加自学考试的学生和参与的教师进行分析;存储容量最大的“考生答卷图片”都通过专用网络传输。
因此,“集中式”系统对服务器、支撑软件及网络环境等要求相对要高。要使所建系统达到建设目标,需配置专用服务器和专用网络,集中式一次性投资相对较大。
如选用“分布式”的方式,多个“数据中心”增加了数据安全管理的难度,而“集中式”采用数据集中管理,相对分布式,数据的安全管理更加可靠。
(1)“分布式”系统的可应用性
“分布式”系统数据处理量小,对承担任务的高校网络及硬件环境要求较低,经过了无数次的实际应用验证,对于小规模考试较为适合。
(2)“集中式”系统的可应用性
“集中式”系统相当于多个分布式的数据处理中心集合,方便数据管理监控,经过多次实际应用的验证,对于大型考试是完全可行的。
评卷质量的高低不但关乎助学成果与学生学习情况反映的真实程度,而且也事关自学考试质量评估的准确性,在科学管理中具有重要作用。网上阅卷之所以对提高评卷质量有积极的帮助作用,我们认为主要应归结于系统采取了以下措施:
(1)客观题自动阅卷。采用网上阅卷系统后,客观题部分的阅卷由系统自动完成(相当于OMR阅卷机功能),无须人工干预。因而,不但阅卷效率获得大幅提高,而且还避免了各种可能的人为差错。
(2)自动屏蔽考生信息。在主观题阅卷过程中,系统自动屏蔽了考生的个人信息,一方面它可以确保阅卷过程及结果的客观公正;另一方面是完全杜绝了人情分、印象分现象的存在。
(3)科学的误差控制。为确保主观题评卷结果的准确性,系统提供了多评误差控制,个人前后及个人与整体的评卷一致性检查和评卷仲裁等功能,以达到最大限度地降低主观题评卷人为误差的目的。
(4)进度质量监控。在整个评卷过程,系统提供了对总体进度、各题进度、每位教师完成的评卷量及多评条件下的评卷误差等实时监控功能,评卷组长不但可及时掌握整体的评卷状态,而且还能据此对评卷过程中出现的问题进行及时处理或调整。
(5)自动统计分析。从小题分、大题分到科目分全部由系统自动采集(即登分、加分),在设定统计指标及报表种类后,系统将自动完成统计分析与报表生成工作,避免人工操作可能导致的各种错误发生。
在传统的人工阅卷中,评卷教师不但要对纸质答卷进行诸如装订、搬移、翻阅等操作,而且还需要进行人工的加分、登分与统计。遇到大型考试的流水线作业阅卷,往往评卷任务分配不均和各评卷教师的评卷质量和速度不均。因而,在考试频繁及题量增加的情况下,人工阅卷与统计分析需要教师投入大量的时间和精力,在一定程度上不可避免地成为广大教师的负担。应用网上阅卷系统可以达到提高教师评卷效率的目的,主要基于系统具备的如下功能:
(1)客观题阅卷可通过网上阅卷系统的扫描识别子系统自动完成,避免了人工阅卷方式需要逐题评阅的人工操作;
(2)主观题评卷的所有答卷均由系统随机且自动分发,免去了人工阅卷对考生答卷的装订、搬移、翻阅等操作。此外,每位评卷教师均按照系统预定的授权及分配的任务进行独立评卷,避免了流水作业的中间等待;
(3)所有成绩数据的采集与统计分析由系统自动完成,免去了人工阅卷的加分、登分、统计及报表生成等复杂操作。
在传统的人工阅卷时,由于受人自身能力的局限,对考试成绩数据的处理及分析往往只能停留在非常简单的层面(如科目分、总分及其排名等),难以通过考试结果的分析实现对教学质量的全面评价。然而,采用网上阅卷系统进行考试成绩数据的统计分析,无论是分析的深度还是广度都大大超越于人工统计分析所能及的范围,具体的表现包括:
(1)网上阅卷系统不但提供了对整体与科目考试情况的统计,而且还提供了对题目、小题(知识点)的详细分析,助学过程中的闪光点与薄弱点均可通过统计分析结果得到及时、全面的反映;
(2)网上阅卷的统计分析结果不仅体现在简单的考试成绩层面,而且还能对考试的命题质量进行科学分析(如难度、信度、区分度、效度等指标分析),使助学过程中存在的问题通过统计指标及相关报表得到全面的反映。综上所述,利用网上阅卷系统强大的统计分析功能,一方面可为社会助学全面把握助学质量创造有利的条件,另一方面也为教育主管部门或领导制定发展规划提供了科学的依据。
自学考试是中国高等教育发展和改革的重要内容,自学考试改革的形式和内容值得学人关注。来自各省的地方考试实践,如甘肃的网上评卷,尽管条件艰苦,工作烦琐,但是该省主动适应形式,积极谋求改变的勇气和探索的经验值得全国各省借鉴。
更为重要的是,实践证明,甘肃自学考试通过重视自身省情,努力寻求改变,通过对考试各环节的不断改进和完善,形成了一整套有自身特点和需求的发展模式,使评卷工作有了质的发展,同时也达到了公平、公正的社会效果,确保了高效、有序、有质的完成每次评卷任务。
此外,信息化建设是各省自学考试都必须面对的现实问题,需要考试工作者勇敢面对。从甘肃经验来看,对数据的整体,特别是对基础数据的整理与分析,是整个自学考试事业发展的关键所在,它为命题建设和考务考籍管理新平台的开发应用提供了科学基础,并会在将来的一系列信息化改革和建设中发挥更大的作用。
[1]段宝霞,著.教育信息化成本效益研究[M].北京:科学出版社,2010.
[2]郭莉,祝智庭.教育信息化的成本效益分析[J].电化教育研究,2005(6).
[3]范先佐.教育财务与成本管理[M].上海:华东师范大学出版社,2004.
[4]高国元,张景生.教育信息化效益提升的路径分析[J].当代教育科学,2008(13).
[5]刘军.教育信息化的需求、现状与趋势[J].成人教育,2005(11).
The Relationship between Information Construction and Higher Education Self-taught Examination:Taking Gansu Province as an Example
WANG Rui
Information technology serves as an indispensable means in scientific test management.Online scoring has succeeded in ensuring accuracy and safety in paper-marking by contrast to a traditional way.Facing various problems such as constant increasing in test subjects,imbalance distribution of exam candidates,length of schooling as well as complicated organizations of test affairs management,the paper intends to reveal the necessity and feasibility in information technology through online scoring,so as to realize information management.Moreover,the paper puts emphasis on key issues in the practice of online scoring and the necessity of scientific management in the process of information construction based on many examples.
Information Construction;Self-taught Examination;Online Scoring
G405
A
1005-8427(2014)05-0046-6
王瑞,男,甘肃省高等教育自学考试办公室,中学高级教师(兰州 730010)