成人高考网上评卷质量监控体系构建研究——以河北省为例

王长春，刘欢欢，林志淼

(河北师范大学 继续教育学院，河北 石家庄 050024)

成人高考网上评卷质量监控体系构建研究
——以河北省为例

王长春，刘欢欢，林志淼

(河北师范大学 继续教育学院，河北 石家庄 050024)

立足河北省成人高考网上评卷和成绩复核工作实际，利用统计学方法对十年来评卷院校积累的原始资料进行归纳分析，系统梳理评卷各工作环节，呈现详实的评卷全过程。通过完善和强化内外部管理，构建科学高效的评卷质量监控和成绩复核风险防控体系，以期推动河北省成人高等教育招生考试的科学发展。

网上评卷；质量监控；成绩复核；风险防控

质量监控体系也称质量管理体系，是指确定质量方针、目标和职责，通过质量体系中的质量策划、控制、保证和改进来使其目的实现的全部活动。[1]河北省成人高考网上评卷质量监控体系为四级管理体制，即省考试院I级、评卷院校II级、评卷学科组III级和评卷教师IV级，各级均制定相应职责和岗位要求，实施逐级监控管理；前三级评卷人员利用评卷系统提供的各项监测指标，实时监控纠正偏差，确保评卷全过程平稳有序且高效的推进。河北省成人高考实行网上评卷10年，但相关研究工作较少，尤其对网上评卷质量监控体系创建鲜有涉及。国内研究局限于一般的零散探索，未进行过系统研究，也未建构较成熟的网上评卷质量监控体系。笔者所在院校承担河北省成人高考评卷任务30年，有责任有义务开展评卷研究工作，梳理和丰富现有成果，为省级教育考试机构为主导建构成人高考网上评卷质量监控体系提供借鉴。

一、成人高考网上评卷质量监控体系构建

在此以河北省为例对评卷质量监控一般规律进行探讨，主要依据多年组织成人高考网上评卷取得的实践经验和积累的数据，对评卷人员评分差异、评卷误差管控、评卷软件系统完善、评卷队伍建设、成绩复核办法、管理手段创新等方面进行分析，并提出改进方案，创建科学高效的评卷质量监控和成绩复核风险防控体系，为省级教育考试机构提供决策依据，以期推动河北省成人高等教育招生考试的科学发展。

(一)建立网式组织结构

评卷工作的基本原则是公平、安全、科学、规范、准确。成立河北省成人高考网上评卷领导小组，全面负责网上评卷工作。[2]省考试院院长为组长，评卷承办院校校长为副组长，下设联络秘书组、纪检监察组、评阅管理组、质量检查组、成绩复核组、技术保障组、安全保卫组、后勤保障组等八个职能组和九个学科组。职能组负责评卷的行政事务、纪律检查、质量监控、网络设备保障、安全保卫、后勤服务等具体工作，学科组具体负责本学科评卷工作。这种网式组织结构能够使各组之间相互配合，提升评卷效率。

(二)注重塔式角色分工

评阅组长由评卷高校继续教育学院院长担任，统筹各学科组评卷进度，全面监控质量；学科组长由评卷高校挑选专家担任，负责本学科评卷工作，组织制定评分细则、系统参数、培训评卷教师、检查评分参考和评分细则的落实、纠正执行过程中的偏差，裁决分歧意见，对题组长提交的雷同卷或有政治问题的答卷组织学科专家进行研究判定，评卷结束后对本学科评卷情况进行分析，撰写试卷分析报告；题组长由评卷高校挑选的具有副高及以上职称的教师担任，对本组评卷教师进行业务指导，掌控本组试题评阅进度和提高试卷评阅质量，处理本组评卷教师遇到的疑难问题，对提交的异常卷作出初步判断处理；小组长由评卷高校挑选具有中级及以上职称教师担任，每个小组规模为15-20人，负责本小组的评阅进度、评阅质量及本小组评卷教师的协调及管理等工作；评卷教师要熟知答案及评分细则，熟练掌握评卷系统；仲裁人员一般由学科组长担任。在塔式角色分工框架下，五层管理体系分层运作，逐级负责，层层监控，严格把关，[3]各层人员只能在职责范围内进行相关操作，充分体现了分工的严谨性。

(三)加强全面质量监控

1.把控关键节点。第一，严肃制度，严明纪律，严格把关，科学制定评分标准、评分细则和系统参数，经评阅领导小组研究确定后方可实行。第二，加强评卷教师培训工作，逐步形成鲜明的学科特色，树立先期技术培训、中期即时监控和持续过程指导的理念。增强教师的主体意识，突出其工作的主体地位，注重教师培训后的反馈。培训工作做的越细致具体，培训效果就越好，评卷教师的评分差异就越小，评分尺度就越客观公正。[4]第三，合理安排评卷进度，合理分配评卷教师，合理安排评卷时间。第四，做好试评阶段各项工作，各学科组专家抽取样卷进行试评，试评后将专家评阅的答卷分发给具有评阅权限的人员进行试评，将试评成绩与专家的试评成绩进行比较分析，利用分析结果指导评阅教师更好地掌握评分细则。第五，试评转正评严格遵照手续，学科组长通知现场技术管理员进入该科目的正式评阅阶段，各题组组长随时参照“个人复评评卷及个人复评误差数”和“评卷教师的评分分布”两项指标对本题评卷教师所评答卷进行复查，对掌握评分标准过严或过宽的评卷教师予以提醒。

2.突出质检职能。质检组参与评分标准、评分细则、差值阈限的制定，并参加评卷工作人员的培训，熟练掌握和运用质检系统做好质量检查工作，要检查评卷过程中评卷教师对评分标准、细则及宽严尺度的掌握情况，对高分、满分或低分、零分、问题卷、仲裁卷进行定量或全部检查，对答错区域答卷全部进行检查。督促评卷教师严格按照评分细则评卷，利用三评率和恶性误差等数据掌控评卷情况，认真检查评卷教师是否有打保险分的现象。

3.侧重“两线”差异。以小组为单位打印每位评卷教师的评分曲线，对多条曲线进行不同形式的曲线过滤，质检员通过分析评分曲线图，找出偏离平均曲线较大或趋中性较强的评卷教师，对其评阅过的答卷进行重点抽查。在评卷过程中系统随机或由组长将评卷教师已评阅过的答卷按照一定比例重新分发给同一个评卷教师，评卷教师再次评阅完成后，系统根据两次评阅成绩的差值为每位评卷教师绘制一条曲线，从该曲线中可看出每位评卷教师两次给分的偏差情况，同时系统将所有分段的偏差绘制成一条平均曲线，质检员可通过过滤条件过滤出与评卷曲线差距较大的评卷教师，对其进行重点抽查。

4.统计评卷数据。统计每位评卷教师的完成量、退回量、仲裁量、专家一致性和总体一致性，衡量每位评卷教师的评阅速度和评阅质量；统计试题小组和整个题目的平均退回量、平均仲裁量、最大退回量、最大仲裁量、最大退回或仲裁量评卷教师等。这些数据是评定当次评卷工作质量的重要依据，也是下次评卷工作不断改进的数据支撑。

(四)严格成绩复核环节

自2015年起凡参加成人高考的考生对统考科目成绩有疑问，可申请一次成绩复核。成绩复核是整个评卷工作的最后一个环节，一方面检验评卷质量，另一方面维护考生利益，保证评卷公正。

1.制定原则办法。根据教育部《国家教育考试网上评卷暂行实施办法》，复核范围为非选择题部分，对错判、漏判、积分错误予以更正，不对考生查卷。成绩公布之日起2个工作日内，考生携带本人居民身份证、准考证到所在市级教育考试机构办理成绩复核申请手续。复核工作由省考试院组织实施,复核结果由市级教育考试机构负责通知考生。

2.成立领导小组。领导小组全面负责成绩复核工作，解决成绩复核工作中出现的问题。领导小组下设办公室综合组、信息管理组、成绩复核组、纪检监察组和后勤保障组。

3.规范工作流程。(1)数据整理。将成绩复核考生信息按“科目名称”整理成Excel文件，一个科目为一个文件。(2)评卷高校提供复核教师名单。根据考生复核申请人数，由评卷高校提供各科复核模式和教师名单，成绩复核分为按试题复核和按整卷复核。按试题复核的科目需要提供复核教师姓名及复核题目，且复核教师只能看到允许自己复核的题目。(3)系统设置。信息管理组根据复核科目的考生数量合理分组，按照评卷高校提交的各科复核模式及教师名单进行系统设置和权限设置，复核教师凭登录账号与登录密码自动调取所承担的复核任务后，进入复核系统。对考生信息进行保密设置，生成密号与准考证号对应表。(4)成绩复核。按试题复核时界面中只显示本复核教师有权复核的试题信息，对成绩复核无误的试卷，复核教师点击“复核通过”按钮；对成绩复核有误的试卷，复核教师点击“复核不通过”按钮，同时输入不通过的原因。按整卷复核时界面中显示本科目的所有试题信息，对成绩复核无误的试卷，复核教师点击“复核通过”按钮;对成绩复核有误的试卷，则点击“复核不通过”按钮，同时输入不通过的原因；(5)复核进度查看。(6)复核不通过试卷查看。复核教师在复核过程中，可以随时调取自己设置的所有复核不通过的试卷进行查看并可再次复核。对复核不通过的，复核教师应交予成绩复核组组长共同研究处理。(7)打印复核结果。复核全部结束之后，复核教师打印自己复核的结果(复核单)，由复核教师、复核组组长和纪检监察组组长签名后，交综合组备案。近两年考生成绩复核结果显示，2015年全省申请成绩复核的考生11人共17科次，2016年申请成绩复核的考生8人共15科次。按照河北省成绩复核工作流程，经复核组专家认真评判，所有考生均成绩无误，评卷误差率为零。

二、成人高考网上评卷质量监控体系存在的问题

(一)软件系统存在细微功能缺陷

随着信息技术在教育考试和测评领域的深入和普及，教育考试从传统的纸笔考试到网上评卷都发生了根本性变革，其高效质优的特点迅速被人们所认识和接受，短短几年网上评卷迅速扩展开来。[5]河北省自2007年成人高考实行网上评卷开始，一直使用山大欧码数字化网上评卷综合管理系统，该系统运行稳定，设计理念先进，功能比较齐全，基本满足评卷的各项需求。目前存在的主要问题是系统升级缓慢，部分功能亟待完善。如对单个评卷教师即时状态统计缺失；仲裁试卷调度功能切换复杂；完成阶段性任务预测功能处于模糊状态，系统界面存在缺陷，评阅、监督、检查、管理、查询之间的功能转换繁琐且操作不便捷。

(二)评卷教师身份识别不够精准

按照规定，所有评卷教师进入评卷场地必须佩戴学校统一配发的证件，通过个人口令方可进入评卷系统。然而这种方式缺少评卷教师和本人身份证比对环节以及对评卷教师名单核对过程，即对评卷教师的身份识别不够精准。

(三)关注评卷教师情绪变化较少

客观上来说，评卷过程是一个要求集中精力并在短时间内完成任务的一项活动，其特点是重复、枯燥，一段时间后容易使人出现疲劳甚至厌倦的情况。主观上来说，评卷是一个受个人因素影响的过程，主要包括心理和心情两方面。[6]心理是人对客观物质世界的主观反映，心理调整需要有正确的认识，有大局意识，充满责任感，积极的思想灌输可以使人心理舒缓。心情是无法考量的，外界环境对人的心情影响因素很大，包括感觉器官接收的信号、色彩、声音、气味等。对情绪变化产生原因、产生时间、产生前兆、影响因子、指导措施等关注较少，忽略评卷教师情绪变化会影响评卷质量。

(四)服务公司技术人员流动性较大

评卷队伍主要由评卷教师和公司技术人员两部分组成。评卷教师基本上能够保持稳定，每年由专业教师和一定比例的研究生组成；服务公司技术人员流动性较大，虽然一些技术人员可能在其他省参加过评卷工作，但是由于每个省评卷工作要求和习惯做法不尽一致，导致他们对一些细节要求不是十分清楚，继而出现“水土不服”的现象，不利于评卷工作的有效开展。

三.完善成人高考网上评卷质量监控体系的策略

(一)完善评卷软件系统

省考试院要组织召开由评卷院校和技术公司参加的专题研讨会，评卷院校提出问题，技术公司负责制定解决问题的方案。省考试院对方案进行审核，通过后即做下一步技术处理，升级软件系统，完善系统后通知评卷院校，进行模拟测试，进一步完善系统功能。

(二)引入身份识别系统

省教育考试院于2016年下半年自学考试评卷中首次引入评卷教师身份识别系统,这是考试评卷工作的一大改变。评卷教师刷身份证，采集本人图像信息，在服务器上进行系统比对正确后方可进入评卷现场，并实名登录账号进行评卷；如有误则不能进入评卷现场。身份识别系统不但彻底解决了评卷实名制问题，而且对评卷教师出入评卷场地的日常管理也更加便捷高效，是很好的风险防范举措，因此成人高考网上评卷要尽快引入身份识别系统。

(三)关注评卷教师情绪变化

作为评卷工作的组织者，尽管无法保证每位评卷教师的心情一定舒畅，但是应尽可能营造良好的评卷环境，尽量保证评卷教师以良好的心情从事评卷工作，[6]这是完全可以做到的。按照个体的身体和精神变化发展规律，一般把评卷过程分为适应期、高峰期、疲劳期，在这三阶段个体相应地呈现出不同的表象。在适应期评卷教师“出活”少，主要是熟悉答案细则标准要求，要不断自我调整宽严尺度，逐渐进入评卷最佳状态；高峰期是评卷最佳时间，评卷教师体力精力充沛，要抓住机会，抓紧时间，最大量“出活”；进入疲劳期后评卷教师容易产生厌倦心理，对每天分配的任务有畏难情绪，继而烦躁、坐立不安。此时思想动员工作要及时跟上，题组长要率先垂范。[7]

(四)保持评卷队伍稳定

评卷教师队伍要相对稳定。每年成人高考题型固定不变，分值比配大致相同，这种情况便于评卷教师具体分组分工。评卷教师熟知成人考生答题的特点，可以有效避免尺度过宽或过严现象的出现，每个学科组可以做到心中有数，明了进度、明晰节点、明确尺度、明白培训内容的重点难点，做到微观和宏观兼顾。[8]

公司技术人员要相对固定。由于互相熟识，技术人员与评卷教师的沟通自然畅通；技术人员了解评卷院校的工作特点，如哪个学科组进度较快或较慢，在扫描环节提前做好准备，防止没有扫描试卷造成窝工；在服务器的配置问题上，由于技术人员经验丰富，可以把配置方案做到最优，极大提高数据传输效率。

(五)妥善处理评卷参考

教育部、国家保密局联合颁发的《教育工作国家秘密范围的规定》明确规定成人高等学校招生全国统一考试评分参考(指南)属绝密级，保密期限5年，知悉范围为命题、审题、印刷、监印、评卷等相关工作人员。评分参考自启用时降为秘密级，保密期限连续计算。评卷参考主要是指评分细则、评分标准及参考答案等有关评卷指南，所以评卷院校在组织评卷过程中，从制定细则执行标准到评卷结束，都要及时妥善处理有关评卷资料，并按照相应密级进行专人负责管理，做到零风险防控。

[1]质量监控体系[EB/OL].http://wenda.so.com/q/1460941897726795?src=140.

[2]胡吉海.如何做好成人高考中的评卷工作[J].河北成人教育,1998(2):32-35.

[3]罗友花,刘铁明.网上评卷研究述评[J].中国考试,2009(11):34-37.

[4]高丙成,秦旭芳.成人高考网上评卷评分者差异研究[J].乌鲁木齐职业大学学报,2007(4):96-99.

[5]于建坤.信息化为教育考试和测试插上翅膀[N].中国教育报，2013-03-18(07).

[6]王会斌,苑兆忠,侯鲁男.影响网上评卷质量的因素研究[J].中国成人教育,2013(19):118-120.

[7]小 恒.强化内部管理保证评卷质量[J].中国考试(高考版),1998(3):17-18.

[8]刘奉越.我国地方终身教育立法比较研究[J].现代远距离教育，2017(2):10-16.

Research on the Construction of Quality Control System of Adult University Entrance Examination Marking Online——Taking Hebei Province as an Example

WANG Chang-chun,LIU Huan-huan,LIN Zhi-miao

(Continuing Education College,Hebei Normal University, Shi Jiazhuang Hebei 050024, China)

Based on the practice of marking and reviewing examining papers online of adult university entrance examination in Hebei Province, the author uses the statistical method to summarize the original data accumulated by the college in the past ten years, and systematically combs the work of the marking and presents the detailed evaluation process. Through the improvement and strengthening of internal and external management, to build a scientific and efficient quality control system of examination marking evaluation and risk prevention system of examination reviewing, this paper would like to promote the scientific development of adult university entrance examination in Hebei Province.

examination marking online; quality control; examination reviewing; risk prevention system

G720

： A

： 1008-6471 (2017) 03-0045-05

10.13983/j.cnki.jaechu.2017.03.007

(责任编辑：刘奉越)

2017-06-23

2016年度河北省教育厅人文社会科学研究项目招生考试专项“成人高考网上评卷质量监控及查卷环节风险防控问题研究”(编号:KSZX201623)

王长春(1971-)，男，河北承德人，河北师范大学继续教育学院助理研究员，主要从事继续教育招生考试管理研究。