以PDCA循环理论提升硕士研究生招生考试自命题网上阅卷质量

DOI： 10.16750/j.adge.2024.11.006

摘要：全国硕士研究生招生考试自命题网上阅卷是深化研考自命题改革的重要举措之一，阅卷技术改革是提升阅卷质量的重要手段。基于PDCA循环理论，从网上阅卷规划设计阶段、执行实施阶段、总结反思阶段、调整优化阶段厘清了提升网上阅卷质量的关键风险点位和主要任务，提出了可行的解决方案，探寻了网上阅卷质量的提升路径，提出了优化及改进建议。

关键词：硕士研究生招生考试；网上阅卷；自命题；PDCA循环理论；研究生教育

作者简介：邢蓉，东北师范大学研究生院研究生招生办公室主任，副研究员，长春 130024；徐健文（通讯作者），东北师范大学研究生院研究生招生办公室职员，长春 130024；朱烁，东北师范大学研究生院学术学位培养办公室主任，长春 130024；朱嘉熹，东北师范大学研究生院研究生招生办公室副主任，长春 130024。

2024年4月，《中华人民共和国学位法》颁布，规定：“学位授予单位应当建立本单位学位质量保障制度，加强招生、培养、学位授予等全过程质量管理。”人才选拔质量是招生质量的关键，全国硕士研究生招生考试（以下简称“研考”）是国家选拔高层次专门人才的重要途径。

2021年8月，教育部印发《2022年全国硕士研究生招生管理规定》，首次提出“鼓励招生单位积极采用网上评卷等方式”，截至2024年，已有百余家招生单位采用网上阅卷方式。总体来看，与考试技术相关的改革，大部分比较容易取得成功，而制度性的改革往往历经反复，比较曲折[1]。自命题网上阅卷的技术实现问题已基本解决，网上阅卷质量提升和管理优化势在必行，基于PDCA循环理论，提高网上阅卷技术效能，是深化研考自命题改革、提升人才选拔质量的着力点。

一、提升自命题网上阅卷质量的动因

1.提升自命题网上阅卷质量是自命题改革的必由之路

（1）自命题网上阅卷质量关乎人才选拔实效。高质量的研究生教育是教育强国建设的重要支撑，把好研究生教育“入口关”是提升研究生教育质量的重要举措。2020年9月，教育部、国家发展改革委、财政部印发《关于加快新时代研究生教育改革发展的意见》，要求深化考试招生制度改革。2023年11月，教育部《关于深入推进学术学位与专业学位研究生教育分类发展的意见》指出，要分类完善人才选拔机制，优化人才选拔标准。

研考自命题工作一直以来受到国家重视。2019年3月，教育部办公厅在《关于进一步规范和加强研究生考试招生工作的通知》中明确指出：“自命题考试是研究生招生考试的重要组成部分，是发挥招生单位招生自主权、体现办学特色和科学选才的重要机制。”有效地选拔人才和配置资源，最大限度地发挥考试的测验选拔功能，是考试的重要职能[2]，而网上阅卷是国家研考自命题改革的重要举措。教育部在2022年研考中首倡自命题网上阅卷，同年调整了自命题科目答题纸样式，在密封线内增加“条形码粘贴框”，在答题区域增加答题框，以便考生粘贴条形码、规范作答，为自命题网上阅卷创造条件。2022年9月，教育部印发《2023年全国硕士研究生招生工作管理规定》，进一步强调各省级教育招生考试机构予以积极指导和大力支持。2023年11月，教育部印发《关于进一步做好2024年全国硕士研究生招生考试评卷工作的通知》，强调严密监控评卷质量，鼓励有条件的地区单位利用新技术提升评卷质检质控水平。自命题网上阅卷已具备充分的政策依据和组织保障，是发挥研考的人才选拔职能，推进研考自命题标准化的重要途径。

（2）自命题网上阅卷质量关乎教育考试公平。当前，人民群众对高质量的教育需求日益迫切，2015年以来，研考报名人数呈现快速、持续性增长势头，2017年报名人数首次突破200万，2022年报名人数突破400万，然而招生人数较2017年仅增长了52.9%。研考已成为高利害性的重要国家教育考试，近年来社会高度关注研考自命题阅卷的公平性。

传统纸质阅卷在提升公平性方面存在短板：①答卷登分统分环节均由人工完成，易发生登分统分错误。②评卷教师能看到他人评阅痕迹，评阅的独立性和客观性易受影响。③考生信息可能暴露，存在违规、作弊风险。④纸质答卷的运送流转存在失、泄密风险。相较而言，自命题网上阅卷通过技术手段能有效减少人为干预，在减少纸质答卷流转、隐藏考生信息、实现独立评阅、减少统分登分错误等方面具有优势，符合研考对公平性的价值追求。

（3）自命题网上阅卷质量关乎教育管理现代化。教育现代化是以现代信息社会为基础，以先进教育观念为指导，运用先进信息技术的教育变革的过程，是传统教育向现代教育转变的过程[3]。与高考相比，研考录取比例较低，研考自命题阅卷工作具有科目多、单位分散、流程繁琐等特点。2023年高考录取比例为80.7%，同年研考录取比例仅为27.5%；高考试卷近百套，2022年研考自命题科目全国总数达2.9万；高考阅卷由省级教育招生考试机构统一组织，研考自命题阅卷由全国硕士生招生单位分散组织，答卷回收、整理、评阅、成绩录入等环节流程复杂，且涉及与考点、机要局相互配合的问题，考务管理难度大。以A校为例，2022年研考自命题试卷数量达3.6万份，为东北三省高校中自命题试卷份数最多的招生单位，如果仍沿用传统纸质阅卷方式，就会面临考务工作时间紧张、人力物力消耗大、阅卷效率低下、阅卷质量难以保证等问题。A校采用网上阅卷，优化自命题阅卷管理流程，提高了教育管理现代化水平，确保了自命题阅卷质量。

2.技术发展为提升自命题网上阅卷质量创造有利条件

网上阅卷在我国最早始于1989年推行的标准化考试改革，在1999年全国普通高考评卷工作中，教育部考试中心与广西壮族自治区教育考试院首次对英语科目进行网上阅卷试验[4]。目前该技术已广泛应用于高考、全国大学英语四六级考试等多项大规模教育考试，技术发展和管理流程十分成熟。2018年，我国部分硕士生招生单位开始尝试实行研考自命题网上阅卷。2022年以来，在国家政策引导和各省级教育招生考试机构的支持下，为进一步提高阅卷工作的质量和效率，越来越多的硕士生招生单位针对研考自命题答卷的扫描、评阅特点，结合本单位的实际情况，逐步形成了具有研考特色的技术解决方案。调查结果表明，在参加过不同类型的网上阅卷教师中，85%的教师认为自命题网上阅卷系统操作较为简单[5]，考生作答和阅卷教师评阅均不存在技术困难，网上阅卷已不存在难以逾越的技术瓶颈问题。同时，网上阅卷具备明显技术优势：①自动登分统分将阅卷教师从签字、计算的重复性工作中解放出来，基本消除了登分统分错误；②系统随机分配答卷，对阅卷人员完全隐藏考生信息、他人评阅痕迹，有效提升了阅卷客观性；③存储分析海量过程数据、实时监控评阅过程等技术，为提升阅卷准确性创造可能。

二、基于PDCA循环管理理论的分析框架

20世纪50年代，美国著名质量管理专家戴明（W. Edwards Deming）在休哈特的管理理论基础上提出PDCA循环管理理论，PDCA循环包括计划（Plan）、实施（Do）、验证（Check）、处理（Act）四个阶段，具备闭环管理，大环套小环、小环保大环，阶梯式上升，应用的灵活性四个特点[6]。

提升自命题网上阅卷质量需要关注阅卷的全过程，包括答卷回收、整理、评阅、成绩录入等所有环节，其中评阅是核心环节。质量提升既包括技术更新、管理流程优化带来的形式质量提升，也包括以减少评分误差、有效选拔人才为结果的内容质量提升，内容质量提升是阅卷质量提升的核心目标，形式质量提升为内容质量提升提供保障。按照PDCA循环节点，本文将自命题网上阅卷划分为四个阶段：网上阅卷规划设计（Plan）、网上阅卷执行实施（Do）、网上阅卷总结反思（Check）、网上阅卷调整优化（Act）。四个阶段组成了自命题网上阅卷管理的大循环：①大循环中的每一个阶段内部都将按需产生若干中循环、小循环，并以质量为导向，整体呈阶梯式上升，直接提升下一年度网上阅卷质量；②从整体自命题工作角度来看，阅卷工作也置于更高层级的PDCA循环中，是对前期命题、考务工作的验证，根据验证结果，实现对下一年度命题、考务工作的再优化，并间接影响下一年度网上阅卷质量；③在自命题网上阅卷的PDCA循环管理中，实际存在着国家、省级教育招生考试机构、硕士生招生单位三个层次，招生单位主要负责自命题网上阅卷的组织实施，故本文以招生单位层次为主要研究对象。

三、PDCA循环管理下自命题网上阅卷质量的提升路径

1.网上阅卷规划设计阶段（Plan）

规划设计阶段是循环的第一阶段，主要任务是厘清网上阅卷的关键节点，梳理影响质量提升的风险点位，制定明确、具体的质量提升目标，找到有针对性的解决方案，生成因式分解逻辑树（见图1）。本研究基于网上阅卷质量提升目标的公平和效率基点，从评阅准备、评阅实施、评阅总结、评阅改进四个中循环层面，制定规范管理流程、维护研考安全、减少评分误差的解决方案。

（1）规范管理流程。为提高自命题网上阅卷工作的规范性和科学性，需要建立权责明晰、完整流畅的管理流程。在评阅准备阶段，目标是做好网上阅卷的人、物、卷准备，针对可能产生的数据缺失错误、系统运行不畅、设备不充足、环境不符合要求、考务人员对阅卷流程不熟悉、未按要求回避、考生未按要求粘贴条形码、考生在答卷上做标记、答卷丢失、漏扫等风险点位，具体流程包括基础数据处理、网上阅卷环境搭建、考务人员选聘和培训、答卷回收、答卷整理以及答卷扫描六个环节。在评阅实施阶段，目标是健全阅卷制度设计，针对制度执行不力、评阅人员草率大意等问题，加强关键环节关键人员管理，主要由试评阅、正式评阅、专人复核、质量检查四个环节组成。在评阅总结阶段，目标是多举措确保考试成绩数据准确无误，尽早发现成绩数据问题，为评阅改进阶段提供依据，主要开展成绩汇总、数据校验、成绩上报、成绩分析、成绩公布、成绩复查六项工作。在评阅改进阶段，目标是及时处理评阅问题，优化下一年度阅卷工作，形成对评阅、考务设计的反馈。

（2）维护研考安全。平安研考是自命题网上阅卷的质量红线，必须严密设计、严格执行。在评阅准备阶段，目标是从源头抓起，确保阅卷安全，以数据安全、系统安全、答卷安全、人员信息等阅卷情况安全为抓手，严控信息知悉范围，杜绝失、泄密事件发生。在评阅实施阶段，目标是确保评阅工作平稳顺利开展，应重点关注评分参考保密、成绩数据保密、系统安全维护、网络安全保障、账号安全管理五个风险点位。在评阅总结阶段，在成绩未对外发布前，成绩数据安全保密是核心工作。在评阅改进阶段，目标是科学、有效运用反馈结果，如果存在徇私舞弊、失密泄密等重大问题，严格执行责任倒查和追究机制，对人才选拔效果好、评阅组织管理佳的单位及时总结经验并予以适当激励，同时，因涉及评阅标准、成绩分布等敏感信息，应控制反馈结果的知悉范围。

（3）减少评分误差。为提高评阅信度效度，有研究者认为在评分过程中，有三种潜在的偏差或误差来源：评分量尺、评分程序和评分者，最大限度地减少评分偏差是大规模教育考试中需要解决的重要课题之一，通常采用严格选拔评分者、对评分者进行培训以及监控评分过程等措施[7]。在评阅准备阶段，应严格阅卷教师选聘、确保答卷完整无丢扫漏扫情况，要求阅卷组长提前酝酿评分参考，奠定良好基础。在评阅实施阶段，通过制定明确的评分细则，充分做好阅卷教师培训、实时监控评阅质量、针对错评漏评雷同卷等问题开展仲裁复核等举措，控制评分误差。在评阅总结阶段，通过数据校验、成绩分析对成绩数据进行判定，如发现成绩有误，在评阅改进阶段及时予以纠正，进一步优化下一年度评阅和命题工作。

2.网上阅卷执行实施阶段（Do）

在执行实施阶段，首先要对上一阶段提出的解决方案，形成具体的落实举措，展开具体工作，并监控任务的执行情况，确保执行有效。在目标逻辑树基础上，综合考量招生单位考试科目数量、答卷份数、人力物力成本等因素，明确具体工作任务。

完善的业务流程精细化管理是保证网上评卷质量的重要保障[8]，这不仅需要健全的制度保障，为了监控执行情况，还需要明确时间表，建立全流程台账，责任到人、任务到岗，反复交叉核验、全程监督留痕。当前考点自命题答题纸未根据题目划分作答区域，因此产生了两种阅卷模式，一是阅卷教师可查看考生全部卷面，找到对应作答位置进行评阅；二是招生单位提前根据试题内容印制答题卡，划分作答区域，阅卷教师仅对指定作答区域进行评阅。虽然后者的标准化程度更高，但招生单位需制定对应考试科目数量的答题纸模板，增加了设计、印制、封装的人力和时间成本，在考前存在试题结构失、泄密风险和错装漏装风险，增加了考试过程中考点的考务组织风险，因此目前各招生单位主要选择第一种阅卷模式。基于第一种模式，按照“全流程监管、全方位核查、全环节反馈”的管理思路，本文汇总梳理了4个阶段51项主要工作任务，详见表1。总体来看，一方面在网上阅卷方式下，答卷的回收整理、评阅、成绩校验仍是质量控制的关键环节，应进一步激发新技术在这些环节的效能；另一方面，网上阅卷新增了数据、系统、网络维护，阅卷进度监控，数据深度分析等工作任务，将自命题阅卷质量提升带入2.0时代。

3.网上阅卷总结反思阶段（Check）

在总结反思阶段，需要逐一检验前期目标的完成情况，总结成功经验，找到存在的问题及原因。基于自命题网上阅卷带来的工作任务变化，信息安全问题、评分误差控制问题成为反思的主要方向。

（1）信息安全问题。阅卷过程数据对提升阅卷质量具有数智支持的重要意义，但绝大部分招生单位并不具备独立开发网上阅卷系统的能力，使用外部技术服务时，如何做到既降本增效，又守住数据安全底线、杜绝失密泄密风险是招生单位面临的困难问题。在评阅实施阶段，实时产生阅卷数据，要求系统和网络必须处于安全、稳定的运行状态，否则阅卷数据丢失，将直接导致成绩数据错误。自命题网上阅卷工作兼具业务性和保密性，无法托管给信息化办这样的技术部门，只能由研招办负责组织实施。面对新的技术挑战，出现了“人防无从下手、技防本领恐慌”的问题。由于数据、系统、网络安全三者不容有失，因此管理主体对信息安全的整体布局尤为重要。A高校基于3节点超融合技术的网上阅卷数字化平台解决了这一问题，如图2所示。这一平台通过在用户层、系统层、网络层的设计部署，最大限度确保了信息安全，具备集成、灵活、安全、高效的特点。在数据安全方面做了如下安排：

①实现数据多重备份，避免数据丢失风险。主节点服务器中的容灾虚拟服务器实时同步备份从节点数据，从节点服务器中的冷备份程序每15分钟进行一次不覆盖备份操作，并直接同步至第三服务器中的备份虚拟服务器中。②加强数据管控，引入第三方安全审计系统，审计网上阅卷公司、招生单位的系统运维人员权限，监控运维人员操作痕迹。③确保电力保障，数据中心连接两台UPS不间断电源，监控电力连接状况，一旦断电，UPS不间断电源就立即启用。在系统安全方面进行如下处理：①3节点服务器实时保持通信，仲裁节点虚拟服务器根据信号反馈结果辅助主节点服务器判断故障类型，及时预警，当节点服务器网上阅卷系统出故障时，容灾虚拟服务器就会被激活，以确保系统运行；②设置应用虚拟服务器，要求网上阅卷公司的人员使用第三方安全员安装的指定安全运维工具，以确保系统安全；③设置堡垒机虚拟服务器，可通过第三方审计系统倒查系统故障原因。在网络安全方面做了如下处理：①搭建三层交换机为核心的千兆阅卷专用网络，采用虚拟局域网（VLAN），与外网进行隔离，在不同层级设置不同网络防护措施，其中阅卷数据中心防护级别最高，由第三方安全员专人全程值守，确保网络安全；②阅卷数据中心设置的2个交换机均与阅卷系统所在的从节点服务器相连，通过仲裁节点虚拟服务器的端口聚合协议，监控阅卷网络链路状态，当网络中断或带宽不足时，就会启用第二条网络链路，以确保网络通畅。

（2）评分误差控制问题。目前主要面临双重挑战：①漏评问题时有发生。自命题网上阅卷推行3年来，登分统分失误造成的评分误差得到了控制，但是由于考生作答顺序混乱、跳页、空白页、不标

记题号等情况导致的漏评问题有所增加，即使增加人工复核次数和复核维度，此类问题依旧存在。调查表明，网上阅卷使阅卷教师更容易感到疲劳[9]，阅卷教师在长时间、高强度的工作状态下，难免会出现漏评问题，管理部门仅靠增加人力也难以彻底解决漏评问题。②评分准确性仍有待提高。技术更新有助于标准化考试改革，但不能直接解决评分的准确性问题，自命题试题多为主观题，其评分容易受到阅卷教师知识水平、综合能力、工作态度、对评分标准的理解、对叙述问题方式的喜好和心理倾向等方面的因素影响[10]，质量提升难度较大。当前，部分网上阅卷系统尚无法实现对评阅结果进行多指标的实时分析统计，无法及时检验调整阅卷教师的评阅质量。

4.网上阅卷调整优化阶段（Act）

针对问题清单，在调整优化阶段应识别需要处理的问题并制定处理方案。虽然提升自命题网上阅卷质量的目标和工作任务较多，但控制评分误差是需要优先解决的问题。

（1）减少漏评。在第一种阅卷模式下，招生单位不指定考生作答位置，因此作答顺序混乱情况占比较高；但第二种阅卷模式对成本要求较高，也无法完全避免此类情况，因此招生单位需要得到如下三方面支持：①政策支持。在现有统一印制的自命题答题纸第一页“注意事项”中，已注明答题时须按顺序写清题号后作答，但未规定如果考生未按顺序作答则作答无效，因此招生单位判定考生作答无效就缺乏合法性。建议调整答题纸样式，在答题框左侧增加“题号”列，同时加强政策宣传，引导考生明确标注题号，便于阅卷教师准确定位考生作答位置，以减少漏评现象。②技术支持。网上阅卷公司可通过OCR识别技术等手段，增设系统识别功能，通过导入试题，实现关键词定位，辅助阅卷教师查找考生作答内容，提高查找效率。③考生支持。招生单位应对考生加强规范作答的宣传引导，通过官网、官方微信公众号等渠道在考前反复提醒考生要规范作答，在试题信封明显位置粘贴提示标语，改善考生作答情况。

（2）提高评分准确性。无论是命题、阅卷、分数解释还是施考环境，其质量的改进均需要有先进的考试理论和技术来指导[11]，提升评分准确性的关键在于阅卷教师，应在以下三方面开展工作：①加强阅卷教师队伍建设，严格遴选和加强培训，做到双管齐下，建设一支稳定、成熟的阅卷教师队伍。由于招生单位能力有限，建议省级教育招生考试机构组织相关培训，对于适用联合命题的科目，可统筹省内招生单位联合命题，并集中业务水平较高的阅卷教师联合阅卷。②加强阅卷过程监控，网上阅卷公司应开展阅卷数据的实时分析统计工作，以便阅卷组长监控每个阅卷教师前后评阅结果的一致性和阅卷教师之间评阅结果的一致性，及时掌握成绩分布情况，准确判定评分标准的理解和执行情况，同时也可增加对阅卷速度、工作量等辅助指标的监控，以便合理确定阅卷工作安排。③加强阅卷效度检验，可通过成绩数据分析，基于有效样本分析平均分、标准差、差异系数、信度、难度系数等，应充分发挥数据分析对阅卷质量提升的指导作用。要实现对阅卷质量的深层次分析，招生单位应积极学习应用最新学术研究成果，如项目反应理论，已应用于大学英语四、六级考试[12]和英语专业四级考试[13]的评分误差控制研究中，近年来有学者运用该理论对研考统考科目心理学专业基础进行了命题质量评价[14]。这些理论成果对自命题网上阅卷质量评价亦具有借鉴价值。

参考文献

[1]""""""" 刘海峰. 高考改革的回顾与展望[J]. 教育研究， 2007（11）： 19-24.

[2]""""""" 刘海峰. 高考改革中的公平与效率问题[J]. 教育研究， 2002（12）： 80-84.

[3]""""""" 顾明远. 试论教育现代化的基本特征[J]. 教育研究， 2012（9）： 4-10，26.

[4]""""""" 罗友花， 刘铁明. 网上阅卷研究述评[J]. 中国考试（研究版）， 2009（11）： 34-37.

[5]""""""" 孟凡德， 付森. 硕士研究生招生考试自命题科目网上评卷的实践探索与改革思考[J]. 学位与研究生教育， 2023（3）： 34-39.

[6]""""""" 沙锐， 吴根. PDCA循环管理在科技计划项目质量改进中的运用[J]. 科技管理研究， 2021（6）： 161-165.

[7]""""""" 王蕾， 张文静. PISA中国试测研究的评分者效应分析对高考网上阅卷的启示[J]. 统计与信息论坛， 2012（6）： 95-101.

[8]""""""" 吴瑞华. 研究生招生考试网上评卷精细化管理研究[J]. 高教学刊， 2020（16）： 164-166，171.

[9]""""""" 黄燕. 大学英语四、六级考试网上阅卷情况调查[J]. 外语界， 2007（2）： 82-88，96.

[10]""""" 田俊忠. 主观性评价网上阅卷误差控制限的统计模型[J]. 湖南科技大学学报（自然科学版）， 2016（31）： 65-69.

[11]""""" 吴根洲. 高考效度问题研究[J]. 教育学术月刊， 2010（5）： 25-29.

[12]""""" 王跃武， 朱正才， 杨惠中. 作文网上评分信度的多面Rasch测量分析[J]. 外语界， 2006（1）： 69-76.

[13]""""" 陆远. 探索网阅环境下的英语写作评分员培训[J]. 外语电化教学， 2010（1）： 33-36.

[14]""""" 宋学玲， 梁正妍. 基于项目反应理论的研究生招生考试命题质量评价[J]. 心理与行为研究， 2023（2）： 253-259.

（责任编辑" 周玉清）