自考命题数字化转型的内涵、价值和实施路径

2025-01-19 00:00:00张璇孙延洲
考试研究 2025年1期
关键词:自学考试数字化转型命题

[摘 要] 初步探讨数字技术在自考命题工作中的应用,分析自考命题数字化转型的内涵、价值及实施路径。提出基于知识图谱的教材资源智能推送、试题自动生成、智能题库、自动排版、智能审校、数据分析和试卷自动打印检测的人机协同模式,致力于实现自考命题工作数字化转型。通过整体数字化管理题库、命审题、考试数据统计分析与评价、试卷库、供卷打印、征集命题等试卷生产的全流程,重塑自考命题工作模式和流程,提升命题工作质效、管理能力和数字化水平,促进自学考试命题工作智能化、科学化、精准化发展。

[关键词] 自学考试;命题;数字化转型;智能题库

[中图分类号] G424.74 [文献标识码] A

[文章编号] 1673—1654(2025)01—080—007

一、引 言

党的二十大报告对教育、科技、人才进行“三位一体”统筹部署,首次将“推进教育数字化”写入报告,成为教育数字化未来发展的行动纲领。2023年2月,教育部部长怀进鹏在世界数字教育大会上的主旨演讲中提到,推动教育数字化转型,是大势所趋、发展所需、改革所向,更是教育工作者应有之志、应尽之责、应立之功[1]。教育部考试院提出以智慧考试为核心概念的全新考试业务系统,描绘我国大规模教育考试数字化发展的愿景和技术路线[2],为教育考试工作者探索数字技术和教育考试工作深度融合,加快数字化转型,实现教育考试业务管理现代化指明了方向。

随着信息技术的发展,各类教育考试机构的信息化程度日益增强,业务呈现出信息传输数据化、业务管理数字化的趋势。在自学考试命题工作环节中,命题队伍信息系统、命题题库系统、命题细目表设计程序等具体运用已初步形成,基本实现了数据在命题业务中的运转和贯通,为自考命题业务数字化转型奠定了基础,但资源挖掘与业务协同程度不够,尚未实现信息资源驱动业务的智能化工作模式。

近年来,人工智能(AI)、区块链、第五代移动通信技术(5G)、大数据和虚拟现实日益普及,这些新一代信息技术与信息资源的结合势必会重塑业务架构。通过人工智能和大数据技术赋能,以智能出题、难度预估、自动组卷和全网查重为代表的创新技术已经成为试题创生的重要功能,在命题的相关环节发挥着关键作用[2]。发达国家的教育考试机构已经开始研究人工智能生成内容(AIGC)在试题自动生成领域的应用,这无疑给考试领域带来一场革命,使考试命题从传统的以专家经验为主的模式,演变为通过AI产生素材和半成品、再经专家最终审查成题这一更具质量和效率的新模式[3]。探索数字技术在自学考试命题工作全流程的应用,使技术创新和管理创新深度融合,对促进自学考试命题工作高质量、数字化发展具有重要的意义。

本文围绕自学考试命题核心业务,利用数字技术,对自考命题数字化转型的内涵、价值及实施路径进行深入分析,依托数字化工作管理平台,进一步挖掘资源的价值,构建与探索平台管理、智能题库管理、命审题管理、供卷打印、考试数据统计分析与评价、试卷库管理、征集命题等试卷生产的全流程整体数字化。通过采用数字模式进行业务决策,实现自学考试命题工作更加智能化、科学化、精准化。

二、自考命题数字化转型的内涵

自考命题数字化转型是指采用数字技术,将自考命题的各种信息资源进行整合处理,以数据为中心,以业务流程为主线,以建设智能辅助命题决策的命题数字化平台为目标,重塑自考命题工作业务全流程,实现智能化的人机协同命题工作模式。这意味着自考命题的全过程都需要以数据为基础,通过对数据的分析、挖掘和应用,推动现有命题工作流程优化,对各工作环节进行重新构想和设计。

自考命题数字化转型不仅将命题工作流程转为线上运行,更是改变传统依靠人力、纸质教材为主的命题工作模式,利用数据形成两种人机协同命题工作模式:一种是以传统的命题教师创作为主导、智能推送学科资源为辅助的人机协同模式,另一种是以智能生成试题为主导、命题教师修改为辅助的人机协同模式。

从形式构成看,平台主要包括数据资源化和业务数字化两部分。数据资源化是将原始资料、数据,如试题、试卷库、纸质教材等转化为可高效利用的数据资源,以提升资源的价值。业务数字化是指创新自考命题数字化业务模式,使其向智能化、网络化发展。

平台功能包括平台管理、智能题库管理、命审题管理、考试数据统计分析与评价、卷库管理、供卷打印、征集命题管理、AI命题助理。其中,命审题管理和智能题库管理是平台的核心功能。用户角色划分为系统管理员、命题管理员、学科秘书、命题教师、审题教师、录入员。

(一)平台管理

平台管理是将自考命题工作中涉及的各种数据和物理资源进行数字化处理,其功能包括资源管理、信息管理、培训管理等。

资源管理主要利用数字技术二次开发和数据资源,将教材、考试大纲、参考资料、素材、命题基本理论与知识、试题编写规范、工作制度等资源进行数字化处理、存储和共享,突破纸质资源使用局限,进行知识库和资料库管理。具体而言,资源管理可实现分类、提取、分析自考课程教材和命题相关规范的知识点,分别形成各学科知识图谱,形成知识资源;再把知识资源开发成支持平台功能的工具,如用户对数字资源标记、下载、检索、编辑等操作。

信息管理实现权限、用户、教材、题型、课程信息管理。系统管理员可设置各级用户的权限、命题管理人员的账号信息。命题管理员可进行教材、课程信息管理,以及命审题教师、学科秘书、录入员的账号、基本信息、密码管理。教材管理包括添加、编辑、删除教材名称、版次、书号、出版社、章数、启用时间、启用状态。课程管理功能包括添加、导入、删除、查询课程代码和课程名称,关联课程的教材、题型,设置命题细目表认知层次比例、难度预估比例、比例允许差值。

培训管理是由命题管理员制作关于自考命题基本理论与知识、试卷设计、试题编写规范、安全保密、平台操作等方面的培训视频,设置命题教师、审题教师的考核试题,系统自动评分、展示考核结果。

(二)智能题库管理

智能题库管理主要实现A类、B类电子题库智能化的日常管理、试题审核和题库统计,用于智能组卷、试卷自动生成、编辑、统计分析、试题查重,使题卡的编辑、提取、保存更加方便。A类题库是以单个题目形式存储的题库,B类题库是以试卷形式存储的题库[4]。命题管理员可以管理题型名称、类型、默认分值、题型指导语等基础信息和试题。命题教师可灵活选择自主创作为主、智能推送学科资源为辅,或者智能生成试题为主、教师修改为辅的两种模式进行命题。

录入员可在线添加、编辑、删除权限范围内的课程试题。系统智能校验试题是否符合编制规范,如选择题的备选项是否重复、是否有逻辑上的包含关系、试题参数是否超范围等,并在试题编辑界面提示对应题型编制规范要求。

(三)命审题管理

命审题管理主要将命题、复审、终审业务在局域网内以智能化、无纸化方式完成。主要功能有批次管理、命题管理、复审管理、试卷查重、智能审校、语音提醒。

命题管理员可设置命题、复审、终审批次任务、人员分工等信息,查看各个批次下的命审题信息,查看整体工作进度。

在命题环节,系统自动生成对应课程包含章数、题型、题分的细目表供命题教师填写,并校验教师填写的细目表是否符合试卷难度比例和认知层次比例要求,确保试卷结构符合考试大纲的规定。根据预设的组卷策略和细目表参数,系统为命题教师提供三种智能化组卷模式:一是从题库中自动筛选出试题,二是参照试题编制规则智能生成试题,三是以命题教师为主导编制试题。

教师在编制试题时,系统自动校验试题是否符合编制规范,并根据用户操作动态地推送关联的教材内容资源,减轻录入文字工作量。系统可智能排版,生成格式规范且包含课程代码、课程名称、卷首语、题型指导语、大小题号、小题数、选项代码、题分、页脚的试卷、答案及评分参考Word文档,且每种题型的小题按由易到难的顺序排列,有效规避格式规范错误,缩减了命题教师等待排版的时间。此外,系统可进行试卷智能审校,对错别字、叠字、多字、漏字、用词不当、语义重复、标点错误等问题进行校对,对行政区划、机构名称、涉港澳台地区表述、涉国际关系、涉民族宗教等问题进行检查,找出试题可能存在的问题。

命题教师可以编辑、审核试卷,填写由系统根据细目表参数生成的试卷难度预估表,设置答题卡类型、专用答题卡转印内容,查看工作制度、任务说明、业务介绍、教材、考试大纲、错题分析及权限范围内的命题资料。

学科秘书通过命题管理功能审核细目表、试卷,填写命题教师评价表,查看、修改试卷和题卡,查看权限范围内课程的命题进度。录入员可排版试卷、修改试题信息、打印试卷。

系统语音消息可及时提醒各类用户有待处理的任务。

(四)考试数据统计分析与评价

考试数据统计分析与评价功能实现智能化试卷质量分析和试题评价。试卷质量分析包括导入、按组合条件查询定性定量评估和实测统计分析数据,以表格、柱状图形式展示试卷总体统计特征,如历次考试各省的总人数、最高分、最低分、平均分、实测难度、预估难度、及格率、区分度等;以饼状图的形式展示历次启用卷的考试数据各分数段比例。试题评价包括以图表形式展示各小题答题情况抽样统计分析、选择题选项分析、难度曲线分析、编排顺序分析、考生知识盲点及客观题错误类型分析。学科秘书、命题教师可查看试卷预估难度和实测难度对比分析、信度分析、效度分析等命题质量评价数据,根据命题改进建议完善命题工作,形成“决策—评价—改进决策”的工作闭环。

(五)试卷库管理

试卷库管理主要通过条码技术实现试卷信息和纸质试卷的管理。在命题、复审、供卷三个工作阶段,将试卷分为毛坯卷、清样卷、启用卷三种类型进行管理。

管理人员采用固定规则对每套试卷、答案及评分参考文档的名称进行编号,批量导入试卷编码、课程名称、试卷编号、试卷类型等信息。系统自动根据试卷编号生成每套试卷的条码,管理人员再批量打印课程、试卷条码等信息,将其粘贴在试卷袋上,作为每套试卷的唯一标识。

在进行入库操作时,管理人员导入以试卷编号命名的试卷、答案、专用答题卡电子文档,系统自动检测电子文档名称与导入的试卷编号信息是否一致,并提示有误的文档名称。再使用条码扫描枪扫描试卷袋面条码,系统及时检测并用语音提醒试卷编码信息与实物条码是否一致。

在进行抽卷操作时,可由管理人员设置启用的试卷,也可导入要抽卷的课程信息,由系统根据预设的抽卷策略抽取启用卷。

在进行出库操作时,管理人员选择或导入要出库的试卷编号,使用条码扫描枪扫描试卷袋面条码,系统及时检测并用语音提醒试卷编号与抽取的试卷条码是否一致,加密导出最终出库的试卷编号和电子文档。

(六)供卷打印

供卷打印功能主要为供卷任务数据导入提供接口,能够自动处理导入数据,实现按省份批量打印试卷清样、检测打印质量。

命题管理员可管理省份的名称、试卷清样的纸张类型、地址等信息,新建供卷任务批次,导入供卷任务数据,设置启用卷;选择单个或全部省份打印邮寄信封地址单、回执单,选择单个课程或全部课程打印试卷、答案及评分参考的袋面信息和含纸张类型信息的试题清样寄发核对单;查看总体打印进度,自动分配人员的打印和封装任务;填写各省市所需试卷袋数,系统自动计算总袋数、生成交接清单。

录入员可按省份分类打印试卷、答案及评分参考的白纸、硫酸纸清样,并查看打印进度。再通过连接平台的扫描设备,批量扫描单个省份的试卷,系统自动对照数据检测是否缺页、页面是否有打印质量问题。

(七)征集命题管理

征集命题管理模块为C/S客户端,可以在征集命题阶段,供命题教师在单机上离线命题。命题教师登录客户端填写学校、姓名、电话等信息,选择课程创建命题细目表、选择题型、编辑题分。系统自动校验总分,按细目表参数生成题卡。教师编辑题卡时,系统自动校验选择题的备选项是否重复、逻辑包含关系、绝对肯定词汇等。所有题目编辑完成后,可导出格式规范且包含课程代码、课程名称、卷首语、题型指导语、大小题号、小题数、题分、页脚的试卷、答案及评分参考Word文档。

(八)AI命题助理

AI命题助理主要包括智能搜索、智能回答、数据分析等功能。各类用户可向平台提出关于自考命题相关知识、平台功能、评价等方面的问题,平台采用基于自然语言处理技术的聊天机器人帮助用户在线学习[5],用知识图谱中的事实回答自然语言问题。

三、自考命题数字化转型的价值

(一)顺应新时代发展要求,推动自学考试命题工作数字化的深入发展

当前,自学考试命题和试卷库管理的数字化、智慧化程度不高,命题部门对用于支持命题业务的数据有较强需求。为顺应新时代发展要求,命题工作必须实现数字化。通过推进自考命题数字化转型,可以充分发挥人工智能、大数据等新技术应用于自考命题的优势,激发以数据资源创新驱动为核心的发展模式,实现全流程业务与数据的集成化、数据管理的安全与规范化,推进人机智能结合多样化资源,开创自学考试命题工作的新局面,推动自学考试命题工作数字化的深入发展。

(二)以技术、理念创新引领流程重构,实现自考命题工作数字化的管理创新

自学考试命题数字化平台以数字技术为主要手段,以规范化为标准,结合自考命题工作以题库命题为主的特点,运用精细化、数字化管理理念,落实命题管理关键工作环节的要求,对自考命题工作方式、流程、工具等进行全方位、智能化重构,以数字化方式实现培训命题教师、细目表提交与审核、试题自动生成、智能组卷、自动排版、试卷审核、终排版、归档等规范的命题流程,采用简洁、可视化方式展示整体命题工作进度、课程、教材、人员、题库、命题、试卷库等信息,命题管理员可对命题工作全程进行精细化管理。

(三)深挖物理和数据资源价值,提高自考命题管理工作效能

自考命题数字化平台实现数据资源化、业务管理数字化,根据自考命题规范流程细分命题管理人员、命题教师、学科秘书、录入员的职责,从而加强对数据和业务的管控。命题管理员需熟悉数字工具使用、信息资源数字化管理、数据分析与处理、进行平台技术指导,提升命题管理员的管理能力和数字胜任力。通过挖掘物理和数据资源价值,运用知识图谱智能推送教材资源,使物理和数据资源焕发出新的活力。结合自考试卷设计与试题编写规范,运用题库智能组卷、智能生成试题、动态推送资源、智能审校等功能,改变以命题教师为主的命题方式,减少工作人员大量重复性的工作,有效降低命题成本,大幅增加题库的题目数量,从而释放了资源和数据应用价值,解决了人工输入文字效率低的瓶颈和缺少命题教师的难题,提高了命题工作质量。同时,可以加快工作、业务流转速度,提升命题工作各个环节的数字化水平,提高整个自考命题管理工作效能。

(四)提升命题决策科学性,提高自学考试标准实施质量

教育考试的质量分析主要是“四度”的分析:信度、效度、难度和区分度[6] 。针对自学考试是标准参照考试和课程终结性考试的特点,自考命题数字化平台智能题库和考试数据统计分析与评价模块依据自学考试的试题测量统计指标设计,推进教育测量学、统计学、数字技术、数据库、网络等智力资源和现代科技成果融合。平台运用实际考试数据统计结果,深度分析统计数据与预估难度值的差异,采用表格、图像可视化技术,为命题管理人员、命题教师提供直观的信度、效度、难度和区分度分析,便于命题教师了解考生对各个知识点的掌握情况,在命题阶段合理地设计与估计试题试卷难度,科学、合理、稳定地把握合格标准、试卷结构,较大程度上消除主观因素的影响,有效促进试卷预估难度预测和试题组合编排的精准及科学地改进,提高自学考试标准实施质量,确保自学考试的科学、公平与公正。

(五)精准管控和全程跟踪试卷库,提高试卷清样打印工作效率

命题管理员可以使用平台的试卷库管理功能掌握试卷的状态、使用情况和库存数据,使用条码扫描枪快速、准确地完成试卷出库、入库登记,由平台自动校验抽取的实物试卷是否有误,避免手工输入试卷编号错误、抽错试卷,实现试卷库的精准管控和全程跟踪。平台的供卷打印功能,为供卷任务分配数据导入提供接口,按省份打印各类试卷清样、各类报表,简化了人工统计、打印、标注、分类的流程,减轻了命题管理人员的工作量,避免了人工操作时易造成的信息出错、试卷错装、漏装和多装的问题,实现准确高效地打印试卷清样。

四、自考命题数字化转型实施路径

自考命题数字化转型实施需要建立一个数字化平台,从业务流程、数据挖掘、技术应用等方面入手构建统筹规划、分步实施、迭代开发的工作方案,并通过持续不断优化,推动业务数字化转型的不断改进。

(一)制定业务需求,构建平台架构

在筹备阶段,主要分三个步骤展开:第一,成立项目筹备工作小组,深入了解各级考试机构数字化转型现状,确定自考命题数字化转型发展方向;第二,安排专人对接自考命题数字化平台建设工作,提出相关业务需求,制定详细的平台实施计划;第三,对软件开发公司进行调研考察,了解命题数字化业务应用范围,选择与发展方向相匹配的长期合作商。

开展自考命题数字化平台实施工作,首先要明确哪些业务需求可以通过现有技术实现。以自考命题业务流程为主线,数据为要素,进行全流程梳理和再造,充分挖掘物理资源价值和数据创新驱动业务的潜能,调整与平台运行匹配的人员职责权限,建立网络化、平台化的管理结构。其次,命题部门向开发人员提出平台的架构要求,确定架构模式,了解实施和使用的治理安排。最后,针对系统设计要求,配置场地和软硬件设备设施、准备基础数据,对业务数据进行录入、提取、转换,包括数据去噪、去重等数据质量处理。

(二)明确转型目标,重塑业务流程

自考命题数字化转型的目标是采用数字技术转换物理资源、深挖数据资源,建设自考命题数字化平台,实现自考命题管理全流程数字化管理。为了确保平台功能能够充分发挥,平台建设目标设计与实现应考虑以下几个方面:首先,功能界面简洁,直观展示命题业务流程及进度,方便各类用户操作。其次,采用的技术架构实现多个子系统的统一管理,易部署、易管理、易维护。再次,对历次命审题、供卷任务、试卷库、基础信息进行统一的数据规划和管理,实时展示所有业务各个环节数据,智能运用数理统计模型分析数据,为命题管理员、教师提供辅助决策支持。最后,具有完善的用户角色权限控制、数据备份和恢复功能,对用户进行的重要操作进行日志记载、可查询追溯,对试卷文档、题库、基础数据加密存储,保证数据的安全性。在用户使用期间,系统可长时间稳定运行,反应迅速。

自考命题数字化转型不只是将命题工作由人工转为技术工具完成,而是要通过对全流程工作的运行方式重塑加以实现。以在线命审题业务环节为例,为了提高命题教师的工作效率,实现命审题业务数字化,在设计工作流程时要考虑题库智能组卷、智能生成试题、动态推送资源、智能审校等智能功能的运用,从根本上改变命审题业务流程。

(三)测试平台功能,开展人员培训

在建设阶段,命题部门参与平台初始化配置与试运行工作,向开发公司反馈遇到的问题,使业务需求与平台运行相互磨合。初始化配置包括用户权限、课程教材数据、题型数据、课程试卷结构、数字化教材等基础数据设置,题库数据采集,教材和试题编制规则的知识获取、知识抽取、知识融合等资源配置。开发公司根据试运行结果不断进行改进和优化,编写配套的用户使用手册和培训资料,为不同角色用户提供操作培训。此外,命题部门要为命题管理人员提供学习培训机会,提升数字胜任力。

五、结束语

近年来,教育考试数字化转型的浪潮已经席卷而来,而智慧化是数字化转型的更高阶段[5] 。在国家教育考试机构的智慧考试总体架构规划中,海量题库、个性试卷和科学评价是智慧考试的 3 个核心特征,试题创生、智能评价是智慧考试的核心圈层,目标是促进教育公平、提升教育质量、服务创新人才选拔和助力教育评价改革[7]。本文充分发挥数字技术优势,顺应国家智慧考试顶层设计框架,提出了基于知识图谱的教材资源智能推送和试题自动生成的人机协同模式,致力于推进自考命题业务数字化转型,服务于自考命题工作高质量发展。同时,以H省的自考命题业务为例,探索了自考命题工作全流程、全链条的数字化管理,提供了省级自考命题部门自考命题数字化平台的具体设计思路和实施路径,以期为各省自考命题部门制定自考命题业务数字化转型工作方案提供参考。

新兴技术发展迅速,未来需要持续关注其发展动态,进一步丰富现有的系统功能。人工智能和大数据技术为发展我国教育考试实现智慧考试变革提供了良好的机遇,涉及技术、资源、制度等多方面,本文仅从数字技术作用自考命题的视角进行讨论。未来,有必要对新兴技术可拓展的应用范围开展更多命题业务应用场景的探索。

参考文献:

[1]怀进鹏.数字变革与教育未来——在世界数字教育大会的主旨演讲[A/0L].http://www.moe.gov.cn/jyb_xwfb/moe_176/202302/t20230213_1044377.html.

[2] 于涵.打造智慧考试服务智慧教育[J].中国考试,2023,(05):1-10.

[3] 王蕾.人工智能生成内容技术在教育考试中应用探析[J].中国考试,2023,(08):19-27.

[4] 教育部考试中心.高等教育自学考试命题工作指南[M].高等教育出版社,2019:20.

[5] Wu H K,Lin C H,Ou Y Y,et al. Advantages and Constraints of a Hybrid Model K-12 E-Learning Assistant Chatbot [J]. IEEE Access,2020,8:77788-77801.

[6] 黄光扬.教育测量与评价[M].华东师范大学出版社,2002:86.

[7] 鲁欣正.关于教育考试数字化转型的若干思考[J].中国考试,2022,(09):1-8.

The Connotation,Value and Implementation Path of Digital Transformation in Self-study Examination Proposition

Zhang Xuan" Sun Yanzhou

Hubei Examination Authority,Wuhan,Hubei,430077

Abstract:This paper explores the application of digital technology in the self-study examination proposition work,and analyzes the connotation,value and implementation path of the digital transformation of self-study examination proposition. A human-machine collaborative model based on knowledge graph is proposed for intelligent push of textbook resources,automatic generation of test questions,intelligent question banks,automatic typesetting,intelligent proofreading,data analysis,and automatic printing and detection of test papers,achieving the digital transformation of self-study examination proposition work. The whole process of examination paper production such as proposition platform management,intelligent question bank management,examination paper classification and printing,examination data statistical analysis and evaluation,volume library management,and proposition collection management is digitized as a whole,so as to improve the quality and efficiency of proposition work,management ability and digital level,and promote the intelligent,scientific and accurate self-study exam proposition work.

Key words:Self-study Examination,Proposition,Digital Transformation,Intelligent Question Bank

(责任编辑:吴茳)

猜你喜欢
自学考试数字化转型命题
自学考试学习成果评价多元化研究
考试周刊(2016年105期)2017-02-13 14:13:08
试论融合创新思想对新时期图书策划和营销的指导作用
出版广角(2016年22期)2017-01-17 17:35:58
江西省民办高校自学考试综合改革与创新探析
东方教育(2016年12期)2017-01-12 19:54:10
下一站命题
《华盛顿邮报》转型的实践与借鉴
出版广角(2016年15期)2016-10-18 00:12:27
关于高等教育自学考试个人成本与收益的思考
求知导刊(2016年22期)2016-10-08 00:11:16
我国出版上市公司数字化转型的困境与对策
出版广角(2016年11期)2016-09-29 16:19:53
多样化继续教育形式下自学考试发展对策
传统杂志的数字化转型与融合发展
新闻世界(2016年2期)2016-05-18 08:58:21
2012年“春季擂台”命题
对联(2011年24期)2011-11-20 02:42:38