数字化考试测评系统在医师资格考试实践技能考试中的建立与应用

华 东，罗建平，王 宁，温吉元，许 迪，马 元，黄 华*

(1．南京医科大学生物医学工程与信息学院，江苏 南京 211166；2.南京医科大学医学模拟教育中心，江苏 南京 211166；3.国家医学考试中心，北京 100097；4.南京医科大学第一临床医学院内科学系，江苏 南京 210029)

医师资格考试是行业准入考试，是执法性考试。国家卫健委医师资格考试委员会在《医师资格考试发展规划(2018—2020年)》中提出：“开展考试测评，努力实现考务管理规范化标准化。2018—2019年修订评估办法，开展考区考务工作评估。加强考试重点环节督导检查，加快信息化应用水平，提高考务组织实施标准化水平。”本文以医师资格考试实践技能考试规范化、标准化为目标，构建实践技能考试的数字化考试测评系统，并初步应用于2019年医师资格考试实践技能考试中。

一、实践技能考试的数字化考试测评系统

通过梳理医师资格考试相关文件，构建实践技能考试数字化考试测评系统，从考生、考务、考官三个维度对实践技能考试的规范化、标准化程度进行测量。考务数据从考试基地现场实时采集，通过哈希校验保证数据的完整性，由考点、考区、国家医学考试中心分级审核评估。

(一)数字化评估体系依据的数据集。

数字化评估体系依据的数据集由考生数据、考务数据和考官数据组成。其中考生数据包括检录时间、检录照片、签出时间、签出照片、所抽题号、所考题号、进出考站时间、座位号和考组号。考务数据包括检录起止时间、检录监控视频、签出起止时间、签出监控视频、笔试起止时间、笔试监控视频、原始成绩录入表和评分表扫描件。考官数据包括笔试答卷扫描件和操作考试视频答卷。

(二)数字化评估体系的评估指标。

数字化评估体系的评估指标包括考生数据规范性、考务数据规范性和考官评分规范性。考生数据规范性包括考生身份、考题一致性和考试完整性核验。考务数据规范性包括考务监控视频、评分表录分和流程规范性核验。考官评分规范性包括笔试评分和操作评分核验。

二、系统原型及可行性论证

(一)考务流程管理和考务数据采集的相关模块。

考务流程管理和考务数据采集由七大模块组成，分别是考生检录模块、考生签出模块(签出处)、抽题模块(基地候考处)、叫号模块、扫描管理模块、环绕音视频记录系统和评分表录入，其安装位置及主要功能见表1。

表1 考务流程管理和考务数据采集相关模块

(二)数字化考试测评系统的运行设计。

1.考生数据规范性。(1)考生身份核验：导入基地的考生报名照片、入场照片、出场照片，通过人脸自动比对，筛选不一致的考生进行人工复核。(2)考题一致核验：导入基地的考生抽题数据、成绩录入表，逐一比对考生所抽题号和所考题号，筛选不一致的考生进行人工复核。(3)考试完整性核验：导入基地的考生出入考站数据，逐一检查考生各站考试时间、分配的座位号，筛选考试缺项考生进行人工复核。

2.考务数据规范性。(1)考务监控视频核查：导入基地的考务监控视频文件，按随机抽样方案对视频进行核查，记录差错次数。(2)评分表录分核查：导入基地的评分表扫描件，随机抽取部分评分表复核录分数据，记录差错次数。(3)流程规范性核查：导入基地的考生进出考站数据、座位/考组分配数据，核查同一时段、同一座位分配考生的唯一性，核查每个考生流向的单向性，记录差错次数。

3.考官评分规范性。(1)笔试评分核查：导入基地的笔试答卷扫描件，随机抽取部分答卷复核评分数据，记录评分误差。(2)操作评分核查：导入基地的操作考试视频答卷，随机抽取部分答卷复核评分数据，记录评分误差。

(三)数字化考试测评系统的实施路线。

在数字化考试测评系统建立与推广的过程中，我们可以通过基本达标型、标准型、示范型进行分类考核、分步实施。

1.基本达标型。对抽题、录分环节进行评估，考试过程中实时采集考生抽题信息、考生评分表扫描文件、原始成绩录入表。比对考生所抽题号和所考题号，核查考题一致性。抽查部分评分表扫描件，复核录分可靠性。

2.标准型。在基本达标的基础上，增加采集考生入场/签出照片，检录/签出视频，考务流程数据(考生各站考试时间、考组/座位号)、笔试答卷扫描文件。比对报名、检录、签出照片，核查考生身份一致性。检查考生各站考试时间、分配的座位号，筛选考试缺项考生。抽查考务监控视频，核查检录/签出环节规范性。核查同一时段、同一座位分配考生的唯一性，核查流程规范性。抽查笔试答卷，核查考官阅卷可靠性。

3.示范型。在标准型的基础上，增加采集考生体检、基本操作的视频答卷。随机抽取部分视频答卷复评，核查考官现场评价可靠性。

(四)数字化考试测评系统的初步应用。

国家医考中心在2019年的医师资格考试实践技能考试中，通过全部基地统一使用抽题软件，开始了数字化考试测评的应用。这次抽题软件应用于医师资格考试实践技能考试的临床、口腔、公共卫生三个类别和乡村全科执业助理医师。从实施情况看，绝大部分基地的软件安装、演练、现场使用均顺利进行，部分基地在实施过程中也暴露了一些问题，包括设备准备不足、缺乏信息技术保障人员、事前演练环节缺失。后期将通过核查抽题和考题的一致性，评估考务组织的规范性。

三、讨 论

医师资格考试作为各国最普遍采用的医师资格认定形式，在我国已有近20年的历程。确立医师资格考试制度，有助于加强医师队伍建设，有益于保持医疗卫生服务质量和水平，有利于提高医师职业素养[1-2]。医师资格考试包括了实践技能考试和医学综合笔试两部分，医师行业独有的特点是实践性，医师资格考试的核心和内涵体现在实践技能考试中，所以实践技能考试的测评工作尤为重要。

目前，实践技能考试测评工作面临以下问题：(1)考生数量多且基地分布广，加之技能考试内容多、耗时长，因此考试测评工作任务繁重，考试质量控制手段缺乏；(2)基地设施差异大，考务人员数量有限，缺乏统一培训，各地考官均质性不一，现场考评主观性强等因素，均影响考核效度，评价的同质化程度不高；(3)实践技能考试分散在各地考点进行，由各考点具体组织实施，考试过程不可回溯，因而无法具体掌握各考点的考试详情。

为解决上述问题，建立健全考试基地建设、加强考官培训、优化考试测评系统等措施势在必行。目前，国家制定和下发了国家医师资格实践技能考试基地建设规划和建设标准；确定了国家基地实行评估认定考核制度，提出实现技能考试在国家基地进行。江苏省进一步建立了省医学考试中心，统筹推进基地建设和组织实施考试工作，充分利用江苏省内丰富的医学院校资源，使用高等医学院校的临床技能中心，创建国家实践技能考试和考官培训基地[3]，并率先建立了数字化考试测评原型。

通过数字化考试测评系统实现整合医师资格考试实践技能考试所有视频资料，形成操作视频的标准化集中存储、管理和评估，未来借助网络专线与前置服务器可将各考区数字化考务系统接入平台，实现跨区域的操作视频互联互通，考官可以完成基于数字化考试测评系统的远程评估、多考点综合评估，将更加有效保证实践技能考试集中进行，从而保证考试流程更科学有序，更易统一考试标准，提高考核信度，使得实践考试更加公平公正。未来，数字化考试测评系统的进一步完善，可以根据各地区情况，分地区逐步实现考官网络评判，经过一定时期的试行可扩大至全国范围，可有效降低医师资格考试实践技能考试的人力资源成本，提高技能考试的评估效率，提供可供追溯的视频资源，不断规范考官培训和考试评分的规范化，提升考试评价的同质化，推进国家医师资格实践技能考试基地建设的标准化，促进国家医师资格实践技能考试的科学性、公平公正和规范化。