医学本科生微创腔镜操作考核成绩及试卷分析

2021-11-26 01:30黄华兴朱倩男堵俊杰蔡宝宝
医学教育研究与实践 2021年6期
关键词:区分度腔镜五年制

曹 强,叶 俊,黄华兴,朱倩男,堵俊杰,蔡宝宝,王 鸣,杨 潇,吕 强

(1.南京医科大学第一附属医院泌尿外科,江苏 南京 210029;2.南京医科大学外总教研室,江苏 南京 210029;3.南京医科大学第一附属医院乳腺外科,江苏 南京 210029;4.南京医科大学第一附属医院心脏大血管外科,江苏 南京 210029;5.南京医科大学第一附属医院胰腺中心,江苏 南京 210029;6.南京医科大学第一附属医院整形外科,江苏 南京 210029)

在过去的20年里,外科手术逐渐由开放时代过度至腔镜时代。外科技能培训也逐步从传统的“师徒”模式下的术中动手体验过度至术前充分的模拟训练[1-2]。通过模拟训练,学员可以完成一大部分学习曲线。因此,模拟训练发展迅速,已被广泛采用,成为提高学员手术实战表现的一种成熟而有效的训练方法[2-3]。在微创理念的快速发展及普及下,以腹腔镜为代表的微创手术越来越受到医生及患者的青睐。然而在我国目前阶段下,有相当一部分医生或者医学生在首次进行微创手术时并未参加过培训。外科实践操作是以解剖理论为基础,是临床医学专业第一门外科实践操作必修课程。微创模拟训练作为开放操作训练的进阶课程,受到越来越多医学院校的重视。考核是评估教学质量最直接的方式,为了更加真实准确地了解学生对微创操作技能的掌握情况,本文通过分析评价2018级临床医学等专业学生的腹腔镜考核成绩,反思并寻找教学过程中值得改进和提高的方面,为教学改革及提高学生操作水平提供科学依据。

1 数据来源与研究方法

1.1 研究对象

数据来源为2018级八年制临床医学、儿科专业以及五年制临床医学、儿科、影像、眼视光专业本科大三医学生腔镜考核成绩,共收集到912份考卷。腔镜教学一共8学时,教学内容即为考核内容,包括“粗线穿孔”及“打外科结”两项内容。

1.2 评分方法

考核时由一名考官根据参考操作标准对考生进行评分,由另一名志愿者记录考生完成考核的时间。“粗线穿孔”由考生任选持针器、分离钳以及抓钳三把腹腔镜器械中的两把,具体操作评分标准包括:①两把器械配合将粗线以M或W型穿5个孔;②每次穿孔时需左右手器械交替持线。“打外科结”规定考生右手持针器左手分离钳,以持针器绕线,具体操作评分标准包括:①第一个结为外科结,绕线两圈;②第一个结拉线方向正确;③第二个结为单结,绕线一圈;④结要求打紧;⑤操作过程不严重牵扯模具。

每项操作限时60秒,完成时间系数为:20秒内(含)完成为1.05,30秒内(含)完成为1.0,40秒内(含)完成为0.85,50秒内(含)完成为0.7,60秒内(含)完成为0.6,超过60秒即未完成为0.5(仅计算60秒完成的操作得分)。根据操作标准评定考生初步成绩,按照完成操作的时间计算对应的时间系数,终成绩由初成绩*时间系数得来。“粗线穿孔”及“打外科结”每项最高分为52.5分,两项总分超过100分按100分计。

1.3 统计分析

将每份试卷对应的考生姓名、学号、专业班级、卷面各评分点得分及总分进行汇总并整理。对所有试卷以及各专业试卷的总分及各项得分的正态性、均值、标准差、中位数,难度、区分度和信度等进行分析和比较。运用SPSS 26.0软件进行统计学分析,双尾P<0.05认为具有统计学差异。

2 结果和分析

2.1 腹腔镜操作考核试题构成

评分点及分数值如表1所示。

表1 腔镜操作考核项目及分值

2.2 考核总分及各评分点得分情况

本次考核总分为100分,所有试卷中最高分为100分,最低分为0分,平均成绩为(67.56±20.66)分。各评分点得分情况及用时情况见表2,其中“粗线穿孔”项目60秒内有793人(87.0%)完成,“打外科结”项目60秒内有659人(72.3%)完成。其中八年制临床+儿科专业最高分为100分,最低分为17.5分,平均成绩为(64.75±20.26)分;五年制临床+儿科专业最高分为100分,最低分为0分,平均成绩为(69.76±20.21)分;五年制影像+眼视光专业最高分为100分,最低分为17.5分,平均成绩为(62.01±22.29)分。

表2 腔镜操作考核项目各评分点得分及用时情况(n=912)

2.3 各专业间成绩的差异性

各专业各项目评分点得分情况见表3及图1~3,专业直接成绩差异明显。其中八年制临床+儿科、五年制临床+儿科以及五年制影像+眼视光专业在“粗线穿孔”及“打外科结”项目60秒内完成人数分别为:197(82.8%)人、511(89.8%)人、85(81.0%)人以及157(66.0%)人、434(76.3%)人、68(64.5%)人,差异均具有统计学差异(P=0.004,P=0.002)。

表3 腔镜操作考核项目各专业各评分点得分及用时情况

“粗线穿孔”项目中(图1),在评分点一上,八年制临床+儿科得分低于五年制临床+儿科专业(P=0.026);在评分点二上,八年制临床+儿科得分分别低于五年制临床+儿科专业(P<0.001)及五年制影像+眼视光专业(P=0.009)。

图1 各专业“粗线穿孔”项目得分情况

“打外科结”项目中(图2),在评分点一上,八年制临床+儿科及五年制临床+儿科专业得分均高于五年制影像+眼视光专业(P=0.032,P=0.016);在评分点二上也是如此(P=0.028,P=0.006)。在评分点三上,五年制临床+儿科专业得分最高,均高于八年制临床+儿科及五年制影像+眼视光专业(P<0.001,P=0.003)。在评分点四上,八年制临床+儿科专业得分高于五年制影像+眼视光专业(P=0.018)。仅在评分点五上,三个专业之间没有明显差异。

图2 各专业“打外科结”项目得分情况

在总得分中(图3),无论单项初成绩、计入时间系数的终成绩以及最终总成绩,五年制临床+儿科专业均高于其他两个专业。具体分析,五年制临床+儿科专业的“粗线穿孔”初成绩高于八年制临床+儿科专业(P=0.001);“粗线穿孔”终成绩中,五年制临床+儿科专业分别高于八年制临床+儿科及五年制影像+眼视光专业(P<0.001,P=0.001)。在“打外科结”初成绩中,五年制影像+眼视光专业分别低于八年制临床+儿科以及五年制临床+儿科专业(P=0.022,P=0.003);五年制临床+儿科专业的“打外科结”终成绩高于五年制影像+眼视光专业(P=0.009)。在最终总成绩上,五年制临床+儿科专业的表现依旧最好,分别高于八年制临床+儿科以及五年制影像+眼视光专业(P=0.002,P<0.001)。

图3 各专业各项目汇总得分及总分情况

2.4 成绩分布及正态性检验

对所有考生的最终成绩进行正态性检验,根据S-W(夏皮洛-威尔克)正态性检验结果显示,无论是全部学生成绩还是各专业学生成绩,均不呈正态分布(图4)。各专业最终成绩的分数段分布见表4。

图4 全部及各专业学生腔镜操作总成绩正态分布图

2.5 试题质量分析

运用SPSS软件评估试卷的难度、区分度及信度[4]。

2.5.1 试题难度

试题难度值(P)是考核质量的重要指标之一,试题的P值等于各题的平均分与满分的比值。试卷的P值越大,说明试题越容易。各项操作得分点总体比较容易,“打外科结”项目中的④结要求打紧以及⑤不严重牵扯模具具有一定的难度(P=0.40,P=0.44)。当加入时间系数计算时,可以提高考核难度,考生完成所需的时间越短得分越高(表5)。

表5 腔镜操作考核试题难度分析

当P>0.8时,难度较低;当0.6≤P<0.8时,难度中等;当0.3≤P<0.6时,难度较高;当P<0.3时,难度极高[4]。

2.5.2 试题区分度

区分度值(D)是考核对学生水平的区别能力。利用总分与每个得分点成绩之间的积差相关系数作为考核的区分度。各项操作得分点区分度总体很好,仅“打外科结”项目中的评分标准⑤不严重牵扯模具,区分度评价为良好,有待改进(表6)。

表6 腔镜操作考核试题区分度分析

当D≥0.4时,区分度很好;当0.3≤D<0.4时,区分度良好但有待改进;当0.2≤D<0.3时,区分度尚可但需改进;D<0.2时,区分度很差,应淘汰[4]。

2.5.3 试题信度

信度值(α)是试题可靠性、一致性、稳定性的反映,考核的信度值越高,说明考核准确反映考生的程度越好。一般采用用克隆巴赫(Cronbach)α系数计算信度,是用于计算测验的内部一致性系数。如表7所示,在“粗线穿孔”及“打外科结”两个操作项目内部,具有相当的信度。但当计算两项操作所得总分的信度时,信度较低(α=0.197)。在操作加入时间系数加权后,总成绩的信度有所提升,但仍较低(α=0.510)。

表7 腔镜操作考核试题信度分析

通常Cronbach α系数的值在0和1之间,当α系数≤0.6,可认为内部一致信度不足;当0.7≤α≤0.8时表示量表具有相当的信度;当α≥0.8时说明信度非常好[4]。

3 讨论

腔镜操作技能是“微创理念”下外科医师职业生涯的重要技能之一。在心脏外科、胸外科、普外科、泌尿外科、妇科及骨科等多个科室中均有广泛的应用。我国医学高校中针对腔镜操作的教学尚未普及,并且培训及考核尚无标准化的流程。目前大部分外科医生都是在进入临床以后在上级医师的指导下才开始接触腔镜操作。已有研究表明,腔镜操作培训可以显著提高医学本科生的操作技能[5]。我校已对腔镜操作教学进行多年试点,学生表现出浓厚的学习兴趣和训练热情,同时操作考核的成绩也较培训前明显提升[6]。

随着腔镜教学的常规开展,现对我校2018级考生腔镜操作考核试卷质量和考生成绩进行汇总,共有“粗线穿孔”及“打外科结”2个项目,7个评分点以及1个时间加权系数。分析发现,“粗线穿孔”项目的得分高于“打外科结”项目;完成人数及平均完成时间方面“粗线穿孔”项目更优。试题难度分析也显示“粗线穿孔”项目难度更低。当再加入时间系数后,将难度P值从0.97提升到了0.76。表明该项目本身操作难度不大,需要引入时间系数,才能使该项目考核难度处在较为合理的水平。“打外科结”项目对考生的双手配合能力,2D视野的准确定位能力以及操作的稳定性有着更高的要求。操作本身具有一定难度,当加入时间系数后,难度P值从0.70提升至0.53。表明引入时间系数后,时间的紧迫感可能造成该项目考核难度增大。笔者在参与考核时发现,许多考生在计时的压力下出现“帕金森”样的上肢及器械颤抖,上肢肌肉张力过高,并且在经过腔镜持针器及分离钳所带来的“长筷”效应的放大下,出现夹不住线、绕不上圈、打不紧结、操作幅度巨大以及严重牵拉模具的情况,与外科医生的“快、准、稳”要求相距甚远。降低计时难度固然可以提高考生成绩,但医学的技能教学训练更应该以掌握技能为宗旨。

对腔镜操作考核的信度α分析发现,“粗线穿孔”及“打外科结”2个项目各自内部的信度较好,提示两个项目本身的测试质量较高。但当计算两个项目总分的信度提示信度较低,这可能与两个项目的既有操作难度有关。当加入时间系数后信度由0.197提升至0.51,尽管仍然较低,但可能表明计时的难度对信度影响可能更大,超过操作本身难度对信度的影响。这也提示需要大力加强学生对时间压力的训练,因为这也是外科医生真实手术中所必须面临的压力。在对区分度D的分析时发现,每个评分点以及时间加权成绩均有很好的区分度(0.398~0.878)。综上,总体试卷质量较好,难度适中,区分度佳,仅需要对操作项目评分标准进行微调以提升试卷内部一致性。

在进行大专业的分组分析是发现,在各项目成绩、各评分点成绩、操作完成率以及操作完成时间上,无论是否具有统计学差异,均呈现五年制临床+儿科专业最优,八年制临床+儿科专业其次,五年制影像+眼视光专业最末的趋势。理论上,五年制影像+眼视光专业今后接触腔镜操作的概率极低,与今后所从事专业相关性不高,因此总体成绩垫底并不难理解。有趣的是,八年制临床+儿科专业在腔镜操作各得分点成绩上全面落后五年制临床+儿科专业,最终成绩的高分段分布也以五年制临床+儿科专业为领先。理论上,八年制学制生源质量全面领先五年制学制,且我校八年制学制按照专业学位硕士培养,主要培养专业技能型人才,因此理应更全面地掌握各项内外科操作技能。大胆猜测原因,可能是因为八年制学生无考研或者保研压力,仅需按部就班完成学习考核任务,缺少内在的学习驱动力。此外,学制较长,从学习到应用有更长的跨度,导致思想认识上的不重视。而五年制学生无论毕业直接工作或是考研及保研,均需要技能掌握的要求以及绩点的要求,因此内在驱动力更足。因此,针对八年制学生设立末位淘汰或者正向激励机制可能有助于教学质量的提升。

外科操作与理论研究不同,非常依赖日常训练,更长时间的投入必然带来更好的结果。考生最终成绩的正态性分布检验也提示,无论全部学生的成绩还是各大专业的成绩均不符合正态分布,三个大专业均有相当一部分考生取得高分,这也符合操作的教学训练及考核是以掌握技能为目的。其次,考核成绩的正态分布以考生智力的正态分布为基础,但忽略了学生的主观能动性。腔镜操作考核成绩的偏态分布恰恰侧面体现了我校学生对医学操作技能的学习热情及主观能动性。

综上,通过对2018级学生腔镜操作考核试卷质量及学生成绩分析,表明外总教研室试卷质量较好,能满足对学生技能掌握能力的考核要求。其次,通过对各评分点分析发现,学生受时间压力影响较大,今后需加强对学生的压力性操作训练。此外,“打外科结”项目具有一定难度,也具有一定偶然性,需要长时间练习,不能仅以单次考核完成作为结束。最后,各专业之间成绩差异明显,尤其针对八年制学生的教学教育改革迫在眉睫,以期做到“严进严出”。笔者认为,腔镜操作的教学及考核实用性及趣味性高,能帮助考生在众多医学记忆的考核中获取新鲜感,有利于考生的全面发展,符合未来微创外科的发展趋势。

利益冲突所有作者均声明不存在利益冲突。

作者贡献声明曹强、叶俊、黄华兴、朱倩男、堵俊杰、蔡宝宝、王鸣:提出论文构思及撰写论文;杨潇、吕强:总体把关,审订论文。

猜你喜欢
区分度腔镜五年制
《五年制高职一体化育人论纲》推介
全国首台腔镜手术征集活动
会计专业学生学习成效构成要素——基于五年制高职现代学徒制培养模式
机器人在辅助泌尿外科腔镜手术中的应用体会
PDCA循环法在消毒供应中心硬式腔镜管理中的应用
3D腔镜在住院医师规范化培训的临床教学中的应用
图形推理测量指标相关性考察*
浅观一道题的“区分度”
利用垂直平分线的定义巧解题
五年制高职 人才培养方案的标准化刍议