OSCE在医学影像实践教学考核中的应用效果分析*

2021-06-10 09:20徐小玲张月浪师美娟张静平金晨望
医学理论与实践 2021年11期
关键词:分率区分度大题

徐小玲 张月浪 师美娟 张静平 金晨望 张 明

西安交通大学第一附属医院医学影像科,陕西省西安市 710061

客观结构化临床考试(Objective structured clinical examination,OSCE)是Harden等人在评价医学生或临床医师临床能力过程中提出的一种新的考核方式,是指在模拟临床场景下,使用模型、标准化病人或者真实患者来测试医学生或临床医师的临床能力,是一种知识、技能和态度并重的评估综合能力的考核方法[1]。医学影像学是一门注重实践性的学科,以往传统的考核以笔试为主要考核内容,主要考查学生所学知识的记忆程度,无法全面评价学生对所学知识的理解运用及临床思维能力,容易让医学生在学习过程中忽视临床实践,而OSCE考核更侧重于对学生实践能力的考核,能客观评价学生临床实践能力和解决问题的能力,目前OSCE考核在医学生毕业考试中应用广泛[2-4],但既往在医学影像实践教学评价中应用较少。文章通过对西安交通大学69名临床八年制学生循环系统OSCE试卷质量、考试成绩及问卷调查进行分析与评价,发现实践教学的薄弱环节,使教师在下一系统教学过程中,及时对教学内容与教学模式进行调整,以期获得更好的教学效果。

1 对象与方法

1.1 研究对象 选取2017级和2018级完成循环系统理论和实践课程的69名西安交通大学八年制临床医学生,对其进行OSCE考试和问卷调查。

1.2 研究方法

1.2.1 试卷设置:本次OSCE模拟考试共4道大题,考查学生在经过循环系统理论和实践教学后,对循环系统常见疾病(二尖瓣狭窄、二尖瓣关闭不全、心包积液和缩窄性心包炎)的理解和掌握程度。每道大题下分别有相同的6个小问题,依次为:(1)请分析图中所见的影像学征象;(2)哪些疾病可以表现出图中所见的影像学征象;(3)综合考虑诊断首选何种疾病;(4)做出诊断的依据有哪些;(5)建议进一步做哪些检查才能确诊;(6)一般常见有哪些原因可引起这种疾病,6道小题的分值分别为6分、3分、3分、6分、4分、3分,每道大题总分为25分,试卷总分为100分[5]。每道大题作答时间为15min,总考试时间1h,每道题的临床病史、实验室检查和影像学图像以PPT形式在多媒体电脑上放映,学生现场在答题纸上作答。

1.2.2 调查问卷:考试结束后,对全部学生进行无记名问卷调查并隔天收回。本次调查问卷包括两大板块,第一板块是学生对OSCE考试总体设计和组织的评价,第二板块是学生对本次OSCE考试试题质量的评价[6]。

1.3 试题合理性分析及成绩分析

1.3.1 信度分析:评价试题的可靠性和稳定性常用信度(α)这一指标,α值为0.40~0.76表示考试成绩可信[7]。

1.3.2 难度值P:P=某题平均得分/某题满分分数。P值在0.45~0.75表示试题难度适宜,P值<0.45表明试卷较难,P值>0.75表示试卷较容易[8]。

1.3.3 区分度D:评价某一主观题的区分度,将所有考生该题的分数由高到低排列,选取前27%为高分组,选取后27%为低分组。区分度D=(该题高分组的平均分-该题低分组平均分)/该题满分分数。该题的区分度与D值呈正比,D值>0.39为优秀试题,D值在0.30~0.39为良好试题,D值在0.20~0.29为一般试题,需修正后才可勉强使用。D值≤0.20的试题为不合格试题[8]。

1.3.4 效度V:评价考试内容和考试结果两者间吻合度常用指标为效度V。评价某题的效度,将所有考生某题的成绩平均分为高、中、低3组,每组人数占总人数的1/3,高分组与低分组平均分数之差除以该题的满分即此题的效度值。如果V值>0.4表明考试内容和考试结果两者间吻合度高,V值<0.2表明考试内容和考试结果两者间吻合度低,0.2≤V值≤0.4表明考试内容和考试结果两者间吻合度较好[7]。

1.3.5 均数、标准差:均数反映了学生成绩的平均水平,标准差代表每个学生的成绩与平均分数的离散程度,学生整体成绩分布较为均匀则标准差小,但是标准差也不能太小,太小表示试题的区分能力较差[9],标准差大则相反。

1.3.6 正分率:正分率适用于分析题或者问答题,需要每题分别统计正分率。正分率=某题实际得分数/应得分数×100%,正分率越高,表明学生对这道题的掌握程度越高,答正确的概率越大[7]。

2 试卷质量及考核成绩分析

2.1 每道大题成绩及总成绩各项指标结果 分析表1结果:总分的信度α值为0.76,表明考试成绩可信,试卷整体的可靠程度和稳定性较好;正态性检验结果表明4道大题每道大题的得分及总分分布均符合正态分布;从难度值分析可以看出,第一、二大题难度值为0.45~0.75,表示第一、二大题难度适宜,第三、四大题、总分难度值均<0.45,表明第三、四大题及试卷总体难度较难;每道大题的区分度均>0.39,总分区分度为0.39,表明每道大题均为优秀试题,试卷在区分成绩优秀和成绩较差的学生方面具有较好的区分度;每道大题的效度值均>0.4,总分效度值为0.2~0.4,表明此次试卷的考试内容和考试结果两者间吻合度较好。每道大题得分及总分的均数均较低,而标准差稍大,表明试题的区分能力尚可。

表1 每道大题成绩及总成绩各项指标结果

2.2 正分率分析 分析每道小题的正分率来了解学生对影像诊断逻辑推理各环节的熟练和掌握程度,分析每道大题的正分率来了解学生对循环系统常见疾病影像诊断的熟练和掌握程度。从图1可以看出,四道大题正分率由高到低依次为第二大题、第一大题、第三大题、第四大题,表明学生对第一、二大题(二尖瓣狭窄、二尖瓣关闭不全)的掌握程度较好,对第三、四大题(心包积液和缩窄性心包炎)的掌握程度较差;从图2可以看出,第一、三、五小问的正分率较高,第四、六小问的正分率较低,表明学生对循环系统常见疾病的影像征象、做出正确影像诊断、确诊还需如何进一步检查的掌握较好,但是对疾病的诊断依据及疾病的常见原因还不能很好的掌握。

图1 每道大题的正分率

图2 每小问的正分率

2.3 调查问卷分析 所有问卷全部收回,回收率100%,有效问卷69份。表2显示考试前97%学生对OSCE考核方式不熟悉,69%学生对本次OSCE考试的考场服务及所提供的场所、设施比较满意。表3显示学生认为最难的两小问分别是第二小问与第三小问,与试卷分析结果不一致,还需要进一步分析其原因,学生认为最简单的两小问分别是第一、五两小问,与试卷分析结果基本一致,学生认为最难的两道题是第三、四大题,最简单的是第一、二大题,与试卷分析结果一致。调查问卷结果可以看出62%学生认为试题难的原因是练习少、不熟练。

3 讨论

3.1 本次OSCE考试每道大题及总分得分率低,试题总体难度较难 从本次OSCE考试试卷分析的各项指标结果来看,试卷的信度及效度、区分度均较好,但是试卷总体难度较难,分析可能原因如下,循环系统影像诊断需要理解推理内容较多,考试考查的关于记忆内容较少,相比消化、呼吸其他系统学习起来困难;而本次考核首次采用偏重于实践的OSCE考核模式,大多数学生还不太适应这种考核模式,且考前没有提前告知学生,很多学生没有提前复习,多数学生在课程学习结束后掌握的知识仅停留在记忆层面,无法将课堂的理论知识转化为临床实践技能,所以在今后的教学中要重视实践能力的训练,在今后的考核中多采用OSCE这种考核模式,更客观公正地评价学生对理论大课所学内容的掌握及实际运用情况,通过OSCE这种考核模式更能激发学生对影像诊断实践课的学习兴趣,提高学生学习的主动性及学习热情。

表2 问卷调查结果(学生对OSCE考试总体设计和组织的评价)

表3 问卷调查结果(学生对本次OSCE考试试题质量的评价)

3.2 学生对于异常征象识别较薄弱,结合病史和影像学检查进行综合分析能力较差 从图2可以看出学生在读片时,对于循环系统影像异常征象识别掌握较薄弱,对于这些异常征象可以出现在哪些疾病,如何结合病史、症状、体征及影像学检查进行综合分析,得出正确诊断及鉴别诊断的正确率并不高,所以在今后实践课程的教学中,要加强学生对正常及异常征象辨别的练习,更要加强学生临床思维及综合分析诊断能力的锻炼,培养学生主动分析思考的习惯。

3.3 对于大纲分配课时较少的内容,可改变教学模式,提高教学效果 从图1 可以看出,学生对于二尖瓣狭窄及二尖瓣关闭不全的这两道题掌握程度较好,而对于心包积液和缩窄性心包炎的掌握程度较差,这可能与理论及实习课课时分配有关,二尖瓣狭窄及二尖瓣关闭不全是理论课的重点,相应授课时间较长,而心包积液和缩窄性心包炎课时较短。从调查问卷分析结果也可以看出,62%学生认为题目难与练习少、不熟练有关。所以在今后的教学中对于大纲分配课时较少的内容,可改变教学模式,应用CBL或PBL教学模式,教师提前设置好相关病例及相应的问题,让学生充分利用课外时间自学,分组讨论并制作幻灯片,采用翻转课堂使学生成为教学主体,充当教师的角色进行课堂教学,这样更能提高学生主动学习、查阅资料、主动思考的积极性,使其在相对较短的课时内能更好地理解和掌握所学知识要点[10]。

3.4 借助医疗信息化平台,改进实践教学方法 借助医疗信息化平台,改进实践教学教学方法,充分利用PACS系统进行实践课教学,引入真实的临床病例和丰富的影像学图像来提高学生的兴趣,但使用PACS进行教学,信息丰富,增加了较多与教学不相关的信息,所以教师在实践课程中要帮助学生建立诊断思路,注意正确引导学生如何一步步分析从而得出正确诊断,减少其他无关信息对学生的干扰。

3.5 OSCE考核成绩、试卷质量和调查问卷分析结果可以指导OSCE题库的动态优化 本次OSCE试卷各项指标总体合格,但是总体偏难,从长远发展医学影像学实践教学OSCE考核来看,为提高试题质量,有必要建立医学影像OSCE试题题库,根据每次OSCE考试成绩、试卷质量分析结果,删除那些过简单或过难、区分度较差的试题,将难度合适、区分度良好的试题不断纳入题库,以此提高试题质量,使其能更好地反应教学过程中的问题。通过调查问卷了解考生对OSCE考试的接受程度,根据其分析结果来对考试内容及难易程度进行调整,探索更适合医学影像学实践教学的OSCE考核方式。

OSCE考核与传统的应试考试相比,能充分调动学生的积极性,考核内容更侧重实践,更能反映学生的综合分析能力,通过对OSCE考试成绩、试卷质量及调查问卷分析与评价,能更客观的评价教学效果,发现教学的薄弱环节,使教师在下一系统教学过程中,及时对教学内容与教学模式进行调整,以期获得更好的教学效果。总之,OSCE能有效客观评价医学影像实践教学效果,但在组织实施和试题库构建方面有待完善。

猜你喜欢
分率区分度大题
科学备考新方向——数列大题之“数列求和”篇
科学备考新方向——三角大题之“解三角形”篇
2019届高考数学模拟试题(七)
2019届高考数学模拟试题(八)
图形推理测量指标相关性考察*
解分数问题例谈
分数应用题教学反思
分数应用题常见错例剖析
浅观一道题的“区分度”
利用垂直平分线的定义巧解题