客观结构化临床考试在健康评估课程中的应用及分析

2023-04-11 02:52陈志龙谢晓玲潘慧珍余惠琴
卫生职业教育 2023年7期
关键词:区分度效度信度

吴 霞,石 蕾,陈志龙,谢晓玲,潘慧珍,余惠琴*

(1.厦门医学院,福建 厦门 361023;2.厦门医学院附属第二医院,福建 厦门 361021)

客观结构化临床考试(Objective Structured Clinical Examination,OSCE)是1975 年由英国邓迪大学的学者首先提出并应用的,又称为多站式临床考试[1]。客观结构化临床考试由一定数量模拟临床情景的考站组成,受试者在规定时间内依次通过各个站点的考核,可用于评价医学生临床综合能力[2]。客观结构化临床考试被国内外高校和临床广泛应用于医学教育(如内科护理学、骨科学教学)和临床培训(如医生培训、护士培训)等领域,评价医学生和实习生临床综合能力与评判性思维,是被国内外普遍认可的考核方式[3-7]。但由于成本效益、文化差异、学校差异等不可控因素,不同国家和地区的站点数量、考核内容有所差异,目前没有标准的考核设置,考核的信效度评价等也不尽相同[8]。因此,本研究探讨并分析客观结构化临床考试在我校健康评估课程中的应用效果,并对其信效度、难度等进行评价。

1 对象与方法

1.1 研究对象

2019 年2 月至2021 年2 月,选取我校192 名2018 级、152名2019 级护理专业本科生,共344 名学生为研究对象。

1.2 考核站点

OSCE 设置3 个考核站点,站点一:病史采集站点,即问诊站点,标准化病人由专业课教师担任。站点二:体格检查站点,包括腹部触诊、听诊,心脏听诊,肺部听诊等内容。该站点共9项操作,学生随机抽取一项完成,标准化病人由同组学生担任。站点三:护理诊断站点,学生从教师准备好的案例(共4 个)中随机抽取一个作答。每个站点的考核时间均为8 分钟,考核前将学生按照学号每4~6 人分为一组,小组参加考核的时间共24分钟,见表1。

表1 OSCE 站点设置Table 1 OSCE site settings

1.3 OSCE 站点的信度与效度评价

1.3.1 评分者的信度评价 为了保证不同评分者评分结果的一致性,在考核前一周对6 名评分教师进行培训,培训内容包括评分表的使用方法和评分标准,对有异议的部分进行讨论并统一标准,最大程度减少人为误差,保证同质性。

1.3.2 OSCE 各站点的信度 采用Cronbach′s α 系数评定各站点及OSCE 总体信度,并计算各站点得分与总分之间的相关系数。

1.3.3 OSCE 的重测信度 以2018、2019 级护生各站点成绩与总分计算相关系数。

1.3.4 OSCE 的效度 以2018、2019 级护生的理论期末考试成绩评价其校标效度。

1.3.5 OSCE 的难度与区分度 以主观试题分数计算考核难度,即考核难度=平均得分/满分;考核区分度=2×[高分组(前26%的学生]平均分- 低分组(后26%的学生)平均分]/试卷满分。

1.4 统计学方法

采用SPSS 23.0 软件进行统计学分析,计量资料服从正态分布时以(±s)表示,计数资料以百分比表示。信度采用内部一致性检验测量,以Cronbach′s α 系数表示;以OSCE 成绩与课程总成绩的相关性(r)评价OSCE 的校标效度。以α=0.05 为检验水平,P<0.05 表示差异有统计学意义。

2 结果

2.1 学生成绩

2018 级OSCE 合格率为86.46%,总分为(68.80±8.92)分;2019 级OSCE 合格率为76.32%,总分为(67.14±10.85)分。2018 级和2019 级整体合格率为81.39%,总分为(68.07±9.84)分,各站点得分情况见表2。

表2 学生OSCE 成绩(±s,分)Table 2 Students′ scores of OSCE(±s,score)

表2 学生OSCE 成绩(±s,分)Table 2 Students′ scores of OSCE(±s,score)

年级病史采集体格检查2018 级2019 级合计69.44±10.65 59.99±14.86 65.27±13.51 69.83±8.63 81.41±13.05 74.95±12.23护理诊断67.19±20.05 61.42±23.45 64.64±23.94 OSCE 总分68.80±8.92 67.14±10.85 68.07±9.84合格率(%)86.46 76.32 81.39

2.2 OSCE 的信度及效度检验结果

2.2.1 OSCE 信度检验结果 内部一致性检验结果显示,OSCE的Cronbach′s α 系数为0.476,提示其内部一致性可信。其中护理诊断站点的信度最高为0.735[9]。OSCE 的重测信度系数为0.099,各站点信度及重测信度系数见表3。

表3 OSCE 各站点信度及效度检验结果Table 3 Reliability and validity test results of OSCE sites

2.2.2 OSCE 效度检验结果 以OSCE 成绩与期末理论考试成绩的相关性评价OSCE 的校标效度。结果显示,OSCE 总分与期末理论考试总分的相关系数为0.203(P<0.001),且各站点得分与期末理论考试成绩均显著相关。其中护理诊断站点得分与期末理论考试总分的相关性最强(r=0.825,P<0.001)。各站点得分与期末理论考试总分的相关性见表3。

2.3 OSCE 难度及区分度

OSCE 的难度指数为0.65~0.75,整体难度指数为0.68。根据国家医学考试中心的标准,难度指数<0.4 属于难,0.4~0.8属于中,>0.8 属于易[10]。因此,本次考核的整体难度属于中等水平。OSCE 的区分度为0.70~0.75,整体区分度为0.73。区分度>0.4 说明试题的区分能力和鉴别能力好,0.3~0.4 为区分度良好,但修改后更佳,所以本次考核整体区分度和鉴别能力好[11](见表4)。

表4 OSCE 各站点的难度及区分度Table 4 Difficulty and discrimination of OSCE sites

3 讨论

3.1 OSCE 成绩分析

本研究结果显示,344 名护生OSCE 整体合格率为81.39%,总分为(68.07±9.84)分。其中,2018 级合格率和总分均高于2019 级,可能和该届生源质量更好有关。尽管护生OSCE 合格率较高,但护理诊断站点得分最低,表明其健康评估技能掌握较好,但临床思维和评判性思维能力不强。

3.2 OSCE 信效度分析

OSCE 被广泛用于临床护理综合能力及评判性思维评价,评价对象包括实习护士和在校护理专业、助产专业学生,但由于各高校的资源和文化差异,站点考核内容及项目数量不同,没有统一评价标准,需要探索更加便捷、客观、科学的评价方式,因此考核的信效度极为关键[12-16]。目前,我国OSCE 在护理领域的应用仍处于摸索阶段,需要广泛而有效地开展相关研究。本研究采用严谨的研究方法探讨和分析OSCE 在健康评估课程中的应用效果。检验结果显示,OSCE 的Cronbach′s α 系数为0.476,提示该考核形式的内部一致性基本可信,低于国内OSCE 信度水平,可能与本次考核的站点数量少、测试时间较短、项目设置不成熟有关[17-19]。一般认为,信度主要受站点数量和质量影响,站点数量越少结果越容易受试题偶然性的影响,未来应增加考核站点,细化考核内容[20]。同时,由于两个年级不是同一组受试者,护生操作差异也导致重测一致性较低。由于时间和空间的限制,未能在两周内对同一批护生进行再次考核以检验重测信度,这也是本研究的不足。效度是评价考核有效性的指标,国内关于OSCE 效度的研究较少,而理论考试又是检验学生知识掌握情况最常用的方式,因此本研究以OSCE 成绩与理论考试成绩的相关性评价OSCE 的校标效度。结果显示,OSCE 总分与理论考试总分的相关系数为0.203,其中护理诊断站点的相关性最高,相关系数为0.825,提示该考核站点的校标效度较好。

3.3 OSCE 难度及区分度分析

试题的难度及区分度是评价试题内容的重要指标,也是评价试题质量的重要依据。本次OSCE 难度指数为0.65~0.75,整体难度指数为0.68。提示各站点难度波动幅度不大,均在合适的水平。本次OSCE 区分度为0.70~0.75,整体区分度为0.73。说明其区分度较高,适用性较强,与韩丽炘等[21-22]的结论一致。本研究也发现,OSCE 不仅可以有效提高本科护生的实践能力和临床思维能力,而且可以提高其临床综合能力。此外,本次OSCE 的试题内容及质量较好,值得推广。

3.4 不足与展望

健康评估对护生临床思维能力要求很高,虽然OSCE 可以缩短临床实践和理论教学的距离,提高护生综合能力、沟通能力,增强护生学习动机,但在我国仍处于摸索阶段,尚存在很多不足,未来仍需要持续改进[23-24]。

3.4.1 标准化病人不“标准”与胡春玲等[25]的研究结果相似,本研究发现完整而系统的OSCE 除了需要设置考核站点外,标准化病人也是其重要组成部分,但本次OSCE 的标准化病人分别由教研室专业课教师和本班学生担任。健康评估课程作为护理学专业的一门桥梁课程,涉及内容广泛,学生不仅要学习基础知识而且要具备临床思维。教师担任标准化病人很容易从专业角度去考核,学生则由于专业知识不足而不能做出准确且真实的临床反应,从而影响OSCE 的专业性和精准性。因此,未来需要培养更多高质量的标准化病人或引进高级模拟人,从而提高OSCE 的整体质量和应用效果[26-28]。

3.4.2 考核站点数量过少 考核站点的数量是OSCE 的根本,数量过多或过少均会影响考核质量,但目前对站点数量尚无统一标准。由于本次考核站点过少导致偶然性较大,未来还需加以改进以提高其信度。此外,本次考核以小组为单位,未能对每个护生进行考核、评价,这也是本研究存在缺憾之处。未来将改进考核方式,争取做到精准考核,保证学生人人过关。

3.4.3 未进行闭环反馈 考核结束后,未进行闭环反馈,不了解护生是否满意或接受本次OSCE。未来还需要对护生进行调查,了解其对OSCE 的评价和满意度,收集其意见,提高OSCE 质量及适用性。我校于2019 年开始招收助产专业本科生,迄今已有3 年,未来考虑将OSCE 应用于助产专业本科生,以评价其适用性。

4 结语

我校内科护理学教研室于2017 年春季学期首次引进并启动OSCE。健康评估是一门连接基础课程和临床课程的桥梁课程,涉及大量基础医学知识和人文知识,其中应用于临床实践的各种临床护理技能训练尤为重要,而OSCE 是国内外普遍认可的考核学生各项临床护理技能的有效方式。本研究发现,OSCE 在我校健康评估课程中的应用效果较好,可用于分析和评估本科护生临床护理能力和评判性思维,值得推广。此外,该考核模式不仅能为健康评估等课程教学评价提供理论依据,还能为护理专业课程教学评价方法改革和教学质量提升提供一定参考。

猜你喜欢
区分度效度信度
《广东地区儿童中医体质辨识量表》的信度和效度研究
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
浅谈试卷分析常用的几个参数及其应用
图形推理测量指标相关性考察*
浅观一道题的“区分度”
科技成果评价的信度分析及模型优化
单维参数型与非参数型项目反应理论项目参数的比较研究*
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
被看重感指数在中国大学生中的构念效度
外语形成性评估的效度验证框架