杜俊艳 温萌 郎晓玲 张盼
摘 要:目的:本文旨在运用量化和定性的方法,对考试成绩、考试质量和考试效果进行了全面的分析,对客观结构化临床考试(OSCE)在评估护生临床能力中的优势和可行性进行了验证,从而为护生的教学改革提出一些改善的意见和建议。方法:以案例为基础、以临床工作过程为主线、以岗位能力要求为本位,随机选择54名高职护理专业学生参加有6个考站组成的OSCE考核,对其成绩及有关OSCE考试的设计与组织量和效能进行分析。结果:本次OSCE考试成绩为7873分±5.47分,考核总难度系数为0.74,总体区分度为0.44。72.2%学生认为各考站设计合理,96.3%学生认为有必要推广OSCE考试模式。结论:将OSCE应用于高职护理专业学生平时考核和毕业考核中,能够科学、客观地评价考生的综合能力,有助于考生临床运用能力的提高。考生对此新型考核模式较为认可,可以作为评价护理学生临床能力的有效工具。
关键词:客观结构化临床考试;护理;毕业考核;标准化病人
对护生进行综合素质评估是有效提升其素质的途径,我国主要通过理论考试、床边考试和技术操作考试进行评估,但存在一些局限性[13]。《爱丁堡宣言》[4]和《全球医学教育最低基本要求》[5]提出了应用OSCE进行全面评估。OSCE是一种客观、有序、有组织的考试体系,通过对规范化患者的检查和回答考官问题,评估学生的知识、技能和态度[6]。本文报告了一所医学高等专科学校学生在毕业考试中使用OSCE的结果。
1 对象与方法
1.1 对象
本研究以整群随机抽取的方法,抽取2015届高等专科学校护理学专业学生54名,包括50名女生和4名男生。
1.2 方法
1.2.1 考核方法
如何正确地运用OSCE对于评估的有效性和评估的品质具有非常重要的意义。
考试前的工作包括以下几个方面:首先,选择考试地点并确定考试内容。通过调研和专家咨询,我们设计了6个考试站点(见表1),并针对护理教育、临床护理和护理管理三个专业领域的人员进行了研究对象的选择和资格要求。其次,制定规范的病历,以病例加医令的方式指导考生完成特定的护理动作。这些病例都是从临床实际案例中改编而来,基于学生对医学和护理学基础理论知识的掌握,以及解决临床实际问题的能力进行设计。病历内容包括患者的一般资料、病史、健康感知、营养与代谢、排泄等方面的信息,以及活动、认识和感知、休息和睡眠等方面的内容,全面评估患者的生理、心理和社会特点。再次,对规范化患者进行训练,即SP(标准患者)的培训。通过脚本的撰写和重复操练,以及仿真测试来提升SP对考生问题回答的真实性和连贯性。最后,为应聘者准备一份评价调查表,用于对考试表现进行评价,并尽量使其处于较平稳的水平。此次考试,选调了20位自愿者,对他们进行培训,通过考核选出8位同学作为此次的SP。
1.2.2 OSCE考场设置
OSCE临床技能测验在护理学实习基地进行,各测验室独立设置,根据实际情况进行设置,以保证主考教师及学员不被打扰。在考前,要将站点轮转情况制作成图示(见表2)发给学生,在每一个站点的大门上都贴上了考站编号和考试任务的指示,在考场中会有工作人员来指导学生正确进入、轮转各个考站,并对考试时间进行控制,以保证考试能够顺利进行。
1.2.3 实施方法
在正式开始测试的时候,考生们会从抽签中抽取一份病例,按照测试的要求进行测试。测验总共用时120分钟,每一场比赛都会有一名主考人员进行打分,六场比赛的综合得分就是最后的得分。
1.2.4 问卷调查
本研究以匿名方式完成问卷调查,内容包含三个层面:OSCE测验之设计、品质与效能,共计13个议题。OSCE测验结束后,当场发放和当场回收了54份,去掉了1份无效的问卷,实际有效问卷53份,有效率为98.15%。
1.2.5 统计学方法
将调查问卷按类别逐一进行整理,并以组成比率进行描述分析。
2 结果
2.1 各考站考生成绩平均分(见图1)
2.2 各考站難度系数及区分度指数(见表3)
2.2.1 OSCE难度
测验的难度指数是一种测验的难易度,较高的测验相对较低。因为这一次的OSCE是一个非0、1的记分,所以使用一个考生在一个考场中的真实分数的平均值与这个考场的满分的比率来进行计算[7]。其计算公式为:
P=X/W
P:表示难度指数;X:表示某题全部考生的平均得分;W:表示某题的满分。
2.2.2 OSCE区分度
辨识性指标是指测验中测验对象的辨识性。辨识性越高,说明这种测验对优等生和劣等生的区别越大。因为这一次OSCE的评分是非0、1,所以得到的考试成绩是一个连续变量。故采用某考站的得分与考试总分之间的积差相关系数表示[7],其计算公式为:
r=∑xy-(∑x)(∑y)/n[]∑x2-(∑x)2/n∑y2-(∑y)2/n
r:表示相关系数;x:表示考生某考站的得分;y:表示考生考试总分;n:表示考生人数。
2.3 效标关联效度(见图2)
效标是指能够精确地体现或体现被测对象特性的可变因素。效标关联性效度指的是某个测验成绩与该测验成绩间的相关性系数所表达的效度[7]。在此,利用乘数相关的方法来计算该效标的关联性。
r=∑xy-(∑x)(∑y)/n[]∑x2-(∑x)2/n∑y2-(∑y)2/n
r:表示效标关联效度;x:表示测验成绩;y:表示效标成绩;n:表示学生个数。
图2 临床能力考试与理论成绩相关示意图
3 讨论
3.1 本次OSCE考核设计合理
3.1.1 考题难度适中
本次OSCE考试分析了考生的测试分数,结果显示,应试者的OSCE测试分数平均在78.73±5.47分。根据评定,测试分数分为难、中、易三个等级,其中难度值为0.4的任务,属于“难”等级;从0.4到0.8的任务属于“中”等级,而0.8以上的任务属于“易”等级。整体而言,本次OSCE考试的难度较小,平均难度仅为0.74。此次考试主要评估护生对教学内容的掌握和初级临床能力,具备标准参考考试性质。研究表明,题目的平均难度为0.7左右,每道题的难度在0.4~0.9之间,符合标准参考考试的难度标准[8]。因此,本次OSCE考试的难度在可接受范围内。
3.1.2 试题具有很高的辨识性
美国现代教育测验专家Ebel.L指出:如果考试题目的辨识性系数大于0.4,那么考试题目的辨识性就会较好;区分度为0.3~0.39,题目具有较好的可修正性[8]。由表3可以看出,此次OSCE考试各考站的分辨指数在0.31~061之间,平均辨识度为0.44,也就是说,考试的辨识度较高,这证明了此次考试对学生的临床能力有了更好地分辨和鉴别能力。
3.2 专科医学基础理论是医学教学的基础
本研究通过对OSCE分数和理论测验分数的相关性分析,发现二者关联性较好(r=0.765,P<0.01)。每增加一个理论分数,OSCE成绩提升0.468分,说明理论和实践经验对学生临床能力的提升至关重要。调查结果显示,81.5%的学生认为OSCE考试模式公平客观,能全面评估学生能力,77.8%的学生认为有助于理论知识掌握和实际教学的补充,94.4%的学生认为对未来临床实习有帮助。因此,OSCE考核模式有利于培养学生的综合能力。
3.3 教师在以后的教学中要注重理论实践相结合
通过各考站学生成绩可以看出,考试病史采集、体格检查和病例分析能力较弱。在OSCE考试设计与质量研究结果显示:81.5%考生认为考试时间较短,66.7%考生在考试中有紧张情绪出现。OSCE是一种多项测验,要求考生根据测验规则来完成每个测验站点的测验,这与传统的测验方式有很大不同,对于第一次使用OSCE测验的一些考生来说,这种测验方式并不适合。在未来的课程教学和考试评估中,要尽可能地把理论知识和实际案例相联系,加强对护生的临床思考和应用理论知识进行实际操作能力的训练。
3.4 注重SP的培训工作
本研究结果显示:24.1%考生认为SP比较真实地模拟了“病人”,有22.2%的受试者对SP的评价不够准确,其主要因素为:SP训练未及格,或长期对相同疾病进行仿真训练后疲劳,导致仿真变形,或SP与被试者之间的交互交流出现问题。所以,在服务提供者的招募与训练中,必须对其进行严格的选拔与科学的训练。在未来的课程中,需要提高学生的临床交流技巧和理论知识与实际操作相结合的水平。
3.5 存在问题
(1)所选取的病例仍与实际情况有较大差异,数据有待进一步充实。
(2)考试场所的布置要尽量贴近临床实际,减少无用的仿真手术环节。
(3)为了增强评卷人员的可信性,應在每一网站推荐3~4位评审人员。
结语
总体而言,OSCE系统的实施让学生的考试结果更具客观性、全面性、公平性,同时也让学生能够将所学到的技能转化为自己的技能,这样,“护士”和“护生”的距离就被缩短了。基于案例分析,以临床工作流程为主线,以岗位能力需求为导向,建立了OSCE评价模型。这不仅能提高护理人员的学习热情,还能将教育和实践有机地融合在一起,更重要的是可以提高护士们的临床综合能力。实践证明,该模式是一种可以推广应用于临床的,适用于临床实习及在校本科生的临床操作考试,但仍有待于进一步发展与完善。
参考文献:
[1]Kassebaum D G.教育效果评价中的成果测量[J].国外医学·医学教育分册,1991,12(4):172174.
[2]陈晓兵.护理本科生临床实习形成性评价指标体系的构建[D].石河子大学,2022.
[3]王剑锋,李娜,许澈,等.CBL联合Seminar教学法在眼科学专业学位研究生临床能力培养中的应用[J].长治医学院学报,2023,37(01):5861.
[4]1988年8月世界医学教育会议爱丁堡宣言[J].医学教育,1990(5):2.
[5]万学红,张肇达,李甘地,等.“全球医学教育最基本要求”的研究与在中国的实践[J].医学教育,2005(2):1113.
[6]刘璐,王维民,陈洪捷.高等教育普及化阶段家庭背景对优质医学教育机会获得的影响研究[J].医学与社会,2023,36(05):127132.
[7]史秋衡,常静艳.人工智能赋能高质量高等教育的战略特征与制度建构[J/OL].西安交通大学学报(社会科学版):113.[20240409].http://kns.cnki.net/kcms/detail/61.1329.C.20230526.1321.002.html.
[8]宋学玲,梁正妍.基于项目反应理论的研究生招生考试命题质量评价[J].心理与行为研究,2023,21(02):253259.
基金项目:甘肃省卫生健康行业科研项目(编号:GSWSKY2021065);甘肃卫生职业学院2023年“技能甘肃”“双高”“提质培优”建设专项课题(编号:SG202305)
作者简介:杜俊艳(1983— ),女,汉族,甘肃天水人,本科,副主任护师,研究方向:护理教育。
*通讯作者:张盼(1992— ),女,汉族,甘肃白银人,本科,护师,研究方向:临床护理。