精神科住院医师“五站式”客观结构化临床考核评分标准的信度分析

叶碧瑜，何红波，陈建松，王天乐，宁玉萍，唐宏宇

客观结构化临床考试(OSCE)[1]是一种多站式临床考核模式，能综合评价医学生的临床知识、技能和(或)态度[2]，体现医学生核心技能水平。 精神科“五站式”OSCE包括辅助检查及影像学解读、临床技能、临床思维、心肺复苏操作、神经系统检查或临床沟通；其中辅助检查及影像学解读、心肺复苏操作、神经系统检查为观察指标客观，评分标准也是客观的，考官评分的一致性高；临床技能、临床思维及临床沟通这3个考站由于精神科的特殊性，使得观察指标因考官的理解有一定的主观性，评价往往具有主观差异。如何保证考官评价的一致性是提高精神科“五站式”OSCE评分的信度和效度关键；也是精神科住院医师规范化培训OSCE评分的一致性决定因素。何红波等[3]2016年首次通过对精神科住院医师结业“五站式”OSCE考核标准一致性分析显示临床技能、临床思维和临床沟通这3个考核站点组内评分具有良好的一致性。本研究再次评估精神科专业OSCE “五站式”考核中临床技能、临床思维及临床沟通这3个考站评分的一致性。

1 对象和方法

1.1 对象

为2018年本院举办的广东省第三期精神科住院医生培训师资培训班学员115名，来自广东、广西、青海等19个医疗单位(综合医院5人，专科医院110人)；男71名，女44名；平均年龄(36.9±5.8)岁；教育程度：本科59人，研究生31人，25人数据缺失；职称为中级、副高、高级分别为76、28及11人。

1.2 方法

1.2.1 培训方法 本研究由训练有素的指导老师现场对师资班学员进行主观性体验较强、评分较难把握的“临床技能”、“临床思维”及“临床沟通”3个站点的评分细则及考核中表逐项评分标准进行讲解和分析，让师资班学员掌握每一项评分要求；然后安排本医院二年级住培医师对真实住院患者分别进行上述3个站点的现场测试，师资班学员现场根据相应评分表进行评分；评分结束后马上收集师资班学员的评分表，进行评分的组内一致性分析；其中“临床沟通站”评分结束，全体师资班学员再和指导老师一起集中对一位住院医师进行考核评分演练，分析演练前后评分的组内一致性。

2 结果

2.1 师资班学员与专家各站点考核评分比较

“临床技能站”回收学员有效评分表84份，学员与专家评分间差异无统计学意义(P=0.94)；“临床技能站”回收学员有效评分表80份，学员与专家评分间差异无统计学意义(P=0.22)；“临床沟通站”回收学员有效评分表81份，学员经现场讲解后评分及实例演练后评分与专家评分比较差异无统计学意义(P均>0.05)。见表1。

表1 师资班学员与专家3个站点考核评分比较

2.3 3个站点评分的一致性检验

单纯通过指导老师现场讲解后对学员3个站点即刻评分，其一致性检验结果显示，“临床技能站”评分的ICC为 0.988(95%CI：0.987～1.000);“临床思维站”现场讲解后评分的ICC为1.000(95%CI：0.999～1.000); “临床沟通站”现场讲解后评分的ICC为0.990(95%CI：0.983～0.999)，指导老师实例演练后评分的ICC为0.998(95%CI：0.992～1.000)，较现场讲解的评分一致性高。

3 讨论

20世纪60年代后，社会对医学人才培养质量提出了更高要求。美国毕业后医学教育鉴定委员会提出住院医师应具备以下6项临床胜任力:患者照顾、医学知识、临床工作中的学习与改善、人际沟通能力、专业素养及基于系统的临床实践[1]。以笔试为主的传统医学考试模式并不能体现出医学毕业生具备上述临床胜任力。为此，英国Dundee大学的Dr.Harden等于1975年首次提出一种全新的医学毕业生能力的OSCE考核评价办法，并被迅速用于国外各大医学院校及国内部分医学院校，逐渐成为公认的教学评估方法；加拿大、英国等国家的 OSCE 已用于精神科住院医生培训考核[4-5]。 目前，国内少数院校也尝试OSCE 应用于精神科本科生和精神科住院医师的临床技能考核，并报道了初步效果[6-8]。2012年北京市在精神科住院医师结业考核地区联考中首次设置了“七站式”精神科OSCE考核模式，随之连续使用4年，取得了良好的效果[9]。但OSCE 考站多，人力、物力投入大;如何利用有限的资源又同时使 OSCE 考试的信度达到可接受的范围成为OSCE站数设计的重要考虑因素。OSCE 作为一种临床技能测评工具，保证其信度是考试成功与否的关键。Hofer等[10]研究发现，考站为5个时，表示信度的Cronbach's α系数为 0.69，提示内部一致性较好，信度较高[11]。因此2016年在原有“七站式”基础上，改良成“五站式”OSCE考核模式。

较传统的医学考试模式不一样，OSCE属于一种新型的综合临床能力考试模式，评价这种考试可靠性的一个重要指标就是信度，它代表了考试的公平性、考分的公正性，所以保证其信度是这种考试模式成功与否的关键[12]。测量信度的方法有组内相关系数法、分半信度法和 Cronbach's α系数。既往对OSCE信度的分析多用Cronbach's α系数，王海平等[11]收集了从1998年1月至2013年5月关于医学生OSCE考核并使用 Cronbach's α系数进行OSCE信度测量的研究共34个，其中国内研究16个及国外研究18个，对这些研究里的OSCE 考试信度的Meta分析发现，国内外用于医学生的OSCE总Cronbach's α系数为0.700，表示OSCE用于国内外医学毕业生临床能力评估考试均具有较好的可信度。

本研究中，精神科OSCE考核模式考站数量定为5个考站，这个数量既符合经济学节约原则，又符合OSCE考核模式良好信度要求[10]。只是内外科专业考站设计的评分标准均客观规范，而精神科“五站式”OSCE考核中的第二站为“临床技能站”、第三站为“临床思维站”第五站为“临床沟通站”的评分标准由于考官的理解和评估往往缺少绝对客观的参考，同时不同考官掌握评估标准的程度不一，这些都会较内外科专业更容易影响考试结果，即系统误差扩大造成的考试信度降低。所以保证考官评分的一致性是提高精神科“五站式”OSCE评分的信度的关键。此前关于精神科“五站式”OSCE考核评分一致性的研究报道只有一个，何红波等[3]在2016年8月对66名师资的临床技能、临床思维和临床沟通这3个考核站点的评分进行组内一致性研究，结果初步显示组内具有良好的一致性。本研究也是参考前人的研究方法，仍然是对上面3个站点进行评分一致性的检验，结果显示，单纯通过指导老师现场讲解后即刻评分，“临床技能站”ICC为 0.988，“临床思维站”ICC为1.000，“临床沟通站”ICC为0.990；提示3个站点的评分经过讲解培训后有着极好的一致性，进一步验证了这3个站点的评分尽管有主观混淆因素，但可以经过对考官进行评分一致性培训来降低主观因素造成的不良影响，从而提高精神科OSCE“五站式”考核上述3个站点的评分一致性，从而提高了信度，与何红波等[3]研究结果一致。

与既往研究比较，本次研究有115名来自广东省19个医疗机构的精神科师资参加，明显多于2016年研究的参与人数(66名)和医疗机构数量(16个)，通过增加了样本量验证了前研究的初步结果。另外本研究在前研究方法的基础上，对第五站“临床沟通站”还增加了联合指导老师现场讲解及实例演练的研究方法，发现联合实例演练后再评分的ICC为0.998(95%CI：0.992～1.000)，较单纯现场讲解后就马上评分的ICC(0.990)高，提示联合培训形式比单纯培训形式更能提高站点评分的一致性。

标准OSCE考核建议用标准化患者(Standardized Patients，SP)，因为SP不仅可以把考站要求病种的临床特点逼真表现,还可以反复恒定地模拟，同时，SP还能结合自己的感受，对学生的态度表现等方面进行客观评价，SP的使用使考站的设计更公平并且更可能保持评分的一致性。本研究的局限之处在于对“临床技能站”和“临床思维站”用到真实患者，没有用到SP。较标准的OSCE考核而言有可能降低了考站的信度；但是本研究所选的患者都是临床经过筛选的、精神症状典型并相对表现稳定的、合作自愿的、症状描述清晰有条理的真实患者，从某种程度上接近标准化患者的优点同时又弥补了SP所不能达到的如完全真实描述精神活动细节的不足，将来有望采纳更多培训有素的精神科SP用于精神科“五站式”客观结构化临床考试中。