基于柯氏四级模型对专科联盟管理培训项目实效性的评价分析

王敏 刘爽

(首都医科大学附属北京地坛医院院办,北京 100015)

构建医疗联合体(简称“医联体”)是深化医疗卫生体制改革的重要步骤和制度创新,是优化医疗资源、提升基层服务能力、更好实施分级诊疗、满足群众健康需求的有效途径[1]。传染病医院作为一类比较特殊的医疗机构,肩负着应对传染病突发公共卫生事件的使命,鉴于传染病属地管理的原则,医联体建设对于传染病医疗体系具有更为重大的意义。专科联盟是以一家三级医院为龙头,以某专科疾病为纽带,跨区域组成的一种医联体模式[2]。在当前新医改形势下,以传染病学科为特色的首都医科大学附属北京地坛医院作为牵头单位联合全国31 个省市自治区的91 家医疗机构(以下称“成员单位”)成立了感染性疾病专科联盟(简称“地坛感染联盟”),以有效促进分级诊疗,构建完善的感染性疾病医疗服务体系。

地坛感染联盟在运行中发现,各成员单位间的管理水平和医疗水平存在很大差距,已然成为进一步紧密合作的障碍。为了实现成员单位间“医教研管”同质化的目标,地坛医院作为联盟牵头单位举办了系列管理培训项目。目前,各医疗机构都在逐步重视对医院管理者的培训,但对培训效果评估的认知还不够,对评估方法掌握也不到位,评估多为满意度或知识技能的评价,使评估流于形式[3]。培训评价体系还不够完善,更多关注培训后评价,缺乏对培训前、培训中、培训后全过程的评价[4]。地坛感染联盟举办的系列管理培训项目也存在这个问题,培训后达到了怎样的效果,是否实现了培训目标,从未进行过评估。为了持续提高地坛感染联盟管理培训项目的实效性,现以2019 年地坛感染联盟开展的完整的一期管理培训班为实例,对其实效性开展评价研究。同时,也为探索一种培训实效性的科学评估方法提供借鉴意义。

1 数据来源

2019 年5 月31 日-6 月2 日,地坛感染联盟举行第三期医院管理培训班,持续2.5 d,课程设置包括:14 项面授课程、2 次答疑座谈会、1 次实地参观。为了保证授课效果,地坛医院配备了有经验的师资力量,14 位讲师均为院领导和中层干部,内容是以地坛医院的管理实践经验为主线。本次培训共计招募74 人,来自于31 家医疗机构。这74 名学员中包含院级领导16 人、中层干部49 人、科室骨干9 人,均为各单位的领导和管理干部骨干,为重点培养对象,符合本次培训班招募的标准。本研究以参训学员的调查问卷、跟踪问卷、访谈讨论等数据资料为基础。

2 研究方法

国内外关于培训效果评估的模型有很多,主要集中在柯氏四级评估模型、Phillips 五层次投资回报率模型(ROI 模型)和CIPP 模型等。其中,以参照柯氏四级评估模型进行培训效果评估的文献居多,主要应用于医学临床护理人员、高校工作人员的培训效果评估等方面[5-6]。鉴于此,本研究以柯氏四级模型为理论指导,从反应层、学习层、行为层、结果层四个层次对管理培训班的实效性予以客观评估(表1),以期为进一步高效地开展专科联盟的建设工作,切实提高成员单位的管理能力、医疗服务水平提供科学合理的借鉴作用。其中,反应层和学习层主要以问卷调查的方法了解学员对于培训课程的满意度评价和培训初步产生的效果;行为层和结果层主要通过电话回访、专家访谈等方式了解培训产生的实质效果。

表1 柯氏四级模型的四个层次[7-8]

3 评估过程及结果

3.1 学员满意度评估——反应层

培训期间,进行了关于培训课程的满意度问卷调查,请学员从内容专业实用性、讲师培训技巧、课件内容设计、课程组织形式4 个维度对14项课程进行评估[9],每个维度的满意度为1～5分,每项课程的满意度评分满分为20 分。74 名参训学员中回收了71 份问卷,有3 名学员未提交。分别统计71 名学员对每项课程的4 个维度和总体满意度评价的平均分值,14 项课程总分均值最高为19.832 分,最低为19.257 分(表2),均为非常满意(研究设计时已设定17～20 分为非常满意)。

表2 学员满意度评估

3.2 培训初效评估——学习层

培训期间,同时还进行了培训效果的初步调查。通过问卷调查学员在培训中所学并初步认为会应用到实际工作的内容,并描述出培训过后将会应用的具体管理措施。74 名参训学员中有70 人参与了此调查,有4 名学员未反馈问卷。具体分析学员对每项课程的培训初效评估情况,按照认为该课程对实际工作有用的学员人数进行排序(表3)。经统计可见,每项课程都有一定数量的学员表示通过培训学到了有用的管理知识并将会应用到实际工作中,实用性最好的课程有46 人认为培训内容很好并会在具体工作中落实,地坛感染联盟举办的管理培训项目产生了初步的效果。

表3 每项课程的培训初效评估分析

3.3 培训项目被学员采纳应用的情况追踪——行为层

分析学员在培训过程中的初效评价情况,选取学员评价较好、实用性较强的课程继续进行跟踪。对这14 项课程中比较特殊的课程予以剔除,原因如下:课程2 是战略性管理课题,受属地政策影响较大,而且是医院整体班子顶层设计的主题,很难因为一次培训而改变原有的策略;课程8 是智慧医院管理的一部分,实现的前提是需要大额资金的支持,具体落实受客观因素的影响较大;课程10～14 的内容较专项,包括院感管理、门急诊管理、应急管理、医疗质量管理、护理管理等,培训效果同学员来源科室有很大关系。最终确定继续跟踪随访的课程共计7 项(表2 中的课程1、3、4、5、6、7、9),将内容相近的课程1和课程4 进行合并,最终进一步跟踪的课程共计包括6 类:党建工作、宣传工作、运行管理、绩效管理、全面预算管理、学科建设。

参与初效评价调查的70 名学员中,认为上述6 类课程可能会应用到实际工作中的学员共计66 人,但有16 人在问卷调查时只是表示课程很好,但没有具体描述将会采纳哪些管理举措,将这种情况的问卷予以剔除,最终对50 名学员继续追踪调查。确定研究对象后,课题组通过问卷、微信、电话等方式分别在培训结束后的第1、6、12 个月时对这50 名学员进行回访,以培训时每人列出的拟采纳的管理举措为基础,进一步了解这些学员在培训后回到各自单位,在实际工作中关于上述6 类课程所包含的管理措施的具体采纳和应用情况。采纳的管理举措是指:在参加完管理培训后因受到培训内容的启发,成员单位及其学员与培训之前相比新开展的管理措施。采纳情况的数量统计方法:按照具体管理措施汇总资料,按照培训的每项课程统计数据,即:若一项课程中有多项管理举措被同一学员采纳并应用,在统计该课题被采纳的人数时只计为1。经过为期一年的追踪回访,据统计,最终共有38 名学员在参加此次地坛感染联盟管理培训项目后采纳并真正实施了所研究的6 类课程涉及的医院管理措施,可以说本次培训对38 名学员的工作行为产生了实质性影响和改变,本研究还具体统计了每项课程涉及的管理举措被学员采纳并应用的情况,数据见表4。

表4 每项课程的管理举措被学员采纳的情况

3.4 培训项目对参训医院产生的影响——结果层

北京地坛医院举行医院管理培训项目的最终目的是实现地坛感染联盟成员单位间“医教研管”的同质化,为提高传染病防治体系的整体管理水平、实现进一步的密切合作奠定基础。本次管理培训项目共有31 家医院参与,最终采纳并实施了培训内容的38 名学员来自于23 家医疗机构,由此可见,最终此次培训对74.19%的参训医院的具体管理行为产生了实质性影响,较好实现了本次管理培训项目的目标。本研究还具体统计了每项课程涉及的管理举措被参训医院实际采纳并应用的情况,数据见表5。

表5 每项课程的管理举措被参训医院采纳的情况

对于这23 家医院,此次管理培训项目是给予了医院管理方面的理论指导,起到“抛砖引玉”的作用。最终培训内容在这些参训单位得以顺利实施,是因为在培训项目的基础上,计划实施管理举措的医院会主动同地坛医院建立长期的对接联络机制,地坛医院的讲师团队持续性地依参训方需求提供技术支持,协助其实施管理项目,包括:针对性一对一解读、管理方案设计、远程指导培训、原因分析、现场督导等。因此,这23 家医院是以培训内容为指导,结合自身的实际情况,因地制宜地将管理培训项目涉及的医院管理举措真正落地生根,对各医院建立科学有效的管理体系起到了积极作用和重要意义。

4 讨论

本次研究是将31 家医院的74 名学员作为整体展开的分析,但医院的等级、科室的现状、学员的职级,甚至于医院所处的地域等因素可能都会对培训的实效性产生影响。但因为此次管理培训项目的入组人数较少,没有进行分层研究,下一步有必要继续以地坛感染联盟的系列管理培训项目的数据为基础再扩大样本量,按不同要素分组分析学员之间的差异,探究各类医院、学员对联盟管理培训项目的适应性,以达到精准施策、优化培训的目的。

通过研究发现,在培训过程中调查每项课程的初步培训效果时,会有较多的学员认为这些管理举措可以应用到实际工作中,但最终真正采纳并应用到本医院实际工作中的项目数量较少,均低于50%(表4、表5)。表明学员认为较好的管理措施最终只有一小部分能在实际工作中落实应用,接下来,有必要进一步深入分析影响培训效果的具体原因,从培训项目的必要性、可行性等各方面再次进行评估,以此有效提高管理培训项目的效率和效果。

在反应层的满意度调查问卷中,项目组还设立了开放式的调查内容,以此了解了不同培训对象的需求,包括:中层干部及科室骨干希望培训尽量聚焦于某项专题,培训时长在3～5 天,除了面授讲课,还希望安排有互动交流的环节,以此交流某专项工作的具体经验。院级领导则希望开设有关医院管理顶层设计和现代化管理的课程,内容尽可能涵盖医院管理的所有领域,交流医院管理的思路和理念,时长2～3 d 为宜。提示,在接下来的培训项目中,有必要针对不同的参与对象和需求设计不同的培训体系,包括内容、时长、培训方式方法等进行调整。

目前,首都医科大学附属北京地坛医院已经被授予国家传染病医学中心的主体医院,站在国家层面,地坛医院有责任也有义务引领传染病防控救治体系建设。地坛医院牵头发起的地坛感染联盟现在已经涵盖了全国91 家传染病医疗机构,联盟也将是地坛医院落实国家传染病医学中心职责的重要抓手。管理培训项目作为一种重要的知识交流传播方式,再配套有科学合理的培训效果评价体系,有助于地坛医院在“医教研管”等方面将成熟的管理经验在联盟成员单位中全面推广,实现联盟单位之间管理水平趋于同质化,为各医院之间进一步全方位地开展深入合作奠定基础,从而提升传染病领域的整体医疗管理水平,推动传染病防治事业实现高质量发展。

利益冲突所有作者均声明不存在利益冲突

作者贡献声明王敏:提出研究思路,设计研究方案,开展调研,分析数据,撰写、修改、审订论文;刘爽:共同探讨研究思路,设计研究方案,调研,收集清洗数据,对数据展开分析,修改论文