基于柯氏四级评估模型构建专科护士培训评价指标体系

谢仪佳 李乐之 彭康琳 杨思思 李亚敏

[摘要]目的 构建以柯氏四级评估模型为框架的专科护士培训评价指标体系，为推进专科护士培训工作提供参考。方法 基于柯氏四级评估模型，通过文献回顾，参考专科护士培训教材、指南、标准和规范，初步建立专科护士培训评价指标体系框架，结合专家预函询结果，拟订评价指标体系，选取专科护士培训基地负责人、培训师资、参与培训学员进行两轮函询以筛选指标，采用层次分析法和百分法计算各级指标权重。结果 形成了包含4项一毁指标、17项二级指标、96项三级指标的基于柯氏四级评估模型的专科护士培训评价指标体系。两轮函询专家积极系数分别为100.0%、92.3%，权威系数分别为0.86、0.87，第二轮函询各级指标KendallsW系数分别为0.056、0.113、0.112（P<0.05）。一级指标权重从大到小排名依次为行为层（0.438）、反应层（0.313）、学习层（0.125）、结果层（0.125）。结论 构建的专科护士培训评价指标体系具有一定科学性，可为规范、有效开展专科护士培训评价提供依据。

[关键词]专科护士；培训；评价指标体系；柯氏四级评估模型

中图分类号：R47 文献标识码：A

供给侧结构性改革进一步释放了群众多样化的健康需求，护理专业的功能和内涵在广度和深度上都有了拓展，专业化已成为现代护理事业发展的趋势，随着国家政策的导向，各省市开展了专科护士培训工作。通过对专科护士培训效果进行评价，能够明确培训活动需改进之处、专科护士岗位胜任力薄弱点，促使培训管理更加精准化、科学化、规范化。目前，我国专科护士培训评价内容多由医院或各专科根据自身需求制订，且以理论和技能考核为主，缺少持续评价机制，评价的全面性和有效性不足。因此，建立规范化、系统化的专科护士培训评价体系是亟待解决的问题。柯氏四级评估模型最早由Kirkpatrick于1959年提出，其从参与者的反应、学习、行为、结果四个层次对培训效果进行系统、全面、科学评估，强调前一阶段评估是提高后一阶段训练成效的基础和出发点，是教育领域使用最广泛的一种评估模型。本研究以柯式四级评估模型为理论框架，结合文献、教材、指南等，基于德尔菲法建立了专科护士培训评价指标体系，以期为进一步推进专科护士培训工作发展提供参考。

1研究方法

1.1成立研究小组

研究小组由8名成员组成，研究领域包括护理管理、护理教育、临床护理。8名成员中：博士3名，硕士3名，在读硕士2名；高级职称4名，中级职称2名，无职称2名。小组成员负责文献检索与分析、专家函询问卷编制与发放、函询结果统计分析与整理等。

1.2初步拟订指标

检索中国知网、万方、中国生物医学文献数据库、维普中文期刊全文数据库、PubMed、Cochrane Library、EMBASE、Ovid、CINAHL、Medline、Elsevier ScienceDirect等中外文数据库，检索年限为2011年12月-2021年12月。检索策略采用自由词與主题词相结合的方式，中文检索词包括“专科护士、专科培训、护理培训”“柯氏模型、体系构建、评价体系、培训评价”，英文检索词包括“nurse special ist/specialty nurse/nursing trairung/speaalized trauung”“kirkpatrick model/systeni construction/nursing train-ing/evaluation index system/ trainingevaluation”。按照文献评价标准，保留和本研究高度相关且质量较高的文献，剔除重复、交叉、与目前培训情况不符的文献，最终纳入33篇文献。以柯氏四级评估模型为理论基础，对纳入文献中培训前后各维度评价指标进行归纳整理，结合专科护士培训教材、指南、标准和规范，初步建立专科护士培训评价指标体系框架，包括：（1）反应层。评价学员对专科护士培训项目的感受，主要涉及培训满意度评价指标，包括课程设置、培训环境和工具、师资、实践培训、组织管理等；（2）学习层。评估学员各项培训考核成绩、临床护理工作能力和职业态度等；（3）行为层。评估学员是否具备专科护士岗位胜任力；（4）结果层。评估培训活动的辐射收益，主要包括护士工作质量和区域辐射效果等。在专科护士培训评价指标体系框架基础上，邀请6名专家（专科护士培训基地负责人、培训师资、参与培训学员各两名）进行预函询，依据专家建议初步拟订指标体系，包括4项一级指标（柯氏四级评估模型）、18项二级指标和95项三级指标。

1.3专家函询

1.3.1编制函询问卷 函询问卷包括3部分；（1）研究背景介绍及问卷填写说明；（2）专科护士培训评价指标体系函询表，要求专家采用Likert 5级评分法对各指标重要性进行赋值，从“不重要”至“非常重要”依次赋值1分-5分，同时设置增加或删除条目栏、修改意见栏等；（3）专家情况调查表，包括专家一般情况、专家对内容的判断依据和熟悉程度。

1.3.2遵选函询专家 为获得更全面和准确的反馈，需选取不同立场人群对相同指标进行全方位评价。根据研究目的，选取湖南省专科护士培训基地负责人、培训师资、参与培训学员三方进行函询。专科护士培训基地负责人与培训师资遘选标准；（1）硕士及以上学历；（2）副高级及以上职称；（3）从事专科护理管理和护理教育领域工作，且在相关领域工作≥10 a。参与培训学员纳入标准：（1）硕士及以上学历；（2）中级及以上职称；（3）从事取得资质认证的专科临床护理、护理管理和护理教育相关工作，且在相关领域工作≥5a。

1.3.3实施函询 通过现场或邮件两种方式发放函询问卷。参考相关文献，经小组讨论后确定指标纳入标准为：专家重要性赋值均数≥4、变异系数≤0.25、满分率≥20%，三者同时满足。对于专家提出的疑问及修改意见或未同时满足三项标准的指标，经查阅文献及小组讨论后决定是否纳入。第一轮函询于2022年6月实施，函询结束后，小组成员依据指标纳入标准，结合专家建议制定第二轮函询问卷并于2022年8月实施函询。

1.4计算指标权重

首先，根据第二轮函询专家对指标的重要性评分，利用Yaahp12.2软件构建两两比较判断矩阵，采用层次分析法计算一缓指标权重。其次，运用百分法计算二、三级指标权重，即将各项指标重要性得分总和除以该指标归属的所有指标的重要性得分总和。最后，运用乘积法确定二、三级指标组合权重。

1.5统计分析方法

采用SPSS 23.0软件录入数据并进行统计分析。采用额数、百分比（%）描述计数资料；采用x±s描述计量资料；采用问卷有效回收率表示专家积极程度；采用权威系数Cr表示专家权威程度；采用变异系数（cv）和Kendairs W协调系数表示专家意见协调程度，并采用卡方检验对专家协调系数进行比较，

2结果

2.1函询专家基本情况

共有26名专家参与函询，包括专科护士培训基地负责人8名、培训师资10名、参与培训学员8名。26名专家年龄为27岁～56岁，平均为（40.5±7.9）岁；工作年限为6 a-42 a，平均为（23.23±10.05）a}博士学历9名，硕士学历17名；高级职称18名，中级职称8名；湖北2名，江西1名，广西3名，湖南20名。

2.2专家可靠性

2.2.1专家积极系数 本研究中，两轮函询问卷有效回收率分别为100.0%（26/26）、92.3%（24/26），两轮函询分别有19名和7名专家提出修改建议。

2.2.2专家权威系数 通常情况下以权威系数Cr≥0.70为可接受信度。本研究中，两轮函询专家权威系数分别为0.86、0.87，表明专家权威程度较高。

2.2.3专家意见协调程度 本研究中，两轮函询专家对指标重要性赋值的变异系数为0-0.247、0～0.176。第一轮函询，各级指标Kendalls w系数分别为。0.104、0.160、0.179；第二轮函询，各级指标Kendalls W系数分别为0.056、0.113、0.112，且差异均具有统计学意义（P<0.05），说明专家意见一致性较高。

2.3指标筛选情况

两轮函询共修改二级指标6项、三级指标10项，删除三级指标1项，合并二级指标1项，增加三级指标2项。重点修改指标如下：（1）二级指标。专家建议将专科护士培训中的理论培训和实践培训评价表述清楚，故将“课程设置满意度”“师资情况满意度”“实践培训满意度”分别修改为“理论课程设置满意度”“理论授课师资满意度”“临床实践培训满意度”，将“岗位实践创新能力”修改为“专科岗位实践创新能力”，更注重与专科护士岗位胜任力要求相结合；（2）三级指标。考虑到短期培训对学员科研能力提升幅度有限，故将“经常阅读本专科专业文献”修改为“能阅读本专科专业文献”，“具有临床护理科研课题设计能力”修改为“具有初步进行护理科研课题设计能力”。删除指标如下：由于统计分析课程内容较多且难以在短期内掌握，故删除“熟悉常用的统计分析方法并进行统计描述”。增加指标如下：健康教育是提高全民健康素养和普及健康生活方式的關键，专科护士是健康教育的主要实施者，因此增加了“能够采用合适的教育策略实施专科健康教育”指标；实践培训师资态度是专科护士关注重点之一，因此增加了“带教师资认真负责”指标，合并指标如下：将“能够分析专科护理仪器监测结果”与“能够正确识别专科常见检查结果”合并为“能够正确解读专科常见监测数据及检查结果”。

2.4指标体系及权重

两轮函询后，形成包含4项一级指标、17项二级指标、96项三级指标的基于柯氏四级评估模型的专科护士培训评价指标体系。一级指标权重从大到小排名依次为行为层（0.438）、反应层（0.313）、学习层（0.125）、结果层（0.125）。指标体系及权重见表1。

3讨论

3.1构建专科护士培训评价指标体系的重要性

对于参训专科护士而言，效果评价可以广泛收集其培训需求、意见和建议，有利于管理者从专科护士角度设计并优化培训内容。对于管理人员而言，开展培训效果评价工作能够及时发现培训存在问题并改进。对于培训项目而言，效果评价是培训项目的重要组成部分，在整个培训中起着承前启后的作用。我国对于专科护士培训效果评价注重理论和实践考核成绩，但缺乏对专科护士职业素质、核心能力以及培训效益等的评估，且评价多于培训结束后进行，培训过程中缺少质量监督和控制。本研究评价指标体系将专科护士岗位胜任力与柯式四级评估模型相结合，涵盖专科护士在培训过程中的反应、学习，行为和结果四个层面的表现，不仅关注专科护士的专业知识与技能，而且强调专科护士是否将知识与技能应用到临床实践中，并转化为成果与效益。四个层面形成循环，从专科护士对培训主观感受和考核成绩等表层评价延伸到临床工作行为、思维、人际关系和态度等深层评价，评价体系融合了过程评价与结果评价，评价时间节点贯穿专科护士培训全过程，确保了评价的深度与广度。因此，基于柯氏四级评估模型构建的专科护士培训评价指标体系具有重要意义。

3.2构建专科护士培训评价指标体系的可靠性

本研究在检索国内外专科护士培训效果评价相关文献基础上，基于柯氏四级评估模型构建了指标体系框架。为进一步细化指标体系，对专科护士培训基地负责人、培训师资、参与培训学员进行预函询，形成指标体系初稿。然后，选取专科护士培训基地负责人、培训师资、参与培训学员三方进行两轮函询，进一步筛选评价指标。德尔菲法实施过程中，专家的选择对保证研究结果科学性至关重要。参与本研究函询专家具有以下特点；（1）覆盖全面。选取专科护士培训基地负责人、培训师资、参与培训学员三方作为函询专家，其在护理教育或护理管理领域有着丰富经验，能够根据各专科培训基地实际提出建议；（2）知识结构层次高。函询专家均具有硕士及以上学历，高级职称专家有18名，说明参与函询专家具有高层次的知识结构，能够保证思考的独立性。本研究结果显示，两轮函询专家积极系数分别为100.0%、92.3%，专家权威系数均>0.7，Kendall's W系数均P<0.05，表明专家参与函询积极性较高，权威性较好，对各指标的重要性和可操作性表示认可，意见趋于一致。

3.3专科护士培训评价指标体系的内容分析

本研究最终构建的专科护士培训评价指标体系包含4项一级指标、17项二级指标、96项三级指标。4项一级指标按权重由高到低排序依次为行为层（0.438）、反应层（0.313）、学习层（0.125）、结果层（0.125）。反应层和学习层关注短期培训效果，行为层和结果层侧重反映长期培训效果，层层递进，每一个层级都是后一个层级的必要条件。

（1）反应层衡量学员对培训做出的反应，是整个评价体系的基石。本研究以培训满意度呈现，从培训对象角度对培训内容、环境和工具、师资、组织管理等方面进行评价。本研究反应层二级指标中，理论授课师资满意度权重（0.204）和临床实践培训满意度权重（0.202）较高，说明专家认为培训评价应当理论与实践并重。理论授课师资水平是专科护士培训效果的决定因素之一，这就要求在实施培训前，制定规范的师资准入标准，严格遴选师资并动态监督。在提升理论培训质量基础上，实践培训是将理论培训所学专科知识输出的过程。有研究显示，学员期望实践培训时间长于理论培训时间，且对实践培训要求相对更高。因此，科室轮转安排、带教计划、质控改进等也是专家关注的评价指标。

（2）学习层主要检测学员知识和技能的掌握情况。本研究中以理论知识、技能操作和素质拓展的考核呈现。本研究学习层二级指标中，理论知识考核、技能操作考核、素质拓展考核的权重依次为0.336、0.333、0.331。虽然理论知识考核与技能操作考核仍是主要考核方式，但现代护理要求专科护士承担临床护理者、教育者、咨询者、研究者、领导者、协调者和伦理决策者七位一体的多元化角色，这就需要匹配更加多元化的考核方式。因此，科普能力、科研能力、教育能力成为专科护士重要的考核指标。研究显示，60%以上的三甲医院的科研、临床教学、科普任务都需要专科护士参与，对专科护士科教研能力的评价将决定其能否在临床护理实践中以评判性思维发现、分析并解决问题，从而真正胜任护理专家角色。

（3）行为层考察学员在实际工作中的行为转变。本研究行为层主要评价专科护士岗位胜任力在临床工作中的应用状况及其对具体护理行为的影响，是整个评价体系的核心。本研究行为层二级指标中，专科岗位护理能力权重（0.148）和专科岗位实践创新能力权重（0.146）较高。专科护士除担任临床护理专家角色外，在管理岗位中的话语权和决策权明显优于普通护士。他们不仅在寻求资金资助以及制定、获批、实施新方法等方面具有优势，而且拥有较多摄取创新行为和能力的资源与平台，因此专科岗位实践创新能力也是评价专科护士岗位胜任力的重要指标之一。另外，有专家提出建议增加健康教育能力相关指标。《“健康中国2020”战略研究报告》提出，健康教育与健康促进是公共卫生十大关键策略之一，现阶段，各级医疗机构仍是开展健康教育的主阵地，专科护士作为健康教育的主要实施者，其健康教育能力的提升将影响患者预后。因此，本研究采纳了专家建议，增加了“能够采用合适的教育策略实施专科健康教育”指標。

（4）效果层重点评估培训项目创造出的效益。现有培训评价体系多侧重评价培训后个人发展和工作质量，忽视了将培训效果有效传播转化和及时反馈带来的组织经济效益。在效果层重点评价专科护士临床护理工作效果和个人职业发展。在效果层二级指标中，个人层面权重（0.502）最高。拓展护士职业前景是专科护士培训的重要目标之一，使学员获得更多职业认同感和价值感是专科护士培训的重点。自我价值得到体现能够进一步强化专科护士的正向职业认知，促使专科护士感知职业益处，树立积极职业态度，进而促进专科护士队伍的稳定和健康发展，提高专科护理质量。

3.4应用建议

第一，评价主体需多元化。单一评价主体容易出现监管缺位、标准不一致等问题，多元评价主体有利于学员从被动接受者转变为积极参与者，通过“以评促教”不断完善专科护理人才培养模式。第二，评价监督需动态化。根据评价体系制定动态监督机制，这是专科护士培训质量持续改进的关键。第三，评价结果需公开化。专科护士培训评价结果可以在相关信息平台公开，接受社会监督，以激励培训基地持续改进。

4小结

本研究以柯氏四级评估模型为框架，构建了专科护士培训评价指标体系，从反应层、学习层、行为层和结果层四个层面全面评估了专科护士培训效果，注重评价长期性和连续性，以期为专科护士培训提供有效反馈。但该评估体系只是一个宏观的“指南针”，德尔菲法也具有一定主观性，后续需在实际应用中细化并量化评价指标，以进一步完善体系内容。