以柯氏模型为导向的护理学教学效果评价指标体系的构建研究

516001广东惠州卫生职业技术学院，广东 惠州

继续护理学教育(CNE)是在规范化专业培训基础上改进的新型教育方式，以学习新理论、新知识、新技术和新方法为主要理念[1]。柯氏模型由美国学者提出，是教育培训领域评估效果的主要模型[2]。该评估模型共包括4个层级，层级间存在连续性，可直接反映员工的行为变化，同时组织效益中的实际贡献率，并以此作为培训的根本目标[3]。本研究旨在通过以柯氏模型做基础根据Delphi 法构建与我国国情相符的护理教学效果评价指标体系，进一步提高护理教学培训效果评价的可靠性，为临床护士培养工作奠定理论基础。

资料与方法

选取广东地区从事护理教育以及临床护理等方面工作的专家25名进行研究。

研究方法：①Delphi法：Delphi法是由多个地域的医学专家自由组成小组并及时沟通分享个人意见的新型方式。该方法在多个领域的指标筛选研究中属于常用手段，是研究指标筛选中世界首推的方案。各领域的多名权威学者参与研究后实行匿名发表制度，可重复调查多次，有利于收集、分析各个专家针对不同问题的独到见解。②选取标准：选取的专家从事护理教育及管理等相关科研工作并且具有15年以上的工作经验；本科及以上学历；职称为副教授及以上；自愿配合完成3轮专家函询。

评价指标的筛选原则：应根据代表性、完整性、方向性、科学性、合理性以及可测性进行评价指标的筛选。

问卷制定：研究组组员通过网上查阅、图书馆等途径收集国内外相关文献并组织小组讨论，根据讨论结果统一设计符合本次研究切入点的问卷咨询表。同时可选取5名该领域的权威专家进行预填写，对问卷中不准确、条理不清晰的问题进行适当纠正、修改，提高最终函询问卷的完整度。问卷主要包括两部分，其一是以柯氏模型为基础对继续护理学教育评价指标进行评估，根据柯氏模型的反应层、学习层、行为层、结果层4个层次，对Ⅰ～Ⅲ级指标进行设定，项数分别为4项、10项、48项。Ⅰ级指标的主要评估内容是培训后学员对培训项目的满意程度。Ⅱ级的学习层评估内容是对受训者培训后的掌握情况进行了解。Ⅲ级的行为层评估是以了解日常生活中受训者培训知识及技能的应用情况。Ⅳ级评估为结果层评估，评估内容为评判员工培训后工作业绩变化情况。第2部分为专家的个人信息。

专家函询：以问卷形式对25名护理专家进行函询，分发试卷的途径为电子邮件、手动发放病案同种方式回收。评估方法为Likert评分法，所有指标设均设置个项目，分别为很重要、重要、一般重要、不重要、很不重要，按照1～5 分进行计分。参与研究的专家在填表时，根据自身理解、知识认知等对研究指标的重要性进行评价，填表过程中专家可从个人角度指出指标需修改、纠正的部分。经两轮咨询后结果显示指标体系中的一级指标为4项，Ⅱ级指标为11项，Ⅲ级指标为49项。对专家进行第3轮咨询时根据层次分析法、百分权重法计算各级指标的权重。

统计学方法：采用SPSS 17.0 统计学软件分析数据，采用描述性统计分析咨询专家的组成，以权威值表示专家的权威性，专家积极性采用问卷回收率进行表示，以变异系数、肯德尔和谐系数对专家意见的协调程度进行表示；P＜0.05为差异有统计学意义。

结 果

专家权威性：本研究25名专家的权威值均＞0.7，当权威值≥0.7时，专家意见具有较高可靠性，证实参与本研究的专家的意见具有较高可信度。

专家积极性：本研究共进行3轮专家函询，每轮均发放30份咨询问卷，对每轮有效回收率进行计算，3轮有效回收率分别为100%、96.67%、100%，均在95%以上，该结果表明本次咨询的专家研究积极性较高。

专家意见的协调程度：采用变异系数(CV)及肯德尔和谐系数(Kendall'W)分析专家意见协调程度。肯德尔和谐系数表示专家对研究全部指标的协调程度，变异系数证实专家对指标相对重要性的波动程度。变异系数越小，证实专家的意见越统一。肯德尔和谐系数在0～1，专家的意见协调系数越高，表明专家对全部方案的协调程度越高。前两轮专家咨询比较，差异有统计学意义(P＜0.05)；肯德尔和谐系数在0.3 左右，第2轮协调系数较第一轮均出现不同程度的提高，表示全部专家对指标的评判意见基本一致，见表1。

表1 专家一致性的程度

建立继续护理学教育效果评价指标体系：第1轮专家咨询修正1项2级指标，新增1项2级指标，分别为教学条件及后勤服务，将教学条件中的各类设施标准进行修正，同时新增后勤服务指标，原因是后勤服务质量对学员的管理效果具有一定影响，增加该指标有利于多角度评估护理教学效果。修正、新增、删除的3级指标项数分别为7项、12项、10项。修正的3级指标中包括培训内容的实用性，通过参考国内外研究以及专家意见增减培训内容，进而提高培训内容的实用性。新增的2级标题中含有更新观念及个人受益，目前各领域均存在不同于常规的理论并且该理论具有一定支持者及科学依据，本次研究的领域也包含在其中，所以更新培训理念，多角度挖掘学员潜力对提高护理教学效果具有重要作用。另外，个人受益指标与学员具有较大关联，更能直接反映学员的积极性及主观能动性。第一轮删除的2级指标中包括工作质量，原因是仅凭工作完成情况评估教学效果过于片面，容易产生研究偏差，故而删除该指标。第2轮共删除1项3级指标，为社会经济效益。原因是该指标滞后期过长，评估时间太短，还未产生实际效果，无法在短期内表现出真实效果，对工作绩效产生一定影响，进而增加护士行为变化的影响因素，导致护士行为变化、工作绩效提高方面继续教育作用的评估困难程度增加。本研究以柯氏模型为基础构建的护理教学效果评价指标体系共包括1级指标4项、2级指标11项和3级指标49项。

讨 论

构建继续护理学教育效果评价指标体系的必要性：国内学者仅做到了反应层和学习层短期效果的评价，局限性较高[4]。本研究针对当前我国护理教学的一系列问题，利用Delphi 法制定效果评价指标体系[5]。该体系可使护理教学效果评估的公正性及合理性明显提高，为继续教育的科学发展奠定信息支持基础和理论依据。

继续护理学教育效果评价指标体系应用需注意的问题：①反应层：反应层是针对带教教师、学习项目、进修环境等方面护士的反应情况进行评估[6]。反应层评价主要通过问卷形式对护士进行调查，直接反映护士的主观感受。②学习层：学习层评价的主要内容包括护士对培训知识的掌握程度，并通过系统性的反思、梳理得到不同程度的提升，直至完全掌握，提高在工作中的应用价值。该层次行为层以及结果层的基础，但该层次无法明确护士在日常生活中培训知识、技能的应用情况。通过情境考试、学习测试等方式进行评估。③行为层：行为层的主要评估内容是护士培训前后临床护理、教学与科研等行为的变化情况。对照培训前后护士行为变化情况的最佳时间为培训结束后的6～12个月。④结果层：结果层评价是护理教学效果评价中的关键。旨在对护士培训后个人受益、组织受益的提高程度进行评价。评估时间对结果具有一定影响，时间间隔太长，影响工作绩效、护士行为变化，导致评估困难性增加。护士完成培训1年后时结果层的最佳评估时间。

本项研究构建的评价指标体系评估结果利用加权求和法进行统计分析，可有效完成定性评价项定量结果转化的过程，因此在操作简便、提高实用性方面均具有明显优势。该评价指标体系的评估包括4个不同层次，可有效提高该体系评估的全面性，是结果更具有说服性，例如可对长期、短期的继续教育效果进行评估，该体系的评估重点为结果连续性，可对护士行为变化进行直观反映，可有效提高对组织效益的实际贡献率以及对护士继续教育效果的评估准确性。