曹梅娟 饶艳华
(杭州师范大学护理学院,浙江 杭州 310036)
为了促进社区护理人才的培养,浙江省自2002
年起开展了社区护士岗位培训相关课题研究,制定了培训方案,自编了培训教材,并于2004年开始实施培训计划,拥有12个社区护士岗位培训基地。为了更好的有针对性的开展培训工作,保证培训的质量和效果,有必要对社区护士岗位培训工作进行评估、分析和总结。因此,建立一套既科学、规范,又符合社区护士岗位培训实际情况的评估指标体系具有重要的现实意义。本研究对此评估指标体系进行了初步探索,以期为浙江省乃至全国的社区护士岗位培训工作的评估提供一套参考工具。
1.1 评估指标体系的初步构建
1.1.1 文献回顾和社会调查 广泛查阅国内外相关文献,学习指标体系构建的方法,了解国内外社区护士岗位培训的情况,特别是浙江省社区护士岗位培训情况,对国内外相关的评估指标体系进行对比研究。
1.1.2 理论基础 本研究以柯式模型和CIPP
模型为理论基础指导指标体系的建立。柯氏模型是Kirkpatrick在1959年提出的培训效果评估模型,包括反应、学习、行为和结果四个层次的评估[1-2]。CIPP模型是 Daniel Stuffiebeam 在教育领域研究成果的基础上提出来的,包含背景(Contextual)、投 入 (Input)、过 程 (Process)和 产 出(Product)四方面的评估[3]。
柯氏模型对培训效果评估进行了较具系统性、完整性的研究,说服力较强。而CIPP模型将评估活动介入到培训的整个过程,不仅对培训的必要性和可行性进行分析,还注重对培训过程进行监控,是一个相对完善的模型。
社区护士岗位培训工作的评估应该是贯穿于整个培训过程的,而柯式模型又可以作为CIPP模型产出评估的具体化。因此,本研究综合柯式模型和CIPP模型来指导社区护士岗位培训工作评估指标体系的构建。
1.1.3 指标体系的构建 在理论的指导下,参考相关文献,结合社区护士岗位培训的实际情况,根据指标构建的原则,初步筛选出一级指标5个,二级指标17个及指标内涵和评分标准,构成了浙江省社区护士岗位培训工作评估指标体系的基本框架。指标的参考权重采用百分权重法,总分为100分,附加分10分。
1.2 专家咨询与论证
1.2.1 专家的选择 专家选择遵循代表性和权威性原则,纳入标准如下:(1)从事卫生行政、管理、教学、社区护理相关工作;(2)具有丰富的理论知识或实践经验;(3)熟悉社区护士岗位培训工作,愿意参加咨询;(4)能保证持续参加本研究的几轮函询;(5)具有本科及以上学历。
1.2.2 专家咨询过程 本研究进行了2轮函询。第一轮主要是对各级指标的合理性、指标的覆盖面、指标内涵的界定和评分、指标权重赋值给予指导,并填写专家基本情况调查表。第二轮函询问卷根据第一轮函询的专家意见进行修改形成,在向专家详细、全面反馈第一轮咨询意见及修改结果的基础上,邀请各位专家对指标、指标分级内涵、评估方法作进一步的指导和建议,并确定各级指标的权重。
1.3 统计学方法 咨询表的发放和回收主要采用亲自送上门的方式,部分采用邮寄方式。数据采用SPSS 13.0进行统计。
表1 专家咨询协调系数
表2 浙江省社区护士岗位培训工作评估指标体系框架
2.1 专家的积极性和权威程度 本研究两轮专家咨询各发出咨询表15份,有效回收率100%,所以两轮专家咨询的积极系数均为100%。专家权威程度用专家判断依据和熟悉程度的算术平均值表示,权威系数为0.88。
2.2 专家咨询结果
2.2.1 第一轮咨询结果 对于一级指标,专家意见比较一致,有3位专家指出,“附加分”的内容可以融合在其它项目中,达到简化指标的目的。我们根据专家意见作了相应修改。
对于二级指标,部分专家对7项指标提出了修改意见,对5项指标提出删除意见,提议增加2项指标。我们在反复分析总结专家意见基础上,根据实际情况和理论分析,修改和删除了部分指标,未予增加新指标。
对于内涵和评分标准,专家认为需要提炼并归纳出三级指标。内涵和评分标准可以融合在一起,按A、B、C、D四个等级来划分,分别赋予100、80、60、40或0分,这样可以简化指标。同时需增加具体的评估方法,提高可操作性。
对于各指标的权重,专家们认为设置形式可按归1化处理,便于专家修改和最后结果的统计。
第一轮咨询后融合了指标内涵和评分标准,修改了权重形式,增加了27项三级指标和具体的评估方法。评估可采取查阅材料,听取汇报,召开座谈会、实地考察、发放问卷等多种方式评判。
2.2.2 第二轮咨询结果
对于一级指标,专家赞成率为100%,权重赋值的变异系数在4.26%~23.99%。
对于二级指标,只有1位专家认为“证书管理”没必要,其余指标的赞成率均为100%。其权重赋值的变异系数在0.00%~16.70%。
对于三级指标,100%的专家赞成14项指标的设置,其余指标赞成率在80%~93.33%,专家主要对文字表述提出了修改意见。其权重赋值的变异系数在0~13.36%。
对于指标分级内涵和评估方法,赞成率>80.00%。部分专家对文字表述提出了一些修改意见,我们在理论指导下,根据实际情况和专家的意见对相应内容进行了修改。
3.1 研究的意义 本研究在文献回顾的基础上,在柯式评估模型和CIPP评估模型理论的指导下,借鉴相关学科的研究思路,结合岗位培训的实际情况探索了浙江省社区护士岗位培训工作评估指标体系的研究,开创了国内社区护士岗位培训工作评估指标体系研究的先例,为科学评估社区护士岗位培训工作提供了参考工具,丰富了社区护士岗位培训评估的相关理论。
此外,本研究通过运用指标体系进行评估可以帮助管理者和教师总结工作,发现问题,改进培训管理和教学工作,提高培训效果;评估中获得的相关信息可为政府管理部门调整和制定社区护理发展和人才培养政策,实施宏观调控和指导提供依据;通过评估还可以加强各培训中心的横向交流,使他们相互学习先进。
3.2 咨询结果的可靠性分析
3.2.1 专家的代表性 专家的选择对研究结果的科学性、可靠性具有至关重要的作用。本研究专家的选择主要依靠以下几个方面:(1)学历和知识结构:专家学历包括本科、硕士和博士,知识涉及管理、护理教育、社区护理以及全科医学;(2)年龄结构和工作年限:年龄由德高望重、经验丰富的老专家和思维活跃、接受新鲜事物较快的中青年专家相结合;工作年限均超过10年,而且有50%以上的专家工作年限超过25年;(3)职务和职称结构:专家职务包含了社区护士岗位培训的各级管理者、社区卫生服务中心管理者、社区护士、培训教师等;所有专家都具有中级及以上专业技术职称,他们知识丰富,思维敏捷,在相关领域从事工作多年,能够从不同角度提供较全面的建议。因此,可以认为,专家的意见具有比较好的代表性。
3.2.2 专家的积极性和权威性 一定的问卷回收率是对专家意见和建议汇总统计的基础。按照社会学研究方法,一般认为50%回收率是可以用来分析和报告的最低比例,60%的回收率是好,70%就非常好了[4]。本研究两轮问卷的回收率均为100%,可见预测回收率不仅满足统计学推论的样本数,同时反映了专家们对研究的热忱关怀和支持。咨询专家的平均权威系数为0.88(>0.70)[5],表明专家咨询的权威程度较高。
3.2.3 专家权重意见的协调性 专家意见的协调性通过变异系数和协调系数来反映。一、二、三级指标的变异系数在0.00~0.24,只有一项指标的变异系数大于0.20,一致性具有统计学意义[6]。根据国内几项大型德尔菲法在卫生系统的应用研究表明,协调系数一般在0.5的范围波动[4],根据这一标准,本研究专家意见协调性较好(表2)。虽然最终一、二、三级指标协调系数检验的P值均大于0.05,但考虑到所有指标的变异系数均小于0.20,且协调系数也远大于平均水平,因此结果基本可取。
3.2.4 专家意见的集中程度 经过两轮专家咨询后,对于一级指标,100%的专家赞成其设置与表述;对于二级指标,100%的专家赞成11项指标设置,有1位专家认为一项二级指标没有必要;对于三级指标,100%的专家赞成14项指标设置,其余指标赞成率在80%~93.33%;对于27项三级指标分级内涵的描述,赞成率≥80.00%;对于具体评估方法的说明,赞成率≥86.67%。依据相关统计学原理,专家咨询意见的认可率≥70%为可接受信度[7],本研究两轮专家咨询后一、二、三级指标内容,指标分级内涵及评估方法其专家一致性均高于80%,表明结果具有合理性。但指标体系的科学性和合理性还有待于在具体的评估实践中得到验证和完善。
[1]D.L.Kirkpatrick'.Evaluation in The ASTD Training and Development Handbook[J].2ded.Me Graw-Hiaa(NY),1976:249-312.
[2]邢茂楷.发电企业培训评估模型的探索与建立[D].硕士学位论文,华北电力大学,2005.
[3]Stuffiebeam,D.L.A depth study of the evaluation requirement[J].Theory into practice,1966,5:121-133.
[4]曾光.现代流行病学方法与应用[M].北京:北京医科大学中国协和医科大学联合出版社,1994:250-271.
[5]胡晓琳.护理本科实习生临床能力评价指标体系的构建[D].四川大学硕士学位论文,2007.
[6]关勋强,李瑞兴,刘运成.医学研究生教育评价研究与实践[M].北京:军事医学科学出版社,2000:12.
[7]郭红霞.护理本科生“护理学基础”技能评价指标体系的构建[D].四川大学硕士学位论文,2007.