护理本科“五维一体”发展性评价体系的信效度分析及应用

聂玉翠,卢玉林,史书毓,王肖芹,饶 梦

国内护理教育事业起步稍晚,虽然取得了一定成绩,但是在教学评价方面还有待进一步规范和完善。在“新医科”和《深化新时代教育评价改革总体方案》的时代背景下,尚缺乏具有护理专业特色的发展性教育评价体系指标。在前期研究中,小组成员通过半结构化访谈法、德尔菲法和层次分析法最终构建出适切的护理本科“五维一体”发展性评价体系,但尚未对该体系进行信效度检验以及初步应用。因此,本文主要介绍该体系的信效度检验和初步应用情况分析,进一步完善体系并尽早应用于护理本科生的综合素质评价中。

1 对象与方法

1.1 研究对象

1.1.1 纳入与排除标准

1)纳入标准:目前就读于护理本科专业的学生,入学时间≥3个月;知情同意,并愿意配合问卷调查者。2)排除标准:未就读护理专业或已经毕业的学生;拒绝填写问卷者。

1.1.2 样本量

根据影响因素分析的样本量计算方法[1],样本量应该是最大条目数的5～10倍[2-3],由于本研究的三级指标共79个条目,因此所需样本量至少为395人,考虑10%的失访率,则所需的实际样本量至少为435人。结合实际,本研究于2022年12月—2023年1月抽取昆明市某医科大学一年级、二年级、三年级和四年级护理本科生共481人作为调查对象。

1.2 调查方法

1.2.1 调查工具

以前期构建的评价指标体系为依据,研究小组编制转化成调查问卷作为研究工具,通过合理设计、小组讨论以及专家建议,最终形成护理本科“五维一体”发展性评价体系调查问卷。问卷共包括三部分内容:第一部分为问卷说明和调查对象的一般资料,后者包括年龄、年级、性别、政治面貌和职务5项内容。第二部分为护理本科“五维一体”发展性评价调查表,共计20项(79个条目)相关问题。调查对象根据自身实际情况予以评分。本研究采用Likert 5级评分法进行评定,即完全掌握=5分,掌握=4分,部分掌握=3分,未掌握=2分,完全未掌握=1分。第三部分为各维度下相关的实际定量指标,包括思政、学业和体测的平均成绩(满分100分)以及正负指标实际情况。

1.2.2 调查过程

本次调查研究通过问卷星平台发放问卷,在开始调查前与各年级负责人取得联系,征得同意后发放调查问卷,并详细说明问卷填写的相关注意事项。

1.3 质量控制

1)后台预设置:问卷以匿名的方式发放;设定每个账号仅能填写1次;同时限定所有问题填写完毕后方能提交问卷;全程保证问卷填写的质量[4]。2)数据处理:由研究者本人对收回的答卷进行严格检查,剔除无效问卷。问卷核对无误后,由2名研究生导出数据进行统计分析,确保数据资料准确无误。

1.4 统计学方法

采用EpiData 3.1软件建立数据库,采用SPSS 23.0软件对数据进行统计学描述和数据分析。1)一般资料描述:应用人数/频数、百分比(%)对调查对象的相关资料进行统计。2)信度(reliability):通常应用克朗巴赫系数(Cronbach′s α系数)检验指标体系的内容一致性信度。3)效度(validity):通常检验内容效度和结构效度2个方面。

2 结果

2.1 调查对象一般资料

本次调查共回收问卷481份,经检查核对后剔除不合格问卷8份,最终有效问卷为473份,有效回收率为98.3%。参与本研究的护理本科生年龄以18～22岁的大学一年级～大学四年级学生为主,其中女生占84.78%,66.6%的护理本科生政治面貌为共青团员,担任班委的占21.99%。

2.2 护理本科“五维一体”发展性评价指标体系的信效度检验

2.2.1 信度检验

本研究主要对指标体系的内部一致性进行检验,内部一致性主要用于反映指标体系各级指标间的一致性程度,采用Cronbach′s α系数表示[5]。结果显示,护理本科“五维一体”发展性评价体系的Cronbach′s α系数为0.987。

2.2.2 效度检验

2.2.2.1 内容效度

内容效度主要根据19名专家第2轮函询对各级条目的重要性评分结果进行计算[6],总体系的内容效度(S-CVI)为0.93,各指标条目水平的内容效度(I-CVI)为0.75～1.00。

2.2.2.2 结构效度

结构效度分析所采用的方法是探索性因子分析法[7]。经统计分析,该评价体系的79个条目的KMO值为0.968,Bartlett球形检验显著性为0.000,说明符合做因子分析的条件。采用主成分分析法,取特征根>1的因子为公因子[8],共提取出7个公因子,累计贡献率为81.204%,经最大方差正交旋转后的因子载荷矩阵中,各条目的载荷值均>0.4。探索性因子分析结果见表1,总方差解释详见表2,碎石图见图1。根据不合理题项删除标准:1)某分析项的共同度(公因子方差值)小于0.4;2)某分析项对应的“因子载荷系数”的绝对值均小于0.4;3)某分析项与因子对应关系出现严重偏差——“张冠李戴”现象;则需要对该分析项进行删除处理。本研究中未出现上述删除标准,因此全部予以保留,另外部分指标项中出现“纠缠不清现象”(两个因子载荷系数均高于0.4,可以归属到A维度,也可归属到B维度,此种情况最终可以被接受),再结合专家意见及条目的专业解释,将其归属于载荷值高的维度。第一次分析结果:因子1为维度1“德”,因子3为维度2“智”,因子2为维度“体”“美”“劳”;再将“体”“美”“劳”维度做二次分析,结果为3个因子分别对应3个维度。

图1 碎石图

表1 护理本科“五维一体”发展性评价体系的探索性因子分析结果(n=473)

表2 总方差解释

2.3 护理本科“五维一体”发展性评价指标体系的初步应用结果

最终回收473份护理本科“五维一体”发展性评价指标体系有效问卷,结果如下。大学一年级、大学二年级、大学三年级、大学四年级的平均得分分别为337分、343分、356分、379分(79项指标满分为395分)。各维度下量性指标具体补充结果:94.5%的护理本科生能通过思想政治理论课程考核;97.89%的护理本科生在大学期间未出现过违规违纪等情况;34.67%的护理本科生顺利通过大学英语四级考试;96.19%的护理本科生未能通过大学英语六级考试;13.32%的护理本科生参加各级各类体育比赛获得表彰;25.58%的护理本科生参加各类文艺活动获得表彰;97.46%的护理本科生能够熟练掌握洗衣、做饭、做家务等生活技能;50.53%的护理本科生参加劳动类竞赛获得表彰;此外,92.40%的护理本科生对该评价体系持满意态度;只有4.70%的护理本科生对该体系提出个人意见和建议。

3 讨论

3.1 指标体系的信度分析

信度主要用于评价研究工具的一致性或稳定性[9]。目前,信度检验主要包括折半信度、重测信度和内部一致性信度[10]。结合本课题的特点及相关设计,应用内部一致性信度的Cronbach′s α系数对该体系进行信度检验[11]。一般来说,当检验水准α=0.05时,其取值应在0～1。通常认为,信度系数在0.9以上,表示量表的信度很好;>0.8～0.9为可以接受;0.7～0.8表示有些项目需要修订;在0.7以下,说明有些项目需要抛弃[12];换言之,Cronbach′s α系数越接近1,说明各级指标间的相关性越好,也充分证明该指标体系的信度越高[13]。本研究结果显示,护理本科“五维一体”发展性评价体系整体的Cronbach′s α系数为0.987。由此可见,该评价指标体系具有较好的内部一致性和稳定性,而且各级指标间的相关性也较好。

3.2 指标体系的效度分析

效度是衡量测评工具质量的关键指标,能够真实反映测评工具的有效性和准确性。效度检验分为内容效度和结构效度2个方面[14]。通常采用总体指标体系内容效度指数和条目内容效度指数评价指标体系的内容效度;而采用一级指标之间以及与总体之间的相关系数评价指标体系的结构效度。如果效度越高,则表示测量结果越能显示其所要测量的特征,反之,则效度越低。结合本研究的特点,采用内容效度和结构效度对护理本科“五维一体”发展性评价体系进行了效度检验。

3.2.1 内容效度分析

内容效度是指测量工具中的指标条目能恰当地反映所能测量概念的程度。有学者认为,当专家人数>6人时,要求I-CVI必须>0.78;当S-CVI>0.80时,可认为量表内容效度较好[15-16]。本研究采用前期第2轮专家函询的19位专家对指标体系的评价结果分析其内容效度[17]。研究结果显示,护理本科“五维一体”发展性评价体系的79个条目的I-CVI为0.79～1.00,均高于0.78;S-CVI为0.93,高于0.80,说明该评价指标体系问卷具有良好的内容效度。

3.2.2 结构效度分析

结构效度是指测量工具能够实际测量到的某种结构与测值之间的对应程度[18]。本研究的79个条目的KMO值为0.968,Bartlett球形检验显著性为0.000,说明适合做因子分析。采用主成分分析法,取特征根>1的因子为公因子,共提取出7个公因子,累计贡献率为81.204%。有学者指出,公因子的累积方差贡献率应至少达到40%[19]。另外2次探索性因子分析结果与原问卷的一级指标5个维度一致。综上所述,该评价体系问卷同样具有良好的结构效度[20]。

3.3 指标体系的应用结果分析

通过473份问卷的统计分析结果可以得出:1)高年级(大学三年级+大学四年级)的平均分普遍高于低年级(大学一年级+大学二年级),一方面可能是由于低年级护理本科生所涉及的正向指标完成度相对较少;另一方面可能是高年级护理本科生的思想认识更成熟一些,会更有目的性和针对性地发展对自身有利的优势;2)根据得分差距的不同,说明该评价体系的指标内容有层次梯度的划分,得分较高者,表明其综合素质水平较高;3)大多数护理本科生的“德”“智”2个维度保持在同一较高水平,说明大多数护理本科生明确其具体的指标要求;而“体”“美”“劳”3个维度有所欠缺,得分参差不齐,说明对其有所忽略,这需要引起重视,督促护理本科生及时调整不足的方面,补己之短;4)通过定性+定量的评价方式,大部分护理本科生表示该体系有明确的指向作用,能够对照指标要求不断发展,终成德、智、体、美、劳全面发展的高素质护理人才[21]。

4 小结

综上所述,本研究所构建的指标体系问卷具有良好的信效度,系统全面地涵盖了“五维一体”的发展性评价应该具备的各项明确的指标要求,同时也具有较好的初步应用效果,可为客观评价护理本科生综合素质的梯度水平提供一定借鉴。但也有不足之处,由于该体系的初步应用范围较为局限,故后期可考虑扩大应用区域,以此不断延展其适用性。