体格检查实践教学质量评价问卷的研制及信效度检验

2018-06-14 10:55张亚民王斌全刘继斌郭晓晶范益民王淑丽
中国高等医学教育 2018年3期
关键词:内容效度效度信度

张亚民,王斌全,刘继斌,郭晓晶,范益民,王淑丽

(1.山西医科大学临床技能模拟医院;2.山西医科大学第一医院,山西 太原 030001)

基于卓越医师培养计划的临床技能实践教学是一门实践性很强的科学,随着现代医学模式的转变和社会的飞速发展,全民自我保护意识逐步提高,加之医疗体制改革和《医疗事故处理条例》的实施,临床技能培养面临愈加困难的局面。如何加强医学生基本技能培训,是国内外医学教育界普遍关注的问题。体格检查作为临床实践技能之一,是医学生应掌握的诊断基本功。体格检查质量评价问卷是基于对临床技能教学培训情况进行的质量评价,是医学生感受值与期望值的对比结果[1],旨在衡量临床技能教学效果和质量,对促进临床技能教学改进具有重要意义。客观、公正、透明地评价医学生对临床技能教学效果,对促进临床技能实践教学有重要意义。质量测量工具的可靠性是医学生效果评价的基础,也是调查问卷效果的有力保证。本文旨在实施卓越医师培养计划基础上,从医学生体验和感受的角度出发,开发医学生对临床技能质量评价问卷,并对其进行信度与效度评价,检验临床技能教学效果工具的科学性,为问卷的广泛应用提供依据。

一、问卷的编制与筛选

1.原始问卷编制。 通过检索国内外文献[2]及其他机构质量评价调查问卷[3],在贯彻落实教育规划纲要和医药卫生体制改革意见,强化医学人才是卫生事业发展第一资源的理念,遵循医学教育规律和医学人才成长规律,从我国国情出发,借鉴国际有益经验,立足长远制度建设,着眼当前突出问题,以提高人才培养水平为核心,改革人才培养模式,创新体制机制,培养适应我国医药卫生事业发展的高水平医学人才, 形成了医学生治疗评价问卷初稿。问卷初稿形成后,通过对学校行政部门、医院医师、学校教师等方面的6名专家进行3轮咨询,将初稿进行修订并完善,形成了31个条目的原始问卷。每个条目采用Likert 5级评分,正向陈述题目5级的相应分值分别为5分、4分、3 分、2 分和1分,如果是反向陈述题目则反向记分。得分越高,表示对该条目内容的满意度越高,原始问卷满分为155分。将得分进行标准化处理后,满分值为100分。标准化的公式:标准化后得分=100×(实际得分/n×5),n为问卷条目数[1]。

2.问卷条目的筛选及信效度检验。 在2016年3月-6月期间,经过体格检查实践教学培训后,采用抽样法选取山西医科大学临床医学七年制本硕生125名医学生,由3名经过培训的教师使用原始问卷进行调查。最终得到有效问卷120份,有效回收率为96.09%。学生的一般情况:男47例(39.17%)、女73例(60.83%);年龄为20-22岁。

3.统计学方法。 采用SPSS 19.0统计软件对调查结果进行探索性因子分析。采用Cronbach’S α系数、内容效度、因子分析对问卷进行信效度检测。

二、结 果

1.问卷条目的筛选。采用探索性因子分析及专家组讨论的方法进行问卷条目的筛选。

2.原始问卷的因子分析采用主成分分析法,对原始问卷进行探索性因子分析。KMO=0.780,Bartlett’S球形检验χ2=2065.584,差异有显著意义(P<0.001),适合进行因子分析。因子的提取采用最大方差正交旋转,截取因子的载荷值大于0.6。原始问卷从提取8个因子,累计贡献率为66.470 %(见附表)。

附表 原始问卷各条目的因子载荷值

注:原始问卷条目25(视听教学手段丰富,全面)、30(实习环境好,课堂气氛浓)、6(四学时课程时长满意度)、31(总体课程安排满意度)、17(甲状腺触诊难易度)、15(病史采集难易度)、9(头颈部检查难易度)、13腹部检查难易度载荷值均<0.6,以上条目出现多载荷。

理想的因子分析为每个条目在其中一个因子上有较高的载荷量,而对其他因子的载荷量较低。调查过程中,大多学生认为条目25条视听教学手段太少且不全面不能评价。条目6六次课程设置因每次教学内容不同时长感觉不同,差异较大。30条教学环境、31条总体课程设置满意度与其他条目内容重叠,出现多载荷。结合因子分析的结果,经专家组讨论后,对原始问卷提出以下建议:条目第25、30、6、31出现多载荷,专家组讨论后,决定予以删除。15条目与主题不相符予以删除。条目9、13、17虽然出现多载荷,且在各公因子上的载荷值小于0.6,但经专家组商议,认为条目9、13和17可以了解医学生对体检难易的整体感受,决定暂时保留。对原始问卷相关条目进行删除或合并后,得到26个条目的新问卷。

3.对26个条目新问卷的因子分析。 采用主成分分析法,对26个条目的新问卷进行探索性因子分析。经检验KMO=0.766,Bartlett’s球形检验χ2=1596.400,差异有显著意义(P<0.001),适合与进行因子分析。因子分析提取了7个因子,累计贡献率为66.039%。

对学生经过访谈后,认为条目1六次课时设置满意度与每次教学内容和效果相关联,提法有些笼统。条目9头颈部检查难易度提法笼统,且与其他条目内容部分重叠。经专家组讨论后,决定予以删除。

4.对24个条目新问卷的因子分析。 采用主成分分析法,对24个条目的新问卷进行探索性因子分析。经检验KMO=0.779,Bartlett’s球形检验χ2=1459.884,差异有显著意义(P<0.001),适合进行因子分析。因子分析提取了7个因子,其累计贡献率为68.613%。

5.内容效度分析。 邀请临床医师及学校管理方面的6名专家对问卷进行内容效度评定。本研究使用内容效度指数(Content Validity Index,CVI)反映问卷的内容效度。将每一条目都由专家来评定:包括非常相关、相关、不相关、非常不相关四个答案,最终将非常相关、相关的条目均计1分,其余计0分,最终将所有条目的分值相加后处以条目数即得到该问卷该专家评定的指数,最终将6位专家的指数相加后除专家人数6即可得出该问卷的CVI值。结果显示,问卷的CVI系数为0.812。

6.信度分析。 问卷总体的Cronbach’s α系数为0.847, “教学方法”、“教学环境”、“教学内容难易度”、“教学设置满意度”及 “心肺触诊难易度”、“小器官触诊难易度”、“心肺检查难易度”7个因子的Cronbach’s α分别为0.860、0.780,0.736,0.828,0.848,0.634,0.620。

三、讨 论

1.问卷的形成。 编制原始问卷后,使用原始问卷进行调查,对调查结果进行探索性因子分析。结合因子分析的结果和由临床医师和行政管理学方面的6名专家组成的专家组的建议,对原始问卷进行筛选调整,最终形成24个条目的问卷,即体格检查质量评价问卷。本研究研制的问卷,涵盖了体格检查实践教学过程质量评价中各个环节,从教学方法、教学环境、教学内容难易度、教学效果满意度,可以反映医学生对实践教学各方面工作的满意情况,能够体现出培养高素质复合型医学人才应该规范临床实践技能教学行为,提高教学质量和效率的要求,并且符合现在关于现代教育评价的趋势。

2.问卷的信度和效度。 (1)效度分析: 效度(Validity)评价量表的准确性、有效性和正确性,意在反映某测量工具实际测定结果与预想结果的符合程度[4]。效度分析主要包括表面效度、内容效度和结构效度。表面效度属专家评价的主观指标[5]。本问卷的设计参考了专家组意见,具有良好的表面效度。量表内容效度的评定中应用最广泛的指标是内容效度指数(Content Vityindex CVI)[6]。本问卷CVI系数为0.812,提示问卷内容效度较好。本研究采取因子分析对问卷进行结构效度的评价,提取了7个因子,解释68.613%的变异,每个条目在相应因子上有足够强度的载荷(因子载荷>0.6),表明该问卷具有较好的结构效度;(2)信度分析: 信度(Reliability)可以反映问卷的精密度、稳定性和一致性,常用的信度指标有重测信度、分半信度和Cronbach’s α系数[6]。本研究采用Cronbach’s α系数测定问卷的信度。一般认为Cronbach’s α系数>0.7为好。本问卷总的Cronbach’s α系数为0.847,除因子6、7外其他因子的Cronbach’s α均大于0.8或接近0.7,表明问卷的内部信度较理想。因子6、7的Cronbach’s α低可能是此因子“小器官触诊难易度”“心肺检查难易度”。心肺检查内容多,难度高,是体格检查中的重要内容,学生掌握情况各不相同。小器官触诊难易度有一定难度和技巧,还需要医学生的重视。但是教学中可能会受各种教学条件的影响,因此可能会出现以上的数据结果; (3)问卷的可行性分析: 体格检查实践教学质量评价问卷设计简洁明了,语言通俗易懂,能够有效地反映医学生对临床技能教学的满意情况。使用最终问卷进行调查,完成问卷所需时间7.0-11.0 min。问卷调查的结果显示,问卷的可行性较高,因此适合用于实践教学质量评价问卷的测量。

[参考文献]

[1]王亚亚,禹 震,金晓燕.住院患者满意度问卷的研制及信效度检验[J].护士进修杂志,2013,28(6):533-536.

[2]Jenkinson C,Coulter A,Bruster S.The pickr patient experience questionnaire:development surveys in five countries[J].Int J Qual Health care,2002,14(5):353-358.

[3]孙振球.医学统计学[M].北京:人民卫生出版社,2011:1.

[4]李 灿,辛 玲.调查问卷的信度与效度的评价方法研究[J].中国卫生统计,2008,25(5):541-544.

[6]吴明隆.问卷统计分析实务-SPSS操作与应用[M].重庆:重庆大学出版社,2010:6.

猜你喜欢
内容效度效度信度
《广东地区儿童中医体质辨识量表》的信度和效度研究
作为数学教育研究质量分析的信度
COSMIN方法介绍:评价患者报告结局测量工具内容效度的评分系统
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
平衡损失函数下具有时间效应和通胀因子的信度估计
效度验证:教育考试亟需补齐的短板
英语专八阅读理解部分内容效度的历时对比研究(2009—2017年)
大学英语新四级阅读理解内容效度研究
中文版脑性瘫痪儿童生活质量问卷的信度
复杂图形测验对区分阿尔茨海默病与非痴呆的诊断效度