浅析4套生理学教学问卷的信度与效度

2020-12-24 07:36张金虎何亚萍张雪芹朱敏佳
四川生理科学杂志 2020年4期
关键词:效度信度方差

张金虎 何亚萍 张雪芹 朱敏佳

(四川大学华西基础医学与法医学院生理学教研室,四川 成都 610041)

问卷调查是教师或教学管理部门收集学生对教学工作意见和建议的常用方式,以此作为制定教学决策的参考,通常包含若干板块并设有一系列问题。教学问卷多为自制的探索式问卷,也允许被调查者自由选择各备选项,调查结果存在一定偏差,因此需评估其质量控制情况。

问卷收回后先进行信度分析以便确认数据是否可靠,较高的信度也是问卷具备一定效度的前提。当信度和效度符合要求时,评价结果才有意义[1]。与试卷有所不同,问卷侧重于分析结构效度,以突出主题、减少冗余信息、优化问卷设计。

生理学课程一贯重视利用问卷来收集学生的反馈信息。为客观评估近年来生理学教学问卷质量,我们选取教研室不同时期的4套问卷(2019年为网上问卷,其余为纸质问卷),以SPSS17.0分析其信度与结构效度,为今后的问卷制作与分析提供参考。

1 问卷信度分析

对问卷中态度/意见类选项进行赋值,其中的反义项均进行正向转换[2]。数据录入SPSS,选择“分析”-“度量”-“可靠性”,并勾选“相关性”和“如果项已删除则进行度量”以评价项目间关联程度及各项目信度贡献大小,其它为默认项。结果显示问卷Cronbach's α值为0.688~0.887,符合探索式问卷信度不低于0.6的要求。1999年问卷项目间相关性太小有所影响信度,其余3套问卷信度较好,见表1。

表1 问卷基本情况及信度分析结果

理论上在减少项目后量表信度应有所降低,若删除某项后问卷信度反而变大,应考虑修订相应项目。1999年、2006年和2012年各有一项删除后出现信度突然变大的情况。

其中,1999年Q7问及讲授知识的深度,92%的学生给予好评,且与其余项均无统计学相关;Q3问及多媒体教学的复习时长,相关性也差。经尝试,同时删除Q7、Q3和Q4(多媒体对眼睛影响)后信度最大(0.720)。

2006年Q11是关于讨论课计分占学业考核比例的问题,不少对讨论课评价较低的同学却希望大幅提高其占比。部分同学觉察到讨论课评分有不合理之处,这与后来中南大学的调查相符[3]。

2012年Q12问及小班化教学后学生的投入,大部分人在肯定教学改革优点的同时也表示加大了学习负担,这实为客观事实的反映[4]。

问卷信度均符合要求,可作后续的效度分析。

2 问卷结构效度分析

保留全部项目作因子分析,再视情况来取舍。选择“分析”-“降维”-“因子分析”,在“描述”对话框中勾选“KMO和Bartlett球形度检验”、“旋转”选“最大方差法”、“选项”勾选“按大小排序”,其它为默认值。KMO值皆大于0.7、Bartlett检验X2值均有统计学意义,适合作因子分析[4]。主成分(贡献度>1%的因子)累积方差60.2%~65.2%,符合探索式问卷一般不低于60%的要求,正交旋转后项目载荷均有提高,见表2。

表2 问卷结构效度分析结果

通常问卷项目应不少于7项,且人数与项目数之比不小于5。因此,这4套问卷均可酌情压缩。1999年问卷项目共同度和载荷均不高。对比信度结果,Q7在因子分析中未见异常,但Q4不仅共同度极低(0.259),在各主成分载荷也均低于0.45,即眼睛是否受影响与学生对多媒体教学的评价无关。删除Q4后累积解释方差达69.2%(对应信度0.679)。2006年问卷不仅信度高,其项目共同度、载荷和解释方差都最大。旋转后Q11与Q6(讨论课组织形式)构成主成分2,即学生对讨论课考核占比的看法与讨论课组织形式的评价组合在一起;因Q11载荷(0.926)远超Q6(0.480),若按信度分析结果删除Q11后主成分2消失,累积方差也降至60.8%。2012年Q12与Q11(小班化教学是否提升英语能力,该专业采用双语教学、英语试卷考试)旋转后构成主成分3(载荷分别为0.802和0.799),即对学生来说提升英语能力与增大精力投入属同一范畴的问题,除此外各主成分构成与问卷设计的板块基本一致。若按人数/项目比仅保留共同度最高的8项,主成分数不变而累积方差升为75.5%(对应信度0.741)。2019年问卷,原问卷板块一和二的项目一并构成主成分1,板块五对应主成分2,板块三、四与主成分3、4正好对应。主成分与问卷板块吻合,项目设计合理。若删除共同度最低的Q10和Q11(板块四/主成分4,分别为“有自学内容致难度加大”、“讲解少影响学习成绩”),累积方差升至64.5%;但两者为必要的负面评价指标,可稍作修订而不宜删除。

3 讨论

教学问卷需要教师精心设计问题,各项目在一定程度上可相互印证;充分动员学生积极、认真填写个人感受,力求真实反映情况。然而学生对待问卷调查的认真程度往往不如考试试卷,受心理影响也较大,难以避免噪声干扰。因此问卷回收后应作质控分析,而非单纯分析[2,4-6]。

不同于试卷用难度与区分度等指标作项目分析,信度和效度既是问卷的质控指标,也用于其项目评价,作为删除或修订项目的依据[2,7]。在信、效度分析过程中,尤其是经因子旋转和重组,还能挖掘出单纯选项分析难以提供的隐含信息。然而,问卷项目评价并不能简单照搬信、效度分析结果,应结合具体情况并按效度优先的原则处理。如前述2006年Q11不仅要保留,还应增加相关的问题(原问卷该板块仅此一个项目),不但信息收集更全面,也可平滑信度、改善问卷结构。

另外,这4套问卷备选项多为二元(是/否)或三元(更好/无变化/更差)设置,未采用Likert五点或七点法[4,7,8]。三套纸质问卷均有涂改、修正现象,部分还作了手写补充,反映出学生填写问卷时较为认真,同时也说明还可提升信息收集的精准度。2019年问卷项目设计较好而累积方差不高,是否因其为网上电子问卷还有待研究。

综合来看,生理学问卷质量较好,反馈信息可靠、价值较大,进一步做好其质量控制,将更有助于推动教学质量的持续提升。

猜你喜欢
效度信度方差
平衡损失函数下具有两水平共同效应的信度模型
概率与统计(2)——离散型随机变量的期望与方差
净保费在平衡损失函数下的回归信度估计∗
问卷是否可信
——基于体育核心期刊论文(2010—2018年)的系统分析
Beep test评估11~15岁少年游泳运动员有氧能力的效度研究
谈高效课堂下效度的提升策略
方差生活秀
巧用模型法提高科学课堂教学的效度
揭秘平均数和方差的变化规律
方差越小越好?