泰州职业技术学院“ZTE卓越班”学生体验问卷因信效分析报告
——“ZTE卓越班”人才培养跟踪研究报告之一

2019-01-03 08:02陆剑锋胡利胜朱方玉
泰州职业技术学院学报 2018年5期
关键词:题项效度信度

陆剑锋,胡利胜,荣 莉,朱方玉

(1.泰州职业技术学院,江苏 泰州225300;2.北京华晟经世信息技术有限公司,北京101111)

2017 年6 月,泰职院启动卓越人才培养计划(下称卓越计划),为了解进入计划的学生在这场深度的教育教学改革中的体验情况,由泰职院信息技术分院、高等职业教育研究所和中兴项目部联合组成课题组,进行了专项调查。

1 问卷调查基本情况

电子信息“中兴卓越班”(下称“ZTE 卓越班”)是泰职院与中兴通讯股份有限公司基于《专业合作实施与服务协议》而共同实施的卓越人才培养项目。2018 年4 月,课题组设计了用于调查“ZTE 卓越班”学生学习体验的问卷。考虑“ZTE卓越班”不足20人的客观情况,问卷经过两次调整对修正后的17 个题项数据、预期分为4 个维度进行分析。

2 工具说明及参考标准

(1)因子分析标准。因子分析是为了探索定量数据可以浓缩为几个因子(维度),以及每个因子(维度)和题项之间是否有对应关系,其参考标准见表1。

表1 因子分析参考标准

(2)信度分析标准。由于信度是效度的必要条件,因此我们先对题项进行信度分析,然后再进行效度分析,在检验信度和效度时,保持题项一致。信度即可靠性,是同一个测量工具的不同版本或不同情况下收集的数据其结果的相似程度[1]。信度分析使用的是Cronbach α系数,其参考标准见表2。α系数对每个维度的测量都需要至少三个问题,“ZTE卓越班”学生体验问卷预设维度对应题项均满足这一要求(见表4)。

(3)效度分析标准。效度即合理性,是指基于数据结果所得到的推论在多大程度上是恰当的、有意义和有用的[1]。效度分析使用因子分析方法,通过KMO值、共同度、方差解释率值、因子载荷系数值等指标进行综合分析,以验证数据的效度水平。KMO 值用于判断是否有效度,共同度值用于排除不合理研究项,方差解释率值用于说明信息提取水平,因子载荷系数用于衡量因子(维度)和题项对应关系。其参考标准见表3。

表2 信度分析参考标准

表3 效度分析参考标准

(4)题项编号。预设4个维度,维度一:题1~题3;维度二:题4~题8;维度三:题9~题13;维度四:题14~题17。

3 因子分析

使用因子分析目的在于对信息进行降维浓缩,便于分析研究。首先分析题项数据是否适合进行因子分析,其次分析因子个数,然后分析题项与因子是否有对应关系,最后对因子进行命名。根据“ZTE卓越班”人数少的客观事实,我们对预设的4个维度分别进行因子分析。

(1)因子分析可行性检验。借助KMO 和Bartlett工具检验。将四个维度的题项分别进行KMO和Bartlett 的检验,获得四个维度相关值,见表4。

表4 四个维度的KMO和Bartlett的检验

从表4 可以看出:四个维度的KMO 值比照表1 标准均大于0.7,四个维度总体上比较适合因子分析,满足了前提要求。P 值均为0.000,数据通过Bartlett 球形度检验(P<0.05),说明适合进行因子分析。

(2)因子提取分析。借助方差解释率工具分析提取因子个数。四个维度的方差解释率见表5~8。从表5~8 可知,每个维度各提取出1 个因子,特征根值均大于1,与预设维度个数一致,据此判断,预设维度与因子提取情况吻合。

表5 维度一方差解释率

表6 维度二方差解释率

表7 维度三方差解释率

表8 维度四方差解释率

表9 四维度因子载荷系数表格

表10 四维度题项信度检验

(3)分析对应关系。每组题项与提取的因子是否有对应关系,通过分析因子载荷系数确定,见表9。

表10展示了四个因子(预设维度)的载荷系数,所有题项对应的共同度值均高于0.4,意味着研究项和因子之间有较强的关联性,因子可以有效地提取出信息。因子载荷系数绝对值均大于0.4,说明相应题项与因子有对应关系。据此判断,预设维度与所属题项之间有对应关系。

(4)命名因子(维度)。根据预设维度名称,结合前面的因子分析结果,进一步确认因子名称,从维度一到维度四分别命名为组织认同、学习动力、学习策略和获得感。

因子分析结论:预设维度与因子提取个数吻合,预设题项与因子(维度)有对应关系。研究预期通过因子验证,研究数据具有进一步分析的意义。

4 信度分析

用Cronbachα系数工具检验信度,获得四个维度的相关参数值(见表10)。对照表2 标准分析,四个维度的α 系数值均高于表2 标准中的最高值0.8,说明题项数据信度质量高;17个题项的CITC值均在0.6 以上,全部大于最低标准0.3,意味着不必对题项做删除处理;关于“项已删除的α 系数”,除了题5 和题13 的CITC 值略高于所在维度的α 系数值,不属于明显高于情况,其余15 个题项的CITC 值均低于α系数,综合判断,四个维度的信度系数值没有因为删除某项而有明显提升,所以不需要对全部题项做删除处理,应予全部保留。

信度分析结论:四个维度的信度水平均高于标准参照的最高值,说明信度很好,可以进一步分析效度。

5 效度分析

采用因子分析方法进行效度检验,获得四个维度相关参数值。研究表明,所有题项的共同度值均在标准值0.4 以上,题项信息可以被有效提取;从表11 可知,四个维度的KMO 值均在0.7 以上,大于0.6,数据效度质量较好;四个维度的方差解释率值分别为78.694%、64.469%、73.249%和85.211%,旋转后累积方差解释值均大于50%,题项的信息量可以被有效提取。

表11 方差解释率表

效度分析结论:组织情感、学习动力、学习策略和获得感四个维度题项数据效度质量较高,满足效度分析要求。

6 综合结论

经过两次检验,针对“ZTE 卓越班”学生学习体验调查问卷进行的因子、信度和效度分析,综合四个维度的结果,见表12,得到的数据具有较高的信度和效度水平,可以对这些题项数据进行深入分析。

表12 信度效度分析关键值

猜你喜欢
题项效度信度
效度验证模式系统整合与效度研究发展策略
《广东地区儿童中医体质辨识量表》的信度和效度研究
作为数学教育研究质量分析的信度
欺凌参与者角色行为量表中国初中生版的修订
基于“互联网+”背景下本科毕业生就业状况的比较研究*
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
平衡损失函数下具有时间效应和通胀因子的信度估计
中文版脑性瘫痪儿童生活质量问卷的信度
血管性认知功能障碍自我辨识筛查方案临床验证研究
复杂图形测验对区分阿尔茨海默病与非痴呆的诊断效度