数学核心素养测评之调查问卷设计

2023-03-26 07:03胡典顺汪桐含
湖北教育·教育教学 2023年2期
关键词:效度信度题目

胡典顺 汪桐含

问卷调查法是教育研究领域常用的一种实证研究方法。在数学核心素养测评中,目前主要采用的是问卷调查与试题测评相结合的方法。其中,问卷调查法主要是对学生的数学学习情况、数学学习价值观、数学学习品格等方面进行测评。本文基于“WJ市义务教育核心素养监测”项目中数学核心素养测评的问卷调查,阐述调查问卷的设计及其信度、效度的检验。

一、调查问卷的设计

调查问卷一般由引导语、基本信息和主体三部分组成。

1.引导语

引导语主要阐述本次调查的目的、意义、要求,说明问卷调查结果的匿名性及保密性,并对被试的配合与支持表示感谢。

“WJ市义务教育核心素养监测”项目调查问卷的引导语如下:

同学,你好!本问卷旨在调查WJ市中小学生数学学习的基本情况,请仔细阅读并作答。大部分问题需要你在相应的表格内打“√”来表示你所选的答案。如果遇到不理解、不知道如何回答的问题,你可以寻求老师的帮助。答案没有对错之分,请按自己的实际情况认真填写。

本次调查不记名,我们会对你的回答保密,请放心填写。你的回答对我们的工作非常重要,谢谢合作!

2.基本信息

在调查问卷中设计“基本信息”板块,旨在调查被试的基本情况,涉及被试个人、家庭或所在学校等客观性问题,如被试的性别、学校位置及父母的学历和职业等。这些信息可以在一定程度上帮助调查者更好地了解被试的具体情况,将被试的背景信息与后续调查的主体内容联系起来,以便于对不同背景下的被试在主体部分的表现进行差异性分析。

例如,在数学核心素养测评中,根据调查问卷主体中学生的数学价值观情况,可以对父母职业不同的情况下学生的数学价值观进行差异性分析,研究父母职业对学生数学价值观的影响。

3.主体

主体部分是整个调查问卷的核心,由关于被试的思想、情感、态度、价值观等主观性问题构成,如是否对学好数学充满信心、是否希望学好数学等。为保证调查问卷的质量,主体部分应该保证问题设计符合调查目的,问题范围明确、数量适中、排列层次清楚、文字表达简明且通俗易懂。

在数学核心素养测评中,最常用的量表是李克特量表。该量表是美国社会心理学家李克特于1932年在原有的总加量表的基础上改进而成的,由一系列与主题有关的问题构成,每道题的答案分若干态度等级,如从“完全符合”(或“非常同意”等)到“完全不符合”(或“非常不同意”等),根据被试的回答情况,了解被试对调查问题的态度与看法。李克特量表的测量尺度有多种,常用的有5级量表和7级量表,除此之外还有3级量表、4级量表、9级量表等。以5级量表和7级量表为例,假设不同的等级之间距离相等,5级量表的态度等级可分为“完全符合、符合、不确定、不符合、完全不符合”,7级量表的态度等级可分为“完全符合、符合、比较符合、不确定、比较不符合、不符合、完全不符合”。7级量表相对于5级量表,有利于准确地表现被试态度的差异,但被试对相邻等级之间差异的理解会相对模糊。

问卷调查中,调查者往往会设置一些测谎题。测谎题主要包括以下三种形式:①设置常识性题目或有规定答案的题目,检验被试是否认真阅读问卷;②将同样的或意思相近的题目设置在问卷的不同位置,检验被试作答的一致性;③设置社会称许性题目,如“是否因为父母要求或升学需要,我才想学数学”等,檢验被试的回答是否真实。设置测谎题的目的是有效测评,因此不应在问卷中设置过多测谎题。

“WJ市义务教育核心素养监测”项目调查问卷的设计,参考了南京师范大学喻平教授的《中学生数学品格与价值观的问卷设计》等,采用7级量表呈现。受篇幅所限,本文仅列举数学教师情况、数学课堂教学情况、学生的数学价值观以及学生的数学学习习惯4个维度的部分问卷题目(标注“*”的为反向题目)。其中,数学教师情况对应的部分问卷题目如下表所示。

其他3个维度的题目呈现方式与上表一致,都是让学生在符合自己实际情况的选项下打“√”,具体题目如下。数学课堂教学情况对应的部分题目是:(1)我的数学老师会布置需要花很长时间思考的问题;(2)我的数学老师会在不同的情境中呈现问题;(3)我的数学老师会让我自己探索解决问题的方法;(4)我的数学老师会让我解释自己的解题思路。学生的数学价值观对应的部分题目是:(1)数学知识与我们的生活联系紧密,数学是很有用的学科;(2)我认为现代技术的发展与数学有很大关系;(3)有的数学公式和图形非常美;(4)我认为学习数学能够培养人的逻辑思维和钻研精神;(5)我认为学习数学可以培养人追求真理的精神;(6)数学让我勤于思考;(7)数学可以训练我的抽象思维;(8)对别人提出的想法,我要自己想明白后才会表示同意或反对;(9)我认为数学实验是一种探究问题的好方法。学生的数学学习习惯对应的部分题目是:(1)与同学讨论数学问题时,我敢于反驳他们的观点;(2)每当遇到新的数学知识或数学问题,我都特别想弄明白;*(3)假期快要结束时,我不想回到学校上数学课;(4)我觉得数学不枯燥,特别是做数学实验能够激发学习兴趣;(5)我对自己能学好数学充满信心;(6)在没有老师和家长监督时,我能主动完成数学作业;(7)我会主动预习第二天要学习的数学内容;(8)除了完成老师布置的作业,我还会找一些数学题目来做;(9)遇到有挑战性的数学问题,我会用很长时间去想,直到弄懂为止。

二、调查问卷信度、效度的检验

调查问卷是测量工具,信度和效度是对测量工具进行质量检测的两个重要指标。信度指问卷量表测量结果的可靠性,可靠性越高的量表,越不受时间、地点等环境的影响;效度指问卷量表的准确性,检验量表能否把要测量的目标真正检测出来。信度是效度的必要条件,一个问卷量表如果没有信度,就没有效度;有信度,也不一定有效度。效度是调查问卷的首要条件,如果没有效度,信度再高也没有用。具有高信度、高效度的问卷是对调查数据进行分析并得到有效结论的前提。

以打靶为例,如下图所示,将子弹之间的接近程度看作信度、子弹与靶心之间的接近程度看作效度,甲情况既无信度也无效度,所有子弹随机地散落在整个平面,结果既不稳定也不准确;乙情况有信度但无效度,所有子弹集中在靶外的一小片区域内,说明结果非常稳定,但是与目标无关,所以没有效度,信度再高也没有意义;丙情况兼具信度及效度,所有子弹集中在靶心附近的一小片区域内,这样的测验结果既稳定又有效。

笔者利用SPSS26.0对数学教师情况、数学课堂教学情况、学生的数学价值观以及学生的数学学习习惯4个维度下的27道题目的调查数据进行了信度、效度检验。参与本次抽样调查的学生有4134人,其中有效问卷4014份。该问卷采用的是7级量表,对所有正向题目按照越符合得分越高的规则赋分,其中“完全符合”赋7分,“符合”赋6分,“比较符合”赋5分,“不确定”赋4分,“比较不符合”赋3分,“不符合”赋2分,“完全不符合”赋1分。对学生的数学学习习惯维度下的第3小题(反向题目)采取反向赋分,即越符合得分越低,如“完全符合”赋1分,“符合”赋2分,“比较符合”赋3分等。

1.信度检验

利用SPSS26.0对上述27道题目的调查数据进行可靠性分析,得到Cronbachs α系数为0.961,该系数大于0.9,说明该量表的信度高,受时间、地点等环境的影响小,检测的结果很稳定。

同时,在得到的“项总计统计量”表中,“删除项后的Cronbachs α”表示删除该题项后其余题项变量构成的分量表的Cronbachs α系数。以t2_1(维度2下的第1题)为例,根据表格数据,删除此题后,其余题项变量构成的分量表的Cronbachs α系数为0.963。0.963大于0.961,说明若删除这一题,调查问卷的信度会提高。

观察“删除项后的Cronbachs α”列数据,我们可以发现Cronbachs α系数均在0.960附近,说明删除任意一题后,其余题项变量构成的分量表的Cronbachs α系数变化不大,因此从总体来看,该问卷量表的检测结果很稳定,信度较高,不需要删除题目。

2.因子分析

效度主要分为内容效度、结构效度和准则关联效度。内容效度侧重检验内容范围的效度,结构效度侧重检验理论结构的效度,准则关联效度侧重检验分数与准则之间的相关程度。在统计学中,检验结构效度最常用的方法是因子分析,包括探索性因子分析和验證性因子分析。探索性因子分析是利用数据探索测量变量框架;验证性因子分析是利用数据评估理论观点或概念架构的模型是否合适。

我们通常使用探索性因子分析对量表效度进行初步检验。笔者利用SPSS26.0对上述27道题目的调查数据进行探索性因子分析,得到KMO检验和Bartlett球形度检验结果以及如表2所示的旋转后的成分矩阵结果。

结果显示,KMO值为0.972。0.972>0.9,说明变量间的共同因素很多,变量间的净相关系数很低,适合进行因子分析。在Bartlett球形度检验中,p值小于0.05,符合球形检验的标准。结合KMO值和Bartlett球形度检验值两项指标,说明本例适合进行因子分析。

由表2可知,27个题项刚好可以分为4个成分,并且正好对应我们预先设置的学生的数学价值观、学生的数学学习习惯、数学教师情况和数学课堂教学情况4个维度,说明该问卷具有较高的结构效度。

三、结语

数学核心素养测评作为一种实证研究,设计调查问卷是不可或缺的环节。在调查问卷的设计过程中,调查者一方面要保证问卷内容设计符合调查目的,问题范围明确,问题数量适中,问题排列符合逻辑,问题表达简明扼要;另一方面要对调查问卷的信度、效度进行检验,确保问卷结果具有较高的可靠性与有效性,以便进行进一步的描述性统计分析、差异性分析等,从而获得既可靠又准确的结论。

(汪桐含系华中师范大学数学与统计学学院硕士研究生)

[专栏文章系教育部人文社会科学研究规划基金项目“中小学核心素养测评的模型建构与实证研究”(课题编号:19YJA880012)、中央高校基本科研业务费项目“新高考分省市命题分学科质量评价指标体系研究”(课题编号:CCNUTEI2021-13)成果]

责任编辑 刘佳

猜你喜欢
效度信度题目
《广东地区儿童中医体质辨识量表》的信度和效度研究
关于题目的要求
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
科技成果评价的信度分析及模型优化
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
被看重感指数在中国大学生中的构念效度
追根求源
外语形成性评估的效度验证框架
中文版脑性瘫痪儿童生活质量问卷的信度
复杂图形测验对区分阿尔茨海默病与非痴呆的诊断效度