马明建
摘要:文章运用多元统计分析中的因子分析,根据试卷的量化指标难度、区分度、信度以及学生对教师的评价等数据指标建立多元统计模型,利用SAS统计分析软件进行建模分析。通过因子分析运行结果,进一步分析影响教学效果、教学评价、教学质量的因素,为提高教学质量提供参考。
关键词:多元统计分析;因子分析;难度;区分度;信度;态度
试卷质量的统计分析是检验学生学习成果、提高教学效果、改进教学方式的重要途径。过去很多研究大多就试卷质量量化指标进行计算和分析,仅得到了一些关于试卷质量的数据。而本文以教育统计和测量为理论基礎,计算出试卷质量的量化指标,运用多元统计分析知识,建立因子模型,根据因子分析的结果,简要分析教师的教学效果和学生的学习状况,对教学质量得出综合评价。
一、试卷量化的指标
试卷分析数量化是教育测量科学化的重要内容,衡量试卷质量的主要检验指标有难度、区分度、信度、效度四项指标,这些指标的概念和计算方法如下(本文所要分析的试卷中不含有选择、是非题)。
大量统计资料表明,考试成绩的分布一般服从正态分布或近似正态分布。于是我们可以作如下假设:评分以100分制,每题满分为aj(j=1,2,…,n),其中xj、S表示第j题的均值、方差。
(一)可靠性分析
可靠性是指考试结果的可信程度,用于考察试卷的总体质量。从教育测量学的角度来看,学生的考试成绩应来自正态分布或近似正态分布,否则该次考试的成绩就是不合理的。
(二)难度分析
试卷难度可根据Pi=计算出每一题的难度,然后再根据P=ajPj来计算出试卷总体难度。一般大规模标准化考试难度控制0.4~0.7之间,但学科结业考试一般控制在0.5~0.85之间为宜。
(三)区分度分析
试题区分度是考量试题是否能将学识不同的学生区分开的指标。第j道题的区分度为δj=,Hj,Lj分别表示高低分组第j题的平均分,高低分组各占样本总量的25%~30%为宜,试卷的总区分度δ=ajδj,一般试题的区分度应在0.3以上。
(四)信度分析
信度是评估分数与考生真实水平一致性的指标。通常大规模标准化考试要求信度在0.9以上,自编试卷的信度应大于0.4,计算公式:rx=(1-)=(1-)。
二、具体试卷指标计算
现有某学校某专业学生(58人)的五门课程,其中,前两门课程为同一位老师教授,后三门课程的授课教师均为互不相同的教师。另外,根据问卷调查,得到了学生对五门专业课授课教师的教学评价的平均值,满分为100分。在对学生的调查中发现,学生对教师的评价较低,则相应的学生的学习积极性不高,学习态度差;而对评价高的课程,学生的学习积极性高,学习态度良好。因此,将教学评价可以看作学生的学习态度(见表1)。
(一)可靠性检验
由于样本容量n≤200,将采用SAS软件中的Shapiro-Wilks的W统计量来检验正态性。经检验,此次考察的五门课程均符合正态分布,数据可靠,可以进行数据统计分析。
(二)试卷量化分析的各项指标的计算
按照上述所提供的试卷各项指标计算公式可得到结果如表1所示。
三、正交因子模型及因子分析
建立因子分析数学模型的目的不仅要找出公共因子以及对变量进行分组,更重要的是要知道每个公共因子的意义,以便对实际问题做出科学的分析。
下面以表1作为数据源,编写程序,输出结果如表2、表3。
由表2可看出,前两个因子的累计贡献率超过90%,故公因子的个数为2。由表3可以看到第一公因子中主要载荷为x2(区分度)、x4(态度)、x1(难度),这都是影响学生考试成绩的指标,且可看到学生的对老师态度起了很大的作用,可以称之分数因子;第二个公因子中,起主要作用的是x3(信度),可称之为稳定性因子。
四、结果分析
通过上述的试卷质量指标的计算,以及因子分析的结果,可以得到以下分析结果。
第一,虽然学生对前两门课程的同一位任课教师的评价很低,但是该授课教师试卷质量符合要求,反映了教师的教学大纲完成情况正常,说明了课程考试从一定意义上有效的检验了学生的学习效果及教师课堂教学效果;其次,学生对教师的评价的主观性较强,这些评价数据也反映学生对待授课教师、该门课程的学习态度情况。接下来,通过因子分析来进一步判断学生的态度对考试结果的影响。
第二,SAS软件统计分析课程试卷与时间序列统计分析课程试卷相比较,前者的试卷量化指标显然要比后者质量高,以此来看,前者的教学效果及教学质量要比后者强,同一位老师教授的同一批学生的不同课程,存在较为明显的差异。从SAS软件中利用成对组检验,也可以得出这样的结论,即两次考试存在显著性差异。另外需要说明的是,前者是第六学期考试科目,后者是第七学期的必修课,而全国硕士研究生入学考试就是在第七学期。可以看到,在出题者和答题者不变的情况下,前后两次考试存在显著性差异,除了试卷质量本身的差异性,另一个非常重要的原因应该是学生的学习态度。
第三,学生的学习态度是否影响考试结果,在因子分析中这个问题得到了解答。按照因子分析的理论,影响考试成绩的因素可以综合为少数的几个,并且可以根据因子载荷矩阵来判断,哪个因素的影响较大。经因子分析后,影响成绩的指标综合为两个:分数因子和稳定性因子。其中可以看到学生态度的载荷为0.94309,表明态度是影响成绩非常重要的因素。
通过上面的分析,大多数学生都忙于准备考研,没有认真的准备考试,因此,在第七学期的《时间序列分析》考试与上学期的考试存在显著性差异,其中一部分原因是由学生的学习态度造成的。