谢利民 徐小华
课堂是学校教育教学的主阵地,课堂教学质量是学校办学质量的一个重要方面。课堂教学评估是诊断课堂教学水平,引导课堂教学改革,提高教学质量的有效途径。在课堂教学评估中,定量分析和定性分析是最常用的分析方法,两种分析方法辩证统一、互为补充。评估数据的定量分析又是课堂教学定性分析的基础和依据,做好定性分析至关重要。本文以无锡市职业教育综合督导课堂教学评估为例,阐述了课堂教学评估数据的统计分析方法,并运用Excel、SPSS软件分析出相应的图表结果。
一、课堂教学评估数据的分布形态分析
1.课堂教学评估量表
评估量表是评估的标尺,量表评估法是各类评估中应用最为广泛的评估方法。在无锡市职业教育综合督导课堂教学评估中采用五级评估量表。量表分为教学目标、教学内容、教学方法、教学过程、教学技能、教学效果六个评价维度,每个评价维度有若干个观测点。每个维度的评价等级分为A、B+、B-、C、D五个等级,分别表示优秀、良好、一般、合格、不合格五种不同的评价程度。综合评价等级由六个维度的评价等级确定:单项评价高于等于4个A以上且没有B-、C和D,综合评价为A;单项评价高于等于5个B+以上且没有C和D,综合评价为B+(综合评价低于A);单项评价高于等于5个B-以上且没有D,综合评价为B-(综合评价低于B+);单项评价高于等于5个C以上,综合评价为C(综合评价低于B-);低于综合评价C标准的为D。
2.评估数据统计分布形态分析
在对无锡市职业学校进行综合督导课堂教学评估中,专家们走进课堂进行大规模听课并通过评估量表对每一堂课作了教学评价。通过对综合评价等级的统计,计算出每个等级的百分比。画出各等级百分比柱状图,得到被评估学校课堂教学评估数据形态。无锡市各职业学校课堂教学评估数据基本呈正偏态分布,课堂教学生态良好。如某职业学校共听课154节,其中A等级课27节,占所听课数的17.53%,B+等级课63节,占所听课数的40.91%,B-等级课52节,占所听课数的33.77%,C等级课12节,占所听课数的7.79%,无D等级课,运用Excel软件生成评价等级分布形态,如下图所示。
无锡市某职业学校评价等级分布形态
在大规模课堂教学评估中,多位专家独立给出的群体评判结果近似服从正态分布。根据这一规律,在评估前需要对专家的评判心理尺度进行调适,使专家们的评判心理尺度趋于一致。如根据正态分布规律给出各等级的参考比例范围,A为15%、B+为35%、B-为35%、C为13%、D为2%,考虑到各校教育教学水平有高有低,各等级比例差异范围控制在±3%以内。通过专家心理评判尺度的调适,可以有效控制评课质量。
二、课堂教学评估数据的描述性分析
在课堂教学评估中,运用教育评估计算学的方法处理教学评价过程中专家记录的原始数据,以挖掘更多的教育信息,来诊断一所学校教学运行的整体状况,以达到有效指导学校教学的目的。为了便于计算,通过等级赋值的方法先将定序数据转换为定距数据。常用的数据统计分析方法有反映数据集中程度的众数、中位数、平均数,以及反映数据离散程度的异众数、平均差、标准差、差异系数等。通过数据分析,有利于进一步描述学校的教学状态与教师的教学水平。
1.课堂教学好评度
该指标为评价学校教学质量的一个重要指标。首先运用组距数列平均数的计算原理计算出每位被评教师的课堂教学好评度,计算公式为:
式中xp为各组中值,f为各组次数。如某被评教师的评价量表中六个评价维度有1个A、2个B+、2个B-、1个C,无D等级,如表1所示。按照上述公式计算,该教师的课堂教学好评度为79.5分。在此基礎上,再计算该校所有教师的好评度算术平均值,即为该校的课堂教学好评度。
2.教学水平标准差
标准差是评价事物或现象内部差异情况的一个指标,该指标反映出学校教师间教学水平的差异程度,计算公式为:
式中xi皆为实数的数值,μ为平均值。标准差可运用Excel软件中的STDVEP函数直接计算生成结果。标准差结果落在5-9之间属正常水平(即评价总分的5%-10%以内)。
3.教学水平差异系数
差异系数又称变异系数,是测算数据离散程度的相对指标,该指标反映校际之间教学水平的差异程度,是一组数据的标准差与其均值的比值,计算公式为:
式中σ为标准差,为均值。差异系数可运用Excel软件先计算出标准差和均值,再计算差异系数。
以上阐述了在大规模课堂教学评估中对学校课堂教学质量评估的三个重要数据的计算方法。表2是四所学校在接受无锡市职业教育综合督导课堂教学评估中计算所得的相关数据。通过数据比较表明:D学校的课堂教学好评度最高;标准差最小表明该校教师教学水平比较接近;差异系数最小表明该校在四所学校中教学水平最高。
三、课堂教学元评估中的计算分析
所谓元评估(Meta-evaluation)指按照一定的评估理论和价值标准对评估的质量及结论进行评估,即对评估项目的评估。教育元评估的主要目的是检验教育评估中可能出现的各种偏差,判断评估工作的质量、规范与完善教育评估活动。在20世纪90年代,Stufflebeam,D.L.教授设计公布的JCSEE元评估量表在元评估中应用广泛,影响深远。一般传统的元评估方法是专家通过使用元评估量表的形式进行的。
如今信息技术高速发展,教学评估过程中大量工作都利用计算机网络来完成,过程性数据被记录在评估系统的数据库中。在教育评估系统中导出可在SPSS软件中运行的数据即可计算元评估的相关指标数据,如在课堂教学评估中通过计算斯皮尔曼相关系数、肯德尔和谐系数来确定评判者的信度。
1.斯皮尔曼相关系数计算分析
在课堂教学评估中提供给评判者评估指标和观测点,在多位专家同时对同一个评估对象进行评判时,评判者评判的分数越一致,评分的信度越高。在无锡市职业教育大规模课堂教学评估中,部分课堂安排两位专家同时听课,通过计算两位专家的斯皮尔曼等级相关系数来确定评判的信度。斯皮尔曼等级相关系数计算公式为:
式中xi、yi为两个数据集合,有N个元素。斯皮尔曼等级相关系数的计算也可运用SPSS软件中的相关分析功能来实现。如表3是运用SPSS软件计算两位专家在某校课堂教学评估中的评分结果的等级相关系数Rs=0.854,为显著相关,专家的评判信度较高,运用SPSS软件分析输出结果如表3所示。
2.肯德尔和谐系数计算分析
在无锡市职业教育大规模课堂教学评估中,部分课堂安排3位专家评价同一节课,在3位及以上多位评判者同时评判时需通过计算肯德尔和谐系数来确定评判的信度,计算公式为:
式中n为被评的对象数,m为评分者人数或评分所依据的标准数,S为每个被评对象所评等级之和Ri与所有这些和的平均数的离差平方和。肯德尔和谐系数的计算也可运用SPSS软件中的相关分析功能来实现。如表4是运用SPSS软件计算3位专家在某校课堂教学评估中的评分结果的等级相关系数Kendall W,检验得Rw=0.890,为显著相关,专家的评判信度较高,运用SPSS软件分析输出结果如表4所示。
四、结束语
在无锡市职业教育综合督导课堂教学评估中,除了由课堂教学专家评课外,今年还增加了企业专家参与课堂教学评价、课堂教学学生问卷调查两个环节,使学校可以了解到企业对职业学校的办学期盼及课堂教学的要求,让学校倾听课堂教学亲历者对课堂教学的诉求。这种以课堂教学专家评估为主,多方参与评估的课堂教学评估形式,将为学校的课堂教学改革提供更全面的可资借鉴的决策依据,同时多方评估的数据合成处理也将成为新的研究热点。
无锡市职业教育综合督导课堂教学评估开展一年多来,无锡市教育评估院共计组织评估专家500多人次,听评课1000多节,形成高质量的评估报告8份。其中对6000多个评估数据的统计分析为无锡市职业教育课堂教学水平进行了诊断,为课堂教学评估的定性分析、等级评价分析、评语鉴定分析、写实分析提供了数据支撑,也为相关职业学校后续的教学工作改进提供了真实可信的依据。endprint