周菊民
摘 要:本研究采用波特(2002)的通用编码框架——“内容×认知”水平矩阵,来对义务教育生物学课程标准和初中生物学结业会考试卷进行一致性研究。进行了一致性的比较、重点分布的比较、内容主题分布的比较、认知水平分布的比较。结果表明,作为本研究样本的课程标准与五份试卷之间没有统计学上的显著一致性。课程标准与会考试题一致性水平在“内容维度”上较好,在“认知维度”上一般。
关键词:一致性;初中生物学;会考试卷;课程标准
初中生物学课程标准的实施已进行了十多年。研制新的课程标准取代旧的教学大纲是课程改革的核心工作。《基础教育课程改革纲要(试行)》明确指出:“国家课程标准是教材编写、教学、评估和考试命题的依据,是国家管理和评价课程的基础。”[1]因此,初中生物学会考的考试内容及认知要求与义务教育生物学课程标准理应保持一致,或者出于选拔的功能在认知的要求上略高于课程标准的基本要求。实际情况又怎么样呢?目前而言,在国内还未见这方面的研究报告。
本文尝试通过量化分析的方法,分析历年初中生物学会考试卷与义务教育生物学课程标准之间的一致性特征,提供相关研究的分析数据,为发展基于课程标准的课堂教学与学业评价的工作与决策提供相应的实证研究证据。
一、 研究方法
(一) 一致性的测量方法
本研究采用波特(2002)的通用编码框架——“内容×认知”水平矩阵,来对课程标准和会考试卷进行一致性研究。安德鲁·波特等研究出了不同的一致性指数方法并加以验证,其中得到同行们认可并且确实有效的一致性指数计算公式是:p=1-∑i=1|(Xi-Yi)|2。[2]
(二) 研究样本
本研究需要分析的样本为《义务教育生物学课程标准(2011年版)》和2012~2016年苏州市初中生物学结业会考试卷,涉及的初中生物学教材为江苏科学技术出版社出版。
(三) 研究流程
1. 内容与认知水平的分类
采用波特(2002)的通用编码框架——“内容×认知”水平矩阵来对课程标准和会考试卷进行编码。编码前,先对内容主题和认知水平进行分类。本研究采用的内容分类以课程标准的第三部分课程内容中的十大主题为准,比较适合义务教育阶段生物学内容的分析,包括科学探究,生物体的结构层次,生物与环境,生物圈中的绿色植物,生物圈中的人,动物的运动和行为,生物的生殖、发育与遗传,生物的多样性,生物技术和健康地生活。[3]认知水平的分类依据布卢姆教育目标分类学修订版,将认知分为记忆、理解、应用、分析、评价和创造六级水平。[4]对每个水平的细分类目及经常用到的关键词如下:
认知维度类别同义词
1. 记忆/回忆
识别辨认
回忆提取
2. 理解
解释澄清、釋义、描述、转化
举例示例、实例化
分类归类、归入
总结概括、归纳
推断断定、外推、内推、预测
比较对比、对应、配对
说明建模
3. 应用
执行实行
实施使用、运用
4. 分析
区别辨别、区分、聚焦、选择
组织发现连贯性、整合、概述、分解、构成
归因解构
5. 评价
检查协调、查明、监控、检验
评论判断
6. 创造
产生假设
计划设计
生成建构
2. 内容与认知水平的编码
(1) 对课程标准的编码
编码者为生物学教育硕士、博士和硕士,三人对课程标准独立进行编码,编码以课程标准中的条款数目为计量单位对内容认知水平的矩阵的每个单元格进行赋值,用SPSS软件处理得到的数据,两两之间计算出斯皮尔曼相关系数,结果见表1。
根据表1,该相关系数表明三位编码者独立编码的结果具有很好的可靠性。然后,三人对存在异议之处进行商讨,从而得到表2。
数据标准化,是指要按照模糊矩阵的要求,将数据标准化压缩到区间[0,1]上。对表2进行标准化处理得到表3。
(2) 会考试卷的编码
首先对2012~2016年试卷分别编号为1、2、3、4、5号试卷。编码者为生物学教育硕士、博士和硕士,三人对历年初中生物学结业会考试卷独立进行编码,用SPSS软件处理得到的数据,两两之间计算出斯皮尔曼相关系数,结果见表4。
该相关系数表明三位编码者独立编码的结果具有很好的可靠性。然后,三人对存在异议之处进行商讨,从而得到最终的编码数据,即试卷考分分布表,然后对此表数据进行标准化处理得到试卷考点分数比例。(表5~表14)
对表7进行标准化处理,得到表8。
对表9进行标准化处理,得到表10。
对表11进行标准化处理,得到表12。
对表13进行标准化处理,得到表14。
3. 显著性P值
要确定会考试卷与课程标准之间是否具有统计学显著的一致性,需要将计算得到的一致性系数与相应的临界值进行比较,才能得出结论。根据美国学者福欧莫(Fulmer,Gavin William)新近的研究表明,对于10×6的矩阵,若是双侧检验,为了使在0.05水平上达到显著性一致,与100个“标准点”对应的一致性系数的临界值为0.7803。[5]
4. 计算波特一致性系数
将课程标准的编码数据表与会考试卷的编码数据表代入一致性指数计算公式p=1-∑i=1|(Xi-Yi)|2中,得到相关的一致性指数。endprint
5. 绘制柱状图和曲面图,进一步比较分析
由于波特系数仅使用了总标准差,将每个矩阵的数据信息转换成曲面图和柱状图,有利于进一步的分析比较,在图中,可清楚显示研究对象哪些内容主题上相对侧重,以及哪种水平的认知相对集中。
二、 研究结果与数据分析
本研究主要从一致性、重点分布、内容主题和认知水平这四个方面,来分析五份试卷与课程标准之间的一致性。为了进行更细致地比较分析,把一致性比较的数据转换成曲面图和柱状图,使之表现得更直观清楚。图1~图6分别展示了课程标准与五份试卷的内容重点及认知要求的具体分布情况。
基于同样的着色方案,图1是依据表3的数据作出的图像,图2是依据表6的数据作出的图像,图3是依据表8的数据作出的图像,图4是依据表10的数据作出的图像,图5是依据表12的数据作出的图像,图6是依据表14的数据作出的图像。
(一) 一致性比较
为了确认课程标准与五份试卷间的一致性P值是否具有统计学上的显著性,将课程标准与五份试卷间的波特一致性系数与表中95%水平的参考值进行比较,得到结果如下(表15)。
通过比较,发现课程标准与五份试卷之间的波特一致性系数全都明显低于95%水平的P值。这些数据表明,作为本研究样本的课程标准与五份试卷间没有统计学上显著的一致性。
(二) 曲面图分析
将每个矩阵的数据信息转换成曲面图,有利于进一步的分析比较,在图1~图6中,可清楚显示研究对象哪些内容主题上相对侧重,以及哪种水平的认知相对集中。
综上,通过比较课程标准与五份试卷的重点分布情况,可以得出,课程标准的重点分布内容比例排到第一的是生物圈中的人,且集中在理解水平上。在五份试卷中,在初中生物学教学内容中所占比例最大的内容是生物圈中的人,且集中在理解水平上(占4/5,只有一份是生物的生殖、发育与遗传和理解)。两者的匹配度很高。课程标准的重点分布内容比例排到第二的是生物圈中的绿色植物,且集中在理解水平上;生物的生殖、发育与遗传,且集中在理解水平上。在五份试卷中,在初中生物学教学内容中所占比例排到第二的内容是生物的多样性(占5/5),且集中在理解水平上(占4/5);生物的生殖、发育与遗传,且集中在理解水平上(占1/5);生物的多样性,且集中在记忆水平上(占1/5)。两者的匹配度不高。
(三) 内容主题分布的比较
将课程标准和五份试卷的内容主题数据汇总,得到下表。
将上面表格的数据转换成柱状图,详见图7。
在内容维度上对课程标准和五份试卷的均值进行的比较如图7所示。观察图7,可以发现课程标准的重点主题是生物圈中的人和生物的生殖、发育与遗传,次重点主题是生物体的结构层次、生物圈中的绿色植物和健康地生活。从图中可看出,五份试卷都是在重点考查学生对生物圈中的人、生物的多样性和生物的生殖、发育与遗传的内容主题的掌握情况,其次是生物体的结构层次和健康地生活等。据此可以表明,这五份试卷的均值在内容维度的分布总体上与课程标准的要求相当,说明试题编制在内容维度的把握上比较到位。
(四) 认知水平分布的比较
将课程标准和五份试卷的认知水平数据汇总,得到下表。
将上面表格的数据转换成柱状图,详见图8。
在认知水平维度上对课程标准和五份试卷的均值进行比较。观察图8,可以看出,课程标准的认知要求主要集中在理解和分析水平,其次是记忆。五份试卷都着重考查了学生的理解水平,其次是记憶,同时还兼顾考查了学生的分析水平。除此以外,几份试卷还都涉及了评价和创造的认知水平的试题。据此可以表明,这五份试卷对学生的认知能力要求总体上是高于课程标准的要求,这也符合课程标准只是设定了最低的教学要求,在教学实践中,可结合当地实际情况适当提高教学要求,促进师生共同发展与完善。
三、 结论与讨论
(一) 结论
本研究通过对课程标准和会考试题的一致性分析发现,两者的一致性水平总体情况一般,但年份之间一致性水平有所差异。把课程标准与五份试卷之间的波特一致性系数与表中95%水平的参考值作比较,发现其全都明显低于95%水平的P值参考值。上述数据分析的结果说明,作为本研究样本的课程标准与五份试卷之间没有统计学上的显著一致性。课程标准与会考试题一致性水平在“内容维度”上较好,在“认知维度”上一般。
(二) 讨论
从总体看,课程标准与“理解”认知水平试题的一致性始终有较大差异,说明结业会考对“理解”认知水平的试题不断提出更高要求,正是出于对“理解”认知能力的重视。并且,试卷考查要求有时高于课程标准,体现出课程标准只是规定了教学的最低要求。在教学实践中应根据实际情况适当提高教学要求,在抓牢基础的前提下,采用多种策略重点关注提高学生的理解认知水平,促进师生共同发展。
在内容维度上对课程标准和五份试卷进行比较,发现这五份试卷在内容维度的分布总体上与课程标准的要求相当,说明试题编制在内容维度的把握上比较到位。五份试卷只是在主题“生物圈中的人”、“生物的多样性”与课程标准一致性水平不够理想,还需要进一步提高两者的一致性。
在认知维度上对课程标准和五份试卷进行比较,从中可以发现,五份试卷在认知水平的分布总体上与课程标准的一致性水平一般。五份试卷在认知水平“理解”“分析”上与课程标准一致性水平较差,还需要进一步改善两者的一致性。
通过深刻理解课程标准的理念,并将课程标准的要求运用于教学评价,教师可以准确把握内容维度和认知水平在课程标准中的要求,并将其运用于教学实践,使学生更好地达到甚至超过课程标准的要求。在教学过程中,教师可以专注于课程标准、教学目标、教学与评价活动之间的一致性,不断总结反思,努力提高相互间的一致性,从而提高教学效果。
本文对该研究主题的知识以及认知维度的分类方法是根据文献研究,并且结合自己观点建立的,还缺乏实证研究的证据支持。因此,该分类方法还有待进一步完善。
参考文献:
[1] 中华人民共和国教育部.基础教育课程改革纲要(试行)[Z].教基[2001]17号,2001.
[2] A.C.Porter.How SEC Measures Alignment[J].Education Researcher,1997,(5):5-8.
[3] 中华人民共和国教育部.义务教育生物学课程标准(2011年版)[S].北京:北京师范大学出版社,2012.
[4] 安德森(Anderson,L.W.)等,蒋小平等译.布卢姆教育目标分类学:分类学视野下的学与教及其测评(完整版)[M].北京:外语教学与研究出版社,2009.
[5] G.W.Fulmer.Estimating critical values for strength of alignment among curriculum,assessments,and instruction[J].Journal of Educational and Behavioral Statistics,2011,36(6):396.endprint