2014年济南市中考物理试卷与课程标准的一致性——基于SEC模式的分析*

2014年济南市中考物理试卷与课程标准的一致性——基于SEC模式的分析*

王亭亭1张明1胡象岭1马雪1

(1. 曲阜师范大学物理学系，山东曲阜273165；

2. 山东省济南第十八中学，山东济南250101)

摘要：笔者采用SEC一致性分析方法，对济南市2014年初中学业水平考试物理试卷与《义务教育物理课程标准(2011年版)》中课程内容之间的一致性进行分析.结果表明，该试卷与物理课程内容之间的一致性指数是0.66.物理试卷地形图和物理课程内容地形图的分布存在一定差异.物理试卷对物理课程内容的考查覆盖了14个二级主题，考查的范围比较全面，对大部分二级主题的考查力度与课程标准的要求基本吻合，在少部分二级主题上考查的比重与课程标准存在一定差异，物理试卷加大了对“机械运动和力”、“电磁能”以及“能源与可持续发展”等二级主题的考察力度，淡化了对“声和光”和“机械能”等二级主题的考查.同时，物理试卷提高了对认知水平的要求.总的看来，物理试卷与物理课程标准的一致性不够高.

关键词：SEC一致性分析模式；初中学业水平考试；物理试卷；物理课程标准；一致性

1引言

基于课程标准的学生学业成就评价的核心在于评价与课程标准的一致性.所谓评价与标准的一致性，就是指两者之间的吻合程度.评价必须与标准保持一致，以保证评价反映课程标准的要求，评价结果体现学生达成课程标准规定的期望的状况.如何判断某一评价(如初中学业水平考试)与特定课程标准的一致性？这需要借助于关于一致性的分析框架来解决.

20世纪90年代以来，美国全面启动基于标准的教育改革.在这一背景下，探究学业评价与课程标准之间的一致性关系，成为美国教育领域重要的研究课题，研究者们提出了众多评价与课程标准一致性的分析框架，安德鲁·波特(Andrew Porter)和约翰·史密森(John Smithson)等人研制的SEC(Surveys of Enacted Curriculum)一致性分析模式便是其中一种[1,2]，它已成为美国分析学业评价与课程标准一致性的重要程序和方法.

近年来，SEC模式被介绍到国内来，并在分析中小学学业成就评价与课程标准的一致性方面得到运用，如陈娴、张宁波等人采用SEC模式分析了中考物理试卷跟初中物理课程标准之间的一致性[3,4].采用该分析模式的首要任务是对内容主题与认知水平进行分类，建构合理的分析框架.陈娴、张宁波等人将内容主题划分为5个：能量、运动和力、电、波、物质的特性，将认知水平按照布卢姆目标分类方法划分为记忆、理解、应用、分析、评价、创造.我们认为，对考试与课程标准一致性进行分析，应以课程标准对内容主题、认知水平的划分为依据.我们采用课程标准中界定的二级主题和认知水平将初中物理内容划分为14个主题，将认知水平划分为3个水平，形成了“14×3”的分析框架，并运用到2011—2013年济宁市中考物理试卷与课程标准一致性的分析中[5].

本文采用SEC模式，对2014年济南市初中学业水平考试物理试卷(以下简称“物理试卷”)与《义务教育物理课程标准(2011年版)》(以下简称“物理课程标准”)中课程内容(以下简称“物理课程内容”)的一致性进行分析，依然采用“14×3”的分析框架.

2研究方法

2.1　一致性分析方法

一致性分析模式有多种，本文采用的是安德鲁·波特(Andrew Porter)和约翰·史密森(John Smithson)等人研制SEC一致性分析模式[1,2,6].该模式从内容主题和认知水平两个维度，将课程内容、试卷分别编码到具有相同结构的“内容主题×认知水平”的二维表格中.为了使两个表格可以比较，将表格中所有单元格内的值都转化成总和为1的比率值，形成两个比率表格.根据两个比率表格的匹配程度来衡量试卷和内容标准的一致性.

2.2　研究样本

本研究选取的样本是2014年济南市初三年级学业水平考试的物理部分，物理试题中包括单项选择题、多项选择题、非选择题(填空题、作图题、计算题)等，满分为90分.本试卷包含考查实验内容的题目，这些题目既有对认知目标的考查，也有对非认知目标的考查，我们将实验题中考查认知性目标的部分列入统计范围，考查非认知目标的部分未列入.本试卷在统计范围内的题目的总分为84分.

2.3　研究过程

2.3.1内容主题与认知水平分类

在物理课程标准中，课程内容由“科学探究”和“科学内容”两部分组成.本研究对内容主题划分时只考虑课程内容中的“科学内容”部分，把各个知识点划分到“科学内容”的14个二级主题中，这14个主题的序号与名称见表1.

物理课程内容的每个二级主题下都包含若干条“内容要求”条目，每个“内容要求”条目都规定了学生需要掌握的知识点和学习该知识点需要达到的认知水平.物理课程标准将认知性目标分为“了解”、“认识”和“理解”三个认知水平，每个水平下所使用的行为动词分别为：(1) 了解：了解、知道、描述、说出、列举、举例说明、说明；(2) 认识：认识；(3) 理解：解释、理解、计算.

2.3.2列出物理课程标准的“内容主题×认知水平”二维表格

由4名全日制教育硕士专业学位研究生独立对物理课程内容中的内容条目进行分析，分别确定知识点数目，然后经4人在一起讨论达成共识.

分析物理课程内容时，首先根据每条“内容要求”条目中含有的行为动词将其拆分，然后再确定每个行为动词所表述的内容中要求学生掌握的知识点的数目和要达到的认知水平.若对同一个知识点，内容条目中给出高低两个不同层次的要求，要分别计入统计范围内.经分析得到，物理课程内容共有124个知识点，每一个知识点对应不同的认知水平.课程标准中各内容主题下3个认知水平包含的知识点数目及比率如表1所示，其中比率值由知识点数目除以知识点总数(124)得到.

表1　课程标准中的知识点数目及比率

2.3.3列出物理试卷的“内容主题×认知水平”二维表格

由2名全日制教育硕士专业学位研究生和1名中学高级教师独立分析物理试卷中每一题目所考查的知识点，确定其对应的内容主题、所占的分值以及学生完成该题目时需要达到的认知水平，然后一起协商讨论，形成最后的结果.

分析物理试卷时，首先确定题目考查的知识点和认知水平，对于选择题，如果不能根据题干明确确定该题目所考查的知识点，就要对每一个选项逐一进行分析，确定其所考查的知识点和学生完成该题目需要达到的认知水平；对于填空题和综合计算题，按照评分标准确定每一个空、每一个计算步骤所考查的知识点以及学生完成该题目需要达到的认知水平.然后再确定每个知识点所属的内容主题与所占的分值.把题目考查的知识点对应的分值填入14×3二维表格中，得到物理试卷中各内容主题的分值及其比率如表2所示，其中比率值由分值除以总分(84)得到.

表2　物理试卷中各内容主题的分值及其比率

续表

3研究结果

3.1　一致性指数

将表1和表2中的数据录入Excel表格中，运用该软件的函数功能将Porter一致性指数的计算公式编辑出来，就可以直接用此公式对某区域内的数值进行计算.采用这一计算方式，最后得到P=0.66.

这个一致性指数是否能说明物理试卷与物理课程标准间存在比较好的一致性呢？要想回答此问题，就需要先解决这样一个问题：当波特系数达到什么范围，才能说两个矩阵具有统计意义上显著的一致性？为解决这个问题，本文采用美国学者Gavin的思路[7]，利用matlab软件里的unidrnd函数[8]，将124个知识点随机赋值到一个14×3矩阵中，将84分随机赋值到另一个矩阵中，对两个矩阵标准化处理后计算出一个P值，将这样的过程重复20000次，就可以得到关于P的正态分布(见表3).

表3　关于P的正态分布的均值、标准差和95%水平的参考值

在这个正态分布曲线下，要达到0.05水平的统计显著性，需要P≥0.7095.本研究计算得到的P值低于95%水平的参考值0.7095，说明物理试卷和物理课程标准间不存在统计学意义上的显著一致性.

3.2　地形图

用地形图来表示物理课程内容(图1)和物理试卷(图2)在不同内容主题和认知水平上的权重，图中的1.1—3.6分别表示从“1.1物质的形态和变化”到“3.6能源与可持续发展”14个内容主题.图中横线区域表示权重小于0.02，斜线区域表示权重在0.02和0.04之间，圆点区域表示权重在0.04和0.06之间，竖线区域表示权重在0.06和0.08之间，黑色区域表示权重在0.08和0.1之间，白色区域表示权重在0.1和0.12之间.

图1　物理课程内容地形图

图2　物理试卷地形图

把图1和表1联系起来，可以说明地形图是如何表示物理课程内容中的内容主题和认知水平的相对权重.由表1可以看到，“物质的形态和变化”、“电和磁”、“机械能”、“电磁能”里的“了解”所占比率均为0.089，比率值落在了0.08和0.1之间，因此，图1中的黑色区域就位于“物质的形态和变化”和“了解”、“电和磁”和“了解”、“机械能”和“了解”、“电磁能”和“了解”的交界处.比率值落在0.02和0.04之间的是“物质的属性”里的“了解”(0.024)、“机械运动和力”里的“认识”(0.024)和“理解”(0.024)、“声和光”里的“认识”(0.032)、“能量、能量的转化和转移”里的“了解”(0.024)、“内能”里的“了解”(0.040)、“电磁能”里的“理解”(0.024)、“能源与可持续发展”里的“了解”(0.032)，因此，图1中的斜线区域就位于“物质的属性”和“了解”、“机械运动和力”和“认识”与“理解”、“声和光”里和“认识”、“能量、能量的转化和转移”和“了解”、“内能”和“了解”、“电磁能”和“理解”、“能源与可持续发展”和“了解”的交界处.同理，根据表2的数据用相同的涂色方法可以得到图2的物理试卷地形图.

观察图1和图2可以看出，物理试卷与物理课程内容在“机械运动和力”、“机械能”和“电磁能”上的分布明显不同，两个地形图的总体分布存在一定的差异，表明两者之间的一致性程度不够高.

3.3　内容主题方面的比较

物理试卷与课程标准在内容主题方面的比较如图3所示.

物理课程标准中，14个内容主题的知识点数目比率在0.20以下，其中位于0.15和0.20之间的有“机械运动和力”这一内容主题；位于0.10和0.15之间的有“声和光”、“电磁能”这两个内容主题；位于0.05和0.10之间的有3个，依次是“电和磁”、“物质的形态和变化”、“机械能”；其他8个内容主题所占的比例都小于0.05.

图3　内容主题比较

物理试卷中，分值比率在0.20以上的有“机械运动和力”、“电磁能”这两个内容主题，位于0.15和0.20之间的内容主题个数为0；位于0.10和0.15之间的有“声和光”这一内容主题，所占的比例几乎等于0.10；位于0.05和0.10之间的有3个，依次是“电和磁”、“能源与可持续发展”、“物质的形态和变化”；其他8个内容主题所占的比率都小于0.05.

由此可以看出，在“机械运动和力”、“电磁能”、“机械能”、“能源与可持续发展”、“声和光”这5个内容主题上，物理课程标准的要求与物理试卷的要求差异较大，其他几个内容主题上的差异不太明显.相对于物理课程标准的要求而言，物理试卷加大了对“机械运动和力”、“电磁能”以及“能源与可持续发展”等二级主题的考察力度，淡化了对“声和光”和“机械能”等二级主题的考查，对其他9个二级主题的考察力度与物理课程标准基本吻合.

3.4　认知水平方面的比较

物理试卷与课程标准在认知水平方面的比较如图4所示.

图4　认知水平比较

在课程标准中，要求认知层次为“了解”的知识点数目所占比例最大，其次是“认识”层次，“理解”这一最高层次所占的比例最小.而在物理试卷中，各认知层次所占的比例由大到小依次是“了解”、“理解”、“认识”.

由图4可以看出，物理试卷中要求达到“理解”这一认知水平的分值比例高于物理课程标准，加大了对“理解”层次的考查比重，而“了解”和“认识”这两类认知水平所占分值比例均低于物理课程标准，对这两个层次的考查比重较低.

4结论与思考

本研究结果表明，济南市2014年初中学业水平考试物理试卷与《全日制义务教育物理课程标准(2011年版)》中的内容要求的一致性程度不够高.具体说来，二者的Porter一致性指数低于对应的参考值，物理试卷地形图和物理课程内容地形图的分布存在一定差异；二者在内容主题的侧重和认知水平的侧重上也有一定程度的偏差.在内容主题上，相对于物理课程标准而言，物理试卷加大了对“机械运动和力”、“电磁能”以及“能源与可持续发展”等二级主题的考查力度，淡化了对“声和光”和“机械能”等二级主题的考查.认知水平上，物理试卷对“理解”这一较高认知层次的考查力度高于物理课程标准中该认知层次知识点数目所占比例，而对“了解”、“认识”这两个认知层次的考查力度则低于它们在物理课程内容中所占的比例.相对于物理课程标准，物理试卷提高了对认知水平的要求.物理课程标准中的低等层次认知水平的内容在考试中有所减少，而高层次认知水平的内容在考试中却有所增加.

尽管该物理试卷与物理课程标准的一致性不够理想，但总的看来，还是可以接受的.一致性指数为0.66，虽低于参考值，但与其他地市物理试卷相比已属较高水平，如2013年济宁市中考物理试卷与课程标准的一致性指数为0.573[5].在内容主题上，该物理试卷对物理课程内容的考查覆盖了14个二级主题，考查的范围比较全面，对大部分二级主题的考查力度与课程标准的要求基本吻合，在少部分二级主题上考查的比重与课程标准存在一定差异.在认知水平上，物理试卷虽提高了对认知水平的要求，但提高的幅度不是很大.

分析学业水平考试与课程标准的一致性，其目的就是在文本层面监测学业水平考试的质量.本研究结果表明，济南市2014年初中学业水平考试物理试卷存在着偏离物理课程标准的问题，这反映出该市2014年学业水平考试质量有待提高.

应该说明的是，本研究结果只具有参考价值.这是因为，首先，尽管一致性分析是评估试卷是否达到课程标准要求的重要指标，但是，一致性分析只是学业水平考试质量分析的一个视角，本文并不是对该市物理试卷质量的全面考查.其次，物理试卷与物理课程标准的一致性受多种因素影响.在研究过程中，我们深深体验到课程标准是否“标准”是影响一致性的重要因素.比如，物理课程标准没有对三个认知层次给出清晰具体的界定，三个层次划分的合理性也值得商榷，尤其是“认识”这一层次的设定让人匪夷所思，这不仅给教学实施、教学评价、学业水平测试带来如何把握教学要求的困扰，也给一致性分析带来困难，因为这样的表述难以让人达成共识，在确定试题所考查的认知水平的时候，研究者难以作出决断.“基于标准的评价”的实现，其先决条件是课程标准应对课程内容加以具体化的目标描述.这一点应引起课程标准制定者的足够重视.另外，SEC一致性分析方法存在一定的局限性.比如，使用Porter一致性指数的计算公式只考察了两个比率表格的匹配程度，而没有判断试卷考查的每个具体知识点跟课程标准要求的认知水平的一致性.

参考文献：

[1] Porter, A. C. Measuring the content of instruction: Uses in research and practice[J]. Educational Researcher,2002, 31(7): 3-14.

[2] Porter, A. C., Smithson, J., Blank, R. K., Zeidner, T.. Alignment as a teacher variable[J]. Applied Measurement in Education, 2007,20(1): 27-51.

[3] 陈娴,郑璨璨,陈宁.物理内容标准与考试之间的一致性研究[J].课程·教材·教法，2010,30(7)：67-71.

[4] 张宁波.物理中考试题与内容标准的一致性研究[J].物理教师,2012,33(8):1-6.

[5] 孙永超,胡象岭,张永庆.济宁市2011—2013年中考物理试卷与课程标准的一致性分析[J].物理教师,2015,36(2):7-12.

[6] Liu,X.F., Zhang, B.H., Liang, L.L., Fulmer, G., Kim, B., Yuan,H.Q..Alignment between the physics content standard and the standardized test: A comparison among the United States-New York State, Singapore, and China-Jiangsu[J]. Science Education,2009,93(5):777-797.

[7] Fulmer,G.W..Estimating critical values for strength of alignment among curriculum, assessments, and instruction[J]. Journal of Educational and Behavioral Statistics. 2011,36(6):381-402.

[8] 刘恩山,卢群,张颖之.2010年高考生物试卷与课程标准的一致性分析[J].基础教育课程，2010,(9):61-67.

通讯作者*、名师简介：胡象岭(1963—)，男，山东汶上人，曲阜师范大学物理学系教授，主要研究教育心理、物理课程与教学论.