潘虹辉+闻建华
【摘 要】在学业测评中,基于师生的共同发展,倡导评价主体参与,研发双向细目表,建立数据分析平台,进行学业分析、教学分析和教研分析,找出学校、班级、学科组、教师与学生个体的关键的、具体的问题,研究并解决一个个问题,使区域性教学与学业质量的监测与评价发挥其发展性功能。
【关键词】双向细目表;测评;聚类数据;分析;问题;发展
【中图分类号】G424 【文献标识码】A 【文章编号】1005-6009(2015)22-0010-04
【作者简介】1.潘虹辉,南京市鼓楼区教师发展中心(南京,210009)质量监测中心[注1]主任,中学高级教师;2.闻建华,南京市鼓楼区教师发展中心(南京,210009)副校长,南京市中学数学学科带头人。
测量工具的研发是中小学教育质量监测的重要举措,是学业评价过程中最为关键的环节,它在很大程度上决定了质量监测与评价的科学性和有效性。双向细目表是一个将“知识细目”和“技能细目”两个维度有机合成的、颇具实效的测量工具。
基于课程标准的双向细目表的研发,旨在检测教师的教学效果、学生的学业成就与课程标准要求的达成程度。它是一个动态的生成过程,其工作纷繁复杂,需要做大量细实的专门研究。就学科测评而言,它包含对知识细目维度的归类和能力细目维度的界定,表中的纵横两列,都会因学科特点、学段、学情、命题要求和制作者的视角而异,如,对试题预设难度系数与实际难度系数匹配度的控制,对学业监测中显性指标与隐性指标的考察与测量等。
当前,阶段性的学业检测数据,通常用来评价学习结果,是学校进行学业测评的主要依据,也是对教师教学质量进行评估的参考要素。对学校教学质量的分析,常用的数据是平均分、优秀率、合格率、低分率和分数段分布。上述几项指标,在一定程度上能够说明学生的整体学习情况和教师的总体教学情况。学校的教学管理者和学科教师,通过班与班的横向比较、班级学科之间的平衡比较、班级与前几次考试的纵向比较,可以找出其中教师的教与学生的学之间的差距。
但这样的数据分析,呈现的是伪问题,只能浅显地说明某名学生的学习存在问题或差距,也只能显示某位教师的教学与其他教师出现了偏差,不能分析出真正的、关键的问题出在何处,更不能诊断出具体或细节性的问题。
教育评估专家袁益民指出,教育评估工作要更加注重以质量内涵建设内在规律为归依,更加关注主体性,实现从外生性增长到内生性发展的转变;关注科学性,实现从行政管理导向到按教育基本规律办事的转变;关注人文性,实现从物到人的转变;关注协调性,实现从量到质、从快到好、从多到精、从点到面的转变;关注多样性,实现从简单划一的大一统管理到多元发展、错位发展和创新发展的转变;关注可持续性,实现从关注当前到关注长远的转变[1]。
随着网络阅卷在中、高考选拔性考试与评价中的全面推行,许多省、市、区(县)、校在各级考试中都已实行网络阅卷,且借助阅卷系统产生大量具体的学生成绩数据。在这样的背景下,对照《教育部关于推进中小学教育质量综合评价改革的意见》,可以看出,传统的学业测评的结果呈现与处理方式,已经不利于对测试本身价值的进一步挖掘,不能够体现“发展是一切教育评价的宗旨”这一根本原则。
相异于原有的学生成绩数据分析,有异于应试教育下的终结性评价,我们通过编制基于试卷的双向细目表,对知识细目和技能细目进行逐项对比,使“聚类数据”[注2]模式下对学业状况的共性与个性的分析更加细实;对所检测的知识点、能力维度和试题的信度等进行即时的全面反馈;对学生的学习情况、教师的教学情况、教研组的教研情况、试卷的命题质量等进行多元分析和评价,从真正意义上让数据发挥作用,过程性地对评价主体、评价目标、评价内容、评价方式和评价过程等进行剖析,侧重纵向比较,兼顾横向比较,从量性评价走向质性评价,使评价结果趋于客观和全面,对学科组、备课组、教师和学生个体的现状诊断与后续改进产生积极效应。
在学业测试之前,我们指导参与实验学校的部分教师制作双向细目表,对考查的知识细目和技能项目(因学科、学段而异)所占的分值分别进行细化处理,根据学情预设每道题的评估难度。如某实验校初中数学测试的双向细目表(部分),见下表。
测试之后,将双向细目表与网络阅卷各小题的分值导入数据分析平台,通过分析平台,输出所需相关数据,进行教学分析、教研分析和学业分析。
1.进行教学分析。
数据分析平台输出的教学分析数据包括:各班级学科的平均分、优秀率、合格率、低分率和分数段分布,最具价值的是导出百分制等级分和正态化标准分[注3]。这些聚类数据能够客观地反映班级和学生个体的学业水平,教师通过比较,可以对班级不同学科之间做出均衡性评价。这样的分析,能够避免应试教育环境下分数至上的消极影响,也能够避免因测试难度不同所带来的测评结果的负面效应。
如在一次测试中,某实验校的三个班级的不同学科之间的“正态化标准分”呈现,见下表。
相对于学科均分,正态化标准分能明晰地反映学科之间的差距。以上表中的正态化标准分做横向比较,可以看出,一班数学的测试结果要比语文和英语两个学科相对好一些。
如,以两次测试的同一学科的正态化标准分做纵向比较,则能反映班级的阶段性变化,见下表。
如果只看入口成绩[注4]与出口成绩[注5],很难判断教学推进情况,但通过正态化标准分做比较,就能清晰地评估推进情况。教师个体借助对教学分析数据的横向与纵向比较,获得适切的自我评价;学校教学管理部门基于数据分析,收集并保存可以表明教师个体发展状况的过程性资料,分析其存在的优势和不足(包含各班级学科之间的平衡发展状况),准确判断其不同特点及发展潜力,形成对其发展过程的适切的认识,提供具有针对性的改进建议,促进学校学科教学的提升与班级学科之间的均衡发展。
2.进行教研分析。
与原先测试项目的成绩分析系统相比,基于双向细目表的学科数据分析平台有较大的优势,它能对阶段性测试的知识点与技能的具体得分情况作聚类数据对比,在整体上对学科教学状况,进行深层次的教研分析,为学科组教研活动提供翔实的参照依据。
以测试后的实际难度系数为例,通过数据分析,呈现出以下知识点细目的年级和其中三个班级的得分情况,见下表。
教研分析对学科组(备课组)进行从诊断性评价[注6]到形成性评价提供了非常具体的研讨条目。基于相关数据的聚类分析,学科组能够细致地了解学生对所测知识点的把握和应用情况;任课教师能够在群体里发现并找到自身的优势与不足;组内同仁通过类比,借助“同事互动”,获取共性的亮点,找寻共存的弱项,在认真研究教情和学情的基础上,及时调整本学科的教学目标、教学容量、教学手段和教学流程,形成发展共同体,改进学科教学。
值得一提的是,学科组要关注学业测评的命题环节。在测试之前,命题者要综合考虑知识点(基础知识、重点和难点)与考查技能相互交汇的吻合度。在测试之后,对照双向细目表中的预估难度系数,学科组要将数据分析平台输出的各小题的实际难度系数与预估系数进行比较,对两者差异较大的测试项目,要判断这些项目与学情和班情的匹配情况,对测试题进行分析、判断和评价,落实改进措施。长期以往,这对组内教师学会高质量地命题,提高学业测评的信度、效度和区分度,是大有裨益的。
3.进行学业分析。
学业分析,是学生在教师指导下自主进行的对自身学业状况做出的比照、思考、诊断和评价。学业分析能够帮助学生逐渐形成合理的自我认识,认清自己的长处和存在的不足,及时调整,改进学业。基于双向细目表输出的聚类数据分析,凸显其对学生个体的学业评价功能。某学生学科知识点的得分对照情况,见下表。
透过这些数据,教师、学生和学生家长可以对学生个体在所测知识点方面的掌握情况有较为清晰的了解。学业评价可以帮助学生对前期的学习状况进行总结与反思,为后续的学习找到努力的方向。学生个体通过自主地查漏补缺,找到自身知识点的缺陷,扬长补短,借助师生互动、伙伴互动和有针对性的辅助学习,逐步提升,改进学业。
上述三位一体的评价分析报告,喻示着教研部门注重价值引领、关注过程服务和在学业测评过程中倡导主体积极参与的重要性。正如袁益民先生所言:“今后,要在评估监测项目的定位中更多地关注有利于现代学校制度建设的教育均衡发展、内涵发展和多样化发展方面的问题;在评估方案的设计中,要突出评估监测的常态化诊断、咨询和服务功能;在指标体系的设定上要多些兼容性的质性指标,少一些不合理的量化指标;在评估主体的地位方面,要鼓励被评主体的积极主动参与和其他利益相关人的多元参与;在评估程序、过程和方法等方面,要多一些交流和建议,少一些压力和高利害的奖惩,使学校真正成为评估的主体。”[2]
需要注意的是,在学业测评过程中,测量工具的研发是一个十分重要的环节。就双向细目表的制作而言,可以有两种模式:1.先做表后命题,这主要针对地区性学业水平测试和具选拔性的测试。2.根据试题做表,这是较具普适性的做法,教师根据测试题做双向细目表,预设评估难度系数,在测试后,对命题质量、教学效果和学业状况做出客观评价。还有,在教师根据试题做双向细目表的时候,对知识点名称的表达不能太细,要适当概括和归类,如英语学科,考点太细,做表不可能逐一列出,像考查it,one,that,those等一类词的用法,就可概括为“代词用法”;对能力或技能维度的表述,不能生搬硬套布卢姆的六个认知能力层次,要因学科特点和学段特征而异,如数学学科有“证明”,英语学科有“猜测”,语文学科有“鉴赏”,历史和政治学科有“评价”,初一学段有“书写”等,这些因素,在对能力维度进行界定时,都是必须要考虑和兼顾到的。
此外,就测评而言,无论是“监测与评价”,还是“检测与评价”,都要顾及学生认可与接受的程度。如对初一年级的学生而言,他们已习惯了小学阶段的教师的有痕阅卷,尽管网络阅卷对双向细目表数据的导入带来了便利,但无痕阅卷却给学生的自我检查、教师的试卷讲评和家长对孩子的评价带来了许多不便。这类瓶颈性问题,是学业测评中有待进行专门研究的。
总的说来,双向细目表的研发及其聚类数据的分析,在学业测评与教学质量监测过程中有着不可低估的效能意义。从宏观上讲,它有利于对基础教育阶段进行较为客观的学业测评,有利于区域性教研评价和学科基地的建设,有利于信息化、数字化校园的构建,有利于学校的全面发展。从微观上讲,它是教师行动研究的载体,有助于提高教师在教学实践中自我反思、发现问题、诊断问题、分析问题、研究问题和解决问题的能力;它是学生学习诊断的把手,有助于提高学生在学习生活中自我评价、自我认识、自我改进和自我完善的能力;在师生和谐的教学情境中,构建促进教师自觉发展和学生自主发展的学习共同体。
【注释】
[1]2014年2月,南京市鼓楼区教育局率先成立全国首家区、县级教师发展中心下设的质量监测中心,旨在建立评估的指标体系,实施监测工作,进行动态监测,进行诊断、矫正和引导,进行科学监测与评估,发布评估结果,推广经验成果。
[2]聚类数据:聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集,让在同一个子集中的成员对象都有相似的一些属性。聚类数据是对于静态数据分析的一门统计技术,在许多领域得到广泛应用,包括学习检测、数据挖掘、模式识别、图像分析、生物信息等。
[3]正态化标准分是通过非线性转换的技术,把偏态分布强制扭转成正态以后,每个原始成绩对应的标准分。正态化标准分遵循的使用原则是不同的测验分数可以相互比较,包括学科之间,或同一学科不同考试可以比较。
[4]入口成绩:对比两次考试成绩,前一次的称为入口成绩。
[5]出口成绩:对比两次考试成绩,后一次的称为出口成绩。
[6]诊断性评价:在教学活动开始前,对评价对象的学习准备程度做出鉴定,以便确定教学内容的起点和进度,采取相应措施使教学计划顺利、有效实施而进行的测定性评价。诊断性评价的目的是了解学生是否具有达到新的教学目标所必需的基础知识和技能,设计出可以满足不同起点水平和不同学习风格的学生所需的教学方案,并分别将学生置于最有益的教学程序中。
【参考文献】
[1]袁益民.教育“质量”:是质性特征,还是量化程度[J].高教发展与评估,2012(05):29-32.
[2]袁益民.教育评估改革:以学校为主体,以质量为核心,以服务为导向[J].常州大学学报:社会科学版,2014(01):1-4.