大数据支撑下的区域质量监测平台实践研究

熊善军

摘 要 教学质量监控的目的是为教育教学活动提供决策依据。丹徒区教师发展中心为了让“数据”说话，对数据进行合理的统计和解释，依托大数据开展区域质量监控，推动和深化基于数据的教育教学评价，整合研发了基于互联网的“丹徒区学业水平监测平台”，实现了信息技术与教学评价管理的深度融合。

关键词 大数据 监测平台 评价

一、传统质量监测存在的问题

当前在大多数学校和区域，教学学业质量监测工作仍然在使用较初级的评价工具——办公软件来收集、分析处理全地区的考试数据。其问题与弊病表现在评价方式上为方式单一，缺乏具体、操作性强的评价手段与工具，评价结果多数用于学校、教师排名，评价结果缺乏真实性等；在评价内容上体现为内容比较片面，往往缺乏系统性，因而所获得的信息也比较有限。由于办公软件本身功能的局限性，完全依靠办公软件做评价手段存在的主要问题包括以下几个方面。

1.简

办公软件只能够计算出少数简约宏观的指标，如“平均分”“及格率”“上线率”“分数段”和“排名”等，不能实现某次“终结性评价”需要全面呈现的主要指标和图表，例如“偏度系数”“峰度系数”“分数频率分布正态检验图”“中位数—四分位数描述图”等。

2.单

办公软件大多只能在计算机的单机使用，无法通过网络实现全区考试数据自动收集和分析结果发布共享；在不进行VBA编程的情况下一般只能计算单次数据，不能像数据库一样存储历史数据，不便于追踪学生和团体发展变化，如“学生和团体多次考试标准分变化图或变化表”“学生和团体两次考试评价表”“学生和团体多次考试N评价”等。

3.粗

办公软件呈现的分析结果只适用于“粗线条”地反映全区宏观情况，难以实现“教学过程评价”中面向基层学校、班级甚至每个学生的多种精细化评价方法，难以针对试卷命题质量、试题小分和知识点做出详细的分析。如下文提到的“学生试题分析报告”“双向细目表分析与诊断”“S-P表分析与诊断”等。

4.浅

办公软件不能容纳复杂的教育统计、测量的数学模型，难以深入挖掘海量学生成绩数据背后的信息，实现多范围、深层次的教学质量系统、客观、科学的衡量与诊断。如“测验信度计算”“模糊综合评价”“相关分析”“假设检验”“线性回归分析”“聚类分析”“主成分分析”等。

二、基于大数据的区域质量监测平台

基于以上原因，教育行政部门很难依据现有的评价进行有效的决策和资源分配，学校领导也很难通过现有的评价促进学校内涵的全面发展，因此，整合各类平台，在信息技术和大数据的支撑下建立一个覆盖全区学校、主体多元化、评价方式多样化、评价手段具体、操作性强的学业质量监测体系是十分必要的。丹徒区学业水平监测平台由试卷命制系统、阅卷系统、学测分析系统、数据反馈系统四大部分组成（见图1），对学生学业质量监测得到的数据和信息进行更加深入地发掘和分析，获得教学质量及学生发展状况真实、全面的评价信息，把评价结果以丰富的形式向教学第一线进行反馈。区教师发展中心紧随大数据时代发展步伐，以区域性教学质量的提高为目标，形成了命题——阅卷——数据分析——质量反馈四位一体的区域质量监控平台。区域分析运用“绝对”评价和“相对”跟踪动态评价相结合的方式，用标准分跟踪每所学校的质量变化，采用雷达图直观反映区域内学科分学校发展和学校分学科发展。

1.制度保障是质量监控的基础

组成一个覆盖全区的学业质量监测和增值评价的网络服务平台，要构建包括教育局、教研部门、学校、班级、学生评价等多级信息共享的评价模式；以全面、快速、准确地反馈考试信息和评价标准来贯彻和落实教育部门的管理目标，大量学业测试信息和评价量规面向学校、教师和学生进行及时反馈，使学校及教师能及时了解教学中的问题和缺陷；全面采集学生入校以后历次考试或测验的数据，组成中小学教育体系中相对庞大的海量数据库；采用教育测量、统计和评价学的理论和方法，对学生学业成绩的发展实施全面的监测、管理与评价；通过挖掘海量学生成绩数据背后的信息，实现多范围、深层次的教学质量系统、客观、科学的衡量与诊断，充分发挥考试评价改进教学过程的作用。学测平台除了向教育行政部门和发展中心提供十分详尽的全区宏观数据分析及学校、班级和个人的考试分析信息之外，还能供辖区的全体学校使用，为学校提供详尽到班级和个人的考试分析结果，可以使发展中心和学校对教学的“研究、指导、服务、管理”从学校层面扩展到班级和每个学生。

（1）建立校、片、区三位一体的监控体系

为了充分发挥监测平台的诊断、导向和激励作用，提升区域平台区域应用的效度、广度和深度，教师发展中心于2011年成立了质量监控组，逐步构建校、片、区三位一体的质量监控体系。首先，结合每学年的教学要求，制定《区域中小学学业质量监测规划和实施方案》，为每次质量监测进行顶层设计，明确工作要求，有效推进网络监测平台的建设。其次，通过QQ、微信等手段建立以学校信息技术教师为基础的区域信息员组群，为网测平台的使用进行技术咨询和应用保障。最后，每次监测前开好各学段的考务培训会，保障质量监控从制卷、阅卷、分析各阶段都能顺利进行。

（2）加强学科研训人员的常态培训

学科研训员由于统计知识的缺乏，对监测平台的使用有一个缓慢接受和认可的过程，但监测平台在区域范围的推广离不开学科研训员的使用和推进，所以对学科教研员的常态培训必不可少。在推进过程中，发展中心采用学科突破、全面推进的策略，不断总结研训员使用平台的经验，让其他学科有样可学。对信息技术能力强的个别学科进行个别辅导，鼓励该学科在应用上先行，并在研训员会议上进行交流，同时加强技术对话保障平台培训到位。在每次监测结束后，精选1～2位学科研训员进行学测分析报告，其他学科研训员进行点评分析。从实践效果来看，学测平台的推进离不开研训员的认同和理解，只有提高研训员学测平台使用的积极性，才能使学测平台的使用常态化、自觉化。

（3）完善基于监测平台的常态应用

教学质量的改善是一个长期的过程，随着学习内容、对象、教师等条件的变化，教学质量在不同的时期会有不同的表现。通过学测平台累积的大数据，实现了对区域质量监测数据动态、持续地跟踪分析，这就要求区、片、校三级部门，在每次质量监测后的最短时间，利用学测平台根据各自需要进行相应的分析。这样，教育行政部门和教师发展中心可以发展地了解辖区内学校的变化情况，实施定点教研，改进薄弱学校和薄弱学科；片区学校通过学测平台可以了解一段时间内片区内学校在学科及班级教学质量方面的变化；学校通过监测平台可以实时监控教师在某一阶段的教学情况，并针对学生的学科平衡情况进行心理干预和个别辅导。

（4）注重基于监测平台的评价反馈应用

“理论的价值在于启发、唤醒、提出问题进而帮助我们分析和解决问题。”学测平台中数据分析结果的使用，有利于帮助教育行政部门和教师发展中心把握区域教育质量现状，也有利于学校和研训人员通过监测评价反馈转变教育教学习惯思维、变革教育教学中的师生关系，从而完善教学管理、创新教育方式，并指导学校教师和发展中心研训人员采取有效的教学实践和指导，充分发挥教育监测理论、统计理论对提升教学质量的价值。根据学业测试的不同要求，参与区域学测平台反馈的人员有校长、教务主任、教研组长及各学科研训人员，在评价反馈时从宏观和微观两个层面对区域学校及学科的发展情况跟踪比较反馈，肯定成绩的同时指出不足，这样既构建了以学校为基础的绿色评价体系，又能有效提升学校依据学测平台实施教育质量监控的能力。

2.多维度学业诊断是监测平台的基础

区域质量监测平台是一个集阅卷、分析与评价、反馈一体化的系统，是一个在信息技术支持下的教学质量监测平台，通过不同阶段监控所积累的大数据，对学生从入校到离校不同时段的变化进行多维度跟踪评价。区域、片区和学校相关人员通过查阅学校及学生历次监测数据及系统通过大数据分析生成的各种分析报告，精确了解学校及学生多次测试反映出的发展动态，从试卷命制、阅卷安排、试卷分析、监测分析等多方面入手，有针对性地改善学校及个人学习状态，提高学习质量。通过多维度的学业诊断，促进教学反思。

（1）分析指标细化，科学利用数据

学生监测数据是区域监测平台最重要的数据，经过近几年的积累，已经形成区域学生质量监测的大数据平台。依据统计学理论，在大数据的基础上改变过去注重学生三率一分（及格率、低分率、优秀率、平均分）的简单评价为注重学生发展的综合性评价方式。区域学测平台在除了包含常规的统计分析项目，如平均分、四率、分数段等传统数据之外，需要全面应用教育测量、统计和评价学的理论，包含了标准参照评价与常模参照评价的各种方法和技术，如建立测验质量监控常模、导出分数、分数数据分布状态和趋势的描述等。采用描述统计分析方法对获得的数据进行整理、概括，显现其分布特征，用十分丰富的测验量表、统计表格和Flash动画图形等手段来展现各项数据，使通过测量所得到的信息更加丰富、全面、系统和准确，提高评价结果的可靠性。例如，根据教育测量原理建立的“常模表”（测验量表）是对某次测验分数的详细解释，用来作为测验的比较标准；在表中，我们可为某个被试的原始分数找到它在常模团体中的相对位置。根据“正态化分布常模”中的正态化标准分，利用团体标准分内部差异比较图可以比较出某学校内学科之间的差异，如图2所示，语文、数学是该校的优势，水平在全区平均值（图中零平面）之上，英语、物理学科是该校的薄弱环节。

（2）合理分析试卷，促进试卷命制

区域学业监测平台试卷命制系统为区、片、校进行学业监测试卷命制提供服务。区域研训员及片区和学校教师事先定义每道题或每个得分点的属性，通过考查内容和考查目标利用双向细目表进行分析，充分利用学测平台中的现有题库，在“一命二审”的基础上形成某一阶段的检测试卷。学测平台根据学生的答题情况对试卷进行试题指标汇总、试题指标统计、试题选项分析、试题选项统计、试题得分分布与比较、平均分数、难度指数分布、难度指数、难度指数、分组难度指数、团体得分率统计和比较定位；对区分度指数进行分析，并给出试卷分析报告。例如：系统为全区每个学生的各学科都生成了一份双向细目分析与诊断表。它是一种教学过程精细化管理与评价的工具，可以细化到对每个团体和学生个人的“考试内容（组块、小题）”以及“考查目标（识记、理解、应用、分析、综合和评价）”的得分或得分率水平做出全面的分析，并且把学生与学校、班级的水平进行比较。

3.发展性评价是学业监测平台的优势

教育评价一定要尊重学生主体发展的需求，采用多种方式构筑学生评价体系。区域学业监测平台采用经典教育测量法对学生学业发展水平进行测量和描述性统计分析。通过历次学业测试积累的大数据，利用教育测量原理建立每次考试的“正态分布常模”，使不同考试或学科的分布形态都成为完全相同的“标准正态分布”；原始分转化为导出分数（百分等级分数、正态化标准分数Z和T）；以导出分数作为一把“标尺”，在不同考试分数或学科之间建立一系列“等值关系”，为它们之间的精确比较奠定基础；利用导出分数可以较为精确地描述学生在总体常模中的位置，即学业水平的发展变化趋势。

（1）团体评价

通过监测平台可以对某一学校历次检测情况进行跟踪分析，在比较中发现学校的进步和差距；也可以对学校各学科的发展平衡情况进行分析，利用数据找出学校的优势和薄弱学科。区域学测平台中团体评价指标有团体标准分变化表和图、团体标准分评价表、常用指标变化表和图、上线指标变化表和图、统计指标变化表和图；例如：某班级8次考试的团体标准分Z变化图（如图3）。

（2）学生评价

学生发展性评价方法是一种用来评定学生或团体多次考试总成绩进步程度的方法，它对某个团体N次考试的标准分数进行“矩阵运算”，通过计算出“N分数”“进步分数”和“进步名次”等指标，定量分析出N次考试中学生或团体学业成绩进步的程度，可以有效地评定学生学习的效果。区域监测平台还可以对学生进行发展增值描述：常模等值关系表、学生两次考试分析、团体两次考试分析、标准分变化值分布、标准分变化值分布，若干等值分数线上发展变化趋势的描述等，通过这些发展性评价方式，让教师和学生了解在教学中的不足和学生个体的学科差异，为教学进行个性化辅导提供依据。图4为某校某班多位同学在一年度考试中的N评价结果。

从图4可以看出，一年来该班同学历次测试标准分的变化情况，并依据N分数的变化得到学生的进步名次。

（3）增值性评价

学校教学质量发展水平的评价在各级教育评价体系中处于核心地位，它直接影响着对教师评价和学生评价的原则以及学校的发展方向。增值性评价主要以学生学业成就的发展水平为评价依据，通过相关的统计分析技术，将学校对学生发展的影响从生源、规模、学习习惯、教师因素等诸多相关因素结合起来，进而测量一定时间内学生的发展情况。区、片、校在每次学业检测时，要求心理辅导员依据学生心理特征设计相关问卷调查，借助区域学测平台的问卷系统，可以对学生学业外的影响因素进行增值性评价，为教育教学提供更多的实证依据。

三、基于大数据质量监测平台的深度应用

随着大数据时代的来临，云平台、互联网+技术在教育教学上的陆续应用，教育信息化对区域质量监测的要求也在不断发生变化。网络监测平台也将适应要求，与时俱进。

1.进一步盘活数据，驱动教学过程改进

凡客观存在的事物都有数据，凡有数据的东西都可以分析，凡有分析的行为都可能创造价值。通过监测平台可以对各类数据进行科学、深度的分析，让数据变为教学过程改进的证据。结合信息时代的教育特点，优化增长性评价，依据监测平台中的问卷调查进行归因分析可以为各类管理人员提供有价值的管理依据。合理安排每次质量监测的时间节点，让“监测——分析——改进”更有针对性，每次监测结束后，在区域和校区内开展数据分析报告展示活动，鼓励教师利用监测平台进行试卷分析、教学分析、教育管理等各类分析，加大基于大数据的区域监测平台的深度应用，让监测平台成为提升学校教学质量和研训力度的一项重要手段。

2.改进“学生成长记录表”，为分层教学提供依据

一方面在平台的建构上要精简操作流程，适应学校及管理需求进一步优化评价模型，丰富增值型评价内容，增加学生心理健康、教师教学、学校管理等方面的问卷调查和信息处理。二是立足于监测平台常态应用的同时，进一步优化错题归类工作，形成基于错题更正、测试的纠错平台，为学校分层教学提供数据资源支持。三是加强学生综合素养评价研究，加大过程性评价内容，在评价反馈上利用平台的跟踪功能为学校提供学生成长记录表。

推进区域质量监测平台的深度应用，要淡化数据，重视数据评价，区、片及学校积极探索质量监测的形式与方式，优化质量监测的技术指标，逐步完善质量监测体系。通过监测平台的深度研究应用，将“学生的全面发展”“教学质量的过程研究”“学生健康发展的因素”等诸方面逐步融入到监测过程中，完善以“测试、阅卷、分析、反馈”为基本框架的“区域质量监测平台”。以此促进区域教师和研训人员自觉改变教学行为及研训方式，切实提升区域教学质量，进一步加强区域教育信息化的应用步伐。

参考文献

[1] 周家荣.基础教育质量监测的基本框架[J].上海教育评估研究，2015（2）.

[2] 符泰民.信息技术支持下的教学质量监测研究[J].中国电化教育，2014（5）.

[3] 牛月蕾.美英中小学增值评价研究[J].长沙：湖南大学硕士论文，2012.

【责任编辑 郑雪凌】