让数据说话：教育质量评价的重庆经验

何怀金 龚春燕 卢锦运 田海林 冯友余

教育质量评价的关键在于综合运用心理学、管理学、测量学、统计学、系统论、行为科学和计算机技术等多学科原理与方法，实施精确的测量。以大数据技术、“互联网+技术”为核心的现代教育测评、统计分析及数据挖掘等技术手段的发展，促进教育质量评价从经验式、粗放式、单一手段、定性思维、唯分数、片面式的评价，转变为基于大数据的精细化、科学化、全面客观的评价，是当前教育质量评价最前沿的课题。

监测与评估并重并举，用数据说话

重庆市教育评估院自2009年成立以来，在教育部基础教育质量监测中心指导下，一直致力于教育质量监测的理论、技术、方式、方法的研究，秉承“尺正明信”的院训，将现代测评理论技术与互联网技术深度融合，建立了较为全面、科学、真实的教育质量数据库，精准服务于教育行政决策、教育管理及教育科研，初步构建了重庆现代化教育质量评价体系。

一是机制上，创造性地将监测与评估有机结合。重庆市教育评估院先后设立“市基础教育质量监测中心、市家庭教育监测中心及数据分析中心”等12个部门，沿着教育“管办评”分离的改革思路，始终坚持监测与评估并重并举、协调发展互为支撑的理念，将“监测”和“评估”两大职能有机结合在一起，走“评估基于监测，监测为评估提供依据，坚持质性评价与量化评价相结合”的道路，以监测支撑评估，以评估促进监测。

二是实践上，始终坚持让数据说话的价值追求。8年的教育质量监测与评估实践，始终坚持“监测是事实判断、评估是价值判断”的理念，始终践行“数据革新教育评估”的价值追求，逐步建立涵盖基础教育、职成教育、高等教育及学前教育、家庭教育等领域的全市教育监测评估大数据库。通过对数据库中“死数据”不断进行专业挖掘和科学分析，形成服务教育改革发展的决策咨询报告，让“死数据”变成“活数据”“有用的数据”，实现了用数据说话、让数据发声的价值追求。

突破教育质量评价的技术瓶颈

现代教育测评技术正以前所来有的速度改变着人们的质量观、评价观，颠覆着传统的教育质量评价，PISA、TIMSS等国际著名的评价项目正是用新的质量观评价世界各国的教育质量，受到广泛认同。

2010年，重庆市在全国率先组织开展省级基础教育质量监测以来，攻克了工具构造、数据分析等若干关键技术，先后研发了抽样平台、自动打印平台、扫描平台、题库平台、数据清理平台、报告自动生成平台等10余个软件系统，在实践中体现了科学性、专业性。

一是通过不完全平衡矩阵抽样技术突破测试时间限制，构建与课程标准一致的双向细目，在考查内容上进行抽样，产生多份内容各不相同的测试工具（试卷），通过专业设计，测试学生只需作答一份试卷，但整个评价结论却建立在全部试卷所覆盖的全部考查内容之上，有效覆盖了测评内容，保证了测试的信效度。

二是通过工具标准化研制流程，规范测评工具命制程序，通过命制、严格筛选、多次试测、统计分析，防止测评内容对不同教材、文化、民族、性别、生活地域的歧视，避免试题禁锢学生的思维方式，抑制学生的创新性思维，保证测试内容、试题难度与课程标准一致，保证测评工具的科学性。研制出涵盖学前、义务、普高及教师教育、家庭教育等8类百余套教育教学质量评价工具，尤其是研制出小学语文、数学、英语、科学和初中语文、数学、英语、科学学科工具，测试信度较高。2016年以来，我们还与世界经合组织（OECD）进行战略合作，开展PISA工具的中国化、本土化实践研究，完成7套PISA For School专业工具、2类专业调查问卷。

三是采用现代教育测量理论使测试结果成为客观等距量尺，采用IRT项目反应理论合成分数，称之为“量尺”分数，并将学生能力分为7级或4级水平。这体现了与传统考试分数的区别，着眼于把测验数据构建成客观等距量尺，使其性质更接近于物理测量，增强了结果的科学性和可靠性。

四是采用与测量模型相适配的测验等值技术，通过标准化施测，克服题目曝光等独特的技术困难，实现全市基础教育质量监测的标准化测试，可跨越年度进行发展变化和趋势比较。时间和周期上，采取周期性与常态化监测结合的方式。

五是通过常态监测对学生德智体美社会实践各方面的发展状况进行测查，收集学生和学校的背景信息，如学校状况、教师教学、家庭环境和政府投入等影响学生表现和学业质量的诸多因素。不仅针对不同阶段学生，全面监测学生的身心健康发展状况、学业发展状况、学业负擔状况、兴趣特长状况、行为习惯状况及影响因素，也要关注影响学生发展的背景因素，如校际均衡发展、学生的社会经济文化地位、学校的可支配资源、区域教育均衡以及家庭、学校、教师和社会对学生成长的影响，找出影响学生发展的重要因子。

创新教育质量评价的方法、手段

“互联网+”教育不仅改变了传统的教育教学模式，也革新了教育质量评价的方式和手段。

一是互联网技术、数据库技术的发展，实现了通过上报数据、查看数据、修改数据、公示数据等流程的现代化，将大量的基础性数据（例如教师出生年月、学历、职称等基本情况）远程自动采集到数据库，在保证数据的准确性、安全性和原始性的同时，对多源数据自动校正、清洗，从而构建客观、精确的评价基础数据库，节省了大量人力、物力和财力，打破了单一的定性评价方式，实现了新的定量评价渠道。

二是移动互联技术的普及打破了参评对象单一的传统模式，为家长、教师、学生、社会全员参与评价提供了全新的手段和方式，以重庆2016年实施的全市基础教育质量监测为例，通过微信、手机APP、万维网等多种方式，实现了5万余名分布在全国各地的家长以及5万余名全市教师参与监测，得到了大量客观真实的评价数据。

三是信息技术、智能手机等的普及应用，与学生、家长、教师等的日常学习、生活、管理、教育教学密不可分，采集、记录这些活动中的行为、表现、交流等信息，并对这些信息进行分类、提炼，构建适当的分析模型进行挖掘，为实现全员参与的过程性评价提供了前所未有的全新方式。

四是人工智能、图像等技术的发展，为大规模评价个体提供了新手段，在学生学科或问卷填答中，对纸质的作答情况，通过成熟的图像识别技术，对客观题作答情况进行自动识别，提高了效率；在结果报告中，采用数据驱动的方式，应用语义技术等手段，实现数据报告智能生成。

应用教育大数据，打造教育质量评价升级版

网络技术、云存储与计算技术等的发展，使得通过采集教学、学习过程中的数据（如课堂教学、考试测评、家校互动等）、科学研究中的数据（如论文发表、科研获奖等信息）、教育管理过程中的数据（如学校基本信息、教师基础信息、学生家庭信息等）、生活中的数据（如社会实践、参与兴趣活动等信息），构建伴随式教育大数据成为可能。

一是建立定期、不定期采集数据制度。通过建立定期大规模采集全市基础数据、师生日常教育教学数据、多元评价主体数据、定性数据和定量数据、学生综合素质评价数据等制度，完善数据采集机制，不断采集学生成长、教师教育教学、学校管理、家庭教育等各类教育信息。以高中学生综合素质采集平台为例，重庆市近4年累计为高考招生录取提供了近100万份高中学生综合素质报告。

二是构建海量、多維度教育大数据库。重庆市每年都坚持开展教育质量监测，2010-2016年，开展省级基础教育质量监测7次，2914所中小学、22万余名中小学生、10万余名教师（班主任）和管理干部、10万余名家长参加，获取了数以亿计的基础教育质量数据，构建了涉及学生、教师、家长及学校管理干部的较为完善的数据库。

三是升级教育大数据分析、处理技术。应用多层线性模型、数据仓库技术、机器学习等现代技术，通过数据挖掘，从繁杂的教育大数据中发现内在关系、诊断问题、预测发展趋势，发挥教育大数据在提升教育质量、促进教育公平、优化教育资源配置、辅助教育科学决策等方面的重要作用，凸显现代化的教育质量评价，不仅是结果性评价，更是诊断性评价。

评价基于监测，监测形成数据，伴随、实时、连贯、全面、真实、客观的教育大数据，是推进教育持续发展、创新发展的科学力量。通过应用现代教育测评技术，不断革新教育质量评价的理念、模式、方法和手段，通过专业的分析模型，源源不断地存储到教育教学规律结果信息库中。通过专业、综合的技术，对数据库中“死数据”不断进行专业挖掘和科学分析，形成服务教育改革发展的决策咨询报告，打造教育质量评价升级版，不断凸显智库作用。

重庆市教育评估院在“数据革新教育评估”理念基础上，坚持创新驱动发展，构建起以“互联网+”技术为核心支撑，全方位、多层次的教育评价体系。8年来，我们分维度、板块、领域和功能区等提出建设性决策咨询和诊断性服务意见，累计为重庆市教育行政管理部门提供监测报告100余份、区县基础教育质量监测报告300余份、各类学校报告1000余份。精准服务于教育行政决策、教育管理及教育科研，针对报告中的有关问题和建议，重庆市教育行政部门先后出台了《重庆市义务教育学校标准（试行）》等10余个教育行政决策文件；得到了各区县和各级各类学校教育实践的广泛检验，助推了以大数据为重要内容的“管办评”教育治理体系与公共服务体系建设。