教学测试数据的演变、应用及其展望*

朱 珂 杨 冰



教学测试数据的演变、应用及其展望*

朱 珂 杨 冰

（河南师范大学 教育学院，河南新乡 453007）

教学测试数据是教育大数据的重要组成部分，对揭示教学状态的要素特征和结构关系具有重要意义。基于此，文章首先从数据来源、采集技术、分析处理技术、呈现方式等维度进行对比分析，梳理了传统环境下和“互联网+”环境下教学测试数据的演变历程；随后，文章分析了测试评价的转变，并介绍了目前国内外教学测试数据在自适应评估、实时监控干预、学情预测与分析、个性化学习以及辅助决策服务等方面的典型应用案例；最后，文章针对教学测试数据的应用进行展望，以期为精准教学模式下教学测试数据的分析与应用提供借鉴。

“互联网+”；教学测试数据；教学评价；教育应用

在教学活动中，评价扮演着调节、控制教学过程的重要角色，对唤起学生新的认知与成就需要、提高学习兴趣与信心具有独特的激励导向作用。测试是评价学生学习效果的重要手段，在此过程中生成的可量化、可记录的测试数据蕴含着丰富的学情信息。传统的纸笔测试仅能给予教师和学生浅层信息反馈，如分数、名次、平均分等。这样的反馈形式既不能使学生清晰了解自己的知识点掌握情况，也不利于教师对学生进行个性化指导。教育大数据及其分析技术的出现与发展，为教学测试数据的应用带来了新的机遇，有利于解决传统教学测试分析与评价中存在的问题。在学习分析等技术的支持下，教师可以充分挖掘和利用测试数据背后所蕴含的海量学情信息，使教育教学过程逐步从基于常识的经验推断走向基于数据的科学决策，从而对教学各环节进行精确诊断，实施精准化教学。

一 不同环境下教学测试数据的演变历程

实施教学评价是教育管理者和教师进行教学干预与决策的重要前提，而有效的教学评价依赖于具有代表性的评价数据和科学、精确的评价技术。教学测试数据作为教学评价中最为客观、准确、易测量的数据来源，受到了研究者的持续、广泛关注。如杨现民等[1]提出将教育大数据的分析处理分为教育数据采集、教育数据处理、教育数据分析与呈现三个环节。本研究从数据来源、采集技术、分析处理技术、呈现方式等维度对测试数据进行了对比分析，梳理了传统环境下和“互联网+”环境下教学测试数据的演变历程，如图1所示。

1 数据来源

在传统课堂中，教师对学生的评价是以考试后的分数统计和教师主观分析评定为主。其中，考试后的分数统计主要以笔试测验为主，测试数据来源于教师组织的周测、月考、期中考试、期末考试等测验的试卷分数；教师主观分析评定则是以学生在课堂上的表现和日常作业为基础的主观经验评价。在“互联网+”环境下，以“三通两平台”为代表的软硬件设施的不断完善和教育信息化进程的不断推进，使得教学测试数据的来源越来越丰富，表现为：①微观层面，教学测试数据来源于单个学生，这一层面的数据又可划分为当次测试数据和历次测试数据；②宏观层面，测试数据可以分为课程测试数据、班级测试数据、学校测试数据和区域测试数据等[2]——课程测试数据是指围绕课程测试而产生的检验学习效果的数据；班级测试数据是指以班级为单位采集的各类测试数据，如作业数据、考试数据、课堂实录数据和班级管理数据等；学校测试数据是指以校为单位采集的各类测试数据；区域测试数据是指同一区域内不同层次、不同类别学校的汇总测试数据，用于区域内资源的均衡调配、不同区域之间学习状况的调查等。

图1 不同环境下教学测试数据的演变历程

2 采集技术

通常情况下，传统课堂采用一师对一班的授课模式，教师无法对所有学生进行实时学情监控与测试。课堂测试数据来自于教学过程中教师对学生的学情观察、课堂提问和作业检查等；纸质试卷类测试数据则来自于测试学前、学后知识掌握情况的测验考试，通过人工阅卷、人工记录等方式采集。在“互联网+”环境下，各类专业、高效的工具软件可以实现对学生全方位、多维度、自动化的数据采集。其中，智能录播与视频监控技术可以对课堂教学数据进行实时、自动采集；图像文字识别技术通过计算机对图像、文字的匹配处理与分析，可以识别不同模式的目标和对象，如用于采集学生测验考试类数据的网评网阅技术和用于采集各种作业、练习类测试数据的拍照搜题技术；在线平台管理、日志搜索、Web挖掘与网络爬虫等平台采集技术可以对各种在线学习与管理数据进行采集。

3 分析处理技术

在传统课堂中，课堂测试数据通常采用教师主观划分等级（优、良、差）或打分的方法进行处理与分析。利用阶段测验中产生的测试数据，通过对试卷得分的统计、排序等浅层信息分析（总分、平均分）或初步的分类聚类，可以得出学生的知识掌握情况和班级整体的认知分层状况。在“互联网+”环境下，有预测分析、建模、聚类分析、相关性分析和可视化分析等常用的数据挖掘模型和算法，以及神经网络、深度学习等大数据时代的前沿机器学习技术。例如，对学习过程数据进行挖掘和预测，可以分析出学生的认知过程与情绪波动情况；对学习成绩数据进行聚类分析，可以优化学生分组，从而更好地指导分组式合作学习；利用可视化和相关性分析技术，可以支持管理决策人员快速了解学生的学习情况，直观、高效地发现学习短板。

4 呈现方式

在传统课堂中，学生测试结果的呈现方式以平均分、得分率和排名等浅层次数据分析结果为主，只能分析小样本测试数据显示学生的成绩状况及其变化趋势，强调甄别与选拔功能，呈现方式较为单一。在“互联网+”环境下，测试数据的呈现方式重视评价的激励与引导功能，强调对学生的全面考察，特别是对情绪、态度、习惯等综合素质的考察。2016年，美国发布《2016-2045年新兴科技趋势报告》，报告中预测的新兴技术——数字画像技术为测试数据呈现方式的发展提供了更多可能与技术支持[3]。有学者预测，将分析处理后的测试数据结果以多样态、交互式的视觉形式予以呈现，将成为一种必然趋势[4]。

二 教学测试数据的应用

1 测试评价的转变

在教学与测试动态交织的过程中，评价过程的类型主要分为“三明治”型和“蛋糕”型两种：①在传统课堂中，测试与教学的过程主要表现为“三明治”型阶段分层评价。在这种评价过程中，教学发生于前测和后测期间，构成像三明治一样的学习过程，在教学前与教学后生成测试数据。②在“互联网+”环境下，测试与教学的过程主要表现为“蛋糕”型动态融合评价。在这种评价过程中，教学与测试交叉融合进行——教师设计具有针对性的测试题目，对教学内容与教学效果进行即时评价与反馈，同时依据测试结果，进行教学设计、教学策略、教学活动的自适应调整，测试数据的生成贯穿于整个学习过程。

“三明治”型阶段分层评价与“蛋糕”型动态融合评价的主要差异是：在“三明治”型评价中，教学与评价在时空上是分离的，作用时间存在一定的滞后性；而在“蛋糕”型评价中，教学与评价紧密耦合，即时进行反馈调整，作用时间没有延迟。传统测试由于受评价技术、数据处理能力等因素的限制，通常以“三明治”型为主。而随着大数据、云计算、学习分析等技术的快速发展与普及应用，测试评价逐渐从“三明治”型向“蛋糕”型转变，如图2所示。

图2 “三明治”型评价向“蛋糕”型评价的转变

图3 教学测试数据的应用展望

2 教学测试数据的应用案例

（1）实施自适应评估

基于测试数据的自适应评估可以检测学生的进步情况，为自适应学习提供数据依据。目前，国外针对不同年龄层和不同学习需求的学生，研发了大量基于测试数据的自适应评估工具，如表1所示。其中，ALEKS是加州大学欧文分校根据脑神经测试和数学算法，针对数学教育而研发的一款自适应评估工具，目前已在美国公立小学中被普遍应用。ALEKS运用“知识空间理论”（Knowledge Space Theory），利用人工智能的手段，通过少量的问题便可以快速准确地测评学生对所学数学知识的掌握程度，并提供自适应指导[5]。Imagination Station公司研发的Istation工具则为全美和其它国家400万K-12阶段的学生提供了阅读和写作的线上测评，学生以可视化和游戏的方式完成课程、活动和测试，之后系统将自动生成评估报告并将其发送给老师和家长[6]。

表1 基于测试数据的自适应评估工具

（2）支持实时监控干预

培生集团开发的全球少儿英语旗舰课程引入在线学习辅导系统（My English Lab，MEL），将测试数据应用于决策干预领域。MEL应用大数据技术，全程实时分析学生个体和班级整体的学习进度，实现对学习过程和结果的动态管理，为教学设计和教学活动的动态调整提供数据依据。MEL以学生为中心，按照教、学、测三个环节组织线上学习内容与教学过程，最终实现对学生学习过程的实时监控与干预。而布里奇沃特学院通过对比来自Edexcel、OCR（Oxford Cambridge and RSA Examinations）等第三方机构授权的源于全国其它学校学生的测试数据，获得进行本校学生学情监控干预的数据依据，并将数据分析结果呈现给教师，从而实现对本校学生的干预，使本校学生在拥有相似入学水平的全国学生中取得更好的平均成绩[7]。

（3）开展学情预测与分析

在利用测试数据实现学情预测方面，斯坦福大学的Piech团队提出了基于深度神经网络的学生知识点追踪（Deep Knowledge Tracing，DKT)模型。DKT模型采用深度学习中的RNN算法，利用其在时间上的“深度”，对海量学习数据进行训练学习，不断完善算法模型。Piech团队在用DKT模型训练学习了可汗学院47495名学生所做的140万道数学题及解答数据集后，预测学生所做习题正确与否的预测精度（即AUC值）达到0.86，远高于基于贝叶斯网络的学生知识点追踪（Bayesin Knowledge Tracing，BKT）模型预测的精度（AUC值=0.69）[8]。

（4）助力个性化学习

个性化学习已经成为当今教育的研究热点，各类支持个性化学习的测评方式不断涌现[9]。2017年，由美国最大的教育测评机构——西北测评协会（Northwest Evaluation Association，NWEA）研发的个性化测试方法（Measures of Academic Progress，MAP）的学生使用人数已达到700多万。在MAP测试过程中，测试内容、测试题目均可以依据学生的实时答题情况进行个性化调整，最终稳定在学生的最近发展区；同时，MAP针对收集到的测试数据，为每一个学生提供精准、个性化的评估结果[10]。美国的个性化学习平台Summit Learning Platform中的学习测评系统利用测试数据进行深度分析后，可以精准评估学生在7大方面中36个不同认知技能的具体掌握程度[11]，并能精确、具体地呈现每个学生的认知发展程度，据此向学生提出清晰的学习目标，为学生的个性化学习提供支持。

（5）辅助决策服务

测试数据在教育服务、教育决策方面也发挥着巨大的作用。依据测试数据，教育管理者可以发现问题、找寻不足，由此规划未来的教育决策与方针。2017年，英孚教育在上海发布全球非英语母语国家的英语水平排名，此排名依据的是80个非英语母语的国家地区、逾100万人的测试数据[12]。这些测试数据有利于教育管理者了解全球各地区英语水平的掌握情况，经数据分析后得到英语水平高低与各地区的经济竞争力、社会发展、创新能力之间的关系。同时，深度分析测试数据背后的含义，教育管理者可以据此提出一系列提高英语水平的可行性建议，从而更加科学合理地制定未来的教育方针。

三 教学测试数据的应用展望

随着教育信息化进程的不断推进，教育领域的数据量呈指数化增长，教育测试的“大数据”时代正在来临。这些数据除了来自于学校测试数据系统（周练、月考、期中、期末等），还来自于各阶段测试数据系统（中考、高考、研究生考试等）、各类在线课程测验数据系统（MOOC、网易公开课等）等。未来，这些采集后进行了深度加工的测试数据，经过各种数据挖掘技术与机器学习技术的处理与分析，可以为教育决策者和师生在学情预测、学习预警、决策分析、自适应学习、个性化推荐、学习效果评测、学情监控和可视化等方面提供精准、及时、科学的数据支持，具体如图3所示。

1 学习预警与预测

在教育教学过程中，学生学情的分析和学习效果的预测是学生了解自身学习情况、改变学习策略、调整学习状态以及教师实施教学调整与干预的基础，对教育教学具有十分重要的作用。教师实时了解学生即时的学习状态，可以进行精准的教学调整和干预，从而在提升教学效果的同时减少学生的认知负荷，提高学生课程的成功率。如Pardos提出的学习预测模型能够利用已有的各类测试数据对学生未来的考试成绩进行预测，并提供具体的行动支持和相应的解决方案，从而为学生的个性化学习和教师的有效干预提供支持[13]。未来，各类学习系统可以对学生的日常作业进行自动批改并向教师提供及时反馈，教师可以利用这些测试数据对学生进行实时的学习预警，向学生发送将会导致辍学和学习成绩表现不良的警告性信号，同时进行精准的教学调整和干预，以提高学生课程学习的成功率。

2 精准教育决策

在“互联网+”环境下，教育领域每天生成海量的学情数据，这些数据可以帮助教育管理者更加全面、准确地了解教育现状，故为相关教育决策的制定提供了数据依据。在测试数据方面，传统的分析方式（如总分、平均分、排名）已经不能满足精准决策的数据支持需求。因此，研究者需以管理科学、运筹学、教育科学、心理学等学科为理论基础，以数据挖掘技术、机器学习技术和可视化技术为手段，针对教育问题，利用分析模型分析教育测试数据，为教育管理者提供备选方案，并提供支持精准、及时、科学决策的数据依据，使教育决策从模糊走向清晰、从猜测走向证实，最终提高教育决策的质量。

3 个性化学习服务

个性化学习是“互联网+”环境下未来教育的热点，满足每个学生独特的学习需求，让每个学生以最高效的个性化方式学习是未来教育的必然发展趋势[14]。深入挖掘学生的各类测试数据，教学测试系统可以得到每个学生独特的学情信息，为学生提供个性化定制的错题本、诊断报告、个性化学习包、学业信息档案和学科内容评价报告单等，从而形成学习和行为的相关方案，为学生的个性化学习提供支持。如Alt School的学生画像（Learner Profile）由系统学习进度（Learning Progression）、项目清单（Playlist）、基本信息（Basic Info）、文档（Documents）和笔记（Notes）构成。其中，系统学习进度通过绿色（已学完）和黄色（学习中）对学习进度进行区分，且绿色/黄色会随着学习的推进而逐渐加深，由此绘制出多维度、全方位的学习者个性画像[15]。

4 自适应测试与认知诊断

随着“互联网+”时代测试手段和评价观念的转变，测试不再只是测量学生成绩的一个终结性评价工具，而成为了学习过程的一部分，使得以促进学生学习为目的的认知诊断评估技术得到快速发展[16]。认知诊断是对传统测试和评价的一种改进与完善，而认知诊断理论是认知心理学和心理测量学的结合。运用认知诊断评估技术，得到被试者精准、及时的知识状态和认知结构，有助于教师在随后的教学过程中采取相应的补救或调整措施。近年来，认知诊断模型不断发展，如认知诊断技术和计算机自适应测验相结合，可以实时获得学生知识习得与能力提升的演变轨迹。所以，如何利用测试数据对学习者进行更加精准、高效的认知诊断，将成为测试数据未来分析研究的重点方向[17]。

四 结语

借助大数据获取、大数据分析、大数据可视化等技术的发展与应用，测试数据在教学评估、学情预警、认知诊断等领域展现出巨大的应用价值。本研究分析了传统环境下和“互联网+”教育情境下测试数据的来源、采集、分析与呈现环节的异同，梳理了目前国内外运用测试数据在自适应性学习、实时监控干预、学情预测与分析、个性化学习及辅助决策服务等领域的典型应用案例，对测试数据在学习预警、教育决策、个性化学习、认知诊断等场景的应用进行了展望，以期为精准教学模式下教学测试数据的分析与应用提供借鉴。

[1]杨现民,唐斯斯,李冀红.教育大数据的技术体系框架与发展趋势——“教育大数据研究与实践专栏”之整体框架篇[J].现代教育技术,2016,(1):5-12.

[2]杨现民,王榴卉,唐斯斯.教育大数据的应用模式与政策建议[J].电化教育研究,2015,(9):54-61、69.

[3]DeepTech深科技.美国陆军发布20项重大科技趋势,将在未来30年改变世界![OL].

[4]吕永峰.读图时代可视化及其技术分析[J].现代教育技术,2015,(2):19-25.

[5]王硕烁,马玉慧.国外典型自适应学习平台的基本框架及其关键技术分析[J].开放学习研究,2018,(1):48-54.

[6]Istation. About us[OL].

[7]中国教育网络.大数据在英国高校的应用案例[OL].

[8]刘勇,李青,于翠波.深度学习技术教育应用:现状和前景[J].开放教育研究,2017,(5):113-120.

[9][14]孔晶,郭玉翠,郭光武.技术支持的个性化学习:促进学生发展的新趋势[J].中国电化教育,2016,(4):88-94.

[10]360百科.MAP测试[OL].

[11]黄剑桥.Facebook个性化学习平台,有多个性?[OL].

[12]中国教育网.英孚英语熟练度指标全球排名中国人英语水平五年达新高[OL].

[13]李香勇,左明章,王志锋.学习分析的研究现状与未来展望——2016年学习分析和知识国际会议述评[J].开放教育研究,2017,(1):46-55.

[15]Robert老师. Alt School个性化学习系统揭秘[OL].

[16]赵茜,辛涛,刘雨甲.我国基础教育质量监测与评价的现状与趋势——第二届“中国基础教育质量监测与评价”学术年会综述[J].教育研究,2017,(9):154-159.

[17]张瑾.1:1数字环境下师生行为特征的比较研究[J].现代教育技术,2016,(8):49-54.

The Evolution, Application and Prospect of Teaching Test Data

ZHU Ke YANG Bing

Teaching Test data is an important part of the big data in education, which is of great significance to reveal the features and structural relations of teaching status. Based on this, the paper firstly compared the teaching test data in the traditional environment and the “Internet +” environment from the dimensions of data sources, collection techniques, analysis techniques and presentation methods, and further summarized the evolution of teaching test data in the two environment. Then, the transformation of the test evaluation was analyzed, and the typical application cases of teaching test data at home and abroad in the aspects of adaptive evaluation, real-time monitoring and intervention, learning situation prediction and analysis, personalized learning and auxiliary decision-making service were introduced. Finally, the application of teaching test data was forecasted, excepting to provide reference for the analysis and application of teaching test data in the pricise teaching model.

“Internet +”; teaching test data; teaching evaluation; education application

G40-057

A

1009—8097（2018）07—0018—07

10.3969/j.issn.1009-8097.2018.07.003

本文为河南省哲学社会科学研究项目“河南推进新型城镇化进程中均衡配置城乡教育资源的方法、路径与绩效评价研究”（项目编号：2014CJY030）、河南省教育厅2018年度教师教育课程改革研究项目“互联网背景下中小学教师专业成长的生态模型及行动路径研究”（项目编号：2018-JSJYYB-018）的阶段性研究成果。

朱珂，副教授，博士，研究方向为学习分析技术理论与应用，邮箱为ezhuke@qq.com。

2017年11月28日

编辑：小米