NAEP计算机交互式测评的目标定位与试题特点分析

张春雷

NAEP计算机交互式测评的目标定位与试题特点分析

张春雷

美国国家教育进展评价（NAEP）采用计算机交互式任务来测评学生科学成就，其测评目标主要定位在测量高阶思维能力，如学生科学探究能力和科学论证能力等。NAEP任务设计的一般模式包括明确问题或任务、提出预期或假设、设计和模拟实验、根据实验数据得出结论、选择恰当的数据作为证据进行科学论证五部分。NAEP的特点是试题围绕一个中心话题进行设计，由易到难阶梯式排列，问题情境设计新颖，注重对学生作答过程的引导以及学生原有概念的诊断。NAEP计算机交互式任务的目标定位与试题特点对于我们开发基于计算机的科学教育测评具有借鉴意义。

科学教育测评；科学探究与实践；NAEP；计算机交互式任务

随着互联网的发展和计算机的普及，计算机测评已经成为现代教育测评发展的一个重要方向。计算机化考试也成为当今测评发展的大趋势，为越来越多有国际影响力的测评项目所采用。如美国国家教育进展评价（National Assessment of Educa⁃tional Progress，NAEP）就采用计算机交互式任务（Interactive Computer Task，ICT）以更好地测评学生的科学成就，其计算机交互式任务也非常具有代表性。本文以NAEP在2009年发布的计算机交互式任务为例，对其测评目标定位与试题特色进行分析，希望有助于明确我国未来计算机测评的发展方向，以及开发高质量的计算机交互试题。

1 NAEP计算机交互式测评的目标定位

NAEP是美国非常有影响力的教育评估项目，素有美国“国家教育报告卡”之称。它最早起源于20世纪六七十年代，是美国唯一的针对多学科、多年龄段而设计的长期教育评估项目。2009年NAEP除了常规的纸笔试题之外，还采用两种新型试题来测查学生在科学实践中应用科学知识的能力，也就是实作评价和计算机交互式测评。实作评价为学生展现科学探究方案设计以及科学实践能力提供了机会，同时也能更好地检测学生应用科学知识解决真实世界情境中复杂问题的能力。计算机交互式测评则需要学生在计算模拟环境下解决科学问题，常常是在模拟自然或实验室环境下，学生需要运用一系列科学探究技能才能完成，但又摆脱了实作评价任务的一些局限，比如安全性、时间和经济成本等限制。

计算机测评的优势不仅在于经济、方便、快捷，还在于可以利用计算机模拟、仿真技术实现近似于真实情境下的科学实践测评，其条件可控性以及基于数据的认知诊断能力优势明显。对于大规模考试而言，基于矩阵取样和自适应考试技术，计算机测评可以实现用更少的题目、更短的时间对学生学业成就进行更准确的评估。此外，在信息呈现上，计算机测评也具有很强的交互性，可以实现个性化的信息呈现。纸笔测验中的信息呈现往往是线性的、静态的、统一不变的，而计算机考试中的信息呈现则可以是非线性的、动态的、个性化的，计算机可以根据考生操作的不同而呈现不同的信息，由于每个考生的关注点和操作的不同，其读取的信息也有很大的差异。

NAEP计算机交互式任务需要学生不仅能够应用科学概念和原理解决探究的问题，还要能够进行模拟的科学实践活动，比如测量和收集科学证据、设计和开展模拟实验、构建和修正科学模型等，这有助于更好地测查学生科学问题解决和科学探究等高阶思维能力。那么，NAEP计算机交互式任务主要测查学生哪些方面的科学能力呢？从已发布的NAEP计算机交互式任务来看，其测查的科学探究技能主要包括：①基于研究问题提出假设；②设计实验并操作实验变量；③模拟实验收集数据；④选择数据进行解释；⑤基于数据得出结论或进行科学论证。

2 NAEP计算机交互式任务案例及其一般模式

下面结合一个具体的NAEP计算机交互式任务进行分析。这个任务是围绕植物生长而设计，主要研究的问题是植物需要多少阳光和肥料才生长得最好。因此，该任务的名称为“神秘的植物”（Mys⁃tery Plants）,主要是针对小学4年级学生设计的，规定的作答时间为40分钟。该任务主要分为4部分，分别是任务介绍（Introduction）、操作说明（Tutorial）、实验准备（Getting Ready to Experiment）及探究任务（Inquiry Task）。每部分的内容和功能介绍如下。

2.1 任务介绍

任务介绍是学生进入测评程序的第一个环节，它首先明确了活动要探究的主题——植物生长，并让学生作出自己的猜想，即在怎样的阳光条件和肥料条件下植物可以生长得最好，然后介绍探究任务的具体情境和操作细节。

2.2 操作说明

操作说明这一环节主要为任务操作提供文字说明和动画演示。图文并茂、动静结合，使学生熟悉任务结构和相关的计算机操作。对于实验模拟的演示过程是分步进行的，演示了每个按钮以及操作的功能，从而促使学生更容易完成相应的计算机操作和模拟，进而顺利完成作答。

2.3 实验准备

在正式设计和开展实验前，学生首先要能根据植株特征及相关数据判断植物的生长状态是否良好。因此，该任务“实验准备”这个环节提供了健康植株和不健康植株的图片以及相关数据，以便于学生通过观察和数据比较，发现植物健康与否的判断指标。其中有些指标有明显差异，比如叶子的多少、花的多少，这些指标可以作为植物健康状态指标。有些指标则没有显著差异，比如植株的颜色和高矮，这些指标就不能作为判断植物健康状态的指标。掌握了判断标准之后，学生才正式进入后面的实验探究任务。

2.4 探究任务

在该测试活动中，探究任务分为Part 1、Part 2、Part 3三部分。探究的问题分别是：①植物A需要多少光照长得最好；②植物B需要多少光照长得最好；③植物A需要多少肥料长得最好。在整个任务中，学生需要先提出假设，然后操作实验变量设计和模拟实验，收集证据检验自己的假设，并进行科学论证。比如Part 1给学生提供了长势相同的6盆植物A，给定3种光照条件，学生可以拖拽花盆到指定的条件下，然后点击“做实验”（Do Experiment）按钮模拟生长过程。植物生长过程模拟完成后，其生长结果会以数据表格和图片两种方式呈现，点击“查看数据表”（View Data Table）按钮就可以查看实验数据表。

观察数据表后，学生就可以基于实验结果得出结论并进行科学论证，这部分在点击“得出结论”（Draw Conclusions）按钮后进行。

从NAEP发布的交互式任务来看，其任务设计的一般模式为：①明确问题或任务；②提出预期或假设；③设计和模拟实验；④根据实验数据得出结论；⑤选择恰当的数据作为证据进行科学论证。在“神秘的植物”这一任务中，①和②主要在“任务介绍”这一环节进行，③、④、⑤则主要在“探究任务”中完成。题目作答也主要在点击“得出结论”按钮后进行，题型主要包括选择题和简答题，比如在选择题中学生可以选择基于实验结果能够得出的结论，而在简答题中则需要学生对自己的结论给出支持性的证据。

3 NAEP计算机交互式任务试题特点

从NAEP在2009年发布的计算机交互式任务来看，其试题的设计特点包括：注重对学生操作和作答思路的引导；围绕同一个话题设计和组织题目；注重试题难度梯度的合理设计；注重试题的反馈性和诊断功能。这些特点非常值得我们在计算机测评开发中学习和借鉴。

3.1 注重对学生操作和作答思路的引导

例如“神秘的植物”这个计算机交互任务特别注重对考生的引导，这种引导不仅包括程序操作的引导，还包括研究思路和作答过程的引导。操作上的引导有助于学生克服计算机操作上的障碍，而作答思路的引导则有助于学生循序渐进地完成整个作答过程，进而更有利于学生能力的全面展现。其程序操作的引导主要通过文字和动画演示来实现，而作答思路的引导主要通过问题设计的内在线索以及提纲信息来实现。

3.2 围绕同一个话题设计和组织题目

NAEP计算机交互式任务采用了话题中心的问题设计模式。例如在“神秘的植物”这个交互式任务中，所有的题目都是围绕植物生长这个话题组织和设计的。该话题又分为2个子问题，分别是植物生长的最适光照量和肥料量。学生熟悉和明确了研究问题后，就可以一直围绕该问题情境和线索进行思考和探索，这些问题也是彼此密切关联，一步一步引导学生的作答和科学探究。

3.3 注重试题难度梯度的合理设计

NAEP计算机交互式任务在问题的设置上，也具有较好的难度梯度。首先让学生通过分析图表来找出哪些指标可以判断植物生长的状况，接下来才让学生设计实验。即便在设计实验的环节，也会给出提示，比如提供了3种光照条件，让学生分配花盆。在后面植物B的实验中，则进一步提高实验设计难度，让学生自己控制氮肥使用量，并确定花盆的数目。在学生选择了实验结论后，还进一步让学生找出特定的证据来对自己的假说进行判断并得出概括性的结论。整个任务中，题目的设置层层递进、难度阶梯式排布，更有利于学生完成作答。

3.4 注重试题的反馈性和诊断功能

NAEP计算机交互式任务还特别注重对学生原有知识和概念的收集。比如在“神秘的植物”这个任务测试中，任务开始就需要学生提出自己的假设，而不是为学生限定某一假设之后让学生设计恰当的实验、收集合理的证据检验这个假设，并作出结论。这样的设计可以使得试题具有很大的开放性，学生可能一开始提出的假设并不一定正确，但是通过实验验证，最后得出合理的认识。有的学生可能认为阳光越充足，植物会长得越好，这就是我们所谓的前科学概念。如果学生没有能得到正确结论，那么其收集的前科学概念以及实验操作过程也能帮助了解为什么没有达成正确的原因。试题通过收集学生的前科学概念以及在计算机交互测试中学生概念转变的情况，可以为相关教学提供有意义的反馈信息。从这样的设计我们可以看出，测评的目的不仅在于考核，还在于诊断、反馈，进而以测促学。

4 未来计算机交互式测评的发展趋势

从发展趋势来看，计算机交互式测评正在向着情境化和智能化的方向发展。情境化是指计算机能够呈现更为接近真实世界的问题情境以及工作情境，比如实验情景的模拟，科学实践环境的模拟等。随着项目反应理论和自适应考试技术的发展，计算机交互式测评智能化特征越来越明显，表现在计算机不仅可以动态化地呈现信息，而且还可以针对考生的操作和输入作出策略性的反应，从而更准确地在最短的时间内测量学生的发展。在自适应考试中，计算机系统根据学生作答情况，及时调整问题或问题组的难度，进而实现在最短的时间内更精准地测查学生的能力。随着语音识别技术的发展，智能输入技术可以让打字有障碍或打字速度慢的学生通过语音等方式进行输入，从而更为人性化和高效。此外，计算机交互测试过程中也可以收集更多过程性数据，比如考生作答时间甚至考生目光焦点数据等[2]，通过后期的过程数据的挖掘和分析可以更好地评估考生的能力[3]。

我国计算机交互测评试题以及相关软件开发还相对薄弱，相关基础研究和开发工作亟待开展。对于这项工作我们要予以重视，积极推动中国教育测评现代化，促进科学教育测评形式的多样化以及测评质量、效率的提升。

[1]NAEP.NAEP：2009 Science Interactive Computer Tasks[EB/OL]. [2016-05-28].http://www.nationsreportcard.gov/science_2009/ict_ tasks.asp.

[2]CHEN S,SHE H,CHUANG M,et al.Eye movements predict stu⁃dents’s computer-based assessment performance of physics con⁃cepts in different presentation modalities[J].Computers&Educa⁃tion,2014（74）:61-72.

[3]OECD.Using Log-File Data to Understand What Drives Perfor⁃mance in PISA（Case Study）[R]//Computers and Learning:Making the Connection.OECD,2015.

Analysis of the Goal-setting and Design Features of NAEP Interactive Computer Tasks

ZHANG Chunlei

The National Assessment of Educational Progress（NAEP）uses interactive computer tasks to assess students’science achievements,its goals are mainly located in measuring higher-order thinking skills,such as students’scientific inquiry abilities and scientific reasoning abilities.The general pattern of the tasks consists of five components,including the introduction of the problem or task，making predictions or assumptions，designing and simulating the experiment，drawing conclusions based on experimental data and selecting appropriate data as proof for scientific reasoning and argument.The feature of NAEP is that the questions in a task are designed around a central topic with novel scenarios,arranged from easy to difficult.The tasks also provide students with friendly guidance to help students finish the whole process.They can also help diagnose students’prior conceptions.The goal-setting and design features of NAEP interactive computer tasks have important implications for the development of our computer-based assessment of science education in the future.

Science Education Assessment;Scientific Inquiry and Practice;NAEP;Interactive Computer Tasks

G405

A

1005-8427（2016）09-0024-4

（责任编辑：陈宁）

张春雷，男，华东师范大学生命科学学院，讲师（上海 200241）