大规模计算机交互式测评中科学探究能力表现的实证研究

阳敏 林长春

摘要： 以截取的PISA2015中国学生的log数据，运用关系挖掘、聚類、Logistic回归分析等教育数据挖掘方法，分析中国学生在“可持续渔业”单元中两个项目的探究行为的特点、探究行为与探究能力之间的关系，以及学生探究行为的影响因素。结果显示： （1）依据学生项目反应时间和访问次数，可以将学生分为4个群组（快速猜测型、任务驱动型、粗略检查型、反复检查型），反复检查型学生科学素养平均成绩均最高，而快速猜测型学生科学素养平均成绩最低;（2）学生在两个项目上的探究行为显著相关;（3）科学乐趣和成就动机越强的学生，越有可能是反复检查型。最后，基于研究结果，为教师的实践教学提建设性建议。

关键词： log数据; PISA; 科学探究能力

文章编号： 10056629（2022）06001607

中图分类号： G633.8

文献标识码： B

1 问题的提出

随着计算机和互联网技术的不断发展，计算机在教育领域得到了更为广泛的应用，基于计算机的教育测评正在进入教育领域。为了培养新时代发展需要的人才，传统唯分数论的教育测评正在发生重大改变，通过动态、模拟的计算机任务对学生进行测评的方式成为了一种重要的发展方向[1]，国际评估学生项目（PISA）逐渐开始采用基于计算机的教育测评。基于计算机的测评是学生在电脑上完成计算机模拟任务[2]，在计算机的管理后台可以提供学生在评估期间所有操作的记录以及相应时间戳的日志文件数据（log数据）。PISA2015在科学素养的测评领域采用了基于计算机的交互式测评方式，其log数据提供的信息不仅包括回答的正确性，还包含了学生作答的时间、项目访问的次数、操作的次数等数据，对深入了解学生的探究表现提供了可能。PISA 2015中科学素养被视为一项关键能力，探究能力成为科学素养测评的核心。因此，本研究着眼于学生在科学素养测评中科学探究能力的表现，通过log数据分析学生科学探究能力差异的原因，理解学生的探究行为和表现，为教育者的实践教学提供教育决策的依据。

2 PISA2015科学探究能力的测评

2.1 PISA2015科学探究能力测评概述

PISA2015科学素养中评估的科学探究能力主要包括三项： 科学地解释现象、评估和设计科学调查以及科学地解释数据与证据。该框架通过计算机交互式测评测量学生的科学探究能力，计算机交互式科学探究测试需要学生在计算模拟环境下解决情境化的科学问题，交互式测试题以单元形式呈现，学生不仅需要应用科学概念和原理解决探究的问题，还需要运用一系列探究技能才能完成，比如调查、推理、评估实验数据等。

PISA2015对科学素养评估的三种能力定义了认知需求水平，基于知识深度分类法将认知需求分为高、中、低三个水平。低水平的项目只需要执行一步程序，例如回忆事实、原理和概念，在图表中查找单个信息等。中等水平认知需求项目需要应用概念知识来描述或解释现象，其涉及两个或多个步骤。高水平认知需求项目需要分析复杂的信息或数据，在整合与评估证据的基础上制定解决问题的计划或步骤。此外，在2006年测评的6个能力水平中，增加了“1b”级，专门对能力最低、科学素养最低的学生进行描述。从而形成了“1b”级、“1a”级、2级、3级、4级、5级和6级一共7个层级，对能力水平的描述更详细、更具体。

2.2 PISA2015 “Sustainable Fish Farming（可持续渔业）”探究任务

2015年，在参与PISA的72个国家的学校中，约有540000名学生被选入全球范围，代表了约2900万名学生。中国样本由27384名学生组成，其中一共5984名学生对PISA测试题“Sustainable Fish Farming（可持续渔业）”做出了反应。“可持续渔业”项目1（如图1）需要学生了解养鱼场的目标和三个鱼缸的功能，以及哪一种生物最适合完成每一项功能，主要考察科学探究过程中“科学地解释现象”的能力。仅7.8%的学生答对项目1，这主要源于该项目需要学生拖动鼠标来解决问题，并且该项目为开放性的任务，这四种生物中的任何一种都可以放置在三个容器中的任何一个，每个容器中的生物数量没有限制，难度较大。PISA2015将其认知需求水平设定为高、能力水平等级为6[3]。

项目2（如图2）需要学生根据对每种生物体的描述，确定列出的生物体中哪一种会减少渔场向海洋释放的大量营养物质，主要考察科学探究过程中“科学地解释数据和证据”的能力。78.9%的学生答对项目2，该题是简单选择题，学生只需要点击鼠标就能回答问题，操作简单。PISA2015将其认知需求水平设定为低、能力等级水平为2（456分）[4]。

由于“可持续渔业”项目1和项目2难易程度、操作程序、操作方式均不同，为了探究学生在复杂程度与认知需求水平不同的项目上表现出来的探究行为是否具有差异性，因此本研究选择项目1和项目2来进行对比分析。

3 研究的变量与方法

3.1 变量的选取及说明

在PISA探究任务中获得相似分数的学生不一定以同样的方式进行答题，学生的最终回答结果无法体现他们如何参与探究任务以产生这样的结果。研究表明，学生探究过程中的特定行为，如尝试的次数和任务时间等过程行为可能有助于理解学生取得成就的过程[5]。此外，性别差异在理解学生探究能力方面发挥重要作用[6]，一般女生在学习上更主动，学习目标更明确，探究过程中表现更好[7]。研究表明，喜欢科学并有较高成就动机的学生更热衷于探索科学研究[8]，而学生对ICT的兴趣能够显著预测学业成绩，ICT兴趣越高的学生对科学探究任务表现越积极，科学素养成绩越好[9]。

因此，本研究选取PISA2015中国区的科学素养测评的log数据，拟探讨如下问题： （1）通过log数据可以确定学生哪些探究行为？（2）学生探究行为与探究能力的关系？（3）学生探究行为受哪些因素的影响？据此，本研究设计了如下变量（见表1）。1FAB15F2-9EBA-480A-9E5E-ABB40618407E

3.1.1 探究行为

学生的科学探究行为可分为响应行为和检查行为。根据Michalis P.等人的研究[10]，通过任务时间的阈值将学生响应行为分为快速猜测行为（即快速反应而不实际考虑问题）和解决问题行为（即寻求正确答案）。平均任务时间的10%作为阈值，但同时阈值不能超过10秒。在短于阈值的时间内发生的响应被认为是快速猜测，其余响应被认为是解决问题。

由于PISA2015测试中允许学生在一个单元内多次访问项目，因此学生可以在完成项目后返回检查自己的结果。本研究利用log数据中学生访问次数将学生检查结果行为分为未检查、粗略检查和反复检查。未检查： 学生访问的次数=1，即该学生完成任务后没有再返回对结果进行检查;粗略检查： 访问的次数为2～3，即该学生解决问题后有再返回来检查了1～2次;反复检查： 访问的次数为4及以上，即该学生解决问题后有多次返回来进行了反复检查。

3.1.2 人口学特征和态度特征

除了科学素养评估，学生还花了30～45分钟来回答PISA背景问卷。本研究利用问卷中学生的性别、科学乐趣、ICT兴趣和成就动机相关数据，进一步分析探究行为的影响因素。

3.2 数据统计方法

本研究采用教育数据挖掘理念下的Log数据挖掘的方法。教育数据挖掘通过算法和心理学方法帮助学校或研究者收集和分析学习者的行为数据[11]，了解学生的学习方式、学习环境，提高教育效果并进一步指导教育决策。聚类分析、回归分析是教育数据中两种重要的数据挖掘方法[12]。

我们首先借助SPSS 24.0聚类分析区分不同探究行为群组，分析学生探究行为特征。然后通过不同探究行为群组答题正确率统计和科学素养成就kruskal-Wallis H差异性检验，探讨学生探究行为与科学能力的关系。最后，为了教师在教学中能够针对不同的学生群体实施有效的教学策略，本研究试图探究不同探究行为群组间差异形成的原因，因此运用相关分析、Logistic回归分析探究项目的复杂程度与认知需求、人口学特征和态度特征对学生探究行为的影响。

4 结果与分析

4.1 探究行为分析

4.1.1 探究行为统计与分析

如表2所示，“可持续渔业”项目1的阈值为10秒。任务反应时间超过10秒为解决问题行为，10秒内则为快速猜测行为。项目2的阈值为3.2秒，任务反应时间超过3.2秒為解决问题行为，3.2秒内则为快速猜测行为。项目1快速猜测者的比例为4.8%，而项目2快速猜测者的比例仅为1%。由此可见，科学探究项目认知需求越高，学生越容易放弃。

此外，项目1中粗略检查的学生占33.5%，会进行反复检查的学生仅占6.8%;而项目2中粗略检查的学生占31.4%，会进行反复检查的学生仅占5.8%。可见，随着项目复杂程度的降低，检查行为（粗略检查行为和反复检查行为）会呈现下降的趋势。

4.1.2 探究行为群组

将响应行为和检查行为分别纳入分类变量，依据对数似然距离计算两个变量之间的相似性，并对样本进行两步聚类分析，共获得4组稳定的聚类结果。结果如表3所示，群组1在响应行为上表现为快速猜测，在检查行为上表现为未检查，说明这类学生尚未认真思考就点击鼠标草草了事;群组2在响应行为上表现为努力解决问题，在检查行为上表现为未检查，说明这类学生正在尝试参与科学探究的过程，但是没有进行自查和反思，可见这类学生趋向于完成既定的任务;群组3在努力解决问题同时对结果进行了1～2次的检查，说明这类学生不仅仅只是把科学探究当成任务，还对结果进行了粗略的检查;群组4在努力解决问题的同时对结果进行了多次的检查，表明这类学生不仅在探究过程中努力思考，同时还通过不断的自查和反思来尽可能减少错误。

综上，群组1是“快速猜测型”，群组2是“任务驱动型”，群组3是“粗略检查型”，群组4是“反复检查型”。

4.2 探究行为与探究能力表现

4.2.1 探究行为与答题正确率

由图3可见，项目1和项目2的正确率由高到低依次为反复检查型、粗略检查型、任务驱动型和快速猜测型。说明学生的努力程度会直接影响探究结果，通过猜测的方式来敷衍了事是很难得到正确的答案的，而努力解决问题和对结果的不断检查能够提升做题的准确率。在项目2中反复检查型的正确率略高于粗略检查型，而在项目1中反复检查型的正确率是粗略检查型的2倍。可见，学生可以通过不断的自查而避免错误[13]，越是复杂的项目越需要反复检查。

4.2.2 探究行为与科学素养成就

我们进一步调查了四种类型学生在科学素养成就方面是否存在差异。在PISA 2015中，采用项目反应理论为每个学生生成10个科学素养成就似真值。按照Greiff等人的建议[14]，采用PISA提供的第一个似真值得分为科学素养成就值。

如表4所示，项目1和项目2的平均成绩由高到低依次为反复检查型、粗略检查型、任务驱动型和快速猜测型。分别对项目1和项目2探究行为类型科学素养成绩进行kruskal-Wallis H检验，项目1（H=381.08， P<0.01）和项目2（H=381.08， P<0.01）中四种探究行为类型的科学素养成绩有显著性差异。进一步对四种探究行为类型进行两两比较，在项目1和项目2上四种探究行为类型中任意两个探究行为类型之间科学素养成绩均有显著性差异。由此可见，学生的探究行为是科学素养的重要体现。科学探究往往不是一蹴而就的，需要锲而不舍的精神、不断的探索、反复的思考。

4.3 探究行为影响因素的分析

4.3.1 项目复杂程度与认知需求水平对探究行为的影响

本研究比较了两个项目中保持相同探究行为的学生和转向不同探究行为的学生的比例（见图4）。项目1上为粗略检查型和任务驱动型的学生在项目2上仍为该类型的比例分别是76.6%和94.9%。从项目1到项目2，快速猜测型学生虽有84.1%发生了转变，大部分转变为了任务驱动型，且没有学生转变为反复检查型;反复检查型学生中有55.2%发生了转变，大部分转变为了粗略检查型，且没有学生转变为快速猜测型。这似乎表明学生的探究行为在不同项目上是相互关联的，进一步进行斯皮尔曼相关分析，结果显示，学生的探究行为类型在项目1和项目2上显著相关（r=0.723， P<0.01）。这说明在项目1上某个特定类型的学生很有可能在项目2仍为该类型。可见，学生的探究行为是一种习惯，具有某种特定探究行为习惯的学生有很大概率在不同的项目上均表现该行为。1FAB15F2-9EBA-480A-9E5E-ABB40618407E

但是，学生在不同探究行为类型转变比例也存在一些差异。在项目1上反复检查型的学生有将近一半转变为项目2中的粗略检查型。项目2的认知需求比较低，学生似乎对自己的结果比较自信，他们表现出不太愿意再多花时间反复检查。而项目1中快速猜测型的学生有68.6%转变为项目2中的任务驱动型，项目难度降低时，能力水平较低的学生则表现更为积极。这些数据表明，任务复杂性和认知需求水平是导致学生探究行为发生变化的潜在因素。

4.3.2 人口学变量和态度变量对探究行为的影响

我们对学生探究行为类型与人口学变量和态度变量进行Logistic回归分析（见表5）。关于学生的人口学特征，性别的显著性差异仅体现在项目1上，男生更有可能是快速猜测型而不是任务驱动型。即男生在认知需求水平高的项目上更容易放弃作答，探究任务越复杂男生越容易出现快速猜测行为。喜欢科学的学生不太可能是快速猜测型而更倾向于是反复检查型和任务驱动型，可能是对科学探究感兴趣的学生更愿意花时间反复推理来体验探究的乐趣。对于成就动机较强的学生，更有可能是反复检查型而不是快速猜测型，成就动机较强的学生会更加期待测试的结果而认真完成并反复检查。此外，ICT兴趣影响仅表现在项目1上，ICT兴趣强的学生更有可能是反复检查型而不是快速猜测型。对信息技术兴趣较弱的学生可能不知道如何进行电脑操作，因此他们不太可能会返回来反复检查，尤其是电脑操作复杂时，他们更容易对这种基于计算机的科学探究任务失去信心而快速猜测来完成任务。

综上所述，学生的态度对于成功实施科学探究非常重要，创造有利于学生科学兴趣和成就动机发展的学习环境有利于科学探究任务的顺利实施。

5 结论与建议

5.1 重视学生探究行为习惯的培养

学生大概率在不同项目上表现出相同的探究行为。可见，良好的行为习惯是提高学生科学素养的重要因素，所以重视培养学生良好探究行为习惯对科学探究尤为重要。行为习惯不是简单的外化动作，其应同时包括理性思维、个人情感等内容。教师在培养学生探究习惯时，不能只是从外部要求学生完成某项动作，而应从学生的科学情感、科学思维等多方面引导学生全身心参与科学探究过程，以此形成良好的科学探究习惯。

此外，当项目的复杂程度和认知需求降低时，快速猜測型的学生倾向于转变为任务驱动型，对于认知能力比较低的学生，在面对复杂问题时，他们可能缺乏足够的信心而放弃答题。从项目1到项目2的转变中，粗略检查型中转变为任务驱动型的比例大于反复检查型，而反复检查型有将近一半转变为了粗略检查型。可见，项目复杂程度越高，学生在解决问题的过程中倾向于更仔细、谨慎。所以学生在应对复杂探究任务时，教师需要更多鼓励认知水平低的学生，给予更多的时间让学生参与科学探究实践，同时引导学生不断思考，反复检查。

5.2 促进探究行为群组的转化

Logistic回归分析结果表明，喜欢科学的学生更可能是任务驱动型和反复检查型而不是快速猜测型，成就动机强的学生更有可能是反复检查型而不是快速猜测型和任务驱动型。学生的科学兴趣和成就动机是学习行为的重要内部动因[15]，是行动的引擎[16]，是指导学生科学探究的最原初动力。教师应该鼓励学生踊跃参与科学探究实验，并且多提供学生表现自己的机会，让学生在科学探究的过程中体验科学的乐趣，促进快速猜测型向任务驱动型和反复检查型转变。教师可以根据学生的特点，给予学生相应的肯定和引导，以此来增强学生的成就动机。促使任务驱动型和快速猜测型向反复检查型转化，从而提升学生的科学探究能力。

此外，ICT兴趣对探究行为的影响体现在项目1上，当电脑操作复杂时，ICT兴趣越强的学生越有可能是反复检查型。学校应该多给予学生电脑实操的机会，提升学生电脑操作的能力，培养学生对计算机模拟任务的兴趣。计算机是数据处理的重要工具，是21世纪学生必需具备的技能[17]。培养学生ICT兴趣不仅有利于学生科学素养的提升，对于适应未来社会的发展也至关重要。

参考文献：

[1]殷慧霞. 计算机辅助测试与评价文献综述[J]. 当代教育实践与教学研究， 2017， （8）： 28.

[2]杨菁， 张军朋. 基于计算机模拟实验的PISA2015交互式测评的特点与启示[J]. 物理教学， 2017， （3）： 74～77， 73.

[3]

[4]OECD. PISA 2015 Assessment and Analytical Framework： Science， Reading， Mathematic， Financial Literacy and Collaborative Problem Solving [M]. Paris： OECD publishing， 2017.

[5]LEE Y H， CHEN H. A review of recent response-time analyses in educational testing [J]. Psychological Test & Assessment Modeling， 2011， 53（3）： 359～379.

[6]NEHRING A. Predicting Students Skills in the Context of Scientific Inquiry with Cognitive， Motivational， and Sociodemographic Variables [J]. International Journal of Science Education， 2015， 37（9）： 1343～1363.

[7]Garcia， Arianna. Analysis of Gender Differences in Authentic Science Inquiry Practices [J]. Ursidae： The Undergraduate Research Journal at the University of Northern Colorado， 2017， 7（1）： 17.1FAB15F2-9EBA-480A-9E5E-ABB40618407E

[8]Hsiao-Ching She， Huann-Shyang Lin， Li-Yu Huang. Reflections on and implications of the Program for International Student Assessment 2015 （PISA 2015） performance of students in Taiwan： The role of epistemic beliefs about science in scientific literacy [J]. Journal of Research in Science Teaching， 2019， 56（10）： 1309～1340.

[9]赵宁宁， 王易， 陈小涵， 温红博. 信息技术对学生学业成绩的影响——基于PISA2018数据[J]. 中国考试， 2020， （11）： 67～73.

[10]MICHAELIDES M P， IVANOVA M， NICOLAOU. The Relationship between Response-Time Effort and Accuracy in PISA Science Multiple Choice Items [J]. International Journal of Testing， 2020， 20（3）： 187～205.

[11]PSAROMILIGKOS Y， ORFANIDOU M， KYTAGIAS C， et al. Mining log data for the analysis of learners behaviour in web-based learning management systems [J]. Operational Research， 2011， 11（2）： 187～200.

[12]Silva， C.， Fonseca， J.. Educational Data Mining： A Literature Review. In： Rocha， .， Serrhini， M.， Felgueiras， C. （eds） Europe and MENA Cooperation Advances in Information and Communication Technologies [J]. Advances in Intelligent Systems and Computing， 2017， 520：87～94.

[13]首新， 何鹏， 陈明艳， 胡卫平. 基于教育数据挖掘的“探索和理解”问题解决过程研究——以PISA（2012）新加坡、日本、中国上海Log数据为例[J]. 现代教育技术， 2018， 28（12）： 41～47.

[14]Samuel Greiff， Sascha Wüstenberg， Francesco Avvisati. Computer-generated log-file analyses as a window into students minds？ A showcase study based on the PISA 2012 assessment of problem solving [J]. Computers & Education， 2015， 91： 92～105.

[15]付曉洁， 张雪莲， 郑建君. 中学生成就动机对其学业成绩影响的实验研究[J]. 教育理论与实践， 2014， 34（17）： 33～35.

[16]龙琪， 倪娟， 李永发. 青少年科学兴趣的形成路径与提升对策——基于模糊集定性比较分析法的实证研究[J]. 基础教育， 2020， 17（5）： 13～21.

[17]21世纪学生需要具备的技能/学习方式[J]. 远程教育杂志， 2020， 38（2）： 88.1FAB15F2-9EBA-480A-9E5E-ABB40618407E