美国NAEP两轮技术与工程素养评价透视及其启示

苏洵??丁邦平

相较于数学和科学，技术与工程教育一直以来是STEM教育中的薄弱环节，而学生STEM素养的发展，离不开技术与工程素养（Technology and Engineering Literacy，简称TEL）水平的提升。为了解学生的技术与工程素养发展水平，美国著名的教育评价项目——国家教育进步评价（The National Assessment of Education Progress，简称NAEP）于2014年和2018年分别面向美国八年级学生实施了两轮技术与工程素养评价^[1]。我国于2017年发布了《中国STEM教育白皮书》^[2]，开始将STEM教育纳入创新型人才培养战略，但对于学生技术与工程素养的评价尚处于探索中。因此，研究美国NAEP对技术与工程素养的评价，对我国设计并开展技术与工程素养评价、提升学生的STEM素养具有重要的启示意义。

一、技术与工程素养评价的内容

美国技术与工程素养评价是在《NAEP技术和工程素养评价框架》（简称《框架》）的基础上开展的。《框架》对技术与工程素养的评价内容、评价过程、评价问题类型和评价方式都做出了详细规定，以保障能准确测评出K-12年级学生所需掌握的有关技术与工程的核心知识和技能^[3]。2018年的《框架》内容与2014年基本一致，只在参考文献中增加了最新的国家立法、国家评价管理委员会行动和NAEP活动^[4]。这体现了技术与工程素养评价的延续性，以便对学生的技术与工程素养水平进行纵向比较。

两轮技术与工程素养评价的内容都由评价领域、实践和情境三个部分构成（如图1）。

评价领域包括“技术和社会”“设计和系统”“信息和通信技术”。“技术和社会”领域主要关注技术对社会和环境的影响及其相关的道德问题 ;“设计和系统”领域主要关注技术的本质、开发技术的过程、日常技术的基本原理;“信息和通信技术”领域包括各类软件以及评估、创造、交流信息所使用的系统，以促进创造性表达。

实践包括“理解技术原理”“生成解决方案并实现目标”“沟通和合作”。“理解技术原理”主要关注学生对技术知识的应用能力;“生成解决方案并实现目标”关注学生能系统地运用技术知识、工具和技巧解决问题，并达到情境要求的目标;“沟通和合作”则主要关注学生能在多大程度上独立工作或与同事和专家合作，并为实现目标而使用技术开展多种方式的沟通。

技术与工程素养的评价领域中始终贯穿着实践，学生需要通过实践处理评价领域中的相关问题。表1呈现了每个技术与工程素养评价领域中学生需要具备的三种实践能力。这些具体要求展示出该评价期望学生具备的全部有关技术与工程的知识和技能。以此为基础，《框架》编写形成了技术与工程素养评价的任务类型和每个任务中具体的测试问题。

技术与工程素养评价是以情境为依托开展的。情境包括“社会问题”“设计目标”“学校和社区问题”^[7]。学生不仅需要理解技术，还需要识别生活中的技术，理解技术与工程以及它们带来的社会影响之间的复杂关系，并且能够运用技术原理和工具来生成解决问题的方法，进而实现目标。因此，NAEP中的技术与工程素养评价是在和技术相关的社会问题情境中、设计问题的情境中、学校和社区问题的情境中考查学生的技术与工程素养。由于技术与工程素养三个评价领域中存在不同的问题、目标和情境，所以测试学生技术与工程素养的情境是存在区别的。

二、技术与工程素养评价的实施

技术与工程素养评价是完全依托计算机来完成的，测试时间共60分钟^[8]。测试题目的设计使得学生能通过完成每道题目而获得一定的进步，即便学生只能理解题目的部分含义或给出错误的答案，他们仍然可以继续回答后续的相关问题^[9]。测试题目分场景题和独立题两种题型。场景题通过场景中的多项任务来评价学生的技术和工程素养，这有助于保证评价的信度。独立题中的情境不同于场景题，能减少学生对同一场景的依赖，有助于保证评价的效度。

场景题是基于多媒体场景化任务（multimedia scenario-based tasks，简称MSBT）来设计的，旨在评估学生在解决模拟真实的技术与工程问题时的素养与能力表现。MSBT的优势不仅在于它比典型的纸笔测试更能激发学生的兴趣，还在于它能够在虚拟情境中呈现出学生技术与工程素养的细节，让学生仿佛置身于真实的情境中解决问题。这样设计的场景题，能够考查出学生在一到三个技术与工程素养评价领域和实践中的水平。例如，信息和通信技术评价领域针对13岁学生的一道场景题是这样设计的：先以动画的形式为学生呈现问题情境——人们想要在加拿大一座被野兔占领的公园重新引入猞猁，以控制野兔的数量;紧接着，向学生呈现公园管理员估算的过去四年野兔数量的变化情况。学生的任务是选择一种工具，可以是文字处理器，也可以是表格等，根据已有数据推算出引入猞猁后野兔数量的变化趋势^[10]。可以看出，在模拟真实的情境中，学生为了解决技术和工程问题，必须依靠情境中的多个渠道来获取信息，并将信息整合，这与现实世界中解决技术和工程问题的方式相近。此外，基于情境的任务使得教师无法专门针对考试开展教学和练习，因此它也成为保证评价信度的有效手段之一^[11]。

三、技术与工程素养评价结果分析与启示

在学生完成技术与工程素养评价后，评价结果会以成就等级（分为基本水平、熟练水平和高级水平）和量表分数（范围是0～300分）进行报告。需要说明的是，NAEP并不会公布个人和某所学校的成绩，而是报告整个国家、各州或者某个群体（如少数族裔）学生的技术和工程素养水平，并且学生也不必完成所有的测试题目，而是随机抽取题目参加测评。从成就等级来看，2018年处于或高于熟练水平的学生所占比例为46%，高于2014年的43%。其中，2018年达到高级水平的学生所占比例为5%，高于2014年的3%^[12]。从量表分数来看，2018年参与测试学生的总体平均分是152分，比2014年高出2分，学生在所有的评价领域和实践方面的平均分都比2014年高出2～3分^[13]。由此可见，在四年期间，美国八年级学生的技术与工程素养水平稳中有升。究其原因，主要有以下四个方面。

（一）持续的政策支持保证了学生在校内有更多的课程学习机会

近些年，美国连续出台STEM教育相关政策文件。在2014年开始技术与工程素养评价之后，美国颁布并实施了《2015 STEM教育法案》，推动了STEM教育发展的法制化进程。2016年，美国发布《STEM2026： STEM教育创新愿景》，为STEM教育的未来发展指明了方向。2017年，美国总统宣布每年投资至少2亿美元用于STEM教育。在持续的政策支持下，美国政府投入了大量专项资金，用于STEM教育的课程开发、实施和教师专业发展。大量学校因此开设了技术与工程的相关课程，为更多学生提供了学习此类课程的机会。

测试的附加问卷调查也反映出，政府持续的政策支持可以保证学生在校内有更多机会学习和提升技术与工程素养。例如，2018年有57%的学生至少参加过一门技术与工程相关课程，显著高于2014年的52%。以具体主题为例，至少修过一门机器人或计算机编程课程的学生比未修者高出8分^[14]。以不同学生群体为例，亚裔和白人学生参加相关课程的比例最高，相应地他们的测试平均分也是最高的^[15]。

（二）更多的校外实践有助于提升学生技术与工程素养

两轮评价的附加问卷都涉及“是否在校外学习技术和工程相关主题及学习频率”的问题。以2018年的评价为例，在“技术和社会”领域中，当学生被问及对“人类行为对环境产生的影响”的关注频率时，选择“经常关注”的学生平均分比选择“从未关注”的学生高7分;在设计和系统领域，在学生被问到是否曾经为了修复某个器物或观察它的工作方式而对其进行拆卸时，选择“拆卸5次以上”的学生平均分比那些没有这些经历的学生高11分^[16]。可见，学生在校外学习与实践的频率与其得分呈正相关关系，在校外进行技术与工程学习或实践的机会越多，其素养就越高。

此外，2018年的附加问卷结果显示，随着在校外学习与实践的学生人数增加，学生的量表平均分也会相应提高。例如，2014年在校外每周拆卸并组装技术装置3～5次的学生比例为19%，该组学生的量表平均分为150分，而2018年这类学生的比例为22%，他们的量表平均分为151分^[17]。因此，在为学生增加参加校内技术与工程课程机会的同时，还应鼓励学生多参与校外技术与工程相关的实践和学习。一方面，可以让学生多观察日常生活中小型器物的工作原理，如闹钟、八音盒等，对废旧器物进行拆卸与组装 ;另一方面，鼓励学生利用网络资源自主学习技术与工程方面的知识和技能。从社会角度来讲，应广泛动员全社会的力量，如社区、企业、高校等，为学生尽可能多地提供校外学习技术与工程知识以及开展探究实践的机会。同时，积极宣传技术与工程素养对于学生适应未来社会生活的重要性，以凝聚全社会的共识，为学生在校外学习技术与工程知识和开展探究实践营造良好的舆论氛围。

（三）语言掌握水平与交流合作能力影响学生的技术与工程素养

两轮技术与工程素养评价结果均表明，已掌握英语知识和技能的学生的技术与工程素养高于尚处于英语学习之中的学生。如2018年前者的平均分（155分）显著高于后者（106分）^[18]。可见，语言掌握水平直接影响学生对技术与工程相关原理的理解和表达，并影响学生与他人的交流合作能力，进而影响其技术与工程素养。

2014年，女生“沟通和合作”实践的平均分（153分）比男生（147分）高6分。2018年，女生“沟通和合作”实践的平均分（157分）比男生（149分）高8分，而在“设计和系统”领域的得分并没有性别差异^[19]。可见，男女生的交流合作能力均有所提升，但是女生的提升程度大于男生，而这正是女生的技术与工程素养高于男生的重要影响因素之一。也就是说，基于语言的交流合作能力会影响学生的技术与工程素养，应注重提升学生的语言掌握水平和交流合作能力。

（四）女生获得了更多的技术与工程学习和实践机会

国际学生技术态度和观念项目调查发现：在绝大多数国家中，与女生相比，男生更多地对技术持积极态度^[20]。但值得关注的是，两轮技术与工程素养评价中，女生的平均分均高于男生，2018年高出5分，2014年高出2分，且女生在2018年的进步比男生更显著。美国教育统计中心的佩吉·卡尔（Peggy Carr）认为，得到这样的结果是因为，人们更加关注女生的技术与工程素养提升，并让更多女生进入科学、技术、工程和数学职业。因此，全社会有必要重视为女生提供更多的技术与工程学习和实践机会，鼓励她们更多地选修技术与工程课程，促进男女机会均等。

参考文献

[1] NAEP. Highlight from the 2018 Assessment[EB/OL]. （2018-08-20）[2022-2-24].https：//www.nationsreportcard.gov/tel_2018_highlights.

[2] 中国教育科学研究院.中国STEM教育白皮书[EB/OL].（2017-06-20）[2022-05-06].https：//ict.edu.cn/uploadfile/2018/0507/20180507033914363.pdf.

[3] 赵中建.美国中小学工程教育及技术于工程素养评估[J].全球教育展望，2016（12）.

[4] NAGB. Technology and Engineering Literacy Framework for the 2018 National Assessment of Educational Progress[EB/OL].（2018-06-18）[2022-05-06].https：//www.nagb.gov/content/dam/nagb/en/documents/publications/frameworks/technology/2018-technology-framework.pdf.

[5] NAGB. Abridged-Technology & Engineering Literacy Framework for the 2018 National Assessment of Educational Progress[EB/OL].（2018-06-18）[2022-2-24]. https：//www.nagb.gov/content/dam/nagb/en/documents/publications/frameworks/technology/2018-technology-framework-abridged.pdf.

[6][7][8][9] NAEP. Assessment Framework Design[EB/OL]. （2018-08-20）[2022-2-24].https：//www.nationsreportcard.gov/tel/about/assessment-framework-design.

[10]NAEP. Examples of the Discrete Questions[EB/OL]. （2018-08-20）[2022-2-24].https：//www.nationsreportcard.gov/tel/tasks/？anchor=sample-questions-section.

[11]杨玉琴.美国NAEP技术与工程素养评估述评[J].外国教育研究，2017（8）.

[12][13][15][16][17][18][19] NAEP.2018 TEL Results Achievement[EB/OL].（2018-08-20）[2022-2-24].https：//www.nations reportcard.gov/tel/results/achievement.

[14]李小红，李玉娇.美国推进STEM教育的策略[J].比较教育研究，2019（12）.

[20] ANKIEWICZ P. Perceptions and attitudes of pupils toward technology[M]//MARC J.Handbook of Technology Education.Berlin：Springer，2016：590.

（作者苏洵系首都师范大学教育学院科学与技术教育研究中心博士研究生;丁邦平系首都师范大学教育学院科学与技术教育研究中心主任，教授、博士生导师）