技术提升型试题评介

余海峰 李德红

近几十年，计算机技术迅猛发展，并逐渐运用于教育管理领域，Drasgow[1]、Russell[2]等人提出开发计算机试题的设想。得益于“智慧平衡评估联盟”（Smarter Balanced Assessment Consortium，简 称SBAC）和“评估升学和就业准备情况的合作伙伴”（the Partnership for Assessment of Readiness for College and Career，简称PARCC）关于美国学生知识和能力的评估竞赛，计算机测评技术在美国得到了飞速发展。为了更加快速、有效地评估学生的发展水平，两大联盟开发了大量的技术提升型试题（Technology-Enhanced Items，简称TEIs），并将其应用于大规模测试。当今，美国有超过一半的州在测试中使用了技术提升型试题。试题的应用范围从英语、数学的测评扩展到了科学领域的测评；测试种类从SBAC 和PARCC 领导的测试，扩展到部分州的其他测试以及美国国家教育进步评价（National Assessment of Educational Progress，简称 NAEP）。加州等部分州甚至完全取消了纸笔测试，所有试题均采用TEIs。可以说，TEIs 已经成为美国最重要的教育评价工具之一。PISA、MTISS 等大规模国际评测中也越来越倚重技术提升型试题。

技术提升型试题对我国评价改革同样具有重要的参考意义。2019 年，《中国教育现代化2035》提出加速现代化的监测体系建设[3]；《加快推进教育现代化实施方案（2018-2022 年）》提出有条件的地区“探索利用新技术手段”改进教育评价[4]；2020 年，《深化新时代教育评价改革总体方案》明确指出“利用人工智能、大数据等现代信息技术，探索开展学生各年级学习情况全过程纵向评价”[5]。上述文件的发布，为我国计算机测评改革扫清了政策障碍。

一、技术提升型试题的定义

技术提升型试题的定义并不明确，Parshall 等人将TEI 定义为：“一种测试试题，该测试试题利用计算机的特征和功能的技术来进行评估，这些评估难以通过传统的纸笔格式完成”[6]；SBAC 认为，“技术提升试题是通过特殊的交互方式收集学生作答数据的计算机试题，这些交互方式与传统选择题、主观题不同”[7]；Bryant 认为，“技术提升试题是使用与常规选择题和主观题不同的格式和/或作答方式开发的计算机的试题”[8]。技术提升型试题又被称为技术支持的试题、创新试题、技术提升的创新试题、基于计算机的试题、创新的计算机测试等。

上述表述虽然有所不同，但其共同点可总结为：技术提升型试题是指基于计算机技术开发的、区别于传统纸笔测试的创新试题；该试题重视计算机交互的使用，并以此来收集学生的作答数据。技术提升通常通过使用视频、音频、动画、计算机自适应、AI等手段实现。

二、技术提升型试题的分类

技术提升型试题的分类标准不一。其中，Parshall 根据试题构建划分，Scalise 则根据开放程度、复杂程度划分。以上这两类分类标准受到推崇。

1. 根据创新性划分

Parshall 认为，技术提升型试题的构建应该包括七个维度（见表1），将这些维度进行组合，就可以建构出从最保守到最创新的各类试题。

表1 基于创新性划分技术提升型试题[9]

2. 根据试题的开放程度和复杂程度划分

Scalise 根据试题答案的限制程度由低到高分为七类，每类问题根据复杂程度由低到高又分为4 个等级，共计28种，并为其中的24种提供了实例说明，详见表2。

表2 基于开放程度和复杂程度划分技术提升型试题[10]

表格横向从左到右分为4 个难度水平：最左边的题最简单，对学生的认知要求最低；最右边的题最复杂，对学生的认知要求最高。表格纵向从上到下分为7 个限制程度：最上面的对考生的限制程度最高，给予学生的作答权限最低；最下面的则完全开放，给予学生充分的作答自由。

较为详细的说明如下。

1.选择

① 1A. 对/错：从“是”“否”中二选一。考生在计算机上作答时，点击备选项前的按钮即可。

②1B. 变式判断：仅有两个备选项。考生在计算机上作答时，点击备选项前的按钮即可。

③1C. 多选项选择：备选项＞2。考生在计算机上作答时，点击所选择的备选项即可。

④1D. 新媒体下选择：多媒体情境下多选一。考生通过鼠标的拖拽等动作完成选择作答，备选项＞2。

2.选择/鉴定

① 2A. 多个对/错：对多个题项做出“是”或“否”的判断。

② 2B. 是/否，并解释：对多个题项做出“是”或“否”的判断，并解释。

③2C. 多项答案：要求考生从多个备选项中选出全部正确选项。

④ 2D. 复杂多选：要求考生在复杂情境下做出选择，题项多项，备选项多项。考生可通过鼠标等点击下拉框，从下拉框提供的多个备选项中选出正确答案。

3. 重新排序

① 3A. 匹配：考生作答时，通过鼠标点击等方式，将多个备选项匹配起来。

②3B. 分类：考生作答时，通过鼠标点击选定并拖拽等方式，将对象分类。

③3C. 排序：考生作答时，通过鼠标点击选定并拖拽等方式，将对象排序。

④3D. 组合性证明：考生作答时，通过鼠标点击选定并拖拽等方式，将给出的证明过程排序。

4.替代/校正

①4A. 文字替换：用文字替代特定对象。例如，通过鼠标点击下拉框并从下拉框中选择，或拖拽等方式，填充空白。

②4B. 指针替代：考生作答时，通过鼠标拖拽等方式，将指定的符号标记在特定对象上。

③ 4C. 限制图像绘画：在特定条件下，用鼠标绘图。

④ 4D. 纠错：通过鼠标点击拖拽等形式修正图形的错误

5.完成

①5A. 单一数值构造：键入单一数值填充空白。

②5B. 短答案与句子：键入较为简短的文字填充空白。

③5C. 完成程序：从每个空白给出的多个备选项中选出最佳答案填充空白。

④5D. 完成矩阵：组合式选择填空，通过鼠标拖拽等方式将多个备选项填充到多个空白中。

6.设计

① 6A. 开放式选择：通过对给定图形的某些要素进行改变完成设计。

② 6B. 图形建构：通过鼠标等选择、拖拽某些图形/图表要素完成图形/图表的设计。

③6C. 概念图：通过拖拽给定图形要素，并使用画图软件中的画图、文本等工具，绘制概念图。

④ 6D. 随笔、短文编辑：编辑/改写短文。

7.表达

① 7A. 项目：键入文字，完成一份计划。

② 7B. 示范，实验，表演：通过视频等方式进行演示、表演等。

③7C. 讨论，面试：考生通过视频等方式在线实时参与讨论、面试等。

④ 7D. 诊断，教学：考生通过视频等方式在线实时实施诊断或教学。

三、技术提升型试题的案例分析

技术提升型试题与传统的纸笔测试试题相比，在形式和内容上都有较大差别，为了更好地分析此类试题，现以美国哥伦比亚地区生物学测试试题[11]为例进行说明。

1. 试题测试界面

与传统纸笔试题不同，技术提升型试题依赖计算机环境，测试界面能够较好地反应出该类试题的部分特征，图1为技术提升型试题的测试操作界面。

图1 技术提升型试题的测试界面

通过测试界面可以发现，技术提升型试题具备了情境、题干、设问等一系列试题的基本要素以及一些常规作答工具，例如字迹标记工具（可将字迹标注为红、蓝、白3 种颜色）、辅助工具（考生可以应用相关工具做笔记、排除错误答案等）。此外，技术提升型试题还包含一些特殊工具，可以满足特殊考生的需要，例如音频工具（点击可以实现试题的阅读）可以满足盲人考生的需要，放大镜（可将页面放大）可满足弱视学生的需要等。通过为考生提供各种考试工具，技术提升型试题可以满足特殊学生的评价需求，实现教育公平。

2. 技术提升型试题例题

将砾石、土壤、沙、植物、蠕虫、蜗牛放置在玻璃容器中形成一个密闭系统，瓶口用带CO2传感器的塞子塞紧，如图2 所示。实验期间，瓶内的植物数量不变，二氧化碳浓度统计数据如图3所示。

图2

图3

【例1】玻璃瓶内的CO2如何维持恒定（A）

A.呼吸作用呼出的化学元素转化为光合作用的原料

B.呼吸作用呼出的化学元素转化为光合作用的产物

C.光合作用产生的化学元素转化为呼吸作用的产物

D.光合作用产生的化学元素转化为呼吸作用的原料

【例2】下列哪句最能描述16 分钟的瓶内的状态（C）

A.呼吸作用和光合作用都在增强

B.呼吸作用和光合作用都在减弱

C.呼吸作用强于光合作用

D.光合作用强于呼吸作用

【例3】不同的生理过程会导致容器内CO2含量的变化，按要求将下列生理过程拖入图4的方框中。

图4

【例4】苍蝇和植物可以通过下列分子将光合作用和呼吸作用联系起来，请通过拖拽完善图5 的过程图。

图5

参考答案：顶部2 空为葡萄糖和O2，底部2 空为CO2和水。

【例5】容器内的二氧化碳浓度最终会达到平衡。根据图2 的数据，在图6 中绘出8、16、24、32、40 分二氧化碳浓度的，并预测48 分的数据。在图6 中绘出上述6个点。

图6

参考答案：点 1（8min）=25000，点 2（16min）=35000，点3（24min）=40000，点4（32min）=20000，点5（40min）=20000。

【6】容器中的动物需要食物和氧气，图7 展示了食物和氧气分子的变化流程图。请结合流程图回答下列问题：

图7

（1）化学键断裂和重新形成过程，能量发生了什么变化？

（2）动物体内原子重新排列过程，最终形成了哪些分子？

（3）为什么动植物必须通过这个过程才能生存？

参考答案:（1）稳定的化学能转化为活跃的化学能；（2）C02、H2O、ATP；（3）食物分子中的存储的稳定的化学能需要通过有氧呼吸过程转化为ATP 贮存的活跃的化学能，为生命活动提供能量。

赋分规则见表3。

表3 主观试题赋分规则[12]

通过分析上述试题可以看出，技术提升型试题与纸笔测试一样，都重视评价考生学业水平的达成情况，重视评价考生的能力水平。与纸笔测试相比，技术提升型试题还具有以下特点：

（1）情境化程度高。通过大量运用视频、照片等素材，技术提升型试题可以为考生创造出更加真实的情境。

（2）试题的猜测空间小。技术提升型试题通过运用前文所述的“分类”“开放性选择题”等形式，改变试题的形式，可以大大降低考生猜测的可能。

（3）试题的可操作性强。考生在答题过程中，可以进行点击、拖拽、绘图等活动，趣味性较强，可以提高学生答题的积极性。

（4）评价成本较低。技术提升型试题除了部分主观试题外，依靠计算机自行处理便可完成评分环节，可节约试题评价的成本。

四、技术提升型试题的优势和不足

随着技术提升型试题越来越多地应用于教育评价过程，关于技术提升试题优劣的研究也相继出现。不少学者阐释了技术提升型试题存在的优势，也有不少学者表达了自己的担忧，Bryant 在前人的基础上进行了总结，结果如表4所示。

表4 技术提升型试题的优势和不足[13]

通过Bryant 的研究可以看出，技术提升型试题具有诸多优势，部分优势在上述案例中得到了较为充分的展示，还有部分特征则体现得不够明显，如降低试题编制的不合理性，这一目的达成需要大规模的检测。美国加州在开技术提升型试题时，就经历了数百万次的检测，最终才选出满足评价要求的试题[14]。

技术提升型试题的优势明显，其不足也较为突出，且主要集中于三个方面：一是试题开发和管理的成本问题；二是试题相关研究不足的问题；三是如何处理测试与科技的问题。作为新兴的试题，技术提升型试题势必会出现研究不足、开发困难的情况，这些问题都难以避免，最值得注意的是技术提升型试题的成本问题。2013 年，美国有48 个州和地区参与SBAC 和PARCC 测试，后来数量逐渐减少，主要的影响因素便是经济因素[15]。

五、技术提升型试题对我国测评的启示

1. 使用技术提升型进行测评是教育评价的趋势。虽然学者对技术提升型试题提出了担忧，但大规模测评的证据显示，技术提升型试题越来受到重视。2016 年，NAEP 尝试使用技术提升型试题；PARCC 和SBAC 规定测试中将更多地运用技术提升型试题；《TIMSS 2019 评估框架》[16]和《PISA 2021 数学评估框架》[17]均要求使用技术提升型试题进行测评。我国部分地区的教育质量监测评估中使用了计算机平台，虽然这与真正意义的技术提升型试题评价还有一段距离，但仍可看作是对教育评价变革的响应。

2. 重视技术提升型试题的开发和研究。技术提升型试题的开发离不开信息技术的进步，而更重要的是依赖认知科学和学习理论的发展。美国的技术提升型试题的开发很大程度上是由教育机构或部门委托教育考试服务中心（ETS）、培生教育集团评价与信息处（PEM）、美国大学入学考试中心（ACT）这三家世界著名的教育评价公司进行开发、管理。因此，重视技术提升型试题的开发工作，应从提升试题技术层面入手。此外，为了有效解决技术提升型试题可能存在的不足，应该积极开展相关的研究工作。

3. 积极探索技术提升型试题应用的道路。技术提升型试题开发和管理过程的高成本问题是制约其发展的重要因素。因此，在推广技术提升型试题的过程中，应先在部分经济发达省市先进行试点，再逐步推广到经济落后地区。此外，还应该考虑改革的阻力问题，先将试题应用于低风险、小规模的测试中，待取得一定成功经验后，再逐渐扩展到高风险的、大规模的测试中。