评估关键能力 培育生活智慧——OECD/PIS A问题解决能力之构想、设计与评估

滕梅芳

(杭州新世纪外国语学校,浙江杭州310006)

由欧洲经济合作与发展组织主持的“国际学生评价项目”(OECD/PISA)①,2000年就阅读、科学、数学等三个领域进行了第一次测试。在2003年举行的第二次测试中,在对原有三个领域测试的基础上,基于学生面对未来社会的要求,超越学科的界限,新增设了问题解决能力的测试项目,以评估学生综合解决现实生活问题的水平②。问题解决能力的界定与测评,表达了人们对于学生实践能力形成与发展的理解与关注,对学校教育走向生活,培育学生的生活智慧,提供了重要的思路。所谓生活智慧,即个体能够综合运用自身已有的知识明智地解决生活中出现的各种问题。本文主要就PISA对问题解决能力的界定、具体的测评内容、评估结构及测试工具等作一介绍。

一、问题解决能力的内涵界定

(一)问题解决能力的界定背景

问题解决能力是各国教育计划中各学科的核心教育目标。教育者和政策制定者特别关注学生在现实生活中问题解决的能力。问题解决能力是未来学习的基础,可以有效帮助学生参与社会,进行个人活动。

人类的问题解决活动早已存在,问题解决能力发展框架是发掘该能力的要素,但要找到能测量学生问题解决能力表现的手段并不容易。能力框架的中心任务是对参与项目的经合组织国家的15岁学生的问题解决能力评价工作进行概括和指导,这就需要清楚地掌握问题解决能力的定义。然而,大量有关学习及相关话题的文献都讨论了问题解决能力,但这些文献并没有给出清晰的定义(Bransford,Brown,&Cocking,1999;PEG,2001)。多名学者也都对此定义进行讨论,但没有达成一致(例如,Frensch&Funke,1995;O’Neil,1999)。

(二)问题解决能力的内涵界定

问题解决能力是指学生能理解给定信息、识别关键特征(critical features)及其相互关系,能够对问题进行构思或外部表征,进而有效解决问题,并对问题的解决方法进行评价、判断和交流。通俗一点说,学校培养学生的问题解决能力即指学生能够综合运用阅读、数学、科学等领域所获得的知识,解决生活中遇到的真实问题的能力③。

OECD/PISA扩大了对学生问题解决能力的评价范围,超越了传统课程领域的界限,将问题解决延伸到现实生活情境。即OECD/PISA的问题解决能力侧重的是评价学生解决现实生活中问题的能力,侧重个体能够灵活运用自己所学的各科知识和策略来解决问题。此类问题要求个人灵活运用自己的知识,变换不同的表述方式。

具体而言,OECD/PISA对学生问题解决能力的内涵界定主要包括以下内容:(1)识别交叉学科问题;(2)识别相关学科的信息和条件;(3)提出可能的解决方法和方案;(4)选择解决方案的策略;(5)问题解决;(6)检查或反思问题;(7)交流解决结果。

二、问题解决能力的组织结构

在OECD/PISA对问题解决的定义中,任务必须采用特定情境或特定领域的知识和策略。因此,要仔细选择评估问题解决能力的情境与领域,要认真考虑下列各个要素:

(一)问题类型

问题解决能力的总体定义覆盖了广泛的问题类型。为了使PISA评价更容易操作,这里选择了三种问题类型:决策制定(DecisionMaking)、系统分析和设计(System Analysis and Design)和疑难排除(Trouble Shooting)。这三种问题类型覆盖了问题解决领域的大多数问题解决过程。PISA问题解决评价不包括人际关系问题解决或争论性语境分析等问题类型。

(二)相关的问题情境

相关的问题情境涉及了学生的问题解决经验。OECD/PISA 2003中的问题解决情境不同于课堂情境和学校课程。因此,OECD/PISA 2003问题应该使用“个人生活”“学校生活”“工作和休闲”和“当地社区和学校”等情境。其他OECD/PISA评价也采用了这些情境,这些情境从个人空间一直延伸到公民意识领域,既包括课内情境,也包括课外情境。

(三)相关学科

为了反映现实生活问题解决的重点,PISA问题解决领域将会覆盖数学、科学、文学、社会、技术、商贸等各类学科。但是,问题解决能力领域只是PISA的次要领域,是对现有的数学、科学和阅读等PISA领域进行补充,这样问题解决任务不是在单一的数学、科学和阅读领域情境下进行,以避免重复考察。

(四)相关问题解决过程

学生能把特定问题描述到何种程度?学生怎样识别和理解问题的本质?学生是以何种方式提出问题的?学生会选择怎样的问题解决策略?学生会对问题进行重新界定吗?在寻找和相互交流问题解决方案的过程中学生能否进一步改进问题解决方案?这些反映了相关问题解决的系列过程,如理解、叙述、组织、解决、交流等。正是在这些过程中,问题解决者监控和调节自身行为,关注问题情境,并在动态的环境中持续反复地处理外部信息和反馈。

(五)相关的推理技能

在每个问题解决的过程中,问题解决者不仅需要利用自身的知识基础,而且还要用到推理技能。例如,在理解问题情境的时候,问题解决者需要区分事实和观点。在提出解决方案时,问题解决者需要识别各变量之间的关系。在选择策略时,问题解决者需要考虑因果关系。在交流结果时,问题解决者需要以逻辑顺序来组织信息。这些活动常常需要分析性推理、定量推理和类比推理技能。这些推理技能是问题解决能力的核心。

这样,问题解决行动是诸多不同的认知过程的综合,综合的认知过程通过运用单一学科的程序、过程、路线和算法,可以实现本来无法实现的某种目标。还可以从特定范围的任务和情境下学生创造及监控行动过程的能力这个角度来描述问题解决能力。问题解决评价试图识别在多种环境和内容领域中的问题解决过程,并对其进行描述和量化,有时还会评价学生问题解决活动的质量。

图1 问题解决框架的关键要素示意图

OECD/PISA 2003问题解决评估的要素如图1所示。图中展示的关系反映了问题解决框架如何利用各领域的情境和内容知识,以及如何利用单个内容领域的能力和问题解决领域能力。

三、问题解决能力的评估内容

(一)问题类型

OECD/PISA 2003跨学科问题解决评价,把学生问题解决能力限制在三个问题解决范围,即“问题类型”。这三个问题类型分别是:决策制定、系统分析和设计、疑难排除④。下面简要说明这三个问题类型的基础结构。

1.决策制定

这种问题类型要求学生在考虑了问题的限制条件之后再做出决定。例如其中一测试题要求学生帮助玛丽决定买哪种轿车。在她做决定前,她要考虑车价、座位数、使用效率等诸多因素。

决策制定任务要求学生能理解给定信息,识别相关特色或规定的限制,表述问题,做出决策,然后评价、判断及交流决策。在这种类型的决策任务中,学生需要从诸多选择中选择一种。通常学生在决策前,要结合各种资源的信息(组合推理),然后选择最佳解决方案。

如果问题情境越复杂,就越难做出决策。当面临的问题情境很复杂时,学生就有必要对问题进行外部表征。例如,你可以帮助玛丽画一张表格,列出意向车的参数,基于其购车条件,清楚地列出各种车的优势和劣势。这样的外部表征能帮助玛丽做出决策。学生对问题进行外部表征的能力是决策制定任务评价中的重要变量。一旦外部表征运用成功,学生就可以综合比较各种选择,做出决策。在做出决策之后,学生能向外人评价、判断和交流决策。判断和交流问题解决的能力是学生问题解决能力的重要方面。

总之,决策制定任务一般要求理解给定信息,识别相关特征和限制条件,合理建构外部表征,从诸多选择中选出最佳解决方案,并进行有效的评价、判断及结果交流。

2.系统分析和设计

这种问题类型要求学生分析复杂情境找出问题原因,设计一个系统方案来问题解决。系统分析和设计问题类型在两个方面不同于决策制定问题类型:(1)学生要建构问题的解决方案,而不是从诸多选择中挑选一个;(2)系统分析和设计问题中描述的情境常常是相互联系的变量所构成的复杂系统,变量之间相互影响,解决方案也不清晰。换句话说,系统分析和设计问题的特点是相关变量的动态性及解决方案的开放性。这种问题类型常常出现在经济学或环境科学等综合性较强的学科。

系统分析和设计任务常要能理解相互联系的变量,找出变量的行为方式。在此类问题中,学生要能分析复杂情境,找出给定问题原因,并设计一种能使系统工作并实现目标的解决方案。在系统分析和设计背景中评价、判断和交流解决方案的能力也是问题解决过程的组成部分。

系统分析和设计问题的难度与决策制定问题一样,也受到问题复杂性的影响。情境越复杂(有时是相关变量数量增多,有时是变量间相互关系变复杂),问题解决任务的难度就越大。

系统分析和设计问题解决过程也要问题解决者对问题进行外部表征,此外,鉴于每种解决方案的优势和劣势并不明显,评价、判断和交流解决方案也是系统分析和设计问题解决过程的重要部分。

总之,系统分析和设计任务常常要求能理解大量相互依存变量间的复杂关系,识别其关键特征,创造或运用特定表述,分析复杂情境,识别问题或设计系统以实现特定目标。如例题1所示,将46个孩子和8个成人分配在合适的宿舍里需要问题解决者综合分析宿舍规定所涉及到的各种变量,系统分析和设计问题解决的方案。

例题1:孩子夏令营露营问题

Eedish社区服务正在组织一个5天的儿童夏令营。有46个孩子(26个女孩,20个男孩)签约,8个成人(4男4女)自愿参加并组织这次夏令营。

成人名单:Mrs Madison;Mrs Carroll;Ms Grace;Ms Kelly;Mr Stevens;Mr Neill;Mr Williams;Mr Peters。

床位数量:红色,12;蓝色,8;绿色,8;紫色,8;橙色,8;黄色,6;白色,6。

宿舍规定:(1)男孩子和女孩子必须住在不同的宿舍;(2)每间宿舍至少要有一个成年人;(3)成年人必须和相同性别的孩子住在一起。

问题1:按照规定,如何将46个孩子和8个成人分配在合适的宿舍里?

3.疑难排除

这种问题类型要求学生能找出问题的突破口或操作系统运行机制。例如,杰尼要找出自行车气筒为何打不出气来。尽管她反复推拉气筒手柄,还是无法打气。如果杰尼不知道气筒工作原理——利用内外阀门和活塞作用来打气,那么她不可能找出故障的原因。

疑难排除任务明显有别于决策制定任务和系统分析与设计任务。疑难排除任务既不是从一套选项中选择一个最佳选择,也不是分析动态系统和设计问题解决方案。疑难排除任务要求能理解物理系统或程序的工作原理等逻辑因果机制。例如,一家零售公司要找到销售额下降原因的任务,或计算机程序员要找出程序中错误的任务。

尽管三种问题类型结构之间存在差异,但学生解决疑难排除任务时都要了解设备或程序的工作原理(即理解工作机制),识别关键特征以诊断具体问题要求创造或运用相关表述,诊断问题,提出解决方案并加以执行。

在这些问题类型中表述很重要,问题解决也常要结合口头信息和图片信息。要找出自行车气筒为何打不出气来,杰尼必须结合图片信息和口头信息以理解气筒的工作原理。学生要用口头陈述来进行图片表述,或用口头描述来绘制设备工作原理的示意图。不同表述形式进行切换的能力也是问题解决能力的重要方面,PISA评价项目会对此进行评估。在疑难排除问题及其他问题类型中评价、判定和交流的过程都很重要,评价项目也会对其评估。

总之,疑难排除任务包括,诊断、提出解决方案以及执行方案。疑难排除任务要求学生能理解线性、因果设备或程序的工作原理,识别任务的相关特征,合理对问题进行外部表征。

前文讨论的三种问题类型是属性问题解决结构,这些问题类型涉及了OECD/PISA评价项目关注的日常生活、现实生活、分析推理等各方面。这些问题类型是对阅读、数学和科学能力等内容领域评价的一种补充。在评价阅读、数学或科学能力时,这些知识领域的良好定义为评价提供了必要的知识结构。测试问题解决能力的重点不是知识领域而是解决过程。但是过程如果不结合某种具体的解决,就无法进行评估。三种问题类型提供了必需的属性结构,这样就可以评价问题解决过程。决策制定、系统分析和设计、疑难排除是重要的问题解决类型,能涉及分析推理等现实生活问题的解决技能,对其任务评价不同于阅读、数学和科学能力评价的范围。

(二)问题解决过程

设计问题解决框架需要列出学生的问题解决过程。这项任务并不容易,因为每个人问题解决的方法多种多样,很难归纳出标准的格式。认知心理学家提出的问题解决过程是以对三种问题类型的认知分析为基础的,其问题解决模型包括诸多过程,是测试学生行动和进行问题解决评价的基础结构。但是,不能假定这些过程有级别之分或者认为在解决任何问题时都要经历这些过程。例如,当个人以实时动态的方式来面对、建构、表述和问题解决时,他们会超越现有狭窄的线性问题解决方式。具体过程如下:

(1)理解给定信息:包括学生如何理解文本并得出推论,联系各种资源的信息,理解相关概念,使用背景知识信息以理解给定的信息。

(2)识别关键特征及其相互关系:包括如何识别问题变量,对相关变量和不相关变量做出判断;建构假说,检索、组织、考虑和严格评价情境信息。

(3)建构或运用外部表征:包括学生如何建构表格、图画、符号或口头表述形式,如何运用给定的外部表征来问题解决,以及如何切换表述形式。

(4)问题解决:包括决策制定(在决策制定问题类型中),分析系统或设计系统来实现特定目标(在系统分析和设计问题类型中),诊断和提出解决方法(在疑难排除问题类型中)。

(5)评价、判断和交流问题解决方法:包括学生如何测试解决方法,寻找新信息;从不同视角来评价解决方法以重构解决方案并使其更易被接受;判断解决方法;找到合适的词语来向外界表达和交流解决方法。

(三)现实生活情境

OECD/PISA的问题解决要求学生灵活运用所学的知识和技能;在不同情境中自由切换能力类型;调节自身认知水平,运用知识来处理困境、冲突、决策和问题。

例如,跨学科问题解决行动常会运用“生活技能”概念。现实生活情境常会遇到此类跨学科问题,现实情境不同于学生所熟悉的单一学科情境。现实生活场景将会涉及个人生活、学校生活、工作和休闲、社区和社会等各个领域。

(四)问题解决能力评价

OECD/PISA 2003中跨学科问题解决评价在以下几个方面不同于学科能力评价:(1)三种能力领域都关注问题解决过程(演绎、归纳、批判性思考等等),阅读、数学和科学能力领域也需要这种思考和推理能力。但是,其他能力评价的重点是阅读、数学和科学等学科知识能力,而不是问题解决过程本身。问题解决评价重点不是在学科知识,而是问题解决过程,问题解决过程综合之后可以实现下列目标:做出决策、分析或设计体系,疑难排除④。换句话说,阅读、数学和科学能力领域的问题场景,可以运用过程来获得相关领域的知识,而问题解决的重点是解决过程本身。(2)OECD/PISA问题解决能力领域在复杂性和内容的现实基础及问题解决的情境等方面有别于阅读、数学和科学能力领域。(3)最后,问题解决能力评价的重点不是运用单个学科的知识,而是综合运用不同学科领域的信息。

OECD/PISA问题解决从几个方面不同于传统心理学实验研究:(1)对学校知识的依赖性(数学、阅读、科学、历史、经济等);(2)使用现实生活情境(问题的内容和结构两个角度);(3)问题解决方案的开放性和解决过程的复杂性(重点是批判性推理技能)。目前评价重点关注三种问题类型解决过程,并对特定问题解决过程进行深入的评价。

为了充分说明OECD/PISA 2003的重点是测量问题解决能力的跨学科方面能力,有必要强调以下几点:

◇对跨学科问题解决能力评价重点是学生问题解决过程和解决方法的正确性。

◇具体领域问题解决能力与“传统”学科领域直接有关,但是问题解决评价的跨学科能力问题超越了单一的学科领域,跨学科能力的情境既可能是在单学科领域,也可能是在多学科的交叉领域。

◇跨学科问题解决能力的内容(强调现实生活情境,转变课程学习能力)和情境(强调复杂、动态、现实生活环境及推理任务)评价不同于学科领域能力评价。

◇学科领域的问题解决评价(特别是在数学能力评价)中,要研究个人先决条件(如具体领域的知识和动机)、社会背景和学校相关变量对问题解决能力的范围、情境和复杂性的影响。

四、测试工具的系统设计

(一)问题解决能力的测试形式

在前面的问题解决评价中,项目评价使用了多项选择、真-假判断或简答题等多种测试形式。这些测试方式常常被认为具有较高的可靠性、客观性强、成本较低,管理要求也不高。但是,为了充分了解学生的推理能力、问题解决能力以及结果交流能力,需要大量记录学生的行为。为了充分地测量和描述学生的行为,我们要测试学生在自由问答和目标明确的问题背景下的思维形式。因此建议:在OECD/PISA 2003跨学科问题解决评价中,要采用多种评价测试题的形式。评价形式包括:较短封闭式测试题、较短开放式测试题、较长开放式测试题以及多项选择测试题。每种测试题的类型具体描述如下:

1.多项选择测试题

多项选择适合快速和低成本地判断学生是否已掌握特定的技能、知识或信息收集能力。设计良好的测试题可以测量学生的知识和理解力及学生的选择策略。在设计测试题时候可以通过“安插”同义替换词语或减少测试题的方式,以方便学生选出正确答案。但是,多选在某种程度上无法更广泛而深入地考察学生多种情境下的问题解决能力。

OECD/PISA问题解决评价的多项选择测试题应该:(1)不是通过简单地插入数值,估计数量或比较图形尺寸;(2)干扰选项的设计不是有意误导学生选择错误答案,而是考察学生在特定情境下的应对方式,每个干扰选项应能反映学生的思维过程;(3)当测试题中要求学生绘制图表,选择将会比较困难而费时。

2.较短开放式建构测试题

较短开放式建构测试题要考察学生对测试题的理解,学生对选择方式的交流。较短开放式建构测试题要求学生给出数字结果、正确的名字、给目标分类,为给定概念举例等简短的答案。

OECD/PISA问题解决评估中的较短开放式建构测试题应该:(1)在注重考察学生对问题如何回答的情况下使用;(2)可以考察学生对所提问题的理解程度;(3)清楚地了解学生如何做出回答;(4)可以把答案锁定在较小的范围中,以便较准确而快速地标出答案。

3.较长开放式建构测试题

较长开放式建构测试题是指,要求学生在特定情境下不能给予数字答案或较短口头回答。这种考察方式要求学生认真考虑跨学科情境;理解问题解决的方法;制定应对方案;执行应对方案;从给定情境的角度来解释问题解决方案。较长开放式建构测试题要求学生给出更加完整的行为步骤,或表明进行了较复杂的思维活动来问题解决。这种考察方式还期望学生能清楚地交流他们在问题情境中的决策过程(例如,通过文字、图片、图表或步骤来介绍决策过程)。

总之,OECD/PISA问题解决评价中的较长开放式建构测试题应该:(1)要求学生来展示整体信息或概念以及问题解决的方式;(2)从多个角度进行理解,要求学生在回答问题时将这些角度联系起来;(3)在需要分多个步骤来问题解决,同时出现多种不同要素的情况下使用;(4)要求学生解释或判断问题解决的行为;(5)写明问题解决办法,以确保记分员能有效而可靠地评分。

4.主题组或单元

为了让学生深入地接触问题(也许会与中学生的答题动机有矛盾),问题解决评估中大多数测试题按照主题或情境来分组设计。这样测试题组应该包括三个以上测试题,常有不同题型,都针对课程概念或情境等同一主题进行测试。当多个测试题都是对问题背后的课程概念进行测试,我们称这组测试题为垂直主题组,并按从易到难的顺序设置主题组中的题目。这样的测试题组可以深入研究学生对特定领域的理解程度。而当多个测试题是对情境进行测试时,我们称这组测试题为水平主题组。水平测试组可以用来测试学生对跨学科共同概念的不同表述的理解程度。无论是哪种测试,测试题组都要有一定的独立性。

(二)问题解决能力的量规

波利亚在他的关于问题解决的著作中提出:在问题解决总体框架中建立整体性评价量规,以评价学生对测试题的回答(Polya,1945)。这样的量规可以使学生行为认知达到下列水平:(1)理解给定信息;(2)识别关键特征及其相互关系;(3)建构或运用外部表征;(4)问题解决;(5)评价、判断和交流问题的解决方法。

在这样的量规中,最高级别的计分,表明该学生能够完全正确地理解问题,问题解决方法也是清晰、恰当的,并充分进行了展开。回答逻辑正确,书写清楚,没有错误。例子选择合适,对其进行了充分展开。

在低一级别的计分中,学生的行为表明了其对问题理解较清晰,也有可接受的问题解决方法,但是在展开回答时有些小错误。也有举例,但是没有对其充分展开。

再低一个级别的计分中,学生的行为反映了其理解了问题中的概念,问题解决方法和表述方式有逻辑性。但是,总体上回答并没有充分展开。推理中会存在严重逻辑错误或缺点,回答中只有部分正确合理。所举的例子不正确或不恰当。

再往下一个层次,学生行为表明了其对所提问题理解较少,而且没有提出可行的问题解决方法。少量的正确行为有逻辑性,回答不完整,推理中有严重错误或严重缺点。这个层次的问题回答没有举例。

最低的级别是零分级别,回答完全不正确或不相关。在该层次中,要么是不正确、不相关的回答,要么是空白,反映测试时间不充分或思路不对。

还要注意到,不是每个测试题都有上述五个层次。但是整个问题解决测试中,学生的表现会有不同的层次。

总之,国际学生评价项目中关于问题解决技能的界定与测评,表达了人们对于学生实践能力形成与发展的理解与关注,对学校教育走向生活,实现为未来社会服务,提供了重要的思路。

注释:

①国际学生评价项目(Program me for International Student Assessment,PISA)是OECD成员国以及部分其他国家与地区之间的合作项目,也是目前世界上最有影响力的国际学生学习评价项目之一,其目的在于测量义务教育即将结束时,年青人(15岁)为走向社会而准备的知识和能力情况。中国香港、澳门和台北均已参加,上海计划参加2009年最新一轮的测量。

②OECD.Learning for Tomorrow’s World:First Results from PISA2003,2004.

③OECD.PISA 2003 Cross-disciplinary Problem Solving Framework,2002.

④OECD.The PISA 2003 Asses sment Framework:Mathematics,Reading,Science and Problem Solving knowledge and Skills,2003.