评价管理或重于评价方法——兼叙PISA测试的过程管理

● 徐士强

评价管理或重于评价方法
——兼叙PISA测试的过程管理

● 徐士强

评价方法是基础，实施管理是保障，二者共同驱动预期评价目标的实现。轻视评价实施过程的管理，往往会导致评价预期目标的流产，再好的评价方法也发挥不出应有的效果。PISA测试在试题翻译管理、抽样管理和数据管理三个环节都制订了严格周密的管理方法和程序，为加强评价过程的科学管理提供了借鉴。

教育评价；过程管理；PISA

一般来讲，要提高评价的信度和效度，评价者既要选择合适的评价方法，还要确保方法得到正确的实施，方法是基础，实施是保障，二者共同驱动预期评价目标的实现。但是，在实际评价过程中，有的评价者往往特别注重方法的选择和方案的设计，对评价实施过程的管理却重视不够，以致评价结果不理想，造成人力和经费的浪费，更严重的是导致评价预期目标的流产。那么，如何有效促进评价方法和评价方案的正确实施呢？笔者认为方法之一是在评价的关键环节和过程内加强科学管理，这一点，我们可以从PISA测试中得到应证。

一、试题翻译管理

PISA实施10余年来，参与单位的范围不断扩大，参与测试的非英语国家（地区）越来越多，因此，PISA要面对不同国家（地区）使用不同语言的考生，给学生提供的考题必须翻译成参考学生使用的语言文字。我们知道，一般的作品翻译尚有一定难度，考试题目表述严谨、表意要准确，翻译的难度更大。而试题翻译质量高低，将直接影响到测试结果的真实性和可比较性。因此，PISA对试题翻译提出了近乎苛刻的要求，它的翻译要遵循以下程序：

●制定翻译计划，每次提交翻译文本的时间节点都要严格按照计划进行；

●参与单位要安排两组人员背靠背翻译两个独立的版本；

●两份译稿整合；

●请学科专家参加讨论，根据本国学生的语言使用习惯进行修订，主要是人名，地名的修订；

●提交给PISA国际专业协作组织，该组织聘用通晓英文和参与国家(地区)语言的专家校对，提出修改意见；

●参与国家（地区）与PISA国际专业协作组织就修改的地方展开讨论，直至双方妥协确定；

●试题单元定稿；

●将试题单元按照国际组织统一的组合顺序要求排成多套试题册，试题册要严格按照英文版格式排版，文字在每页所处的位置都应与原文对应；

●将排定的试题本提交给国际组织做最后的格式检查；

●试题本定稿。

问卷翻译和修订的程序同上。

正是有了如此规范、严格和细致的翻译流程要求，才使得PISA的测试题尽可能的避免因语言转换而带来的理解障碍和歧义，从而最大限度地降低了因语言差异而带来的测试结果的偏差。

二、抽样管理

这次上海PISA测试结果刚刚公布时，有人质疑抽样的科学性问题。美国教育部下设研究机构的一名官员马克·施奈德在测试结果发布后，曾提出质疑，质疑上海测试样本是否具有代表性?怀疑上海选择了最好的学校或最好的学生来参加测试。[2]施奈德的质疑事实上并没有发生。因为PISA有非常严格规范的抽样要求。

PISA评价项目所提议的取样设计为两阶段分层取样：第一阶段的取样单元为含有15岁学生的个体学校，取样之前，在取样框架内的学校被内隐或外显的分配到层，然后，以随机抽样的方式在每层抽取学校，各层之抽取率与各层学校多少及学校内的学生数量成比例。第二阶段的取样单元为样本学校中的学生，从每一所样本学校中等概率的抽取35名学生（底线为20个）。并且，在第一阶段选取的学校中，学校参与率要达到85%，所选取考生的作答率要达到80%（底线为 50%），如果初始选取学校的作答率低于85%，那么，必须通过从候补学校中取样来达到要求。

PISA要求每一个参测国家(地区)严格遵守抽样原则和方法，上海的测试也不例外。上海在这一轮测试中，把所有15岁学生就读的学校名单，由美国的WESTAT公司按照分布比例并考虑学校规模大小后，最终确认了152所学校；学生抽样由上海PISA研究中心根据国际专业组织开发的PISA专用数据管理软件，从每所学校随机抽取35名学生，正是在这样严格和规范的抽样要求，PISA的测试结果能在世界上产生如此大的影响，才能对参与测量的国家和地区教育决策产生大的影响。前面提到的对上海的质疑，马克·施奈德先生在去年年末结束对中国的一次教育科研访问回国后说：在实地调查后，上海考试成绩的准确性毋庸置疑，技术层面上控制得很好，不存在作弊问题。[3]

三、数据管理

PISA有详尽的数据手册，内有若干章节和附件。以2008年编制的试测数据管理手册为例，该数据手册包含六个章节，每个章节都描述了数据管理的某项任务，核心问题的改进情况以及规定的PISA程序。下图是数据管理任务流程。

以下流程简表仅仅是PISA数据管理的流程概要，事实上，每一个环节内，都有细致全面的数据管理任务和操作细则。比如在数据输入上，PISA要求要尽可能多的输入数据，以尽可能地排除信息对评价结果的干扰；数据提交，必须在预定的时间内完成。PISA希望通过严格的数据管理，尽可能保证数据真实地反应事实，以获得可比性。

图1 PISA数据管理流程

试题翻译管理、抽样管理和数据管理是PISA项目过程管理体系的重要环节。 PISA认为，测试数据的质量来源于抽样、翻译、测试过程（主要是试卷印刷、物流和考场管理）、评分、数据输入和清理等过程。当然，除了PISA测试管理上的特别之处外，其在测试内容等其他方面也有很多独到之处，它最大一个特点是从终身学习的角度来编制整个评价方案，所以测试题目跳出了具体学科和具体年级的局限，从更广泛意义上的能力来评价15岁的学生具备的解决问题的能力，它不局限于在校学习的基于课程的已经掌握的单一知识，而是强调知识在不同情境中的应用和形成面对实际生活挑战的能力。由于评估内容来源于学生生活的多方面，不仅仅是学校教育的成果，所以它测试的成绩不能简单用来分析教师教学的好坏或学校教育的成败。但是这种评价是从未来社会对人的要求出发的所以评价的结果对于各个政府制定教育发展的决策具有重要的导向性作用。

透过PISA，我们可以看到，评价的过程管理与评价方法同样重要，甚至当我们在评价方法的创造上陷入谜团时，不妨从管理的角度寻求新的突破。我们开展教育质量评价工作，不仅要注重评价方法本身的研究和选择，而且要更加注重建立科学精细的评价过程管理体系，并将之作为保证教育评价预期目标实现的一个重要手段，这一点恰恰是我们目前教育评价工作比较薄弱的地方。

[1][2]陆璟，朱小虎.如何看待上海2009年PISA测评结果[J].上海教育科研，2011(1).

[3]Sam Dillon．Top Test Scores From Shanghai Stun Educators，The NewYork Times，2010/12/07.

徐士强/华东师范大学2010级博士研究生，上海市教科院普通教育研究所助理研究员

（责任编辑：张 斌）