教育装备绩效评价技术研究（1）：变量选择与处理

艾 伦

1.教育信息化协同创新中心 湖北武汉 430079 2.首都师范大学 北京 100048



资产管理与设备采购

教育装备绩效评价技术研究（1）：变量选择与处理

艾 伦1，2

1.教育信息化协同创新中心 湖北武汉 430079 2.首都师范大学 北京 100048

摘 要：绩效考核是教育装备管理部门必须面对的实际问题，其中绩效评价属于管理学的范畴。重点讨论了教育装备的绩效评价技术中对教育教学产出变量的选择与处理方法。

关键词：教育装备；绩效评价；产出变量；显变量与隐变量；数据挖掘

教育装备的绩效评价属于教育装备管理学中的概念，同时也是目前各个教育部门和单位在每个财政年度都必须面对的实际问题。我们在这里系列地讨论绩效评价技术是想为学校及其管理部门在绩效考核时提供有效的测量方法。教育装备应采用科学化管理，所以对教育装备绩效应使用科学评价，科学评价是“价值无涉”的，就是不能通过价值判断（主观判断）而必须依据科学判断，即客观和量化的评价方式。客观、量化的测量评价需要确定变量和具有数据支持，这是在评价阶段不可回避的现实问题。

教育部门属于政府机关或事业单位，它们在进行项目建立和绩效考核时必然会遇到对教育装备的货物、服务以及工程采购项目中预期目标的阐明和评价问题，这就必然要涉及对教育教学产出变量的选择、确定、量化以及详细描述。本文将重点讨论对教育教学产出变量的处理方法。

1　绩效评价

在正式讨论绩效评价技术之前，必须将有关的概念进行界定，从而使我们的讨论不偏离方向且更加具有针对性。

1.1教育装备绩效

绩效（performance）是管理学中的一个概念，单纯从语言学的角度来看，绩效包含有成绩和效益的意思。用在经济管理活动方面，是指社会经济管理活动的结果和成效；用在人力资源管理方面，是指主体行为或者结果中的投入产出比；用在公共部门中衡量政府活动的效果，则是一个包含多元目标在内的概念［1］。

可以看出，在不同的语境下对绩效有着不同的理解。但是教育装备的绩效却是一个复杂问题，它几乎涉及了上述定义中的所有方面。教育装备的投入是经费，而做管理工作的是管理人员；教育装备的产出其实就是教育的产出［2］，而教育的产出就是人才培养；教育装备的投入是由学校的上级单位做决策的，而这些上级单位又是政府部门。所以，教育装备绩效就是反映教育装备投入后的成绩和效益，在其项目实施方面要关注结果和成效，在管理方面要计算的就是投入产出比，作为学校的上级单位就必须综合考虑上述问题。我们在这里规定，教育装备科学化管理中的绩效就是考查其效益，而这个效益就是教育装备的投入产出比。

1.2评价与评估

一般情况下“评价”与“评估”这两个词是可以混用的，人们不把它们做严格的区分。但是为了使我们的讨论更加具有针对性且不偏离方向，就必须给出一个严格的概念界定。本文采用“评价”一词而没有使用“评估”是具有充分理由的。《教育大辞典》中对评价和评估的解释如下。

评价（evaluation）是对事物价值的判断。如对教育目标的实现程度做出的价值判断。这类判断有时只依据由测验提供的测量值，更多的则是综合各种测量、关键性事件、主观印象以及其他各种证据［3］。

评估（evaluation）指评议和估价，是对事物和过程的一种判断。是一个包含一系列的步骤和方法的连续性的系统过程。其一般程序是：规定目的，确定目标，系统地采集信息，分析资料，运用包括数学在内的科学手段，对某一对象进行综合的评议和估价。它为决策者提供信息和资料，为决策服务［3］。

虽然评价和评估的英文名称完全相同，但在汉语解释中却有着根本不同的涵义。显然，评估是在一个项目执行前对该项目目标和可能产生的结果进行预测和估计，而评价则是在一个项目执行后对该项目在初期建立的目标和项目执行后所产生效益进行测量和评判。教育装备绩效考核是考查项目执行完成后的效益问题，所以在本文和以后的序列讨论中将一直使用绩效评价这一称呼。

1.3绩效评价技术

人们对事物的评价，由判断依据的主体区分可分为主观评价与客观评价，而由判断依据的强度区分可分为定性评价与定量评价，于是就存在4种不同的评价方式：主观定性评价、主观定量评价、客观定性评价以及客观定量评价。其中，主观定性评价与主观定量评价属于价值判断，客观定性评价属于认知判断，客观定量评价则属于科学判断，科学判断的评价方式应该是“价值无涉”的。科学研究一般应避免使用属于价值判断的主观评价方式，因为这种评价方式受到评价者知识背景、阅历大小、经验多少、文化习俗、价值取向等主观条件的限制，甚至评价者评价时的社会关系、身体状况与心理情绪等都会成为重要的影响因素。

绩效评价可以采用上述定义中的价值判断，但是也可以采用认知判断或科学判断。教育装备管理应该是科学化管理，须采用科学评价，而科学评价一定要使用客观、量化的方法。客观、量化的方法通常需要依靠数学模型、数据计算实现，于是便形成了各种相关技术，这就是我们在这里讨论的教育装备绩效评价技术。

2　评价变量的选择

绩效评价需要对项目的效益进行计算，效益的具体体现就是投入产出比，客观、量化的评价应首先确定投入变量和产出变量。

2.1投入变量

投入变量亦称输入变量，教育装备绩效评价的投入变量反映出投入成本，是教育成本的一部分。在《教育大词典》中对教育成本（Education Cost）的定义是：培养学生所耗费的社会劳动，包括物化劳动和活劳动。其货币表现为培养学生由社会和受教育者个人直接和间接支付的全部费用［3］。其中物化劳动是指教育资源中的人工资源部分，也就是教育装备；而活劳动则是指教育在资源中的人力资源部分，包括教育教学的实施者（教师）、管理者（各级领导、各种管理人员）、生活服务人员等。教育装备投入成本中的物化劳动其实就是教育装备本身，活劳动则是指教育装备的管理人员。所以教育装备绩效的投入变量应选择以货币形式呈现的教育装备投入（即购置费用）和管理人员的人数、水平（学历、职称）、工作量等内容。

2.2产出变量

产出变量亦称输出变量，教育装备绩效的产出变量其实也反映了教育的产出，它们是相同的概念。教育效益是指教育投入的产出效果，包括直接效益和间接效益、经济效益和政治文化效益。教育产出变量的选择是一个非常复杂的问题，它与企业的产出不同，不是仅用货币量就可以反映的，并且讨论教育的效益时并不是关注其经济效益，而是注重它的社会效益、政治文化效益。

一般情况下，人们多选择以下可量化的变量作为教育或教育装备绩效的产出变量。

（1）培养学生人数。这是一项直接效益的产出变量，反映了一个教学单位培养人才的能力。但是由于在计算教育效益时常用“生均投入”作为投入变量，而且培养人数与教学单位规模一起被规定下来，一般不随教育投入发生变化，所以这个产出变量不能够很好地反映教育效益，很少被采用。

（2）学生学业水平。这也是一项直接效益的产出变量，它直接反映了一个教学单位的教育教学水平。学生的学业包括知识的获取、能力的提高和道德的养成，于是这个变量还需要进一步细分。知识也被称为显性知识，是通过纸笔考试进行考核的，这个产出变量可以使用学生的卷面成绩。能力属于隐性知识，不易进行量化测量，却可以通过造诣测验（亦称成就测验）针对学生获得的成果或奖励确定产出变量。道德的养成就是德育，德育作为产出变量是最不容易量化的，可以考虑通过社会对该教学单位学生道德水平的总体评价进行赋值。应该注意，在较大空间范围内进行绩效评价使用学生学业水平作为产出变量时，由于不同地区会有不同的测量标准，所以将一些成绩（如：各地高考成绩、中考成绩等）作为产出变量就会带来问题。但是可以通过下文介绍的变量变换方法来解决。

（3）学生身体素质。对于非体育教育的普通教学单位，学生身体素质虽然属于人们关注的一个重要问题，但与学生学业水平这个产出变量要求不同，它一般只与教育或教育装备在体育锻炼相关的投入部分有关。有时，学生身体素质甚至还会被设定为影响学生学业水平的输入变量。

（4）毕业生中的成功人士数量与水平。这是一项间接效益的产出变量，因为它虽然与原教学单位的教育有关，但还与成功人士其他的经历与奋斗有关，通常它只是一个参考变量。

显然，能够反映教育效益的产出变量是非常少的，还会出现测量标准不统一而使得变量没有使用意义的情况。所以寻找、发现和定义教育装备效益的产出变量是一个技术含量很高的科学问题。

3　评价变量的产生方法

教育装备绩效产出变量的寻找和发现可以通过数据挖掘技术实现，下面通过实例介绍这些技术。

3.1显变量与隐变量

教育装备绩效评价中的变量一般都可以赋予明确的社会科学或教育学意义，如前面提到的学生学业水平等，我们称这样的变量为显变量。其实在教育装备问题研究中还存在着大量的隐变量，它们并没有明确的社会科学或教育学意义，甚至没有一个确切的名称，而只能用F1，F2等变量名代替。有时我们不得不使用隐变量进行测量和评价。例如，由于学生创新能力是一个复合型能力，一般不具有直接进行测量的方法，但是我们可以通过数据挖掘和统计分析找到一些隐变量，它们与创新能力具有一定的关系，并且能够侧面反映创新能力水平的高低。通常，投入变量一般都表现为显变量，而产出变量则在很多情况下只能去挖掘那些隐变量。

3.2变量变换

3.2.1 空间变量与时间变量变换

空间变量与时间变量确切的叫法应该是空间序列变量和时间序列变量，在教育装备绩效评价问题研究中经常会存在它们之间的转化应用。例如，我们希望知道教育装备投入是否会使得学生的学业水平有所提升，其输入变量容易获得，它们无非都是反映装备投入实施情况的一些显变量，而在采集学生学业水平情况时，由于不同地区测量学业水平的标准不同，如果使用空间序列变量的学业水平进行对比研究将没有实际意义。但是，如果使用时间序列变量的学业水平，在当地进行逐年对比，研究结果就具有实际意义了。此时得到的是各地区学生学业水平随时间逐步提高的曲线，而各地区这个曲线的斜率是不同的，通过斜率比较就能够很好地体现教育装备投入的效益。

3.2.2 变量功能变换

变量功能变换就是将一个可测量的变量功能引申，使得它可以反映另一个变量的水平值。例如，我们可以认为学生参加网络答题的速度能够反映该生信息技术水平，从而设定该水平为一个评价产出变量。但是，能否真的当作产出变量使用必须做相关性验证。一般，如果该变量与投入变量相关，则有可能成为产出变量，否则不能作为产出变量。说“有可能成为”是因为两个变量之间具有相关关系但不一定就是因果关系，要得到因果关系还需要进一步推演证明才行（两个变量不具有相关性则必然不会具有因果性，而具有相关性时则有可能会具有因果性）。以下是一个使用真实数据的实际例子。

某市6个区县（用DMU1至DMU6表示）小学生的生均教育信息化投入经费数如表1所示。学生信息化水平用网络答题时间代替，平均答题时间长被认为信息技术水平低，反之则认为水平高，于是得到表2中的信息技术水平指数。变量变换方法采用了计算公式：信息技术水平指数 = 10 / 平均答题时间。

表1　生均信息化投入数

表2　学生信息化水平指数

将生均教育信息化投入经费数（作为投入变量）和学生信息技术水平指数（作为产出变量）填入统计分析软件SPSS中，选择相关分析选项，可以得到表3所示输出结果。该结果显示出这两个变量的相关系数为0.545，它们似乎具有一定的相关性。但进一步考查可见显著性值ρ= 0.264。在相关分析时规定为0假设（H0），当ρ＜ 0.05时才能够认为两个变量具有相关性，所以我们开始设定的投入与产出变量不具有相关关系，当然就更不会具有因果关系。于是得出的结论是：该变量变换可行（即可将答题时间变换为信息技术水平），但是在该项目中使用这个产出变量不可行。在该项目中，在这个城市的6个区县之间，不能够将上述两个变量用作为投入和产出的对应变量来进行小学校的教育信息化绩效考核。

表3　SPSS相关性分析结果：相关性

3.3隐变量的挖掘

在产出变量十分稀少的情况下利用数据挖掘技术设定一些变量作为产出变量是一个不错的选择，这里介绍用主成分分析法（Principal Components Analysis，简称PCA法）进行隐变量挖掘的实例。主成分分析是多元分析中一种常见的变量降维和赋权方法，在尽量不丢失信息的情况下将多个变量转换成少数几个变量（称主成分变量）。这些主成分变量具有正交性（统计独立、无相互依存性），而每个主成分中所包含的变量之间一般具有较强的相关性（同质）。我们可以将主成分变量认定为隐性产出变量，其依据主要出于以下几点。

（1）趋同特点。与其他领域不同，教育在装备投入上有着配备标准，人们多依标准进行投入，即使在没有建立标准的地方也根据经验尽量选择一致性的配备，这种现象称为趋同性。

（2）全局预测。在能够获得大范围（全省市甚至全国范围）投入数据的情况下，根据上述趋同性特点进行产出隐变量的挖掘是有意义的。局部地区或该地区教学单位的教育装备绩效的产出指标可根据这些隐变量进行测量和评价。

（3）同质聚类。主成分分析就是将趋同的变量聚类在一起。在进行主成分分析时应尽量提供一些已知的产出变量数据参与，这样对于隐变量的有效性更加有利。

表4是某市小学校教育装备投入变量（X01～X13）的名称对照。将全市这些变量对应的数据填入SPSS软件，选择主成分分析，可以得到表5和表6所示的结果。

表4　变量名对照表

表5　各主成分的最大特征值与对系统的贡献率

表6　前3个主成分与各变量的关系

表5中的“Total”一栏为各主成分对应的最大特征值，“Cumulative”为主成分累计贡献率百分比，最大特征值大于1的主成分有3个，它们的累计贡献率已经达到82%以上。表6显示的是前3个主成分与各变量（X01～X13）的关系。从表5中可见主成分F1的最大特征值λ1=7.036，主成分F2的最大特征值，主成分F3的最大特征值。根据以下公式计算综合评价函数［4］。根据综合评价函数F和表6中各个变量的系数确定出F的各个变量系数如表7所示，写成百分数形式（各个系数之和等于100）如表8所示。

表7　综合评价函数各变量的系数

表8　综合评价函数各变量的百分度系数

最后得到的隐性产出变量有两个，分别为主成分F1和F2。主成分F3因只与X13（图书资料）有关，不予考虑。计算两个产出变量时，其对应的各个投入变量和投入的权值由下面的表达式决定。

参考文献

［1］ 百度百科.绩效［EB/OL］.http：//baike.baidu.com/ view/122994.htm.

［2］ 艾伦，艾霁野.也谈教育装备的成本：效益研究［J］.中国教育技术装备，2008（20）：1-2.

［3］ 顾明远.教育大辞典：增订合编本上、下［M］.上海：上海教育出版社，1998.

［4］ 艾伦，艾霁野.主成分分析在教育装备管理评价指标体系建立中的应用［J］.中国教育技术装备，2008（18）：3-4.

收稿日期：2016-03-06

作者简介：艾伦，教授，本刊特约撰稿人。

Performance Evaluation Technology of Educational Equipment （1）：Selection and Processing of Variable

Ai Lun1，21. Collaborative & Innovative Center for Educational Technology， Wuhan， 430079， China 2. Capital Normal University， Beijing， 100048， China

Abstract：Performance evaluation is an actual problem that the educational equipment management department must face， and the performance evaluation is the category of management. This paper focuses on the selection and processing method of the output variables in the performance evaluation of educational equipment.

Key words：educational equipment； performance evaluation； output variables； explicit and implicit variables； data mining