教师信息技术应用能力培训系统的层级化绩效评价研究*

吴鹏泽，杨 琳

(1.华南师范大学 教育信息技术学院， 广东 广州 510631；2.广州大学 网络与现代教育技术中心，广东 广州 510006)

教师信息技术应用能力培训系统的层级化绩效评价研究*

吴鹏泽1，杨 琳2

(1.华南师范大学 教育信息技术学院， 广东 广州 510631；2.广州大学 网络与现代教育技术中心，广东 广州 510006)

高等教育绩效可以分为内部产出绩效、内部运行绩效及外部适应绩效三个层级。而我国关于教育信息化的绩效评价研究，关注最多的是内部产出绩效，能够将内部产出绩效、内部运行绩效及外部适应绩效三者系统结合并开展应用的研究较少，将三者结合起来开展教育信息化的绩效评价研究具有很强的理论价值及实践意义。该文以教师信息技术能力培训的绩效评价为切入点，从教师信息化专业发展的视角研究我国教育信息化的绩效评价，提出了教师信息技术应用能力培训的层级化绩效评价模型，并将该培训层级化绩效评价模型应用于教育技术培训评价中。应用教师教育技术能力评价指标体系进行内部产出绩效评价，应用数据包络分析法开展内部运行绩效评价，应用个案追踪开展外部运行绩效评价。

信息技术应用能力；数据包络分析法；层级化；绩效；评价

一、问题提出

近年来，绩效评价正在广泛应用于教育领域，从学校整体的绩效评价到对教学、科研等学校运行的某个环节的绩效评价，从高等教育的绩效评价到基础教育的绩效评价，教育的各个层级、各个环节都无不关注绩效评价。“投入—产出”分析法是目前绩效评价普遍运用的方法。从经济学的角度说，教育投入也是一种生产性投入，同样可以进行成本和效益的计算。教育投入主要包括人、财、物，因此，人、财、物的配置都属于教育成本。在市场经济条件下，成本配置的唯一准则就是看它能否产生效益以及产生多大的效益[1]。教育信息化作为国家教育改革与发展的一项重要工程，其绩效评价也越来越受到重视。学者们纷纷从不同角度开展教育信息化的绩效评价，如学校教育信息化的评价模型研究[2]、农村基础教育信息化的绩效研究[3]等。企业管理领域的研究者提出了高等教育绩效的三层次结构[4]，分别是：内部产出绩效、内部运行绩效及外部适应绩效。根据文献分析，现有的教育信息化绩效评价研究，最多关注的是内部产出绩效，也有部分研究关注内部运行绩效。“内部运行绩效”类研究以建构内部运行绩效评价模型及评价指标体系为主，虽然其中也有小部分研究开展了绩效评价模型及评价指标体系的应用研究，但是，能够将内部产出绩效、内部运行绩效及外部适应绩效三者系统结合并开展应用的研究较少。因此，将上述三个层次结合起来开展教育信息化的绩效评价研究具有重要的理论价值及实践意义。“提高教师信息技术应用水平”是我国“教育信息化十年发展规划(2011-2020年)”的重要任务之一，是我国教育信息化的重点工作之一；“教师教育技术培训指数”也是教育信息化绩效评估指标体系的主要指标项[5]。因此，本文以教师信息技术能力培训的绩效评价为切入点，从教师信息化专业发展的视角研究我国教育信息化的绩效评价。

二、教师教育技术能力培训绩效层级评价模型

与教师培训直接相关的评价模型包括“反应—学习—行为—结果”柯克帕特里克模型及“情境评价—输入评价—过程评价—成果评价”CIPP模型等。其中柯克帕特里克模型是一个层级化的评价模型，将教师培训评价由表及里、由最初的反应到最终的行为、结果的变化进行了层次划分；CIPP模型则是对培训的四个阶段进行评价[6]。柯克帕特里克模型的“层级化”及CIPP模型的“全过程化”都对本文的研究具有重要启示。根据上述高等教育绩效的三层次结构，本文将教师信息技术应用能力培训的绩效评价也分为内部产出绩效、内部运行绩效及外部适应绩效三个层次。在前期的研究中，我们在教师教育技术能力培训绩效评价层级图[7]的基础上，提出了教师教育技术能力培训绩效层级评价模型，如下图所示。

教师教育技术能力培训绩效层级评价模型图

1.应用教师教育技术能力评价指标体系进行内部产出绩效评价

对于教师教育技术能力培训的内部产出绩效评价即教师教育技术能力提升情况的评价，要依据本研究前期提出的教师教育技术能力评价指标体系进行。针对评价指标体系中不同的内容，选取的评价方式也各不相同，如表1所示。

表1 教师教育技术能力评价指标与评价方式对应表

续表1

2.应用数据包络分析法开展内部运行绩效评价

教师教育技术能力培训过程中资源配置的投入产出情况分析，要建构基于教师教育技术能力培训内部绩效评价指标体系。本文使用德尔菲法，向教育技术领域的相关专家征询“教师教育技术能力培训内部绩效评价指标”的投入与产出的指标项，并得出最终的资源投入指标项及产出指标项，如表2所示。根据表2，利用管理学中的数据包络分析法对教师教育技术培训的内部绩效进行评价。

表2 教师教育技术能力培训内部绩效评价指标体系

3.应用个案追踪开展外部运行绩效评价

通过对学员参加培训之后，在课堂教学、及科研等方面使用信息技术的情况进行追踪。主要的评价方式采用对学员的个别访谈及对学员所面向的学生进行问卷调查，了解学员在培训后使用信息技术开展教学的情况进行分析。

三、教师教育技术能力培训绩效层级评价模型的实践应用

研究者提出基于Web2.0的教师教育技术能力培训，即采取面对面培训与基于Web2.0的教师学习共同体交替进行的方式[8]。本文将“教师教育技术能力培训绩效层级评价模型”应用基于Web2.0的教师教育技术能力培训中，对其绩效进行评价。通过对教师教育技术能力提升程度评价其内部产出绩效；通过数据包络分析法，将本次培训与前期的两次培训绩效进行对比，评价其相对效率，评价其内部运行绩效；再通过对参训学员的个案追踪，评价其外部适应绩效。

(一)内部产出绩效的评价应用

在对系统进行内部产出绩效评价时，暂不考虑投入对产出的影响，只是单纯从产出的绝对量角度来比较各区域高等教育系统绩效的高低。具体到教师信息技术应用能力培训系统而言，其产出的绝对量便是教师教育技术能力的提升。根据教师教育技术能力评价指标体系[9]，对教师教育技术能力是否提升、提升的程度进行评价。

1.培训后学员“意识与责任”的自我评价

如表3所示，数据统计结果显示，Fi＞0.5，这说明培训后，大部分教师的教育技术意识与责任比较高，主要表现在能够认识到教育技术对教学的重要性，意识到教育技术是教师专业素质的必要部分，具有新技术的意识，尊重版权，具有较强的资源发布责任感等。

表3 培训后学员的教育技术能力自我评价——意识与责任

如表4所示，双侧t检验的Sig.值为0.025＜0.05，则表明培训前与培训后学员的教育技术能力中的“意识与责任”部分差异显著，即培训提高了教师的教育技术意识与责任。

表4 培训前与培训后学员“意识与责任”成对样本检验

2.培训后学员“知识与技能”的自我评价

如表5所示，数据统计结果显示，Fi＞0.5，这说明培训后，大部分教师的教育技术知识与技能水平较高，主要表现在教育技术基本理论、Web2.0等信息技术工具的使用、掌握数字化教学的特点、模式与方法等方面。

表5 培训后学员的教育技术能力自我评价——知识与技能

如表6所示，双侧t检验的Sig.值为0.005＜0.05，则表明培训前与培训后学员的教育技术能力中的“知识与技能”部分差异显著，即培训明显提高了教师的教育技术知识与技能。

表6 培训前与培训后学员“知识与技能”成对样本检验

3.培训后学员“教学设计、实施与评价”的自我评价

如表7所示，数据统计结果显示，Fi＞0.5，这说明培训后，大部分教师关于教育技术的“教学设计、实施与评价”水平较高，主要表现在能够确定合理的教学目标，选择有效的教学内容、能够设计并实施有效的教学活动、能够为教学提供恰当的媒体、资源和工具，创设有效的学习环境、能够与同行和管理人员等就教学问题进行有效交流、能够为学生提供与学习内容和技术标准相一致的多种形成性评价与总结性评价， 并能利用评价结果和数据支持教学与学习等方面。

表7 培训后学员的教育技术能力自我评价——教学设计、实施与评价

如表8所示，双侧t检验的Sig.值为0＜0.05，则表明培训前与培训后学员的教育技术能力中的“教学设计、实施与评价”部分差异显著，即培训明显提高了教师的教学设计、实施与评价能力。

表8 培训前与培训后学员“教学设计、实施与评价”成对样本检验

4.培训后学员“科研、创新与自我发展”的自我评价

如表9所示，数据统计结果显示，Fi＞0.5，这说明培训后，大部分教师关于教育技术的“科研、创新与自我发展”水平较高，主要表现在能够关注新技术和方法，并将其应用于个人专业成长，能够借助技术手段开展学术交流、提升科研管理水平。

表9 培训后学员的教育技术能力自我评价——科研、创新与自我发展

如表10所示，双侧t检验的Sig.值为0＜0.05，则表明培训前与培训后学员的教育技术能力中的“科研、创新与自我发展”部分差异显著，即培训明显提高了教师的科研、创新与自我发展能力。

表10 培训前与培训后学员“科研、创新与自我发展”成对样本检验

(二)内部运行绩效的评价应用

数据包络分析(Data Envelopment Analysis,DEA)是由著名运筹学家查恩斯(A.Charnes) 、库伯(W.W.Cooper) 及罗兹( E.Rhodes) 于1978 年在“相对效率评价”基础上发展起来的一种新的系统分析方法，它主要采用数学规划方法，利用观察到的数据样本资料数据，对决策单元(Decision Making Units,DMU) 进行生产有效性评价或处理其他多目标决策问题。这一模型是用来研究具有多个输入，特别是具有多个输出的“生产部门”同时为“规模有效”与“技术有效”的十分理想且卓有成效的方法。

本文采用数据包络分析法对本次基于Web2.0的教育技术培训与广州大学之前开展的两次教育技术培训进行绩效对比分析。Web2.0环境下的教师教育技术能力培训过程中信息化资源、人力资源、物理资源及财力资源等的配置问题，主要采用的方式是对培训中各种资源配置的分析，了解Web2.0环境下的教师教育技术能力培训与其他教育技术培训相比，投入与产出比是否存在优势。Web2.0环境下的教师教育技术能力培训的内部运行绩效采用主成分分析法对培训与传统培训的输入指标及输出指标进行主成分分析，采用数据包络分析法对主成分分析后的输入、输出主成分标准化分值进行数据包络分析。

1.教师教育技术能力培训输入指标分析

(1)教师教育技术能力培训输入指标统计

根据上述表2提出的教师教育技术培训绩效评价体系，对基于Web2.0的教师教育技术培训与前期的两次教师教育技术培训的输入指标进行统计、分析，如表11所示。

表11 教师教育技术能力培训输入指标原始数据

(2)教师教育技术能力培训输入指标主成分分析

如表12、13可以看出，从教师教育技术能力培训的输入指标中抽取两个主成分。由于主成分是一个综合指标，其值可能会出现负数，而在应用数据包络分析法时要求指标值非负，故对得到的主成分综合指标用级差变换法进行标准化，结果如表14所示。

2.教师教育技术能力培训输出指标分析

(1)教师教育技术能力培训输出指标统计

表12 教师教育技术能力培训输入指标总体方差解释情况

表13 教师教育技术能力培训输入主成分得分系数矩阵

表14 样本输入主成分分值及标准化分值

根据表2提出的教师教育技术培训绩效评价体系，对基于Web2.0的教师教育技术能力培训与前期的两次教师教育技术能力培训的输出指标进行统计、分析，如表15所示。

表15 高校教师教育技术能力培训输出指标原始数据

(2)教师教育技术能力培训输出指标主成分分析

从下页表16可以看出，高校教师教育技术能力培训输出指标主成分分析，抽取出一个主成分。样本的输出主成分分值及标准化分值如下页表17所示。

表16 教师教育技术能力培训输出指标总体方差解释情况

表17 样本输出主成分分值及标准化分值

3.教师教育技术能力培训的内部绩效评价

利用Max DEA5.2对教师教育技术培训输入主成分的标准化分值及输出主成分的标准化分值进行数据包络分析后，得出结果如表18所示。A代表“基于Web2.0的教育技术培训”，B代表“教育技术培训一”，C代表“教育技术培训二”。由表18可以看出，A组(基于Web2.0的教师教育技术培训)的内部运行绩效值为1，且高于前期的两次教育技术培训。

表18 教师教育技术培训输入输出数据包络分析

4.基于Web2.0的教师教育技术能力培训内部运行绩效分析小结

通过对教师教育技术培训的输入指标及输出指标进行主成分分析，并对主成分分析后的输入、输出主成分标准化分值进行数据包络分析。根据数据包络分析的结果，可以得出：基于Web2.0的教师教育技术培训的内部运行绩效相对高于之前的教师教育技术培训，即基于Web2.0的教师教育技术能力培训策略提高了培训系统的内部运行绩效，具有更高的投入/产出比。

(三)外部适应绩效的评价应用

为了验证基于Web2.0的教师教育技术能力培训的外部适应绩效，本论文选取参加培训的三位学员进行个案追踪，主要采取的方式是对这三位学员所教授的学生进行访谈，访谈的内容以教师的信息化教学能力的提升为主。

1.访谈目的

本次访谈旨在了解，学员参加教师教育技术培训后，在教学中的信息化教学行为的改变。

2.访谈对象

访谈对象选择参加基于Web2.0的教师教育技术培训的三位教师所教授的9位学生，选择每位教师教授的3位学生。

3.访谈内容分析

访谈的内容包括：(1)教师在教学中采用多种教学模式的情况；(2)教师为学生提供参与教学过程机会的情况；(3)教师关于学生协作学习活动的组织情况；(4)教师对学生进行多元评价的情况。培训学员个案追踪访谈记录如表19所示。

表19 培训学员个案追踪记录表

根据以上对访谈结果的内容分析，可以得出：学员在结束了个案组织的基于Web2.0的教育技术培训后在信息化教学方面得到较为明显的改善，基于Web2.0的教师教育技术培训呈现出较高的外部适应绩效。主要体现在：在教学中能够采用教师讲授、案例教学、协作学习等多种学习模式；开始关注学生对教学的参与性，让学生参与教学内容、教学活动的设计；能够较好地组织小组协作学习，且加强对学生协作学习的指导；能够开展全方位的教学评价，做到评价主体多元化、形成性评价与总结性评价相结合。

四、结语

教师信息技术应用能力培训的层级化绩效评价模型，从内部产出绩效、内部运行绩效及外部适应绩效三个层面系统全面地对教师信息技术应用能力培训系统进行绩效评价，主要突出以下特点：

(一)主体、客体双向评价，优化教师信息技术应用能力培训系统要素关系

对教师信息技术应用能力培训活动的评价是复杂多样的。从培训活动效果评价角度看，是以培训者为主体、参训人员为客体的评价；从培训活动本身评价角度看，是以培训者为客体、参训人员为主体的评价。主体、客体的相互转化，能优化两者之间的价值关系，能优化两者所在的系统各个要素之间的关系。

(二)以绩效评价的思维，优化教师信息技术应用能力培训系统的投入和产出

以绩效评价的思维设定绩效评价模型，从内部产出绩效、内部运行绩效及外部适应绩效三个层级对优化教师信息技术应用能力培训系统进行评价。这种评价方法，更突出评价关注的投入和产出比例，以优化教师信息技术应用能力培训系统的运行，达到合理配置资源、提高培训效率的目的。

(三)定量的评价和定性的评价结合，优化教师信息技术应用能力培训系统的评价标准

定量评价与定性评价也是相互联系、辩证统一的。就对教师信息技术应用能力培训系统的评价而言，通过应用教师教育技术能力评价指标体系进行内部产出绩效评价和应用数据包络分析法开展内部运行绩效评价，属定量评价。应用个案追踪开展外部运行绩效评价，属定性评价。两个结合，互相印证，优化教师信息技术应用能力培训系统的评价标准。

[1] 袁振国,张男星,孙继红. 2012年高校绩效评价研究报告[J].教育研究,2013,(10):55-64.

[2] 郭伟刚,李亚娟等.学校教育信息化绩效评价模型的设计与应用[J].中国电化教育,2010,(4):36-40.

[3] 解月光,张晓卉,王海.农村基础教育信息化的绩效与发展阶段研究[J].中国电化教育,2015,(1):62-69.

[4] 朱慧倩.高等教育绩效评价研究[D].南昌:华东交通大学,2008.

[5] 卢春,李枞枞,周文婷,吴砥.面向区县层面的教育信息化绩效评估及其影响因素实证研究——以东部S市为例[J].中国电化教育,2015,(3):67-74.

[6] 祝智庭,尚春光,郭炯.教育技术与教育创新——绩效评价的理论、系统与实践[M].北京:高等教育出版社,2011.

[7][8] 吴鹏泽,杨琳. Web2.0环境下教师教育技术能力培训模式构建[J].中国电化教育,2014,(5):126-138.

[9] 杨琳. 基于Web2.0的高校教师教育技术能力评价指标体系研究[J].中国电化教育,2013,(1):57-62.

责任编辑：李馨 赵兴龙

Research on Hierarchical Performance Evaluation of Teachers’ Ability to Apply Information Technology

Wu Pengze1, Yang Lin2
(1.College of Educational Information Technology, South China Normal University, Guangzhou Guangdong 510631;2.Center of Network and Modern Educational Technology, Guangzhou University, Guangzhou Guangdong 510006)

Higher education Performance can be divided into internal output performance, internal operation performance and external adaptation performance. Researches on performance evaluation of ICT in education focus on internal output performance,which can combine internal output performance and internal operation performance with external adaptation performance, and apply them into reality are very few. So, the performance evaluation of ICT in education with the three layers has important significance.This paper studied performance evaluation of ICT in education from the perspective of teachers’ professional development,constructed hierarchical performance evaluation model of teachers’ ability to apply information technology, and applied the model into training evaluation. In the case study, we used evaluation index system of teachers’ educational technology competence in the internal output performance evaluation, DEA in the internal operation performance evaluation, longitudinal case study.in the external adaptation performance evaluation.

Ability to Apply Information Technology; DEA; Hierarchical; Performance; Evaluation

G434

：A

1006—9860(2016)01—0109—07

吴鹏泽：博士，教授，博士生导师，研究方向为教师信息化应用能力提升、媒介素养教育(wpz2013@live.com)。

杨琳：博士，高级实验师，研究方向为教育信息化、教师信息化应用能力提升(yanglin@gzhu.edu.cn)。

2015年11月30日

* 本文系国家社会科学基金教育学青年课题“基于web2.0的教师教育技术能力培训模式与效果研究”(项目编号：CCA120109)阶段性成果。