评估维度量化方法研究——以基础教育信息化绩效评估维度为例

王 海，解月光，付海东

(1.东北师范大学 历史文化学院，吉林 长春 130024；2.东北师范大学 教育学部，吉林 长春 130024；3.东北师范大学 信息与软件工程学院，吉林 长春 130117；4.长春大学 教务处，吉林 长春 130022)

评估维度量化方法研究
——以基础教育信息化绩效评估维度为例

王 海1,2，解月光3，付海东4

(1.东北师范大学 历史文化学院，吉林 长春 130024；2.东北师范大学 教育学部，吉林 长春 130024；3.东北师范大学 信息与软件工程学院，吉林 长春 130117；4.长春大学 教务处，吉林 长春 130022)

评估维度是评估指标体系构建的基础及前提，是评估结果应用的重要依据，对整个评估活动的开展有着重要的作用。目前评估维度多基于专家法等以定性分析为主进行确立。该类方法及过程虽然易于接受，但定性分析的成分较多，评估维度之间相互关联且不稳定，进而导致评估指标体系不稳定、评估结果应用不理想。该文以基础教育信息化绩效评估维度为例，试图利用探索性因子分析的方法进行评估维度的量化研究。研究结果表明，利用该方法确立的评估维度更加稳定且独立，同时依据各维度对整体评估的贡献率，可以科学地指导评估指标体系的构建及评估结果的应用。

基础教育信息化；绩效评估；评估维度

一、问题的提出

评估维度是评估指标体系构建的基础及前提，是评估结果应用的重要依据，对整个评估活动的开展有着重要的作用。目前，对于评估维度的研究，主要存在以下问题：

(一)评估维度之间相互关联

评估维度是考量评估对象的层面、侧面或角度。评估维度之间相互关联将会干扰评估结果的应用。因此，要求评估维度之间尽量弱相关或者无相关。评估维度的确立可以依据评估理论、评估模型，也可使用各种方法。目前，比较常见的方法是利用定性分析的方法，如：专家法、德尔菲法和层次分析法等。在这些方法中，虽然也有定量分析的成分，但均属于辅助地位。利用定性分析方法确定绩效评估维度的好处是操作过程简单、确立评估维度容易。但此类方法比较适合于简单的评估对象，对于教育信息化这样复杂的评估对象，由于评估项目较多、评估内容繁杂，很难主观判断各维度之间的相关性，容易造成评估维度之间相互关联。

(二)评估维度不稳定

评估维度的稳定性是保证评估指标体系信度的基础和前提，不以评估研究者的知识体系为转移。评估维度确定过程可分为自上而下的维度分解过程和自下而上的维度降解过程。维度分解的方法常见的有层次分析法和关键成功因素法，维度降解的方法常见的有主成分分析法和因子分析法。目前，基础教育信息化绩效评估指标体系构建多选择维度分解的方法。维度分解的方法通常把研究对象看作一个系统，利用逻辑推理，比较判断，综合分析的思维过程进行决策，使复杂系统逐级分解。该方法符合人类思维习惯，易于人们接受。但当群体或个体不尽相同时，分解的结果会有所不同，这样导致评估维度不稳定。而维度降解的方法是完全基于量化的方法，各级指标的产生过程较少被人工干预，因而评估维度较稳定、生命周期长。

二、研究方法与过程

本研究的目的在于完全用量化的方法确定基础教育信息化绩效评估的维度。完全量化的方法遵循了自下而上的维度降解理念，主要包括主成分分析法和因子分析法。两种方法均是使用少数不相关的综合变量尽可能全面地反映多个原始变量的信息，既消除了原始变量之间的相关性，又提高了可信度。不同的是，主成分分析法中的综合变量是原始变量的线性组合，而因子分析法中的综合变量是基于原始变量之间的复杂关系，通过对原始变量进行分解而得到的公共因子。因子分析法包括探索性因子分析法和验证性因子分析法。探索性因子分析法主要用于找出影响原始变量的公共因子个数，以及公共因子和各原始变量之间的相关程度，以试图揭示出错综复杂原始变量的内在结构[1]。验证性因子分析法是依据一定的理论，对原始变量和公共因子之间的关系做出合理的假设，并对这种假设进行统计检验的现代统计方法。验证性因子分析主要用于检验事先定义的因子模型拟合实际数据的能力，以试图验证原始变量和公共因子之间的关系是否与预先建立的假设一致[2]。

本研究中未对原始变量和公共因子之间的关系做出假设，仅是想探索影响基础教育信息化绩效水平的原始变量的公共因子个数，以及公共因子和各原始变量之间的相关程度，进而揭示出原始变量的内在结构及确定公共因子，即确定基础教育信息化绩效评估的维度。因此，本研究选择探索性因子分析法确定基础教育信息化绩效评估维度更为适合。下面将按照探索性因子分析过程展开研究。

(一)收集原始变量

收集原始变量通常采用抽样的方法，具体可使用量表或问卷进行抽样。本研究选择问卷进行抽样。

1.基础教育信息化绩效水平调查问卷编制

首先，明确问卷的调研目的和科学可行的调研内容。本次问卷的调研目的是用于收集影响基础教育信息化绩效水平的原始变量。调研内容是基础教育信息化的绩效水平。为此，根据近年来国内外基础教育信息化绩效研究的相关文献，分析基础教育信息化系统的构成要素及要素间的相互关系，分析基础教育信息化绩效的内涵及考察内容，进而获得影响基础教育信息化绩效水平的原始变量[3]。

其次，采用德尔菲法对原始变量做进一步的修正、裁减及合并。德尔菲法实施过程先后包括：成立专门工作小组、选取咨询专家成员、制定征询方案、发放和回收征询表、统计分析征询结果等。经过专家多轮征询，确定最终的影响基础教育信息化绩效水平的原始变量。

最后，遵循问卷编制的原则及注意事项，将影响基础教育信息化绩效水平的原始变量转换为问卷题项。依据数据采集对象不同，将问卷分为校长问卷、信息化管理者问卷、信息技术教师问卷、学科教师问卷及学生问卷五类。

2.基础教育信息化绩效水平调查问卷施测

首先，采用区域抽样与分层抽样相结合的调查方法，在吉林省长春市市内及周边选取12所学校作为本次调查样本，其中包括3所小学、8所初中及1所高中。

其次，发放及回收问卷。问卷总共发放1029份，其中校长问卷16份、信息化管理者问卷16份、信息技术教师问卷37份、学科教师问卷240份、学生问卷720份。问卷回收总共1000份，其中校长问卷16份、信息化管理者问卷16份、信息技术教师问卷37份、学科教师问卷228份、学生问卷703份。回收问卷中学科教师问卷作废2份、学生问卷作废14份。问卷回收率达97%，问卷有效率达98.4%。

最后，问卷编码和录入。选择IBM SPSS Statistics 19.0软件，将5套问卷分开进行编码录入。

(二)初始检验

构造相关矩阵，对问卷的信度和效度进行检验，用于确定是否可以进行因子分析。

1.基础教育信息化绩效水平问卷信度检验

信度反映问卷测量所得到结果的一致性和稳定性。信度检验常用方法包括重测信度法、折半信度法和Cronbach's Alpha信度系数法。本研究选择Cronbach's Alpha信度系数法进行信度检验。一般而言，信度系数0.6以下为不可信；信度系数在0.6和0.7之间为可接受；信度系数在0.7和0.8之间为较好；信度系数在0.8以上为非常好。本次调研总共回收有效问卷984份。对这些问卷进行信度检验。检验结果如表1所示。5套问卷的Cronbach's Alpha信度系数和基于标准化项的 Cronbach's Alpha信度系数均在0.8以上，由此可知，问卷的信度非常好，问卷的稳定性和内在一致性非常高。

表1 调查问卷信度分析表

2. 基础教育信息化绩效水平问卷效度检验

效度反映问卷测量所得到结果的准确性和有用性。一般可通过内容效度分析和结构效度分析得出问卷效度。5类问卷在编制过程中使用了德尔菲法，已经由专家对测验项目与所涉及的内容范围进行了符合性判断。因此，问卷的测量内容及范围的科学性和准确性已经得到验证。结构效度分析可通过计算简单相关系数矩阵、计算逆影像相关矩阵、巴特利特球形度检验和KMO检验等方法进行。本研究使用KMO和巴特利特球形度检验。一般而言，KMO检验时KMO值0.6以下不适合进行因子分析；KMO值在0.6和0.7之间可勉强进行因子分析；KMO值在0.7和0.8之间可进行因子分析；KMO值在0.8和0.9之间适合进行因子分析；KMO值在0.9以上非常适合进行因子分析。对于巴特利特球形度检验时，如果巴特利特球形度检验的统计量数值较大，且对应的相伴概率值小于设定的显著性水平，则适合进行因子分析。本研究中，由于校长问卷、信息化管理者问卷及信息技术教师问卷数量过小，不适合进行结构效度分析，故只对学科教师问卷及学生问卷进行结构效度分析。分析结果如表2所示。

表2 调查问卷效度分析表

由表2的数据可知，学科教师问卷的KMO值为0.914，学生问卷的KMO值为0.912。并且均通过了显著性水平为0.05的巴特利特球形度检验，基础教育信息化绩效水平问卷效度很好。由内容效度分析和结构效度分析可知，基础教育信息化绩效水平问卷非常适合进行因子分析。

(三)提取因子并确定因子个数

提取因子的方法有多种，如主成分分析法、最小二乘法、极大似然法及映像分析法等。本研究选择比较常用的主成分分析法提取因子。一般来讲，确定因子的个数可根据特征根的大小、因子的累计贡献率和碎石图三方面准则来综合考虑。当然，如果研究者有一定的假设，也可根据预先的假设来确定因子个数，但需要将统计结果与预设结合分析。对调查数据进行因子分析，提取特征值大于1的因子共6个，这6个因子的累计贡献率达到91.057%(如表3所示)。并且由碎石图(如右图所示)可知，这些因子中有6个占大部分变异性，曲线在因子6后开始逐步变直。说明其余因子仅占很小部分的变异性，可能并不重要。综合特征根的大小、因子的累计贡献率和碎石图三方面考虑，确定6个因子。

表3 各因子的特征值及方差解释量

(四)因子旋转

由于初始因子综合性太强，难以找出具体实际意义，一般需要对因子进行旋转来简化因子载荷矩阵，进而合理解释因子结构。常用的因子旋转方法有很多，如最大方差法、最大四次方值法、最大平衡值法、直接Oblimin转轴法、Promax转轴法。其中前3种方法为正交旋转法，后两种为斜交旋转法。本研究使用最大方差值的正交旋转法，旋转在20次迭代后收敛，旋转后的因子载荷矩阵如右表4所示。

表4 旋转后的因子载荷矩阵

(五)解释因子结构

经因子旋转后，使得每个原始变量仅在一个公共因子上有较大载荷，而在其他公共因子上的载荷中等或较小，这就保证了各公共因子之间弱相关，同时适合对各因子进行具体解释。

公共因子一与教师信息化水平、管理者信息化水平、学生信息化水平、信息化资源建设水平、信息化资源应用水平、信息化人才保障程度6个原始变量紧密相关，主要反映师生信息化水平、信息化资源建设及应用水平、信息化人才保障程度，可将公共因子一定义为信息化资源匹配主体程度，其方差贡献率达到38.437%，是对整个绩效水平影响最大的公共因子。

公共因子二与校园网络建设水平、电脑设备建设水平、信息化教室建设水平、信息技术教学水平4个原始变量紧密相关，主要反映信息技术环境建设水平及信息技术教学水平，可将公共因子二定义为信息技术环境支撑教学程度，其方差贡献率达到16.985%，是对整个绩效水平影响第二大的公共因子。

公共因子三与网站建设水平、管理信息系统建设水平两个原始变量紧密相关，主要反映信息化服务平台建设水平，可将公共因子三定义为信息技术环境提供服务程度，其方差贡献率达到12.447%，是对整个绩效水平影响第三大的公共因子。

公共因子四与信息技术与课程整合水平、广播电视平台建设水平、基础设施应用水平3个原始变量紧密相关，主要反映信息技术应用于学科教学水平，可将公共因子四定义为信息技术与课程整合程度，其方差贡献率达到10.348%，是对整个绩效水平影响第四大的公共因子。

公共因子五与信息化制度保障程度、信息化政策保障程度两个原始变量紧密相关。公共因子六与信息化资金保障程度、信息化机构保障程度两个原始变量紧密相关。虽然4个原始变量分别影响各自的公共因子，但均属于信息化发展的保障建设。因此，现将其合并为一个公共因子，可定义为信息化发展保障程度。合并前各自方差贡献率分别为7.449%、5.391%，是对整个绩效水平影响较小的两个公共因子。

三、研究成果

对影响基础教育信息化绩效水平的原始变量进行探索性因子分析，揭示出原始变量的内在结构及公共因子，即确定了基础教育信息化绩效评估维度。评估维度共包含5个，分别是信息化资源匹配主体程度、信息技术环境支撑教学程度、信息技术环境提供服务程度、信息技术与课程整合程度、信息化发展保障程度，各维度的评估内容如下：

(一)信息化资源匹配主体程度维度

与维度一紧密相关的原始变量包括：教师信息化水平、管理者信息化水平、学生信息化水平、信息化资源建设水平、信息化资源应用水平、信息化人才保障程度。其评估的内容主要有信息化主体的信息意识、信息化主体的信息技术知识、信息化主体的信息技术能力、信息化资源的建设水平、信息化资源的应用水平、信息化资源的满意程度等[4]。

(二)信息技术环境支撑教学程度维度

与维度二紧密相关的原始变量包括：校园网络建设水平、电脑设备建设水平、信息化教室建设水平、信息技术教学水平。其评估的内容主要有校园网带宽、校园网覆盖率、师生电脑拥有率、电脑联网率、信息化教室配置级别、信息技术环境的满意程度、信息技术教学的满意程度等[5]。

(三)信息技术环境提供服务程度维度

与维度三紧密相关的原始变量包括：网站建设水平、管理信息系统建设水平。其评估的内容主要有网站规模、网站服务等级、管理信息系统的种类、管理信息系统的功能级别等[6]。

(四)信息技术与课程整合程度维度

与维度四紧密相关的原始变量包括：信息技术与课程整合水平、广播电视平台建设水平、基础设施应用水平。其评估的内容主要有校园网功能发挥程度、电脑设备功能发挥程度、广播电视平台功能发挥程度、信息化教室设备功能发挥程度、信息技术应用于学科教学的满意程度等[7]。

(五)信息化发展保障程度维度

与维度五紧密相关的原始变量包括：信息化制度保障程度、信息化政策保障程度、信息化资金保障程度、信息化机构保障程度。其评估的内容主要有信息化制度健全程度、信息化政策执行程度、信息化资金投入程度、信息化机构职能健全程度等[8]。

四、结论

在基础教育信息化绩效评估的研究领域内，比较典型的研究成果有郭伟刚等的《学校教育信息化绩效评价研究》、解月光的《农村基础教育信息化绩效评估研究》。郭伟刚等的研究成果中包含的评估维度有组织与管理、基础设施与公用管理平台、教育教学资源建设与应用、信息化应用及信息化人才，该研究成果是在参考国内外专家学者的研究成果基础上确立[9]；解月光的研究成果中包含的评估维度有信息化设施建设水平、信息化教学资源建设水平、信息化应用水平、信息化保障建设水平、信息化主体发展水平，该研究成果同样是在参考国内外专家学者的研究成果基础上确立[10]。将本研究确立的评估维度及内容与上述研究成果比较分析发现，本研究的评估内容与领域内的典型成果类似，但评估维度不同。郭伟刚和解月光的研究成果主要对评估对象的结构进行分析，在综合比较领域内典型研究成果基础上确立评估维度。这类评估维度主要关注的是基础教育信息化系统构成要素的发展水平，测量结果反映的是基础教育信息化水平发展现状。本研究确立的评估维度打破直接从评估对象的结构分析确定评估维度的研究思路，从影响复杂研究对象发展水平的原始变量入手，通过对各原始变量之间的关系分析以及各原始变量与公共因子的相关程度分析而揭示出评估对象内部难于主观推断的结构，进而确定评估维度。此种方法确定的基础教育信息化绩效评估维度更多关注的是基础教育信息化绩效结构要素的均衡、有效及优质发展，测量结果反映的是绩效发展均衡程度及绩效整体发展程度。同时，在利用探索性因子分析法确定评估维度的过程中，较少被人工干预，故而确立的评估维度更加稳定、独立。另外，探索性因子分析法确定评估维度后可以得出各维度对整体评估的贡献率，这些数据可以科学地指导评估指标体系的构建及评估结果的应用。

[1][2]周晓宏,郭文静.探索性因子分析与验证性因子分析异同比较[J].科技和产业,2008,(9):69-71.

[3]-[8][10]解月光.农村基础教育信息化绩效评估及发展研究[M].北京:人民出版社,2015.

[9]郭伟刚,李亚娟,岑健林,朱珍,戎海武.学校教育信息化绩效评价模型的设计和应用[J].中国电化教育,2010,(4):36-40．

Study on Quantitative Methods to Evaluate Dimensions—Take Performance Evaluation Dimensions of ICT in Basic Education for Example

Wang Hai1,2, Xie Yueguang3, Fu Haidong4
(1.School of History and Culture, Northeast Normal University, Changchun Jilin 130024; 2. Faculty of Education,Northeast Normal University, Changchun Jilin 130024; 3. School of Information and Software Engineering, Northeast Normal University, Changchun Jilin 130117; 4. Academic Affairs Office, Changchun University, Changchun Jilin 130022)

Evaluation dimension is the basis and premise in the construction of Evaluation System. It provides the foundation for assessing the application of evaluation results, and plays an important role in carrying out the entire evaluation activities. Currently,the evaluation dimensions are mainly established through qualitative analysis such as Delphi method. Although the method of this kind is easy to accept, it relies more on qualitative analysis, which, together with the interlinked and unbalanced relationship among dimensions, leads to instability of the evaluation system and less desired application results. This study, using evaluation dimensions of ICT in basic education as an example, attempts to conduct quantitative study on evaluation dimensions with the method of exploratory factor analysis. The results show that the dimensions established by this method are more stable and more independent. In addition, the contribution rate of each dimension to the overall evaluation system can offer guidance to the construction of evaluation system and the application of evaluation results.

ICT in Basic Education; Performance Evaluation; Evaluation Dimensions

G434

A

王海：在读博士，高级工程师，研究方向为信息技术教育、中小学教育信息化(lucky_sir@tom.com)。

解月光：教授，博士生导师，研究方向为信息技术教育、农村基础教育信息化、数字化学习环境设计(xyg6367@126.com)。

付海东：在读博士，讲师，研究方向为信息技术教育应用研究(fuhd.ccu@163.com)。

2016年7月27日责任编辑：赵兴龙

1006—9860(2016)10—0097—05