基于SEM的高校信息化绩效评价模型构建

王兴华

(1.临沂大学 教育学院，山东 临沂 276005;2.山东师范大学 教育学院，山东 济南 250014)

随着信息技术的发展，我国的教育信息化进程正在以前所未有的速度向前推进。但是高校难以对信息化应用效果和信息化为高校带来的绩效进行充分评估。因而，建立一套科学、规范、实用的高校信息化绩效评价模型，科学合理地对高校信息化进行评估，对于提高高校信息化管理和教学水平，有重要的意义。

一、文献综述

20世纪60年代，日本学者小松崎清介提出的“信息化指数”及其一套算法是最早的信息化测评体系。绩效评价，是指运用数理统计、运筹学原理和特定指标体系，对照统一的标准，按照一定的程序，通过定量定性对比分析，对项目一定经营期间的经营效益和经营者业绩做出客观、公正和准确的综合评判。无论是信息化，还是绩效评价，其发端之处都在企业。

(一)企业信息化绩效评价的研究

企业在信息化绩效评估中进行的研究是比较成熟的。Zeitaml总结了衡量企业信息系统有效性的关键绩效指标，包括集成性、服务质量、交付、效率、经济性、扩展性、影响、用途、适应性。Garter Group提出了IT能力成熟度模型。Jayanth Jayaram探讨了信息基础设施和过程改进之间的相互关系，以及信息基础设施、过程改进、他们之间的相互作用对基于供应链的绩效产生的影响。罗伯特·卡普兰和戴维·诺顿所提出了平衡记分卡(BSC)绩效评价体系。平衡记分卡从财务、客户、内部业务流程、学习与成长四个角度来综合评价企业绩效，并在企业远景和战略框架统领下构建系统的评价指标体系。这四类指标通过相互驱动的因果关系构成了一个完整的绩效评价体系。

2002年10月9日，国家信息化测评中心正式推出了我国第一个面向效益的信息化指标体系——企业信息化基本指标构成方案(试行)。王志江和郭东强利用DEA数据包络分析方法，讨论了企业信息化建设投入产出的相对有效性问题。陈晓红和刘磊辉在模糊理论的基础上对信息化建设进行了深入的研究，结合实际情况建立了一套评价体系，并据此建立了模糊综合评价模型。汪莹根据现代数学、现代评价理论与方法，将AHP、灰色理论、模糊评判三种方法有机结合，提出并构建了企业信息化综合评价的三元整合模型。程扬、张洁和瞿兆荣通过对企业信息化实施过程全生命周期的分析研究，建立了一套可按实施阶段进行动态评估的信息化绩效评估体系，并在AHP法的基础上提出了目标递进的层次结构，实现了对企业信息化的阶段性和综合性的评估。

虽然学校是以教学为中心的事业单位，不像企业单位那样直接从事物质资料等有形产品的生产和销售，但同样存在着投入和产出，需要消耗大量资源。基于此，高校在做信息化绩效评估时应该向企业学习，吸取有益的绩效评估实践经验和理论，探索建立更合理的信息化绩效评估模型。

(二)各级学校教育机构教育信息化绩效的研究

国外对教育信息化绩效研究成绩比较显著的主要在欧美国家。

美国NCREL(North Central Regional Educational Laboratory)与NCRTEC(North Central Regional Technology Education Consortium)合作开发了enGauge评估框架①，旨在促进技术在教学中的有效应用。该评估框架确定了对教育信息化效益进行评估的六个方面，也就是说教育信息化的效益体现在以下六个方面:愿景、有效的教学实践、教师教育技术效能、信息公平、技术的连接、系统及其领导力。

美国教育技术CEO论坛共同开发了著名的STaR(School Technology and Readiness)评估量表。其包括四个指标类(评估维度):硬件和网络连通性、教师专业发展、数字化资源、学生成就和考核。

此外，英国的教育通讯和技术署于2006年3月发布了 SRF The Self－review Framework评估，主要对领导和管理、课程、学与教评价、教师专业发展、扩展学习的机会、资源和学生学业成绩的影响等8个要素进行评估。②

国内方面，顾小清提出了区域教育信息化效益评估模型，基于视角、发展、角色三个维度对不同区域教育信息化进行评估。杨斌则研究了农村基础教育信息化的绩效评估模型。肖玉敏给出了一个学校教育信息化评价指标体系，其着眼点是从中小学校长的角度关注教育信息化的效益，其中包括教育信息化对于课程教学、学校管理、学生发展等方面产生的效益。这些研究主要从理论上探讨了从绩效的角度进行教育信息化评价的思路和方法，但缺乏实际的应用和定量分析，其可操作性和有效性有待检验。

总之，当前国内外对教育信息化的研究更多的集中在基础教育层面上，而对高校信息化的研究较少;对教育信息化水平的研究相对较多，而真正对教育信息化绩效的研究相对较少。在研究方法上，还没有形成共识，但从总体上来看，主观赋权法，如层次分析法、德尔菲法、模糊综合评价法等占绝大多数，客观赋权法，如因子分析法、主成份分析法等占的比例相对较少，能够把两类方法同时应用与教育信息化绩效研究的更是少之又少。

二、基于SEM的高校信息化绩效评价理论模型的构建

高校信息化绩效评价是一项复杂的系统工程，所涉及的因素众多，包括高校办学理念、教育体制、管理体制、教学内容、教学方法等方方面面，而且信息化绩效评价与人的主观认识密切相关，又是一项较为复杂的思维和认证过程。基于此，本文采用SEM(结构方程模式)来探索高校信息化绩效评价模型构建。高校信息化绩效评价应该借鉴企业中比较成熟的全过程评价。高校信息化绩效应该包括两个方面:过程和结果，即表现为高校信息化运行过程和运行结果。运行过程是指通过有效配置信息资源来改善高校的科研、管理和教学;运行结果是指信息化成果的应用对高校目标实现的贡献度。高校信息化绩效的评价也主要集中在这两个方面上:一方面，对信息化过程进行评价，评价的结果进行分析后，再反馈给高校，实现实施过程的评价与控制;另一方面，对信息化产生的效果进行综合评价。

基于文献分析得到的相关理论、前人所做的相关研究、专家访谈以及我国教育信息化的相关标准，高校信息化绩效评价应该从下面四个维度开展:

1.信息化基础设施建设

开展信息化的前提，首先要配备较为完备的信息化硬件和软件设施。高校投入大笔资金、人力、时间和精力，用于规划、选型、采购信息化设备，建设高校信息化体系，其产出则是信息化平台、教室和网络等。

2.信息化运行机制

高校信息化运行机制主要考查的是在信息化背景下，高校的组织机构设置是否合理，信息化发展、规划和实施方案是否完备以及这些方案的实际执行情况，信息化管理制度、保障措施、安全相应机制是否设立或完备，以及这些制度、措施和机制的真正执行程度，最为重要的是，高校信息化人才的培养是否制度化。

3.信息化人才

高校信息化的终极效益是要实现高校的办学目标，即人才的培养。在高校的教育和管理目标中，人才培养始终处于第一位的，任何技术的采用和改革的开展都是为实现培养高素质的人才而服务的。

4.信息化应用

高校为开展信息化建设，投入了大量的人力、物力资源，必须都要通过对信息化的应用来实现信息化的价值，推动高校改革和教育目标更好的实现。信息化的应用不是仅仅停留在硬件设备建设上的应用，其实质内涵是把信息化融入高校的日常各项工作之中，让信息化成为一种思维、一种工作和生活方式。

图1 高校信息化绩效评价理论模型

三、高校信息化绩效评价理论模型的操作化定义

(一)信息化基础设施建设

考核的指标包括信息化设备人均数量(生均数量、师均数量、管理人员人均数量)、建设质量和水平(信息化设备质量、信息化设备兼容度、信息化设备总体布局科学合理性)、信息化设备日常运营状况(信息化设备使用效率、信息化设备维修保养率、故障响应及修复速度)。

假设H1高校信息化基础设施建设是评价高校信息化绩效的主要维度

(二)信息化运行机制

主要考核组织机构(信息化领导和管理部门、信息化技术支持部门、信息化相关部门与其他各部门的兼容度)、信息化发展方案(信息化投入预算、信息化发展方案的可行性和实际执行程度)、信息化管理制度(信息化各部门岗位职责分工、信息化相关奖惩机制)、信息安全机制(信息安全制度、保障信息安全的软硬件设施)、信息化人才培养保障机制(教师信息化培养机制、管理人员信息化培养机制、大学生信息化培养机制以及教师)。

假设H2高校信息化运行机制是对高校信息绩效进行评价的主要维度

(三)信息化人才

主要考察信息化管理人才(信息化管理人才结构比例、信息化管理人才技术能力、信息化管理人才管理实践)、信息技术教师(信息技术教师结构比例、信息技术教师技术能力、信息技术教师教学和科研实践)、学科教师(学科教师的信息技术素养、学科教师对信息化的态度、学科教师教学和科研中信息化实践)、大学生的信息素质(大学生信息技术素养、大学生的信息化实践、信息化对大学生综合能力的影响)。

假设H3高校信息化人才的培养成果是评价高校信息化绩效的主要维度

(四)信息化应用

主要考查高校信息化行政管理(管理流程，决策速度，信息化管理、统筹和运用能力，管理文化信息化)、信息化教学(教学资源信息化、教学方式信息化、信息化对师生关系影响)、信息化与科研(新知识获取和新领域探究、科研成果)、高校信息化的社会效益(主要通过大学生社会实践、就业以及高校服务社会等活动来实现，比如把校内课程放在互联网上)、信息化与校园文化和校风(信息化推动校园文化和校风建设)。

假设H4高校信息化应用成果是评价高校信息化绩效的主要维度

基于SEM的高校信息化绩效评价理论模型的操作化定义的结果如下图:

表1 基于SEM的高校信息化绩效评价模型操作化定义指标

四、高校信息化绩效评价SEM模型验证性分析及结论应用

(一)问卷编制和受测对象

基于对影响高校信息化绩效的各维度的分析和操作化定义，本研究采用李克特(Likert)六级量表来设计研究所需的调查问卷。问卷各题项的设计既借鉴了国内外在信息化绩效评价的研究成果，同时又结合了本文的实际研究需求。为了保证调查问卷的有效性和可信性，在正式大范围施测前对问卷进行了初试。初试阶段发放问卷70份，共回收55份，其中受试对象包括25名高校相关管理人员，15名高校教师，15名大学生。

信度检验。主要采用Cronbach＇s α值来进行检验。经分析，问卷中有部分题项的值在0.7以下，需要再进一步的筛选，并进行因子分析以进行修改和整合部分题项。

因子分析。主要采用SPSS因子分析中的主成分分析法，通过最大方差法进行旋转，将特征值大于1作为因子提取的标准。

基于以上分析，重新调整李克特(Likert)量表，并对高校信息绩效评价模型操作化定义指标进行修改。结果如表2:

二阶潜变量 一阶潜变量 测量变量

表2 高校信息化绩效评价SEM模型操作化定义最终指标

假设H1 高校信息化基础设施建设是评价高校信息化绩效的主要维度

假设H2 高校信息化运行机制是对高校信息绩效进行评价的主要维度

假设H3 高校人才信息化素养是评价高校信息化绩效的主要维度

假设H4 高校人才信息化实践是评价高校信息化绩效的主要维度

假设H5 高校信息化应用成果是评价高校信息化绩效的主要维度

本研究共发放问卷500份，回收396份，其中有效问卷335份。调查对象既有高校行政管理人员，占总受试对象的45%;又有高校教师，占总受试对象的30%;还有在校大学生，占25%。调研的覆盖区域包括十二所高校:中国石油大学(华东)、北京师范大学、南开大学、山东大学、青岛大学、济南大学、山东师范大学、山东农业大学、临沂大学、山东中医药大学、中国海洋大学、山东理工大学。

本研究采用的统计软件为SPSS17.0和Amos7.0。

(二)测量模型结果分析

表3显示了本研究的描述性统计和各测量维度的相关系数。可以看出高校信息化绩效评价各维度都是正相关的。其中高校信息化基础设施建设(Infrastructure)与高校人才信息素养(Capabilities)呈高度正相关，这说明科学完备的信息化软硬件设施是培养高校人才信息素养的前提条件，同时高校人才信息素养的提高又可以优化信息化软硬件的配置和使用，使其发挥最大效用。另外高校人才信息化实践(Commitments)与高校信息化的应用(Application)又呈现高度正相关，这说明信息化实践推动了信息化的广泛应用，而信息化的广泛应用又进而为人才的信息化实践提供了条件。

本研究采用两种方式来检验高校信息化绩效评价各维度的信度。第一，采用Cronbach＇s α 值，见表 4。通常，Cronbach＇s α的最低取值应该在0.7及其以上。通过表4可以看出，信息化基础设施建设(Infrastructure)的 Cronbach＇s α 系数是 0.749，信息化运行机制(Mechanism)的Cronbach＇s α系数是0.742，人才信息化素养(Capabilities)的 Cronbach＇s α 系数是 0.843，人才信息化实践(Commitments)的 Cronbach＇s α 系数是0.848，信息化应用(Application)的Cronbach＇s α 系数是 0.834。所有维度的Cronbach＇s α 系数都大于 0.7.因此，本研究测量模型的信度是可以接受的。另外一种检验信度的方式就是检测每个评价维度(Construct)各个指标(Item)的因子载荷系数λ。通过表5可以看出5个维度(Construct)21个指标(Item)的因子载荷系数λ都是非常显著的。因此，本测量模型的信度是可以接受的。

在设计本研究测量量表的时候，本研究参照了国内外关于信息化绩效评价的研究;在初试之前，又通过7位信息化方面的专家对量表进行了适当的修改。因此，本研究的测量模型具有内容一致效度。除此之外，本研究还根据Fornell和Larcker提出的抽取平均方差(Average Variance Extracted)方法来检验本研究测量模型的区别效度。AVE是统计学上用来检验结构变量内部一致性的统计量。为了满足区别效度的要求，每个测量维度的AVE平方根必须大于模型中该测量维度与其它维度的相关系数。在本研究中，通过表3和表5可以看出，各个测量维度的AVE平方根都比它们之间的相关系数大。比如人才信息素养(Capabilities)和人才信息化实践(Commitments)的AVE平方根分别是0.771、0.768，它们之间的相关系数为0.576，显然AVE的平方根比两者的相关系数大。因此，本测量模型的区别效度是可以接受的。另外，根据表5显示，除了信息基础设施建设(Infrastructure)和信息化运营机制(Mechanism)之外，其它三个测量维度的AVE值都大于0.5。因此，本研究的测量模型在聚合效度上基本可以接受。

根据以上分析，本研究测量模型有充分的信度和效度。

表3 高校信息化绩效评价SEM模型描述性统计和相关系数

表4 高校信息化绩效评价SEM模型各维度的Cronbach＇s α

Capabilities C1 C2 C3 C4 0.788 0.774 0.924 0.552 0.595 0.771

表5 指标路径系数和各维度的AVE

(三)结构模型结果分析

表6显示了结构模型一阶CFA分析拟合的结果，图2显示的是一阶CFA模型。表7显示了二阶CFA分析拟合的结果，图3显示的是二阶 CFA模型。GFI(Goodness of Fit Index)是优度拟合指标，越接近于1表示模型拟合度越好，通常GFI＞0.9;NFI(Normed Fit Index)是基准化适合度指标，NFI的值在0与1之间，其值越大，表示模型与数据的拟合度越好。CFI(Comparative Fit Index)是指比较适合度指标，CFI的值在0与1之间，其值越大越好，当数据完全拟合模型时，CFI等于1;RMSEA(Root Mean Square Error of Approximation)是指渐进误差平方根均值，RMSEA＜0.05时，模型拟合度较好，RMSEA＞0.1时，模型拟合度差，0.05＜RMSEA＜0.1时，表示模型处于灰色地带，不满意但尚可接受。根据表6、表7、图2、图3，本研究的SEM模型中整体拟合指标显示图2一阶CFA和图3二阶CFA的拟合度非常好。无论是一阶CFA，还是二阶CFA，其中所有路径系数都非常显著，因此，本研究的假设成立(见表8)。在研究框架中再增加路径并不会明显改善模型的拟合度。

根据表8和图2、图3结果显示，五个被估计的路径系数都非常显著。本研究发现高水平的高校人才信息素养不仅能显著提高信息化绩效，同时还对高校信息化基础设施建设和信息化运营机制有显著影响;高校信息化应用也能显著提高高校信息化绩效，同时还对人才信息化实践和人才信息化素养有显著影响。

最后，本研究中的假设 H1、H2、H3、H4、H5成立。高校信息化基础设施建设、信息化运营机制、人才的信息素养、人才的信息化实践以及高校信息化的应用构成高校信息化绩效评价的有效、可信维度。

表6 一阶CFA分析拟合结果

图2 一阶CFA模型

表7 二阶CFA分析拟合结果

图3 二阶CFA模型

表8 结构模型分析结果

(四)结论应用

根据以上分析，本研究把外源观测变量(即指标Item)对外源潜变量(即维度Construct)的路径系数λ作为每个外源观测变量的权重，把外源潜变量对内生潜变量的路径系数γ作为每个外源潜变量的权重，以每个外源观测变量的均值M(通过Likert量表获得)作为评价高校信息化绩效的重要因子。公式如下:

Infrastructure I1 I2 I3 I4 0.732(λ1)0.601(λ2)0.611(λ3)0.669(λ4)0.723γ1)M1 M2 M3 M4

表9 高校信息化绩效评价公式中各参数

注释

① The CEO Forum School Technology and Readiness Report［DB/OL］http://www.ceoforum.org.

② Self－review framework［DB/OL］http://becta.org.uk/schools/self review.

［1］王志江，郭东强.企业信息化建设投入产出的相对有效性分析［J］.运筹与管理，2001，10.

［2］陈晓红，等.企业信息化建设的模糊综合评判［J］.运筹与管理，2003，6.

［3］汪莹.企业信息化的效应理论与评价方法研究［M］.北京:中国经济出版社，2006.

［4］程扬，张洁，瞿兆荣.企业信息化绩效评估体系及其评价方法［J］.计算机工程，2007，33(2).

［5］张聪慧，郭伟.企业信息化投资价值与绩效关系的实证分析［J］.工业工程，2010，13(6).

［6］费军，石青，余丽华.高校信息化评价指标体系及评价方法探讨［M］.全国高校信息化研究会2003学术年会论文集，2004，21(3).

［7］顾小清，林阳，祝智庭.区域教育信息化效益评估模型构建［J］.中国电化教育，2007，5.

［8］杨斌，解月光，孙艳.农村基础教育信息化绩效评估模型的构建［J］.中国电化教育，2009，7.

［9］肖玉敏.学校教育信息化评价指标体系初探——中小学校长的视角［J］.中国电化教育，2009，2.

［10］顾小清.教育信息化建设项目评估:国际研究现状调查［J］.电化教育研究.2006.8.

［11］吴明隆.结构方程模型——AMOS的操作与应用［M］.重庆:重庆大学出版社，2009.