高校教育信息化治理能力评价：界定、实践与反思

翟雪松 朱雨萌 张紫徽 王会军 陈文智

(1.浙江大学 教育学院，浙江杭州 310058； 2.浙江大学 信息技术中心，浙江杭州 310058;3.浙江省教育技术中心，浙江杭州 310063)

一、引 言

近年来，习近平总书记在国家治理能力问题上发表了系列重要论述，强调要以信息化推进国家治理体系和治理能力现代化，利用好信息化手段辅助科学决策(王运武等，2021)。信息化治理能力同样是教育系统性变革的内生变量，更是引领教育现代化发展的重要抓手和途径(李政涛，2020)。信息化在高等教育教、学、管、评等方面发挥着重要作用，并取得显著成效。各高校均不同程度地加大了信息化投入力度。由此，教育信息化治理能力评价就显得越发重要，中共中央、国务院《深化新时代教育评价改革总体方案》(以下简称《方案》)明确提出，教育评价的重点方向之一是提高教育治理能力和水平，完善评价结果运用，综合发挥导向、鉴定、诊断、调控和改进作用(新华社，2020)。

然而，现有研究仅关注高校信息化发展水平评价，信息化治理能力评价却没有得到充分研究(董同强，2020)，两个概念甚至被混淆。前者关注的是相对于预定目标完成度的考评，是单维投入量的比较；后者关注的是信息化各单元促进教学、科研等方面效能转化率的评估，关注投入方式的优化。需注意的是，推进高等教育信息化治理能力评价依然面临诸多挑战，体现在：评价导向上，依然以信息化总体投入体量为主，缺乏从“投入-产出”的视角，审视各信息化投入单元的效能转化问题；指标赋权上，各投入单元的权重配比以专家主观经验为主，缺乏大数据驱动的资源配比优化策略；结论的呈现主要基于阶段性的截面数据的比较，缺乏立足高校差异化发展实时动态的诊断性评价。这些不足不仅会将高校信息化治理方向引入“盲投入”和“追热点”的歧路，还可能与高校寻求差异化、个性化发展的追求渐行渐远。

《方案》指出，改革高等学校评价的重点在于推进高校分类评价，引导不同类型高校科学定位，办出特色和水平(张志祯等，2021)。因此，创新以“效能优先、特色鲜明”为核心的信息化治理能力评价体系，将有助于决策者对信息化投入方式、力度及资源配比作出科学判断和优化。

二、高校信息化治理能力评价

(一)内涵界定

高校在国家治理体系中具有重要地位和作用，高校信息化治理能力是高校治理现代化的重要组成部分(翟雪松等，2020)。治理能力的成败或效能主要依靠科学的评价体系。然而，现有评价仅关注高校信息化发展水平，治理能力的评价没有得到充分研究。究其原因，主要是高校信息化治理能力的内涵没有得到清晰的界定。

高校信息化治理能力是基于学校发展规划和目标，通过促进信息化各单元的发展或单元间的协同，优化高校问题解决和决策的能力。首先，高校信息化治理能力以明确治理目标为导向(郑勤华等，2020)。目标既可能是高校面临的短期困境，也可能是中长期发展规划。信息化治理能力关注的是促进教学、科研等目标的效能转化；信息化水平关注的仅是信息化本身各单元指标的完成度，是单维投入量的比较。其次，高校信息化治理能力突出信息化各单元的协同发展(郑禄红等，2020；杨现民等，2020)。高校发展阶段任务不一，对信息化各单元投入方式也要优化。这种优化不是简单的投入量的比例，而是各信息化单元的协同问题解决能力，这就要求高校对各单元投入具有灵活、动态的调控能力。最后，高校信息化治理能力立足宏观和微观两个视角(汪燕等，2020)，即对高校治理效能的分析依靠整体生态表现的发展态势。个体在为整体提供数据积累的同时，整体要为个体寻求标杆样版，提供科学决策方案。

(二)研究现状

评价体系的构建需要经过指标赋权和模型构建两个阶段。指标赋权是为了准确判断指标的效应力，从而有效降维；模型构建的目的是建立评价导向和计算逻辑，从而对标具体的评价目标。

1．指标赋权

高校信息化评价指标赋权主要包括三类：基于专家经验赋权、基于因子分析赋权和基于数据关联的赋权。专家赋权法往往从专家工作经验出发，包括层次分析法、专家会议法等，主观性较强，优势在于可以将诸多具象指标抽象降维。由于高校信息化的具体单元较多，在无法量化或标准化所有指标单元的分值时，专家根据经验赋权具有过程简化、数据可得性高的优点。例如，尹合栋等(2020)在无法提前获取指标数据的情况下，采用层次分析法确定智慧教室评价指标。这在信息技术和教育融合早期，教育信息化发展水平在大多数专家认知水平范围内，是可行的。然而，随着技术的高速发展、迭代，主观经验已不能全面判断和预测信息化各单元在教育发展中的作用。专家法时效性就弱于数据驱动方法，指标修改需要重新收集专家打分数据，无法满足建立动态、科学的高校教育信息化评价体系的需求。

随着高校大数据建设理念和技术的成熟，各指标单元的数据也越来越可获得。基于因子分子的方法(如主成分分析)，开始成为信息化指标权重赋值以及指标降维的主流方法。它通过对指标数值进行构念聚敛，确立各维度的定义，而因子的载荷值被用于赋权。例如，王海等(2016)为了寻找对信息化贡献最大的新因子，在未对原始变量和公共因子之间的关系假设的情形下，进行探索性因子分析，得到基础教育信息化绩效评估新因子并对其进行解释。因子分析法最大限度地保留了数据的信息，但会提取新的因子，缺乏针对单个指标进行的解读分析(胡立峰等，2020)。此外，因子载荷虽然能体现该因子在形成构念中的重要性，但不能说明该因子本身对信息化建设的贡献度。

数据关联的方法(如熵权法、灰色关联等)根据指标的信息熵值或与其他指标的关联度，来区分指标的有效性，并对其赋予相应的权重。这种方法主要通过计算某一指标在高校中的区分度，确定其判断价值。它突破了专家的主观认知局限，同时能有效排除低区分度的指标。如专家可能对较熟悉的业务(如多媒体教室)给予较高赋权，也会对未来技术(如5G、全息)产生较高预期并给予高赋权。但要认识到的是，当大多数学校已完成多媒体教室等基础建设后，该指标已不能成为高校间信息化治理能力的区分标准。对于前沿的信息技术，大多学校缺乏成熟的教育应用场景，也不应成为高赋权指标。例如,李作林等(2020)使用熵权法评价学生创意产品设计过程，突出学生学习过程中区分度高的指标，充分体现了创意作品的差异化。

2.模型构建

指标赋权完成后，研究者就需要考虑变量间的逻辑构建，以满足符合高校办学特色的治理模式。现有的信息化评价模型大多以投入体量为主要计量标准，如李志河等(2019)从运行机制建设、基础设施建设等维度，利用线性加权法计算问卷数据，用最终得分评价高校信息化发展水平。这与信息化治理能力的逻辑思维有很大不同。我国高校类型多样，所处教育信息化发展阶段、水平不同，教育信息化投入差异较大，一旦以投入体量为判断依据，容易导致盲目跟从等现象，导致投入—产出低(李凤霞等，2021；教育部，2021)。另一方面，高校重排名轻诊断管理思维也助长了单一的“体量思维”。这些排名大多基于投入体量比较，忽视对高校资源分配方式的“诊断”。

这一问题主要归咎于没有均衡信息化水平建设和信息化治理能力建设的关系。以投入体量为标杆的评价方式在信息化发展初期发挥了重要作用，特别在是“从无到有”过程中，为建设内容提供了明确的方向。再者，以投入为导向的高校教育信息化水平评价在计量上较为简单、直观，信息化能力评价报告的呈现形式多以中长期截面数据为主，未能实现动态、立体的面板数据分析，致使高校决策机构难以对信息化发展规划作出及时、高效的干预和调整。但信息化能力建设需要纵向评估设施效果，也需要与同类别院校作横向参照，更需要及时作出政策回应(陈娬等，2020)。这就要求反思如何建立长效、立体化的面板数据库，并依靠信息技术手段对信息化能力评估作出智能判断。

(三)基于效能和特色的治理能力评价体系

基于高校信息化治理能力的定义和内涵，其评价需要做到“两个统一”和“两个阶段”：“两个统一”指教育信息化资源分配机制与产出效能相统一，信息化发展战略与学校发展定位相统一；“两个阶段”指基于信息化投入数据和绩效产出数据，对指标进行数据赋权阶段和效能转化率分析诊断阶段。本研究第一个阶段拟采用熵权法找到区分度的评价指标，再输入数据包络分析模型对高校教育信息化绩效转换相对效率进行评价，实现对所有参评高校个性化、细颗粒度的分析诊断(见图1)。

图 1 研究流程示意图

熵权法(Entropy Weight Method，EWM)是基于熵值的客观赋权方法，可以将庞杂的评测指标按照指标的信息熵值进行排序，从而筛选出具有较好区分度的指标，具有精度高、客观性强、适用性好、数据驱动的特点。熵在信息论中被用于度量数据冗余程度(Shannon, 2001)，信息熵越小代表信息有效性越高，反之代表信息有效性越低。熵权法通过计算高校信息化指标自身信息量确定指标权重，可以衡量信息化投入产出不同指标对评价结果的影响程度，剔除指标体系中对学校信息化评价结果贡献不大的指标。信息化投入指标的选择要采用“先放大、再优化”的策略。“先放大”是指在指标筛选中充分吸纳教学、管理、科研、后勤等各类教育大数据，避免主观经验和滞后的技术储备等带来的干扰。“再优化”指通过计算信息熵等数理方法，对区分度不高的指标进行低赋权，对区分度良好的指标进行高赋权。因此，熵权法非常适合在高校信息化指标选择上应用。

数据包络分析(Data Envelopment Analysis,DEA)由美国运筹学家查尼等(Charnes, et al., 1978)创建，用于评估相对生产效率。数据包络分析基于数学规划思想，建立规划模型并通过计算每个决策单元(Decision making model, DMU)与投入—产出生产前沿曲线的距离判断决策单元的投入产出效率并排序，并以此评价决策单元。数据包络分析模型适用于解决教育信息化绩效评价的原因是：教育信息化治理系统包含多个投入指标和多个产出指标，评价时难以计算各指标之间的权重系数(焦宝聪等, 2007)，因此难以用简单的线性方法建立生产函数并评价效率，数据包络分析方法不要求生产函数，每个决策单元均被认为是“黑匣子”模型。另外，教育信息化治理指标会随信息化和教学的深入融合而迭代更新，如果用传统主观评价法，需要耗费大量的物力人力征求专家意见，无法保障指标实时更新并进行及时评价，数据包络分析方法具有数据驱动的特点，可高效地依据所选模型作出判断。

本研究从效能角度评价高校信息化，意在强调高校信息化相对生产效率，使高校不仅关注信息化绝对体量，更关注信息化资源分配的有效性和信息化治理能力。将学校视作决策单元，对其投入产出效率进行排序和评价可以达到关注高校信息化绩效的目的。此外，模型产生结果可以评估学校信息化治理的投入—产出是否有效，以及需要调整哪些指标以到达更高的治理效率，为经费投入分配提供科学论据，打破传统的“数豆子”的生均信息化经费预算分配方式，及时对现阶段资源分配不当的院校进行预警和建议，让高校决策者明白信息化建设“建多少” “怎么建”。

三、研究方法

(一)样本与指标来源

《方案》指出，各地要及时总结、宣传、推广教育评价改革的成功经验和典型案例，扩大辐射面，提高影响力(新华网，2021)。浙江省一直高度重视教育信息化建设，走出了一条独具特色的高校信息化发展之路，具有较成熟的基础数据。本研究基于 “浙江省高校智慧校园建设评价系统”网站、高校学生竞赛数据平台与教师发展数据平台、科研课题数据库、专利数据库以及各学校官网公开获取数据，最终采集了浙江省64所高校数据，其中本科院校32所，专科(高等职业院校和高等专科院校)32所。

在国内外高校教育信息化评价指标梳理方面，国外文献主要参考了美国STaR评价量表、英国学校信息化自我评估指标(SRF)、新加坡ICT建设水平的自我评估工具BYITES、泛加拿大教育评估指标项目(PCEIP)以及日本、欧盟等发达国家教育信息化标准；国内文献主要参考吴砥等(2020)构建的五个维度评价指标体系，邢丹霞等(2020)提出的信息化发展水平评估的五个维度。此外，本研究合并了浙江、安徽、河北等教育信息化评价指标(董玉琦等, 2021)，合并去除冗余项后得到高校信息化评价指标，最终确立的投入指标分三级：一级指标包括治理体系、智慧环境、智慧教育、网络空间安全及特色与创新五个方面，下设18个二级指标(如领导力、执行力、信息素养、基础网络 、教学设施等)，80个三级指标(如领导机构、顶层设计、规章制度、智库建设、专职技术部门、资金保障等)。产出指标分三级：一级指标分别从科研产出、教学产出及社会服务进行评价，下设11个二级指标，31个三级指标。

(二)利用熵权法赋权值

本研究利用熵权法对指标进行赋权，依照权重排序，选择权重最高的、最具有区分度的投入产出指标。权重的数值主要依靠信息熵的大小计算，信息熵(Information Entropy)是信息量的期望，其定义为：

设高校样本量为n，指标个数为m，设第 i所高校的第 j指标的数值(i=1…n, j=1…m)，熵权法步骤如下:

① 指标归一化、同质化

由于高校信息化评价指标存在正向指标和负向指标，因此需要分别进行不同的标准化处理，公式如下：

正向指标：

负向指标：

②计算第j项指标下第i所学校的数据占该指标的比重

③计算第j项指标的信息熵

④计算各项指标的权重；

(三)利用数据包络分析模型进行信息化治理效能分析

数据包络分析包含很多模型，如规模报酬固定的CCR模型、设定规模报酬可变的BCC模型、基于时间维度数据的DEA-Malmquist模型。考虑到样本可获得性，本研究选择DEA-CCR和BCC模型进行分析。其中，CCR模型假设规模报酬固定，可以得到综合效率，BCC假设规模报酬可变，结合CCR模型可以计算出规模效率和纯技术效率。本研究从两个方面对高校信息化治理效能进行评价。

设有n所参评高校，即n个决策单元(DMU)，每个决策单元有m种非负投入指标和p种非负产出指标，设每所学校的投入产出向量分别为：

其中，xji,i=1,…,n,j=1,…,m为第i所学校的第j项投入指标的数值，yki,i=1,…,n,k=1,…,p为第i所学校的第k项产出指标的数值。设u=(u1,u2,…,um)，为投入权值向量，v=(v1，v,…,vp)，为产出权值向量。

对于学校h，其效率得分为：

波迪诺维斯基等(Podinovski et al., 1998)据此定义了相对效率：

通过Charnes-Cooper变换，将模型(9)-(11)变形为投入角度的线性模型：

求解模型(12)-(15)可得CCR模型结果。值得注意的是， DEA样本量n，投入指标数量和产出指标数量须遵守如下限制：

由于本研究基于64所高校的样本，因而最多可以选择熵权最高的七个投入和四个产出指标。数据包络分析结果表明，可以进行有效性分析：处于生产前沿面上的决策单元被称之为“DEA有效”，不在前沿面上的决策单元称之为“非DEA有效”。如果学校信息化的投入产出在生产前沿面上，则可以称该校“DEA有效”，即信息化绩效转换效率较高。对于投入产出不在生产前沿面上的学校，依据它到生产前沿面的投影距离，可以计算出投入冗余率、产出不足率，量化给出提升信息化效能治理的最佳资源配置方案。

BCC模型可以计算出参评高校的规模报酬。规模报酬指生产过程表现出各种形式的规模回报——规模回报递增、规模回报递减或规模回报不变。高校教育信息化生产过程也可以借鉴这一假定：当某校信息化生产规模小时，投入产出比会随着规模增加而快速提升，即规模报酬递增 (Increasing Returns to Scale, IRS)；当信息化生产达到高峰期时，产出与规模成正比而达到最适生产规模，称为规模报酬固定(Creasing Returns to Scale, CRS)；当信息化生产规模过于庞大时，产出减缓，则称为规模报酬递减(Decreasing Returns to Scale, DRS)。此时，学校增加信息化投入，产出增加的比例会少于投入增加的比例。

四、数据结果与分析

(一)信息化治理指标赋权结果与分析

为了区分不同类型学校的差异，本研究将32所专科院校和32所本科院校分类分析。32所专科院校信息化投入的80个指标中，权重排列前七的指标集中在网络安全、一卡通业务、应急管理、教学诊断与改进平台、虚拟仿真教学实践、高性能计算平台和仪器共享服务方面，其中前四项均超过了0.1(权值取小数点后三位)(见表一)。32所本科院校信息化投入排列前七的指标集中在网络安全、不间断电源管控、混合式教学创新、教学诊断与改进平台、一卡通业务、应急管理和信息化制度建设，权重都接近0.084(见表二)。信息化产出的31个指标中，排名前四的指标分别为：科研转化经费额度、专利综合评分、高水平论文得分、省部级以上课题得分。专科院校产出权重在0.07以上，其中，科研转化额度占0.61；本科院校产出权重在0.144以上，其中，科研转化额度占0.434。

基于对32所本科和专科院校的数据分析，本研究发现以下特点：首先，网络安全成为区分高校信息化投入的重要指标。在专科院校权重较高的四个指标中，有两个指标涉及网络安全。本科院校中，这两个指标也排在前七，说明信息化进入教育改革深水区时，安全问题已影响到信息化建设的进度和质量(李艳等，2021)。这可能与国家2015年全面推进教育行业信息安全等级保护工作政策要求有关。其次，投入指标中均有两个指标涉及教学服务与管理。专科学校为“教学诊断与改进平台”和“虚拟仿真教学实践”。本科院校为“教学诊断与改进平台”和“混合式教学创新”。两类院校的共性在于“教学诊断与改进平台”的建设，这体现出人工智能手段的贡献主要表现在学情分析上。这是因为学情分析的服务需求面较广，应用场景也较普遍，因此各级各类高校都在不同程度上开展了相关研究(吴永和,2021；孔利华，2021)；同时，学情诊断分析也受到高校教育大数据发展的影响，因此各高校在这一指标上的区分度也比较明显。两类院校的不同在于：专科院校的“虚拟仿真教学实践”是权重较高的指标，本科院校更注重“混合式教学创新”。这一结论同样与高校的发展定位密切相关。专科院校以技能型人才培养为主，受浙江省数字化改革和职业院校教育集团化办学等政策的推动，浙江职业院校在实践教学中不断探索现代技术的融入(艾雨兵等，2018)。同时，职业院校的专业特色更聚焦，虚拟仿真在工程、技术等领域的结合可能更紧密，在财会等专业的结合相对松弛，因此成为区分度较高的指标。本科院校实验室等基础建设已有一定积累，信息化发展立足点更多定位在教学模式的创新(董艳等，2021)，因此,“混合式教学创新”成为本科院校权重较高的指标。

最后，在基础设施方面，32所专科院校权重较高的指标是“建有或引入大规模高性能计算平台”和“建有仪器设备共享服务平台”；本科院校为“不间断电源管理监控设施”和“完善的信息化建设、服务等制度”。在信息化服务科研治理体系中，两类院校都在基建和应用层面有较高赋值，这反映了我国重视教育信息化基础建设和应用融合两条腿走路，两者在相互促进中又不断迭代。从《教育信息化十年发展规划纲要》提出的“三通两平台”到《教育信息化2.0计划》的“三全两高一大”发展目标，均体现了基础建设和深化应用的协同发展(陈超凡，2021)。有所差别的是，专科院校的信息化基建和应用主要体现在大型仪器设备上；本科院校主要体现在服务方式的优化和顶层设计上。这充分反映了专科院校已完成了我国上一个中长期发展规划，正踏上教育信息化新基建的征程。大型仪器设备的需求不仅展现了专科院校人才培养的更高定位，也凸显出科研的新需求。本科院校发展重心在于如何“用好”，而不是“替代”，即基于现有的设备基础，围绕设备使用效能进行治理服务优化。

表一 专科投入指标熵权值

表二 本科投入指标熵权值

(二)治理效能与案例分析

基于数据包络分析的治理能力评价体系主要依据DEA有效性、技术效益、规模效益、投入冗余率和产出不足率五个指标作出评价诊断。DEA有效性反映的是信息化绩效转化效率是否达到同水平院校的理想水平，通常分DEA有效和非DEA有效两个标准。32所专科院校中，有10所学校为DEA有效，其余22所为非DEA有效；本科院校中DEA有效的仅两所，非DEA有效的30所(见图2)。

图2 64所高校分类信息化治理能力现状评估整体结果

统计结果表明，虽然浙江省有信息化治理能力较强的标杆院校，但大部分高校教育信息化治理能力仍有提升空间。本科院校比专科类院校更容易出现信息化资源分配不合理导致的信息化投入效率低下现象。原因可能是投入规模不当、投入方式不合理或两者交互的影响。在投入规模上，大多数高校采用部门申报结合学校全盘统筹的方式。这使得信息化投入规模有较大主观性：一方面高校信息化部门在治理视野上缺乏远见，信息部门定位为配套服务部门，尚未主动融入学校教学、科研、社会服务等部门进行协同治理；另一方面高校决策部门在各单元投入上采用“撒胡椒面”方法，未依据办学特色建立以信息化效能为核心的治理体系。

高校信息化治理能力评价需要为不同高校提供精准的提升策略，数据包络分析的优势在于可以针对高校的技术效益、规模效益、投入冗余率和产出不足率进行分析，从而为个性引领的信息化治理提供决策依据。本研究结合Z高校的案例数据，对以上指标进行解释(见表三)。技术效益从高校信息化投入技术和管理角度出发，通过对信息化各单元的建设配比方式，反映“如何建”的问题。技术效益的优化策略可以通过建设单元的投入冗余率判断。Z高校的技术效益为1，表明信息化各单元的投入策略较为有效。结合投入冗余率可以发现，该校在校园一卡通的身份识别与应用、网络与信息安全突发事件应急手段和建立教学工作诊断与改进管理平台三个指标上为0，投入比例合理。然而，该校在“开展虚拟仿真、虚实融合等实践”“建有或引入大规模高性能计算平台”“建有仪器设备共享服务平台”方面的投入过多，投入冗余率分别达0.204、0.499、0.500。该校的产出不足率主要体现在发明专利上，不足率为4.032。

表三 信息化治理能力诊断示例

这主要是源于该校属财经类专科院校。为发展办学特色，该校将信息化与财经专业深度融合，大力发展电子商务、酒店管理与数字化运营等特色专业，信息化投入较大。但根据投入冗余率表明该校部分单元投入过高。首先，该校工科专业主要与财经服务交叉，如计算机类专业属应用服务类，如大数据与会计、数字媒体技术；汽车专业虽为特色专业，但依然以技术服务与营销为主要方向。因此，该校对于虚拟仿真和超算的依赖不大，虚拟仿真和大规模超算平台的投入明显过多，对社科专业发展和科研产出贡献也就有限。其次，该校仪器共享的专业可能只涉及汽车检测与维修等专业，因此使用设备平台不需要大范围的预约共享，该投入明显冗余。最后，该校发明专利产出不足率达403.2%，反映了该校创新性、可推广的实用成果不足。该校信息化治理能力的提升策略在于：应将服务融合转向实用融合，避免简单将信息化作为传统的信息传递配套服务，而要增强信息化在特色专业融合中原创性的技术工具、规范标准制定等应用性成果。

五、局限与展望

本研究仅收集了2020年的数据，使用熵权法和数据包络分析中的CCR/BCC模型，没有从时间维度建立DEA -Malmquist指数模型；此外，由于数据包络模型的模型约束，不得不选择少量的产出指标。后续研究可在获取更多学校的数据后，增加投入产出指标数量。此外，随着学校样本量的增加，后续研究可以分更小类别，对学校信息化治理能力进行更精确的评估诊断。

教育部(2021)《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》指出，在教育信息化领域提高资源监管效率, 加强过程管理和绩效管理。随着新一代信息技术与教育的不断融合，高校信息化治理能力的外延和内涵也会不断变化，由此将带来信息化治理能力评价指标的动态迭代，未来研究需探索基于更大样本的多阶段面板数据，引入信息自动采集技术，实现动态监测与评估机制，推动教育信息化治理能力评估的实时化和可视化。信息化治理能力是各高校转化科研成果，保障育人质量，提升社会服务的重要力量。完善和优化高校治理体系的信息化能力评价与建设，不仅是促进信息化服务效能提升，优化高校特色化办学的有效手段，更是带动教育现代化管理模式的重要路径。