数据治理下的高等教育第三方评估公信力提升

曹 晶，于春梅

（上海理工大学管理学院，上海 200092）

现有对大数据与教育评价的宏观研究集中在如何通过新技术的使用来促进教育评价的专业化，以现代化驱动教育评价的专业化，大数据技术在促进教育评价变革中的价值,“数据密集型评估”带来的评估目的、评估范式、评估技术等方面的变革，如何使教育评价不断走向智慧化和专业化，以及如何搭建智能型评价数据平台等；微观研究领域的研究则主要在对本科教学评估数据治理、学生学习评价等方面。[1-7]本研究尝试从公共管理视角下的数据治理理念出发，分析数据治理促进第三方高等教育评价公信力建设的内在机理和外在机制，进一步丰富评估数据治理实践及第三方评估公信力提升的理论基础和研究视角。

一、危机表现:高等教育第三方评估公信力提升的必要性

自从提出在教育评价中引入第三方服务之后，中国高等教育的第三方评估发展迅速，出现了不同类型的第三方组织，并组织实施或部分参与各种评估。而涵盖“信任”和“值得信任的能力”的公信力存在的问题[8]，是我们面临的亟需解决的现实问题。第一，第三方评估专业性尚需提高。专业化是高质量教育评价的前提，只有专业化的教育评估才能确保评估的科学性。目前无论是完全独立的第三方机构，还是半官方性质的评估组织，抑或是民间学术组织团体，评估队伍的专业素养、专业评价技术等方面存在较大欠缺。第二，第三方评估的独立性不足。独立性是就第三方与政府、高校及其他主体关系而言的。只有具有独立客观的立场才可能做出客观中立的评价，而不至出现各种偏袒或利益牵连。但当前第三方在实际评估中由于生存需要或各种其他的利益考量无法做到真正的独立，与政府、高校有各种千丝万缕的联系，表现出较强的依附性。第三，第三方评估存在一定的道德风险。[9]10-79道德性是第三方评估过程中的伦理要求。“对诚信、客观、中立、平等、公正等评价伦理规则的存在疏离甚至违背”[10]，必然导致教育评价的公信力大大折扣。第四，评价利益相关者和社会公众对第三方评估的信任程度有待提高。评估项目纷繁复杂，形式评价多于实质评价，评估的满意度和信任度不高。若要第三方评估真正发挥相应的作用，必须在评价及其管理过程中不断创新，从而化解第三方评价的公信力危机。

二、价值逻辑：数据治理对第三方高等教育评价的作用分析

（一）数据治理的理念特征

自从数据成为重要的生产要素，就受到了广泛关注。企业的数据治理是为了组织自身利益，通过组织内部数据的有效整合提高组织管理效率，实现组织数据资源要素的优化整合。涉及公共利益的公共事务管理中的数据治理，不仅包括对公共部门组织内部数据的治理，更加关注“如何提高数据的利用能力来提升治理效益”[11]，即在管好用好自己数据的同时，使用治理工具引导政府、市场和社会数据资源在经济、社会发展中产生更大效益。其主要理念有：第一，数据治理的整体性。以数据为中心使各组织各部门多元主体提供整合性服务供给，依托信息技术实现治理理念从专业化、碎片化走向融合化、整体性的变革。第二，数据治理的去中心化。数据的分布、流动、共享实现了各主体在数据治理中的平等地位，打破了原来政府或其他某一方主导的单一中心控制的局面，重构政府、市场、社会之间的关系。依托扁平化的组织结构、网络化的沟通渠道、更加优化的流程设计形成多方相互制衡、合作治理的新格局。第三，数据治理的服务导向。数据本身并不是目的，通过技术对数据价值的充分挖掘，通过管理者对有用信息的识别及选择，实现服务对象的需求回应和问题解决，提升治理效果，才是其根本目的。

（二）数据治理与第三方评价公信力建设的耦合性

数据治理的整体性可以使第三方评估的各方数据得到有效整合，提升评估的科学化和专业化水平。数据治理强调以数据为基础，通过信息技术和网络技术，建立统一的数据库，实现政府工作的高度整合，从而提供无缝隙服务。整体性是数据治理中的应有之义，第三方评估涉及多个主体，只有将来自不同评估主体的数据进行有效整合，才能使其能够真正服务于学校改进、政府决策，因此必须将数据的整体性作为基本条件。不仅包括政府内部数据的整体性，更为重要的是政府与高校、第三方数据的整合。在评估中破除部门之间的信息壁垒，实现政府、高校、第三方之间的数据互通，才能解决评价的“碎片化”问题。数据治理的整体性还体现在多主体协调与参与，加强教育评价专家（机构）、信息技术专业人员、高校、教育教学人员、教育行政人员（政府）等之间的协作，打破政府与市场、社会等其他组织的传统边界，促进数据流通、公开以保障治理过程透明化运行。[12]基于数据的全面协同与跨部门的流程再造，形成基于数据的评估机制，提升评估的有效性和科学性，必将提高第三方评估的专业化水平。

数据治理的需求导向有效提升第三方评价的精准性。数据治理关注每个主体的需求，以服务需求为导向解决相关问题，为服务主体提供良好服务。教育评价目的是服务于政府科学决策、促进高校质量改进，支撑公众对高等教育的社会问责，对第三方评价数据进行满足各主体需要的治理，使政府、高校、社会公众的利益诉求得到体现和实现。通过对海量数据收集、处理、分析与表达，在提高评估专业化水平的基础上，为各主体提供更加精准的个性化服务，使需求在评价过程及结果中通过充分互动而得到满足，各主体对评估价值的认同和满意度必将大大提高。

数据治理关注数据的共享与公开，使第三方评估过程及结果的公信力增强。大数据的发展使信息不再是某个权力主体独有的资源，通过信息流动公开实现数据信息的多主体共享，数据权力更分散。在第三方评估过程中，第三方需要来自政府宏观数据及高校的基本状态数据，政府具有宏观管理的职责，但缺乏对海量数据信息进行处理的能力；高校需要来自第三方评价指标、评价结果，以便改进发展；社会公众及用人单位可以通过数据对高校人才培养质量等方面进行了解。有效数据治理促进不同评价利益相关者共享全面、实时的数据，将评价目的、过程及结果在一定范围内进行公开，主体间积极互动沟通，进而提升评价的科学性、专业化程度，增强评价的公正性，高校及公众的认可度和信任程度遂得以进一步提升。

（三）基于数据治理提升第三方评估公信力的可行性

教育评价运行机制与数据治理机制具有高度一致性。数据采集、数据处理分析和数据的可视化表达是教育评价获得有效性的保障和基础，两者体现出较高的契合度。第三方评估的程序有建立评估指标体系、采集评估数据、分析评估数据和生成评估报告等基本环节。一方面大数据技术可以对第三方评估程序进行优化，使评估的流程更加合理高效；另一方面，数据治理运作规律与评估过程高度吻合，数据治理伴随评估全过程的运行，互相融合。从具体过程来看，数据治理需要利用各种现代技术手段对实时、动态、真实自然状态下的数据进行全面采集，确保教育评价的客观性和权威性；通过数据挖掘与分析探寻数据所隐含的内在规律，对未来发展状况进行科学预测，形成对教育相关主体（包括高校管理者、教师、政府等）有重要参考价值的决策依据；主体的数据信息精准推送、反馈沟通促进不同层级的信息互为补充、有效融合、结果共享，提高评价过程的透明性和开放性的同时，深入了解高校、政府、公众的需求。

三、生成机制：第三方评估公信力的数据治理过程

高等教育第三方评估体现了“管办评”分离的基本精神，但政府、高校、社会三者之间并不能完全分离，第三方评估中的数据治理将三者进行有机联合，形成相互协调、共同合作的统一体系，其治理机制的完善对于提升第三方评估公信力产生重要影响。数据治理主要包括“对数据的治理”和“用数据进行治理”两个方面[13]，因此，可以从第三方评价过程数据的治理和第三方评价效果（数据行为）治理来分析评估数据治理促进第三方评价公信力建设的内在机理和外在机制。

（一）基于第三方评估过程的数据治理机制

在大数据时代，数据信息机制成为联结政府行政机制、第三方社群机制以及高校育人机制之间的纽带和桥梁。通过数据机制，政府、学校和社会需求汇聚、利益融合，并在相应的治理平台进行交流合作。根据评估过程以及数据流动空间特征，高等教育评估的数据治理机制主要表现在数据获取机制、数据处理机制、信息沟通机制和信息公开机制四个方面。

1.评价数据获取机制

评价数据的获取是将高校办学过程中行为及结果从传统的物质空间中剥离出来，再聚集到线上，从而使教育原始数据成为能够在网络中进行流动的数据。数据的全面性、真实性和客观性是评价活动的基础和前提，为了获得这些高质量的数据，评价数据的获得要使用新的技术和方法，如智能系统、视频采集等。从评价数据获取主体来看，第三方评估的数据获取主体主要是第三方评估机构或组织。通过评价数据获取机制，第三方通过技术手段将高校及其教育活动汇集成海量数据，并不断地将新发生的事件和行为分解成结构化的数字符号，吸纳进入数据空间。由于教育数据在不同主体间的分布是不均衡的，政府教育主管部门及高校所拥有的数据较多，第三方需要积极主动地去获取相关数据，由此会形成评估体系中的社会支配，第三方依赖于政府及高校。然而，当第三方获取大量数据，数据结构化的程度越来越高时，又会左右和引导高校数据的流向。因此，在评价数据获取中，政府、高校及第三方之间的关系会因数据资源状况而经历动态的变化。

第三方作为数据采集者，面临着重要的数据稀缺问题，这种不均衡的数据分布结构及教育活动的公共利益特征决定了在数据获取中，需要对“哪些数据可以采集”及“如何进行采集”等对第三方进行数据授权与限权，从而既确保第三方采集到真实有效的数据，同时也避免第三方过度采集数据。只有保证了原始数据的合法性和准确性，才能使第三方评价的权威性和客观性得以提升，从而使第三方评估受到政府、高校及公众的认可。

2.评价数据处理机制

通过各种技术和方法获得的评价数据，并非都是有用的，只有进行了有效处理的数据才能成为有价值的信息。“信息的输入、处理和输出，总是包含着管理者或决策者价值意图的选择。”[14]第三方机构要在教育评价目的的指导下，针对具体的评估事项要求对采集到的相关数据进行处理和分析，充分挖掘教育评价数据蕴含的价值。政府的目的、高校的要求以及教育活动本身的价值导向在数据处理中的根本性方向性作用，使第三方教育评估不同于其他营利性活动的评估。第一，政府对于数据处理过程提出要求，确保项目评估目的及方向性，对第三方数据处理过程进行必要的监管，以保证第三方数据处理的客观性和权威性；第二，高校办学规律和育人规律是数据处理的主要依据，各种以数量、视频、图表等方式存在的教育数据是对办学主体行为的刻画和育人过程的体现，无论是结果评价还是过程性评价都不能将其作为单纯的数据运用信息技术进行处理，在该过程中必须关注教育活动本身具有的特性，警惕过度的数据依赖。第三，第三方组织在满足相关利益主体需求，与政府和高校形成评价共识的前提下，独立地开展数据处理。

这一信息处理机制有效地将政府行政机制和第三方的社群机制结合起来，既为政府和高校解决信息过载的问题，使其获得决策制定和质量改进所需要的信息，又可以让三方都保持自身的权力边界，确保科学性和专业水平。

3.评价信息沟通机制

信息沟通伴随着整个评价过程，从评价目的的确定、指标体系的选择到评价程序的安排、评价活动的实施、评价结果的利用，都需要政府、高校、第三方等主体的交流互动，其间既有自上而下的信息沟通，亦有自下而上的信息反馈，更有三个主体间横向的信息交换。通过信息在不同主体间的流动，实现信息资源在政府、高校、社会组织之间的共享与分配。一方面，通过评估主体和评估对象之间的平等沟通、协商、互动生成新的数据信息，不断汇聚到原有的理念、指标框架之中，同时新的信息又将突破指标体系，进行双向的信息建构；另一方面，通过信息沟通重构政府、高校及第三方之间的关系，使“管办评”分离下的协同合作成为可能，同时这种不同主体间的平等关系也为解决“信息不对称”问题提供前提条件。

在评价过程中，政府、高校、第三方和公众都存在信息稀缺问题，政府想知道公众的需求、高校的运行状况及管理绩效，甚至包括舆情思想动态等，这对于政府来说是稀缺的资源。对于高校来说，同样存在信息稀缺，他们更想知道政府拥有的信息和第三方处理出的信息，以便及时调整办学定位和思路。公众想了解高校，一方面是问责，一方面为了自身利益，如家长为孩子选择好的学校，用人单位选人用人等。因此，需要通过数据治理平台和机制建设来解决信息稀缺问题，只有解决了这一问题，才能进行精准反馈和决策，提升教育治理的精准性。

4.评价结果反馈机制

在信息处理基础上，第三方将多方参与互动形成的评价结果进行反馈，为相关利益主体的治理决策和教学改进提供依据。这种反馈既要克服评价信息过多、与主体需求无法有效衔接的问题，又要解决数据分析过于表面化、可读性不强的问题。首先，第三方根据利益主体的评价目的，通过智能化技术及时地为其提供直观清晰的个性化结果反馈，并根据类似结果提出相关的案例解决建议；其次，政府、高校等主体在获得即时反馈后，结合总体工作目标和发展规划思路，在借鉴参考第三方机构（专家）建议的基础上，形成具体而有用的规律性认识，从而对当前需要解决的问题做出相应的治理安排。最后，一次性评价结果反馈后，会形成“反馈-改进-评价-反馈”的闭环，使反馈成为引发改进和下一轮评价的动力，进而实现对教育质量的持续改进。

在结果反馈机制中，结果的可视化表达及个性化订制服务的推送等智能化技术的使用，促进了结果反馈的精准性、高效化、低成本；数据治理不仅让政府决策部门能够得到评价结果，高校、公众等其他社会主体也可以从中获得相应的信息。反馈范围从教育决策者扩大到教育利益相关者，多元利益主体能够在全面客观了解总体情况的基础上，做出“循证性”教育决策。评价结果作为数据（信息）的重要组成部分，通过反馈机制实现在各教育利益主体间充分、有效的信息分配，在提升第三方评价科学化的同时，评价的公正性得到相应保证。基于评估过程的数据治理公信力生成机制，如图1所示。

图1 基于评估过程的数据治理公信力生成机制

（二）基于第三方评估效果的数据行为治理

在第三方评估活动中，第三方是数据服务的主要提供者，第三方机构的自利动机及数据化的加速发展可能导致第三方评估“失灵”[15]，因此，评估数据治理不仅要对第三方评估相关的数据资源进行治理，还要对第三方评估相关主体的数据行为进行监管与治理。

1.基于“委托-代理”关系产生的第三方评估道德风险治理

大量的第三方评估是基于与政府的委托代理关系而承担教育评估任务的，存在第三方评估机构向高校寻租、努力水平低以及同行合谋的道德风险。[9]70-76这将在很大程度上消解第三方评估结果的客观性和独立性，进而使公众对第三方评估的信任程度降低。道德风险发生的主要原因之一是政府信息不对称，精力无法过多分配。评价效果的数据治理主要表现在政府对评估数据平台进行有效监管，各主体具有平等的信息权，拥有相对均衡的评估话语权。政府掌握着大量的真实信息，随时可以监督第三方评估的过程，政府从形式监管转向实质监管，能够有效降低道德风险导致评估失效的可能性。

2.被评估对象“逆向主导”问题治理

作为被评估对象，高校及教育主管部门在信息数据方面处于优势地位，第三方机构较难采集真实全面的数据；再加上教育活动中存在大量非结构化的行为过程数据，这些数据具有隐蔽性，其价值性较难被准确地发现识别；同时被评估对象会出于自身利益掩盖部分信息，甚至出现资料造假等行为，从而使评估过程的公正性和评估结果的客观性受到严重干扰。通过多元主体参与的数据治理使政府、高校也成为被监督的对象，通过数据清洗、集成等技术方式使数据的真实性、全面性得到提高，最大限度地降低被评估对象的投机动机和自我变通的可能性。

3.政府行政干预第三方评估的行为治理

政府作为第三方评估服务购买方和委托方，处于主导性位置，第三方因其对政府资助和服务购买的依赖而处于相对弱势，评估活动受到政府直接或间接的干预。数据信息在平等主体间的分布在增强评估过程透明性和评估结果真实性的同时，使政府不合理的过度干预受到制约，数据共享、信息流动使第三方评估从中心化的行政控制评估走向分布式的扁平化评估。

4.对评估数据使用的引导与监管

高等教育作为公共事务管理的重要领域，政府要履行相应的社会治理职能，必须对市场、社会中的教育数据资源和数据行为进行治理。第三方评估作为市场或社会组织的活动会和其他数据市场行为一样具有明显的自利追求，其中既有来自经济驱动的商业利益追求，也有获得良好社会声誉的合理期待。政府需要对其数据经济行为进行必要的监管，设置相应的行业标准；要对致力于公共利益的高等教育第三方评估机构进行评估取向和评估伦理的引导和规制，避免出现过度注重商业利益的行为；不应以量化排名对教育活动做简单化处理，误导高校的办学、招生等教育活动。

评估主体数据行为治理各方作用力，如图2所示。

图2 评价主体数据行为治理

四、实践路径：基于数据治理的第三方评价公信力提升建议

通过构建以数据系统为中介的第三方评估体系，使政府、高校、第三方组织及社会公众共同汇聚于同一平台，形成整体性的协同评价治理的有效机制，促进评估公信力的提升。当前高等教育评估实践中仍存在着评价目的不一致、数据缺乏整合、各自为政、协调合作机制不健全等方面的问题，第三方评价数据治理仍面临着挑战。

第一，树立教育评价的数据治理思维，形成数据文化，为第三方评估数据治理提供观念支撑。以获取、共享和分析数据为基础，从数据出发，基于数据、围绕数据进行评估活动的治理，使数据成为联结评价过程和评价主体的纽带。将数据作为第三方教育评估活动的基础性要素，尊重数据，用数据说话；从“管控”思维转向“服务”思维，从“线性”思维转向“网络”思维。打破数据垄断，实现数据开放与共享、流动与互通，使数据信息在不同主体间进行平等分布，通过“技术赋能”提升第三方评估的专业化水平，从而提升政府基于评价的高等教育决策的科学化程度。

第二，构建第三方评估协同模式，实现政府、学校和社会之间的良性互动。第三方评估相关利益主体依托评估数据平台获得对数据信息采集、使用及分析处理的权限，实现充分的信息互动和沟通，及时记录利益诉求和信息反馈，形成新的数据，打破信息数据壁垒，实现数据融合、业务协同，各主体充分参与评估过程，提升信任水平。在组织形态上，要进行政府、高校、第三方及社会公众之间的跨组织跨部门间的合作和协同，由政府主导，让第三方机构、高校等为主体打造评估数据治理平台，成为各主体协同活动的载体，重塑政府与高校、市场之间的关系。在业务流程上，从线性的评估流程转向并行、循环的以数据为导向的流程，从单向数据流动走向网络化的数据分布，从而满足公众对数据资源的需求。

第三，完善评估数据治理制度，构建主体利益保障机制。评估数据治理尚处于起步阶段，建立各层面各阶段的制度体系是实现其治理功能的前提。一方面，政府要促进形成符合教育评估本质特征的数据共享标准体系，制定进行数据授权和流动的规则体系，使政府、高校、第三方之间的数据能够合规合法地共享互通；另一方面，明确政府、学校和社会及社会公众参与评估数据治理的权限与责任，对其第三方评价数据行为进行相应约束。同时，还要构建政府、高校、第三方、社会公众之间相互制衡机制，发挥公众、高校的社会监管功能，形成积极反馈参与的交互监管生态，令评估数据治理的过程与结果更加民主、透明。

大数据及信息技术发展给高等教育评价及教育管理带来了根本性影响，如何因应已成为教育评价实践面临的重要课题。评估数据治理的根本目的是服务于政府教育治理能力的提升，既要考虑数据治理作用发挥的条件约束，还要考虑不同主体协同中的权力边界等问题，因此需要结合高等教育评价具体实践来进行更加深入的研究。