大数据背景下高等教育评价体系的构建研究

张善海

一、大数据的概念与价值概述

大数据(Big Data),是指总量极为庞大且快速增长,需要以最新信息处理技术才能够汇总、储存和管理的数据。大数据具有四个显著特征,可表示为“4V”,分别为容量大(Volume)、种类多(Variety)、时效快(Velocity)以及价值高(Value)。从统计的角度分析,大数据的“4V”特征源于数据覆盖全样本,并且全程记录动态数据,反映数据之间的消长变化,以及不同模块数据之间的联系。大数据的出现深刻地改变了社会各领域,从大数据中发掘的价值推动了实践形态的更新。当前,大数据正不断地深入教育领域,深刻地改变着数据密集型的评价活动样态。[1]在高等教育的语境下,大数据是指与高校教育活动有关的全部数据,包含多主体产生的数据信息,可以由不同的部门记录和提供。随着高等学校信息化装备水平不断提高,在办学各环节中生成的全部数据都可以由计算机完成归档、保存和处理,作为开展评价活动的基础。每个高校都拥有丰富的大数据资料,是学校办学的重要参考依据。

二、大数据背景下构建高等教育评价体系的意义

(一)转变高等教育评价理念

大数据可促进高等教育的评价理念从经验主义向数据主义转变。从宏观层面看,传统的高等教育评价往往依赖专家驱动,具有一定的主观性和随意性,而且评价的价值导向并不明确。不同地区与类型高校的发展环境与办学定位不同,教育产出存在显著差异,套用共通的评价指标不尽适用。从微观层面看,在传统的高等教育评价体系下,高校教学与研究人员凭借经验分析和利用评价结果,存在许多先在的分析盲区,许多关键难点未能突显出来。部分重要的评价指标未纳入评价体系,地位被边缘化,长期受到忽视。基于大数据的评价可以更清晰地揭示办学各要素的特征,分析数据与数据之间的隐性关系,准确地定位关键问题,以便于更科学地认识对象,并促进高校内形成重视数据与质量的办学文化。

(二)提升评价的广度与效度

传统的高等教育评价对数据的利用大多表现在学业评价、课程质量评价、学生就业评价等模块,形成描述式的评价报告,以具体的数据表现出来。但是,对学生的综合素质评定、学科建设、校园文化建设等重要模块,却缺少有效的评价依据,仅以组合教育活动事实的方式进行概要表述,其对教育对象的具体作用并不明确。并且传统的评价报告也多仅仅给出客观的数据,对造成数据的原因缺少有力的分析,缺少阐释数据的能力。使用大数据开展高等教育评价,则可以提升高等教育评价的广度,将大量学习过程与结果方面的数据整合进体系中,从各方面展示教育证据,使高校教育评价建立于更为广阔的基础上,建立精细的分析模式。高等教育各主体能够对教育质量形成基于多因素模型的全面认知,并有效地利用评价数据指导教育活动,以发挥评价对于教学质量调控的间接作用。

(三)丰富教育评价参与主体

评价主体的差异与评价尺度的差异息息相关,评价主体的多元化可以丰富评价的标准,形成有益的高等教育发展监督环境,促进高校以符合学生发展需求和符合公众利益的路径办学育人,是当代高教质量评价发展的必然趋势。[2]传统的评价方法以高校和学生为主要的评价主体,学校先期设立评价指标的思路会影响解读评价数据的方式,并且学生主体发挥的作用较为有限。学生的评价结果多用于指导教学活动的调整,仅为学校主体提供借鉴,无法作为外界的参考数据。大数据背景下的高等教育评价体系依托于互联网展开,强调要使用信息技术连接一切数据,为多元主体提供了参与教育评价的便捷路径。教师、学生、学生家庭、用人单位、社会机构、高校办学出资单位等相关主体都可以成为评价者,从不同的角度给出评判,可提升评价结构的开放性与多样性,从而避免传统高等教育评价体系下评价指标与结果的内部指涉现象。

(四)推动教育决策的科学化

大数据是开展科学教育决策的重要依据,可以使决策者掌握客观的数据,形成基于数据驱动的决策机制。[3]对教育活动作出的决策,特别是涉及专业与学位设置、办学政策、招生调整等方面的宏观决策,实行后就可造成全局性和持续性的影响,影响全体学生的发展与学校的未来走向。传统的评价策略具有滞后性,缺少有效的纠偏机制。评价指标以既往的教学模式为基础生成,所反映的多为教学活动本身的情况,对高校内外部环境的变化适应能力不足。虽然高校面临的发展形势不断变化,部分教育评价活动仍沿用约定俗成的指标体系。基于大数据作出的决策可体现科学性,促进对教育资源的高效利用。依托大数据形成的分析技术,又可反映在教育决策背景下生成的新数据。通过对数据开展纵向对比,可以明晰教育决策的有效性,减少传统决策环境下信息不对称的问题,促进决策的循环调整,以实现高等教育机体的整体性改善。

三、大数据背景下构建高等教育评价体系的策略

(一)科学采集多模块教育数据

1.数据的来源

高等教育评价体系的源头可分为“人”与“物”,“人”包括相关各主体,“物”则指在教育教学过程中需要使用的各项设备。按照高等教育的实施样态,又可将教育数据分为两个方面：第一是结果性数据,如学业评价数据、学生发展评价数据、课程质量评价数据、用人单位评价数据、学生就业率与就业质量评价数据等。这部分数据大多以结构化的方式储存起来,对应不同的教学时段。在数据生成时,包含了大量的量化内容,也是既往的评价活动中较为系统化的模块,便于提取、整理和分析,并与教与学的质量密切相联,其中许多数据可以整块直接调用。第二是阶段性数据,如学校的专业设置数据、师资队伍数据、课程结构数据、科研项目数据,教学环节中产生的讲义、微课程、在线教育视频点播、学习平台的使用数据以及学生主体的基本信息、书籍借阅、社交自媒体的使用、课堂出勤等方面的教学与管理数据。其中也包含了部分与学生在校生活有关的数据,如门禁出入、在校消费、校园网络的使用等。[4]这些数据显示了教育的过程,体现学校在一定时间节点上使用的教育手段、高校教师的教学策略和学校的学生管理方法,可以为回顾教育事实提供重要的参考依据,反映学校运作的全貌。同时提炼结果性数据与阶段性数据,使不同的数据模块共同存在并且相互印证,是开展数据分析的基础。

2.数据采集方式

高校可以使用系统日志采集、网络数据采集以及人工采集的方式来汇总数据,构成动态化的数据中心。首先,针对能即时联网的数据,可以定期采集各系统内的日志文件,了解一定时期内学生与教职工的状态,以及教学资源与硬件设备的使用、管理、折损率等情况。其次,针对以结构化的形式储存在专项系统中的数据,如学生学籍信息、科研课题项目及进度、MOOC平台学习数据、学生终期成绩评价等,通过API接口对接的方法采集这些数据,将数据汇总到学校的教育数据中心。最后,对部分数据运用人工采集法。人工采集法是指以人工查询、整理与录入的方式来实现对部分数据的采集。人工采集涉及教育软件资源的上传,由教师或教学管理人员来完成操作。此外学生出勤率、教师基本信息、学生就业以及教研活动信息中存在部分内容,有待教师或行政人员录入信息,将其上传至数据中心,以完整地记录高校教育与科研痕迹。

针对以上几种数据采集方式,高校在构建大数据评价体系初期,应当重视提前规划设计,明确各模块信息的采集渠道、更新机制和责任人,以提升评价数据的覆盖面和精确度。[5]数据的粒度应体现适宜原则,对应特定的评价需求,将粒度层级不同的数据储存于不同的单元中。粒度小的数据信息容量大、精度高,包含详尽的内容,适宜课程教学质量评价、学生学业评价、创新创业成绩评价等项目；粒度大的数据便于使用,能够方便快捷地进行查询,适宜办学水平评价、专业建设质量评价等项目。此外,应当兼顾数据采集的全面性和数据隐私问题,对涉及学生个人信息的数据设置防问限制。[6]针对所采集的有关隐私的数据,可以取百分比分布的形式进行利用,对部分隐私数据应用多重网络安全保护策略。

(二)形成教育数据分析方法

以符合教育规律的方法分析数据,是有效利用大数据的必然要求,数据的意义经过解读才能够呈现。高校可以按照评价指标的区别将数据中心划分为多个功能区,聚合相关联的教育要素,以支持大数据分析的实施,如在办学条件方面,可综合学校优势专业数量、学生数量、教师队伍规模、学校固定资产现状等方面的因素进行分析,以反映优势和劣势指标。

与此同时,要重视将数据与数据之间建立横向联系,为教育结果的原因分析提供便利。如针对在线课程质量的评价,可以将学生对在线课程的评价数据、平台自动记录的课程访问量、课程基本信息统合起来,再将其与学生学业数据对比,分别了解主观原因与客观原因的占比,进而明确影响课程使用的关键因素。重视挖掘数据之间的纵向联系,以时间段作为分析线索,反映变化趋势,并以问题为导向,显示出异常情况,形成可视化的分析结果,定期出具评价报告。[7]教育数据分析要体现定量与定性相结合的原则,首先依据学校数据系统的内置程序,通过高效的计算机算法列出影响因素的排序,重视“通过指标的类属关系,进而确定各指标的层级及指标权重”。除以量化方式体现各因素的实际形态外,更应表明变量与变量之间的联系。[8]其次,学校组建教育分析小组,从各专业中选取专家,对突出的因素进行全面研讨,结合教学活动并深入分析细节,以分类指导相关教学工作的开展。

(三)目标管理与过程监控相结合

高等教育评价改革的基本逻辑是通过提升评价效度,影响教育目标的达成度,因此对教学过程的监管是实现目标管理的载体。鉴于此,应发挥大数据挖掘技术的核心优势,实现目标管理与过程监控的有机整合。高校的人才培养活动是环环相扣的体系,教育过程的完成度对育人目标的实现起决定作用。对课程教学过程,应以分解目标的形式进行数据采集和分析,将评价标尺与教学目标结合起来,以评价促教改。可以设立面向过程监控的评价活动定制,改变传统的在学期末等时段集中观察与分析评价数据的方式,在高校教育教学全过程中提取数据进行解读,使评价活动贯穿于学期始终。为实施基于大数据的有效评价,通过数据挖掘初步提取出有关教学过程的粗糙知识后,应对知识进行“二次挖掘”,即借助关系分析模型,结合以价值判断为基础的教研活动,透彻理解在教学期间生成的过程性数据。学期结束后,将过程性数据和评价目标对照,明确后者的达成度,指导后续的教学活动。过程性评价体系应当与目标性评价体系融合,体现教育教学要素之间互为影响的动态发展过程。

(四)创设数据考核与反馈机制

基于数据开展考核与反馈,可以实现大数据的应用价值,使技术优势转换为学校的育人优势。从考核的角度而言,学校内部要形成基于数据的科学考核方法。学校应当成立对教职工开展考核的长效化机制,依据促进学校内涵式发展的要求,将要求分解细化,促进各节点上教育工作的改进。应基于相关的数据生成科学可行的标准,作为人员评价与质量评优的尺度。对于学生,应当改变过去单纯以学业终期评价结果定优劣的方法,结合过程性数据生成全面的学生发展评价报告,以督促学生在校努力向上,专注于知识学习与社会实践。评价策略的应用可反过来影响学生的学习观念,通过准确的数据引导学生形成正确的自我认知,提升学生调控和管理个人学习活动的能力。[9]

在教学反馈方面,应建立向学校管理部门进行反馈的机制,促进学校管理层掌握可靠的教学数据。此外,应当建立向外部反馈的有效机制,应依据教育大数据,撰写并发布专项教学监测报告,面向教育管理部门、社会公众公开部分数据,如教学质量评价报告、年度就业报告、各专业学生人数增减趋势报告等,以提升高等教育过程的透明度,使相关的利益主体对高校办学活动形成准确认知。应向第三方评价机构公开部分数据,以促进高等教育评价的多样化。随着全社会对知识变现要求的不断提高,高校应打破传统的封闭式评价模式,将教育活动与社会要求相对接,全程接受监督。对于重要的教育教学事项,高校要以专项报告形式陈述教学整改过程,结合数据分析中体现出的关键教育节点提出所应用的具体教改措施,说明教改效果,进而为教育质量的改进提供持续性的动力。

(五)配套应用评价活动改进措施

首先,评价指标要具备可调适性。应参考在不同时间段内形成的评价数据,对照综合数据评价结果,调节评价标准,以促进指标与实际的教学活动相适应。只有评价指标合理化,才能有效地考察教学活动。通过对评价指标自身的调适,可以建立对学生发展、科研活动的合理期望值,为教育教学质量的改进提供引领。其次,大数据评价体系的分析模型要具备可调适性。随着高校办学活动的推进,教学制度、教学环境、软硬件设备发生改变,可能出现全新的影响因素。应当对接生成性的要素,不断将新的影响因素加入到大数据评价体系中,提升评价结果的解释能力。对于在既往的评价活动中被证明影响性较小的因素,要降低其在大数据评价体系中的权重。最后,应当解读各个子体系之间的数据,捕捉关键性的问题,改变对宏观评价体系的设计。可针对由家长、社会、学生提供的评价数据,调整原有的目标设定方式与评价方式。

四、构建大数据教育评价体系的相关保障

(一)技术保障

虽然高校普遍具有较高的信息化水平,但是“信息孤岛”现象也比较突出,不少有关教育的信息并未被整合进数据网络。很多部门和个人虽然常年累积大量教育数据,如高校的网站平台中保存着众多的课堂实录、数字化学习资源等数据,学校网络中心长期保存计算机使用、学生上网行为等方面的数据,各院系教师也拥有许多关于学生平时学业的数据。但是,许多数据的价值未能得到有效应用,而是分别被用于支持不同主体的教学与管理活动,尚未形成体系。加强技术与技术之间的互联,使之被整合成为统一结构,是构建大数据教育评价体系的重要课题。高校要重视进行技术层面的顶层设计,搭设数据库共享与集成平台,再在此基础上开发计算机分析程序,以支持对海量信息的处理。[10]学校可以对部分信息采集终端进行升级改造,以提升计算机网络的效能,并改进其与学校网络中心的联接方式,使其更便于在教育评价活动中使用。

(二)组织保障

大数据评价体系涉及高校的多个部门,因此促进各部门之间的高效协作,便成为创新评价体系的应有之义。高校要改善现有组织构架的合作方式,理顺各种流程和制度。部门之间应当在信息收集和分享上高度配合,不同的教育主体要协同互联,形成沟通交流的长效机制,以组织部门的高效协作打通信息模块之间的壁垒。在信息的利用和反馈上也应当密切合作,以充分发挥大数据的能动性,形成采集—反馈—改进的良性循环,使大数据真正成为高价值的数据资源。教学评价部门要及时向教学活动负责主体反馈评价结果,将数据以条理化的报告整理出来,促进各院系教师理解教情。高校目前的教育评价活动主要由教学管理部门完成,在现有的组织架构基础上,高校应扩大教育评价部门的规模,更新对部门职能的要求,使其在促进部门协作方面发挥积极的能动作用。

(三)人才保障

高校要重视人才梯队建设,增加有能力从事大数据分析的人才,促进大数据评价体系的落地。首先,要增加技术型人才。构建大数据评价体系,要求将粒度细、容量大的教育数据稳定地储存于网络空间中,并且支持随时访问、调出和使用,与学校的网络融为一体,这样的活动必须以高素质技术型人才队伍为后盾。其次,学校创设条件,引进具有统计学专业素养的数据分析人才,促进其与学校教师、各学科研究专家相对接,依据实际教情,形成具有实效性的教育分析模型,使评价活动体现学校的发展特色。同时要对教学管理岗位的人员进行培训,以提升人员对评价体系运行要求的理解,使其更好地配合专家开展工作。针对从事教学研究活动的教师,应引导教师依据大数据评价体系下的要求进行授课,以构建完整的教育教学生态。当各方面的保障被落实时,大数据评价体系才可发展为学校的常规化制度,构成高校核心竞争力的一部分。