高校师生数据的建设与治理研究

林燕芬

[摘 要]随着各高校信息化建设的重心从系统和平台建设逐渐向内涵和应用建设转移，数据质量和使用效益越发受到重视，因为其直接影响了高校信息化建设的深度与广度。本文首先分析了高校在数据建设方面存在的普遍问题，并结合工作实践，针对这些问题对师生数据的建设与治理进行了探讨。

[关键词]数据治理;大数据;高校师生

doi：10.3969/j.issn.1673 - 0194.2020.12.086

[中图分类号]G647;TP311.13[文献标识码]A[文章编号]1673-0194（2020）12-0-02

0     引 言

“十二五”期间，各高校按照“统一规划、分步实施”等建设原则，全面开展了数字化校园建设，目前基本上形成了以高校信息标准为基础，三大平台（统一门户、统一数据中心、统一身份认证）为支撑，各业务应用系统基本完备的数字校园应用体系。随着高校信息化建设的大力推进和逐步深入，师生对信息化建设的要求不断提高，系统的实用性成为大家关注的主要方面。如何充分挖掘和使用数据价值，回应师生关切问题、满足师生所需数据，是各高校开始思考的问题。因此，各高校的信息化建设重心逐渐从系统和平台建设向内涵和应用建设转移，强调用户体验和实际效果，对数据的质量和使用效益越发重视。而事实上，由于校园信息系统的数据质量不佳，对数据的挖掘和分析不足，导致数据的利用率低下。

1     高校师生服务数据存在的普遍问题

1.1   缺乏完善的数据治理体系，学校数据的整体性不佳

高校在进行信息化建设的过程中，始终重视数据建设和维护。但是在数据治理方面，从数据采集与控制到数据管理与使用，目前都缺乏对数据质量、安全和生命周期的管理，包括控制数据从输入、加工、传输、输出等各个处理环节，还没能形成一个完善和统一的数据管理与治理的规范和流程。另外，各业务系统是由各职能和业务部门满足自己的实际工作所需建设的，因此在数据管理方面，仅侧重对与本部门业务相关的信息进行管理，再加上在基础数据采集与管理环节，缺乏行之有效的核对与矫正手段，因此，就学校整体而言，各相对独立的业务系统产生的数据很难形成完整的信息链条，无法为学校整体提供正确、完整的信息，导致数据的价值得不到充分有效利用，一定程度上降低了行政事务、服务师生尤其跨部门业务的工作效率。

1.2   日志类数据利用难度大，价值无法充分体现

各类应用系统的日志数据作为原始的系统操作事件的全量记录集合，蕴含着大量的过程数据与信息，是系统的结果数据无法覆盖的，这些日志信息为将来数据挖掘与决策分析工作奠定了重要的数据基础，具有分析、利用和参考价值。而大多数的应用系统在使用过程中，由于缺少对日志数据的技术支持和有效计算工具，日志类数据中蕴含的大量宝贵信息没有被及时存储和积累，逐渐流失。日志类数据得不到有效利用，主要原因有两个。

1.2.1   日志类数据体量巨大

日志数据之所以体量庞大，不仅在于业务系统的日积月累，更重要的是，动态增加的日志类数据使传统关系型数据库技术无法对其进行有效存储与管理，与此同时，对动态数据的可扩展性也有更高的要求，这对传统的关系型数据库技术来说是一种挑战。

1.2.2   日志类数据解析复杂

由于各职能部门建设的业务系统功能相对单一，由不同厂商开发，使用的设备、系统架构不同，所以各系统生成的日志没有统一的可通用的定义和固定的格式，在对其进行解析的过程中，系统非结构化的特征导致管理人员无法从中清晰地获取信息，使解析变得异常复杂。在利用这些日志类数据时，要对这些多源、异构的数据建立统一的解析方案，而这并非易事。

1.3   基础数据不全面，可利用价值不高

一般来说，职能部门在建设自身业务管理信息系统的过程中主要以本部门内部的管理与服务流程为重心，对师生视角的场景化服务没有给予足够重视，因此，业务系统积累了大量的行政类与管理类数据。实际上，对于学校整体而言，真正有价值的数据往往集中在服务师生这一端，通过采集与分析师生的个体数据以及他们在日常教学、工作、生活过程中产生的数据，发挥数据价值，获得更多有价值的数据分析结论，将这些结论进一步指导和应用于管理与服务中，更好地推进学校的管理与服务工作，真正满足师生内在的深层次所需，提高服务与管理质量，提高师生满意度。

2     高校师生服务数据建设与治理的内容

在进行数据建设与治理之前，首先要建立学校统一的数据标准，然后根据数据来源要求，采集相关数据，并进行必要的标准化、清洗、转换等操作，使数据符合预定的质量要求和标准要求。

2.1   建设统一数据标准和预处理规范

根据国家标准、教育部标准、行业标准，兼顾各个标准之间的兼容性、一致性以及标准的可扩展性，并结合高校自身特点进行归纳整理，建立和完善学校的各项标准，并给出数据分类编码规格说明书，建设一套符合学校实际的《数据标准》。在此基础上，还应根据数据标准，编制形成《数据预处理规范》，对原始数据进行数据清理、数据集成融合、数据规约与数据转换等预处理工作。具体的数据标准和规范应涵盖的内容包括：数据标准權威参考源、数据标准查看、引入、分类定义、导出、标准代码集权威参考源、代码集引入、代码集分类定义、代码集绑定等。

2.2   数据清洗

在数据清洗的过程中，需要进行大量的调研、采集、核对、匹配、转换等数据治理相关技术工作。涉及的数据对象可能包括以下几方面：①学校基本情况数据，包括学校基本信息、单位部门信息、班级信息、学科点信息等;②学生数据，包括基本信息、奖惩信息、选课信息、成绩信息、学籍信息、社会活动信息、学位学历信息、毕业生就业信息、家庭信息、住宿信息、户籍信息和困难生信息等;③教职工数据，包括基本信息、职务职称信息、考核信息、专家信息、兼职人员信息、奖惩信息、个人经历信息和家庭信息等;④教学管理数据，包括课程信息、专业信息、培养方案信息、教师任课信息、课表信息、考试信息、教学评价信息、实践信息和论文信息等;⑤科研数据，包括项目信息、科研机构信息、科研合同信息、论文著作信息、学术会议信息、科研成果信息和学术交流人员信息等;⑥一卡通相关数据，包括商户数据、用户数据、消费明细、充值明细、补助明细等。对上述数据的清洗一般要按照如下原则：①单一字段中不存在多种信息;②相同对象的名称表达一致;③缩写词、惯用语的表达一致;④值与字段名含义匹配;⑤同类数据的计量单位统一;⑥同一字段内的数据格式统一。

2.3   数据管理和数据质量控制

在数据治理方面，一般要求按规则自动进行数据治理、人工手动数据治理和根据数据的实际使用结果对数据进行反馈治理，要求经过数据治理过的数据必须可追溯治理过程，并支持数据退回到任何以前治理步骤之前的状态。通过构建科学合理的数据治理模型，确保随着数据的使用自动提升数据质量，主要包括以下几个方面。①元数据管理：在对元数据进行采集、查看、分类、编辑、绑定等操作后，还要对其进行血缘分析，即要对元数据做全链分析，以某个元数据为目标节点，尽量采用图形方式展示前后与其有关系的所有元数据，反映数据来源与加工过程，分析数据来源和数据质量问题定位等。除此之外，还要对元数据的版本和接口进行管理并做变更分析。②主数据管理：包括对主数据的分类、引入、发布以及版本管理和备份等。③数据质量控制：内容包括数据结构一致性校验，数据内容有效性校验，数据质量检测方式选择，数据质量报告输出、推送、评分机制，数据质量检测规则库，规则定义，绑定设置，数据质量问题分析统计等。④数据共享交换：内容包括数据接口发布、预览、管理、用户账号设置、数据授权访问、用户密钥管理、数据访问统计和ETL任务信息集成等。⑤数据采集存储计算功能：内容包括数据采集能力、数据采集协议、数据存储能力、数据服务功能等。

3     搭建数据建设与治理平台

一般来说，高校都通过搭建系统和平台对学校数据进行建设与治理，即结合学校的师生综合数据，通过日志采集工具、数据治理工具，对高校全量结构化数据（含过程数据）、半结构及非结构化数据进行标准化治理，并统一存储到大数据管理平台，通过API接口支撑学生管理及服务类、教师服务类、校情分析类、日志分析类应用模型，总体框架一般包括4个模块.

3.1   全量数据平台及学生管理决策系统

全量数据平台及学生管理决策系统主要用于校园大数据分析系统的底层数据采集、存储管理及相关数据挖掘工作、应用展示等。一般采用分布技术架构和模式，引入全量数据，对结构化的业务数据、半结构化的日志数据和非结构化的互联网数据分别制定标准和规范，面向大数据应用制定和管理数据标准，并对外提供统一的数据读取与访问接口。

3.2   预警中心和个人消费报告

通过对关注群体的上网日志数据，发现校园中可能存在的非法聚集、访问敏感网站等安全行为，帮助相关部门对校园公共安全进行管理。通过分析上网URL日志，捕获学生通过校园网访问网贷平台的行为，并及时预警频繁访问网贷平台、疑似有网贷行为风险的学生。

3.3   日志分析模块和日志处理工具

利用大数据技术手段，整合无线日志数据，结合教务处课表数据、一卡通消费数据等，建立无线考勤分析的数据模型，实现实时、无感上课考勤分析，并深度挖掘出勤率较低的潜在原因，生成预警信息并推送给相关管理人员。

3.4   综合校情分析决策系统

建立例如教师个人数据服务名片等綜合校情分析模块，通过对全校教师相关数据的整合汇总，综合展示和发布教师信息，分角色、权限展现不同部门、院系、专业等不同需求的关注点。除此之外，还可以建立消费分析、招生分析、就业分析和科研分析模块。

4     结 语

数据只有在经过收集、整理与统计分析后，才能真正实现价值转换。学校在教学、管理与服务的过程中积累了大量的基础数据，在全面收集与汇总基础数据后，要经过逻辑性整理与梳理，按主题构建数据仓库系统，例如，学生在校消费情况及变化趋势、历年招生变化情况、学生就业情况、同类院校科研情况对照分析等，只有建立主题并加以分析数据后，这些数据分析结果才能对学校的建设决策具有指导作用。