大数据背景下高校基础数据库建设

王冬梅

摘要

高校数字校园建设的快速发展，提升了高校信息化的整体水平。但是，由于前期缺乏预见性，随着高校信息环境的日益繁杂，业务纵向建设，数据分散，基础数据、公共数据缺少同步和共享，核心模型不统一，信息孤岛等问题日益暴露。本文在分析大数据建设的背景、内在需求、高校数据建设现状的基础上，提出了基础数据库建设的思路与落地策略，包括数据的治理、数据标准的制定、数据共享交换平台的建设等。

【关键词】大数据 信息标准 基础数据库 数据共享平台

1 高校大数据建设的背景及内在需求

高等学校要承担人才培养、科学研究、社会服务、文化传承与创新的使命，就必须加快构筑与现代化教育相适应的信息化体系。在中国高等教育学会教育信息化分会第六届理事会工作报告《认准方向，努力作为，推动我国高校信息化建设再上新台阶》中，明确了指出了智慧校园建设是教育信息化发展的必然趋势，智慧校园建设中数据的利用已经成为了高校信息化的热点区域和内在需求：

1.1 促进教学创新，提高教学质量

在大数据支持下，教师收集资料过程中，系统可以针对以往其他教师在准备同一门课时收集了哪些资料，这些资料在课程的应用情况进行有针对性的推荐，从而提高备课效率，真正实现优质教学资源的共享，从而对课程教学进行改善，最终达到提高教学质量的目的。

1.2 降低科研I7槛，实现协同科研

当前高校信息化在科研管理及支持方面的摄入力度甚微，大部分高校仅仅处于科研通知发布、成果统计、数字图书文献资料查询等低级应用阶段。在大数据的支持下，系统能将所有科研数据进行记录和保存，分析和挖掘，为研究人员提供申报建议，推荐研究领域相关合作者，相关文献，提供实验数据等，帮助教师申报课题、科学研究及项目结项工作的开展。

1.3 分析学生数据，使个性化学习成为可能

大数据背景下的校园管理信息系统收集和保存了大量有关学生的数据，包括学生入校注册的基本信息，在校所学专业、课程及成绩、去图书馆的次数及借阅图书类型、学生参加的社会及校园活动、社交情况等。大数据分析可以依据学生的学习行为和表现，对学生未来的学习表现和存在潜在的问题进行预测，帮助学生制订学习计划，推荐学习内容，使学生实时知道自己在学习中存在的问题，对学习行为进行优化，真正实现个性化学习。

2 高校目前的信息化建设瓶颈

几乎所有的高校在这十多年都经历了一至两轮的数字校园建设，提升了高校信息化的整体水平。但是，随着校园规模的扩大和业务的日益繁杂，我们发现这些信息系统基本是按照业务条线纵向建设的，各个系统管理的功能不同，业务数据分散，基础数据、公共数据缺少同步和共享，核心模型不统一导致数据不一致，形成信息孤岛，对于数据的来源和用途也缺乏规划，难以集中进行关联、融合的分析应用，不能满足学校对数据分析决策的要求。具体表现为以下几个方面：

（1）绝大部分高校，底层应用的“数据孤岛”现象很严重，各系统之间的数据尚未进行标准化和归一化，导致数据同步和交换存在困难，业务难以实现充分整合。

（2）目前的各个业务系统，以及“三大平台”，支撑的主要都是事务型应用，即数据的交换和共享均为满足单一系统功能实现而进行的共享，而不是全部共享。如果要做数据综合统计、信息挖掘、相关性分析等，现有的数据由于标准不统一，分离在各个业务系统中难以整合，因而难以支持分析方面的需求。

（3）绝大部分应用系统，其运行模式只会保留当前状态数据和结果数据，大量的历史数据、过程数据都被丢弃。但这些历史数据和过程数据恰恰是进行综合统计分析所需要的最重要的素材。

（4）由于数据难以跨部门调动和流转，导致各个职能部门进行业务分析时，只能利用本部门内部的数据进行单个维度分析，难以实现跨维度、跨部门、横向关联的复杂建模和分析。

（5）各个职能部门主管，以及校级领导希望了解各种综合信息时，只能通过逐级上报的报表了解过往信息和局部的、细节性的信息，且时效性较差，难以通过综合数据分析获得快速的、总体的综合信息，难以形成有效决策辅助。

3 高校基础数据建设思路

不同高校在看待大数据技术在高校领域应用的看法、认识各不相同，其规划思路和建设路线也各不相同，但对于大部分高校，可能需要根据现有情况先行治理，分阶段逐步推进。以下为作者对数据整理建设思路的几点思考：

3.1 治理先行，夯实基础

由于各信息化系统建设的时期不同，产品厂商不一，建设过程中以“补漏”为主，没有站在整体角度统一规划，即没有经過统一的数据标准和建设规范进行建设，导致信息系统在交互通信、数据融合方面面临着巨大挑战。受制于校内数据分散、标准未能统一，对于大数据分析的前要条件认识较清，对于大数据应用场景看好的高校，应注重数据融合打通与基础平台的能力建设，以期为后期大数据分析场景展开打下坚实基础。

3.2 需求导向，局部突破，带动整体

结合实际情况与需求，在本校当前定位中选取需求较强的领域进行小范围的重点建设，将某一场景进行深度挖掘、建设，在校内造成口碑效应的同时积累大数据项目经验，然后结合场景需求进行逐步扩展。

3.3 整体规划，逐步推进

对大数据技术及背景有深刻认识与技术储备的高校，可以根据学校战略制定宏观规划和时间计划，按照计划及建设内容稳步推进。

4 高校基础数据建设落地策略

数字化校园阶段的信息化建设模式以业务部门需求为主，主要解决线上办公以及具体业务线上管理等问题。为保障基于平台的数据分析应用的数据准确性、权威性，需要首先进行数据标准化过程，来自各个来源、类型的数据才能有效的进行打通融合，才能充分发挥数据的高价值。

4.1 理清业务数据、提高数据质量、统一信息标准

很多学校依赖于企业，自身对校内的业务数据没有详细的认知，也无法为数据价值的评估、数据的日常管理提供依据;且数据范围层面比较单一，仅将部分人员信息、组织机构信息等主数据进行集中和共享，导致当前数据量和数据范围无法满足新时期的大数据分析需求，对于关键过程性数据也没有统一的采集和存储的办法，严重影响未来的多维度分析及应用建设，原有中心库的数据满足情况不容乐观。

信息标准是整个信息化建设的基石，在全校范围内为数据库设计提供类似数据字典的作用，为信息交换、资源共享提供了基础性条件，也是推动“校级顶层规划设计”落地的首要工作。因此理清当前的业务数据，统一信息标准是急需解决的问题，《中华人民共和国教育行业标准》中“高等学校管理信息”部分详细地确立了高等学校管理信息的基本体系结构、规定了高等学校管理数据元素，适用于普通高等学校的数据结构设计，对于高校后期的业务建设和前期的数据整理都有很大的参考意义，高校可以对照生成对应的信息标准，由学校进行参考和审核。并在对业务部门进行充分调研的基础上，将参考标准引入至执行标准中制订适合学校可落地的信息标准。

4.2 建设数据共享交换平台

数据标准制定的下一步，需要对现有的数据进行整治与处理。目前很多高校己出现以主数据平台、数据仓库等产品为主的数据共享交换平台，很好的解决了信息系统间的数据共享问题，使得原来高校分散的、标准不一的各类数据能够统一的存储于同一平台，通过ETL工具、数据治理等技术进行很好的打通与融合。

4.2.1 数据治理的逻辑架构

建设数据共享平台，首先要对现有数据实现清洗、转换、装载和标准化存储。由于学校各业务线存在多个业务系统，产生的数据需要在平台层面进行打通和融合，然后进行统一的存储，所以不可避免要进行数据的清洗和转换。

图1为数据清洗的一般逻辑架构，关系型数据库作为事务型数据库，在高校场景下，除了可以满足业务系统数据等关系型数据的在一般场景下的存储和计算，数据库内部的强大的事务控制机制，可以保障数据的高频度即时插入和更新同时，保障数据一致性。

4.2.2 数据管理与监控

数据管理模块应该能够实现对于数据实体本身的分类定义和查看功能，让管理人员从业务使用的角度能够快速定位其想要的数据，并进行管理。数据管理模块支持自动化的从数据表中采集生成对应的数据，并支持按照分类进行数据的管理。同时通过主数据版本管理、主数据备份等功能，实现对于核心跨部门共享的主数据完善管理。提供配置接口，可将底层ETL工具（如ODI、Kettle）的数据同步任务执行的相关信息显示到平台，方便平时对于数据同步的监控管理。

4.2.3 数据备份管理

完善的数据存档与备份方案是构建全量数据中心的要点之一，目前业界成熟的做法为采用数据仓库模式，以拉链表的方式自动的对校级共享数据库中的元数据和主数据进行备份，并生成对应的主数据版本列表。这样的解决办法不仅能够记录历史变动信息，又不浪费存储空间。为数据的追溯和变动数据的记录打下坚实的基础。

4.3 开展大数据应用

在数据共享交换平台和管理工具层面进行不断的迭代和优化过程中，可以逐步结合高校业务部门实际的教育教学和管理创新业务思路，选取已经进入平台的部分数据，结合大数据技术的算法组装成分析模型，进行数据分析结果的输出和展现，形成并实现了包括综合校情、学生管理、校园公共安全、科研创新、人才引进和舆情监控等主题类应用场景，逐步覆盖服务于高校各管理层次、各类型人群、各业务方向的数据服务需求。

5 总结

当前我国大部分高校正处于数字化校园向智慧校园过渡的关键阶段，基础数据库、大数据技术及其组件的出现，使得原来高校分散的、标准不一的各类数据能够统一的存储于同一平台，然而受制于当前的情况，数据的治理必须是一个循序渐进、逐步提升的過程，在这个过程中需要根据学校的实际业务系统建设情况和业务需求，不断调整校内信息标准执行情况与数据对接的状况，才能让学校数据符合学校业务发展需要、并具备与学校共同发展和自我改善的能力。

参考文献

[1]蒋东兴，付小龙，袁芳，吴海燕，刘启新.大数据背景下的高校智慧校园建设探讨[A].中国高等教育学会教育信息化分会第十二次学术年会论文集[C].2014.

[2]郭晓明，张巍，刘化总.浅议高校数字校园中的信息集成[A].中国高等教育学会教育信息化分会第十二次学术年会论文集[C].2014.

[3]朱力纬，刘丽勤，王健.高校基于大数据时代的数字化校园建设研究[A].中国高等教育学会教育信息化分会第十二次学术年会论文集[C].2014.

[4]胡姗姗.教育管理信息化新发展：走向智慧管理研究[J].才智，2017（31）.

[5]陈禹壮.大数据思维探析[J].电子技术与软件工程，2018（03）.