基于大数据的高校数据整合模式研究

邵美科

摘 要：随着大数据时代的到来，高校的数据资源呈几何级数的增长，在此背景下，基于大数据的高校数据整合模式研究，尤其是消除高校的“信息孤岛”，提高对数据资源的利用效率，对原本利用率低下且分散的数据资源进行更深层次的共享和挖掘，为高校的发展提供有效的决策支持逐步成为很多高校关注的重点。

关键词：数据整合；高校大数据；数据共享平台；数据集成

随着信息化发展的日益加快，具有相应业务功能的信息系统越来越广泛地应用于高等院校的科研、教学、管理等各个方面，依赖于便利有效的信息系统，高校信息化与数字化水平得到很大提高。但由于高校数据集成还处在建设初期，信息化建设前期缺乏长期整体规划，信息资源独立分散，标准不统一，数据冗余，信息化程度不同，信息孤岛现象严重，难以进行基础数据综合查询分析或决策支持。信息资源的难以整合，不但不利于高校资源的统筹应用，也不利于信息资源使用效率的提高。因此基于大数据的高校数据整合模式研究，提高数据资源的利用率，对原利用率低而又分散的教育资源进行更深层次的数据挖掘，进而为高校的发展战略提供科学依据，对于支持高校信息化全面发展具有重大意义。

一、现状分析

近年来，我国对信息化教育十分重视，2000年前后，国家挑选了部分重点大学进行信息化试点，但在数字化校园建设的早期，各学校对学校大数据整合的规划较少，高校虽完成了多套应用系统的建设，但各系统在使用过程中积累了越来越多基础数据。至“十一五”规划期间，最先开始建设数字化校园的一批高校纷纷进行了数字化校园架构的调整，开始着眼于基础平台的建设，同时加强信息标准的制定和执行，提出了面向服务的建设思想。

按照信息化发展阶段性要求，三大基础应用平台的建设符合预期规划，统一身份认证平台和信息门户平台实现了一站式服务，极大程度加大了用户对于各业务系统的访问便利度。为了充分利用学校的数据资源，提高现有应用系统数据资源的使用效率，对于数据整合模式的研究逐渐成为各高校研究的重点。

二、需求研究

完成对高校内大数据有机的整合和继承管理，掌握学校各项活动中发生的庞大、海量数据，并利用大数据处理技术对这些信息资源进行挖掘、整理、分析，为学校发展提供决策支持，是下一阶段高校信息化发展的重要任务。

（1）数据资产意识薄弱。

数据资源建设的意识相对薄弱，很多高校没有充分认识到数据也会对学校的教学科研管理起到重要作用，现有业务系统繁多，业务系统之间相互独立，数据无法共享，而且没有全校性的数据标准，数据质量堪忧，数据资产不能发挥有效价值。

（2）数据管理缺乏规范性。

高校内部建设了多个业务系统，依据各部门的业务需求，其分别设计了信息系统建设标准和数据标准并采用了不同的架构和开发技术。但这些系统在应用及数据层面上彼此分离，导致各单位数据标准不一致，在数据共享平台的建设过程中，不能有效分析数据库表结构，在共享过程中时常出现匹配错误等现象。

（3）存在信息孤岛。

在数据管理维护工作方面缺少高屋建瓴的规划，各部门采用不同的业务系统，所有数据信息分别存储在不同地域不同数据库中，数据存储具有分布性和异构性特点，且彼此之间不具备一致有效的数据格式和交换接口，形成了许多“信息孤岛”。

（4）信息队伍建设不足。

在信息化队伍的建设方面仍面临着许多问题。在高校建设方面，学校的投入主要在于对传统业务部门的建设，而对于信息化的建设相对较少；在人才队伍的建设方面，业务部门大多并没有设立信息化管理人员，因此建设和维护能力相对薄弱。

三、模式研究

各高校的数据整合建设任务主要集中于数据库管理和数据分析两个方面。而对于高校数据中心的具体建设思路主要有以下三种不同的模式：

（1）数据集中模式。

数据集中模式需全面丢弃原有的系统，对于新数据中心要求统一制定新的信息标准，并开发统一应用平台，建立的统一的数据库用于存储全校数据，位于架构中的各个应用子系统也需重新开发，各业务部门并没有独立的数据库。

这种模式的优势在于系统之间的耦合度较高，数据中心与子系统间易于实现无缝连接，因为无需第三方系统的接入，降低了建设和实施的难度。但这种模式开发周期相对较长，设计者需要充分掌握各业务部门不同的需求，后续的应用开发也完全依赖于同一家开发商，综合成本较高。[3]

（2）数据共享中心。

大部分高校的应用系统功能完善，完全舍弃会造成资源的浪费，数据共享中心并不改变原有的应用系统的架构，而是通过提取系统中具有共享价值的数据信息实施系统的搭建。各部门仍在原有的业务系统中完成读写工作，而当部分数据的操作与共享数据相关时，应用系统将会通过前期的部署工作完成共享数据的录入，达到数据层面上的互联。数据共享中心的优势在于，各部门可充分保留原有资源建设，后续应用只需明确其与共享数据库的关系便可向数据中心提供新的数据子集，但此种模式要求对各业务系统的数据标准要求较高。

（3）分布式资源整合。

分布式资源整合有两种主要工作模式：a.业务部门在本地系统中操作数据，应用系统则只会访问本地数据；b.业务部门请求访问其他部门的数据，应用系统则与数据中心进行互联，通过数据中心达到对于其他部门数据资源的访问。分布式资源整合模式搭建了一个资源索引库，索引库中存放收录了各部门的共享数据，并明确了数据在网络中所处的实际方位，原始数据仍位于各部门。当有用户要求对共享数据进行访问时，工作站将视图框架传至数据中心，数据中心准确地对所需数据的位置进行精确定位，将这些信息填入用戶请求的框架后返回给用户。此类模式要求各个部门的数据库架构设计、网络运行状态具有较高水平，对数据中心硬件要求最低，需结合多个不同的应用系统进行操作才可完成决策支持，对原系统会造成一定的性能影响，后续建设问题较多。

四、结论展望

随着信息技术发展的不断成熟，高校信息化发展迎来了空前的机遇。在信息化建设的过程中，基于大数据的数据整合工作虽任务繁杂但却是最不可缺失的重要环节。有效的数据整合可以大大加快各部门的数据融合度，实现教学活动在时间空间上的扩展，教学模式上的创新，为提高科研工作水平，实现学校管理的现代化打下良好基础。

参考文献：

[1]戚丽，等.校园数据中心建设与管理方法的探索[J].教育信息化，2002.7.

[2]唐蓉君，熊忠阳.高校数据中心建设探索与实践[J].中山大学学报，2009.3.

[3]吴士杰.数据整合技术在高校应用系统中的研究与实现[J].计算机光盘软件与应用，2014.12.