基于大数据技术的智慧校园数据服务平台设计与实现

杨子天 李涛

摘 要：文章针对国内目前高校智慧化校园中存在的信息数据处理问题，运用新兴大数据技术，设计开发智慧校园中的數据服务平台，着力解决各高校信息孤岛问题，通过对高校各系统数据的整合、分析、挖掘，为高校提供精准的辅助决策数据和分析报告，主要包括海量、多样的高校大数据的采集、清洗、计算与分析，海量高校大数据的动态图表与可视化报告以及通过人工智能手段进行数据挖掘等功能。

关键词：大数据技术;智慧校园;数据服务平台

中图分类号：G647  文献标识码：A  收稿日期：2018-08-06

文章编号：2095-624X（2018）31-0042-01

一、平台的设计与实现

为了解决传统手段难以满足高校对信息化辅助管理决策的新需求，数据处理和存储效率低下及建设门槛和成本高的问题，平台先利用流式架构整合智慧校园中的各类关系型和非关系型数据，研究多种异构数据源数据的统一采集、汇聚和存储及快速访问。在此基础上结合校园业务应用场景，利用机器学习框架，构建特征模型，对数据进行监督和非监督训练，确定其间的关联关系并作出预测判断。实现对学校内所有数据资源的统一、科学的组织与管理，提高数据质量，释放数据价值。

1.设计目标

本平台以智慧校园为基础，利用流式数据处理、机器学习分析等大数据技术，高效地收集整合高校各方面所产生数据，从其中提取出有价值的信息和模型，推动高校教育的全面创新，是根本目的。本平台的设计开发目标有以下三点：①针对异构且更新频次不一的数据源构建统一的数据采集平台。②针对使用要求不一的数据构建统一的分布式数据存储服务平台，提供统一的数据接口。③结合智慧校园的业务场景应用，利用机器学习技术，挖掘数据的新价值。

2.平台架构

平台系统整体架构包括大数据处理、数据挖掘、硬件环境、客户端等四个部分。其中大数据部分构成整个平台的基础，硬件和软件系统构成平台的容器，客户端是平台的出口。

（1）业务架构。在集群硬件环境支持下，利用微服务架构加上SpringCloud技术以及docker+kubernetes等技术实现一键布署。各微服务支撑高校大数据的所有业务场景、功能以及展示、报表所需要的资源;微服务通过Restful WebAPI实现与客户终端的连接，微服务以这种接口形式实现服务与客户端的分离，从而可以灵活地实现多终端的接入以及为第三方提供服务能力。如SpringCloud为微服务提供安全、熔断、负载均衡、治理等能力。

（2）技术架构。本次系统平台技术框架设计从数据采集到数据处理、分析、计算，使用hadoop技术栈中大部分技术。可以采集从结构化到非结构化数据以及syslog 、消息队列等，几乎涵盖了目前行业内的大多数数据类型。能够处理离线和实时流数据，数据量可达TB级别，实时处理千万条数据可达到秒级或亚秒级，且所用设备量较少。

二、平台建设的意义及价值

1.实践意义

本平台设计是以高校信息化建设纲要及大数据发展行动纲要为依据进行创新性探索，主要实践意义有三点：运用新兴技术，全面推进高校发展;建立有效的数据处理通道，推动业务融合;充分释放数据价值，探索业务规律。

2.理论价值

本平台实现的理论价值有建立新的数据处理方式：根据高校数据的特点，设计节省存储空间、查询效率高的数据处理机制。建立新的智慧模型：通过对普通高校大量数据和应用需求的分析和实践探索，建立可推广的模型。推动管理理论的变革：将大数据技术应用于教学管理实践过程中，在提高管理决策科学性的同时，推动学校管理理念的变革，进一步提高管理水平，提升学校的综合竞争力。

本次智慧校园数据服务平台依据现阶段高校数据计算特点，重点着力于“智慧”应用，充分运用当前新兴的大数据技术，探索出一套“存储—计算—挖掘”一体化的高校大数据框架。目前整套平台实现运行，在海量数据中获取价值，产生“智慧”，进而推动决策层向数据决策化发展，为未来高校的发展探索出一条新的道路。

参考文献：

[1]叶晓斌.提高高校教育教学管理信息化水平的思路探索[J].时代教育，2017（9）：240.

[2]杜 渂，张嘉成.消防大数据分析服务平台架构设计研究[J].电信快报，2017（8）：24-28.