大数据技术在高校信息化中的应用与研究的思考

胡欣颜

摘要：随着社会市场经济的不断进步，大数据时代已然到来。为了促进现代化经济建设的进一步发展，确保各个行业与大数据信息技术的完全融合，是社会市场经济快速发展与进步的必要前提条件。为此，需结合大数据时代背景互联网概念，建立高校与社会发展相适应的现代信息化教学模式，引导学生创新思维能力的发展，从而增加学生的专业能力与综合素质水平，为国家培养高素质的复合型人才。

关键词：大数据技术;高校;信息化应用;研究思考

引言：

现阶段，科学信息技术手段的逐渐普及使社会各个领域的现代信息化建设步伐飞速进步，高校传统模式下的教学方法以及无法顺应社会市场经济不断变化的发展需求，需要做出相对应的创新改革，将对应的大数据技术与高校相关教学课程有效结合，充分发挥大数据技术的实际价值，推动高校的信息化建设进度。

1.高校信息化建设现状

现阶段，大数据技术在信息化中的实际应用过程对各大高校來说，大多仍处于迷茫阶段。高校建设了众多大数据信息系统，如教务管理系统、招生就业系统、一卡通系统、考勤以及网络管理系统等各类大数据平台系统，为在校师生提供较为方便快捷的先进信息化服务，同时也产生了大量的数据信息。大数据技术在高校信息化中的应用需要以此种数据信息为根据，对其进行有效的开发与利用，才可对高校各方面的工作成果较以往更为有效，也在一定程度上提高了高校的现代化信息建设水平。

除此之外，由于前期阶段高校的信息化系统建设缺少健全完善的统一标准与规划方案，使大数据信息系统所产生的数据信息具有不统一性、碎片化特征，难以实现互相共享以及有效的信息交流沟通，极大程度上限制了高校教学质量与管理水平的提高。

2.大数据技术在高校信息化建设中的应用

2.1数据采集模块

大数据技术具有多元化、多样化的特征，其数据信息来源广泛，数据采集的对象也分为多个种类。如高校实际运营过程中的教学数据、管理数据、一卡通数据、科研数据以及各类上网浏览记录以及互联网数据信息等，大数据技术基于以上数据信息为依据，来进行有效的数据资源的采集提取与分类整理以及数据存储工作，从而为后续的数据资源处理工作的有序开展奠定基础保障。

2.2数据处理模块

随着现代化经济建设的不断发展，当今时代背景，信息资源数量正急剧增涨，数据资源具有极高的驳杂性与碎片化特征，数据预处理与格式转换所需要花费的相关经济成本投入也较高，通常情况下采用三种数据采集方法对其进行有效的采集分析。

一种方法是利用节后与ETL工具，针对大数据时代背景下的结构化数据信息采用数据库导入的方式对其进行有效的数据采集分析工作，其中，ETL工具可使用如Kettle或是其他相关工具;另一种方法是对非结构化与半结构化的数据信息进行采集分析工作，利用Flume或Sqoop等方式对其进行有效的数据采集分析工作。

除此之外，针对互联网络上的半结构化以及非结构化数据信息，可借助网络爬虫工具，对互联网资源的原始网页数据信息进行采集抓取，从而对其进行数据采集分析工作。也可运用分布式的存储架构来对互联网络信息数据资源进行处理，按照数据信息的不同类型与不同特征，通过数据信息资源的整合、清洗变换等处理方式，将结构化信息数据资源存储于RDBMS中，与之相对应的半结构化信息数据资源以及非结构化信息数据资源则持久化到HBsae以及HDFS中，达到数据资源预期中的理想处理效果。

2.3数据挖掘分析模块

大数据信息处理架构期间，数据信息资源的挖掘分析模块是其核心模块，将直观影响到大数据信息处理架构的实际效果，其重要性不言而喻。数据挖掘分析模块通常情况下，是通过Kafka将数据信息资源在其内部架构中进行分发，再根据不同的业务需求以及数据信息资源的实际情况与种类的不同，数据信息资源可分为两方面，一方面是基于Spark Streaming的准实时处理部分，另一方面则是基于MapReduce的离线处理部分，通过以上处理方式将数据信息资源同步到ElasticSearch中（实时索引系统），为庞大驳杂的大数据信息资源提供实时有效且方便快捷的数据信息资源检索服务。

同时，数据信息资源的挖掘分析工作主要是基于Hive平台，调用Hive平台的挖掘算法来进行数据信息资源的并行计算，从而获取到大量数据信息资源中所隐藏的知识模式，也要基于高校的信息化建设数据资源处理标准，严格按照国家相关法律法规去创设与之相对应的数据信息资源分析模型。

2.4数据应用模块

如字面意义所言，数据应用模块是将其数据资源信息的采集分析处理结果应用到高校的各类实际分析决策场景中，为高校师生提供较以往更为有效的个性化服务于更为科学合理的决策项目与教学管理模式。通过建立大数据信息资源共享平台，可使高校的数据信息资源不再具有碎片化特征，使其形成统一的大数据信息资源处理模式，数据信息资源的处理效率与处理质量较以往也有了极大程度上的提升，为学生提供全方面的学习服务与生活服务，也为教职工与高校提供了更为真实准确的数据信息资源的后台保障，使决策更为合理。

3.大数据技术在高校信息化建设中的作用

大数据技术可实现高校的数据信息资源整合与配置优化，避免传统模式下“数据孤岛”现象的产生，使高校的治理能力得到一定程度上的提升，管控措施也得到相应完善。同时，大数据背景下，可基于师生之间互动教学与实际学习过程中的数据信息资源开展全面智能的动态化数据采集与分析，以此为依据不断创新发展高校的教学模式与教学方法，以便提升课程的教学质量与教学效率，有利于高校的人才培养。

除此之外，大数据技术也可分析学生的实际需求以及心理动态，从而在第一时间发现学生个体情绪上的不稳定，继而有效保护学生的人身安全，提高高效的教学管理水平。

结束语：

大数据技术的发展对高校现代化信息建设的有序开展奠定的重要的后台技术基础保障，同时也是现阶段教育行业深化创新改革的必然要求。大数据技术在高校的信息化应用中，可将自身的作用充分发挥到最大效益，最终促进学生健康成长以及教职工教学质量与教学效率的提升，从而有效推动我国教育行业的健康可持续发展。

参考文献：

[1]张海峰.大数据时代高校国有资产全生命周期信息化建设探析.实验室研究与探索，2020（10）.

[2]邱筠.大数据时代高校资产管理信息化建设探析.湖北师范大学学报，2020（5）.