高校教育大数据平台的构建与关键技术研究

张 宁

（辽宁省大数据管理中心辽宁省信息中心 辽宁沈阳 110002）

引言

当代社会之所以能够以如此快的速度进行不断的发展和进步，主要是因为大数据在社会发展过程中，起到的重要推动作用，并且为我们国家的各个领域方面的发展也有着重大的引导作用。对于我国教育领域方面的影响，也是非常的深远，各大高校为了能够积极地顺应时代发展的潮流，也在积极地构建大数据平台，如此一来，就能够充分的运用大数据平台的信息分析作用以及相关的挖掘能力，对于我国教育体制方面的改革是有着重大的推动作用。

一、教育大数据的整体特征和相关平台所具有的功能

1.教育大数据的特征内容

根据相关资料调查显示，教育大数据的含义，主要指的就是在进行教育教学的过程中能够生产出具有结构化和非结构化等相关特点的数据信息，除了要具有结构化和非结构化，还应当具有分布式存储管理相关特点的新技术以及新的处理模式，并且在这样的影响下，教育大数据才能够针对多元化的数据信息进行的分析、储存和有效处理。大数据相关的新技术和处理模式，在一般情况下，指的都是认知计算、HBase分布式数据库以及Hadoop分布式集群等能够起到分析挖掘以及储存计算方法。教育大数据在不断发展的前提下，是能够不断地推动我国教育体制改革方面不断地进步和发展，并且在其中还能起到非常关键的作用，以及能够体现出较高的价值，一般教育数据所包含的内容，是包括高校在日常生活中产生的教育教学、科目研究以及学生管理方面产生的数据信息，其中最主要的结构内容还包括了高校师生的基本信息，就比如说，学生的学习成绩、教材等，以及教师相关教学内容相关各种基本信息。这些师生的基本信息以及学校发展的基本信息之间是独立存在专属的储存空间，在一定程度上是具有较高价值、多种类的类型等相关特征[1]。

2.数据大平台中包含的各种功能

只有将教育大数据相关的利用价值进行深层次的挖掘，就能够帮助各类高校建立起本校专属的数据大平台。数据大平台的重要性基本上是由于其具有的多功能，才在各个高校中能够起到非常重要的作用。接下来，将从以下两个方面来对数据大数据所具有的功能进行简单的论述。

第一点，数据大平台能够对于学校所产生的各种数据信息进行有效的融合以及储存，就比如说，相关高校在日常管理的过程中，会产生很多数据信息，比如上文提到的学的基本信息，相关学生方面的管理而产生出来的信息内容，再加上高校的教师和学生的数量普遍来说是比较多的，所以在一定程度上，产生出来的各种数据信息也是比较繁多和复杂的。如果不能够充分的利用数据大平台相关内容来进行处理和储存的话，就会在高校管理的过程中，产生很多影响，严重的话，还会影响到整个高校的日常管理。由此可得，在高校中充分的运用数据大平台，是能够完美地体现出数据大平台能够将高校日常生活管理过程中产生的各类数据信息进行妥善的处理和储存[2]。

第二点，数据大平台在高校教育的应用过程中，还能够充分地体现出数据大平台能够对高校日常管理学习过程中产生的新型信息数据进行统一化的管理以及数据信息的整体储存。详细地说，就是高校在实际的经营管理过程中，学生和教师是会产生一定的变化，尤其是学生，每一年都会有毕业的学生，还会有新来的学生，对于这些新来的学生所产生的重大信息数据等相关内容，都是需要进行统一的管理和储存的，还要注意与原有的信息数据方面进行区分，避免出现混淆的情况。因此，在整个对新型数据信息的处理过程中，能够更好地展现出大数据平台的功能。

但是，由于高校中各种数据信息的来源是多种多样的，这样一来，对于大数据平台相关功能的缺陷展现得淋漓尽致，因此，就需要采取相对应有效的数据信息处理相关措施。就比如说，在运用大数据平台相关功能的过程中，要尽可能的制定统一化的数据标准，对于以往陈旧的数据信息进行有效的处理，避免在接受新型信息内容的过程中，和陈旧信息内容之间混淆了。其次，应当有效地确保相关数据信息在访问的过程中，所使用的是统一接口，并且还要有效地保障所产生的数据是具有唯一性特点的归口。然后还要在对高校相关信息数据进行有效处理的过程中，要对有问题的数据信息进行准确的筛选，继而进行处理、分析，要最大限度地保障整个数据信息的质量是始终处于提升的状态。最后，对于大数据交换平台的相关内容要进行合理化处理，要以数据信息共享方面的不断提高作为基础内容，并且要在数据信息的采集方面尽可能做到规范处理，同样也包括管理和应用等方面的内容，这样一来，对于高校中的综合数据信息的相关分析处理的能力进行有效的提高，从而保证整个高效数据能够实现全量的融合。

二、高校教育大数据平台的构建问题

在高校相关数据信息的处理过程中，充分的运用数据大平台的相关功能，是能够将高校日常管理工作中产生所有数据都集中在同一个数据库当中，在对整个数据库中的相关数据信息进行处理、分析以及挖掘的过程中，是需要将学生的具体情况进行有效的融合，这样一来，是为了能够更好地研究出合适的教学方案和具有科学性的教学模式，与此同时，对于整个高校的教学方面的管理工作以及学术研究方面的发展，提供了关键的数据信息方面的有力保障，从而能够将高校的教学质量进行更高层面的提升，并且在一定程度上对于我国高校教育教学方面的改变提供了一定促进作用。

相关高校在进行数据大平台的构建过程中，还应当充分的发挥相关的功能，主要从以下四个内容进行描述。第一，相关高校要能够为学校提供相对应的数据信息采集的各种接口，要保证数据大平台在进行数据信息的收集过程中，各个系统中的数据的连接是具有效果的，这样一来，就能够最大限度地实现数据大平台在进行数据信息的收集过程中是保证具有时效性的，而且对于具有非结构化和结构化相关数据也能够进行有效的采集、融合以及处理。第二，相关高校在充分运用数据大平台的过程中，对于分布式储存系统的运用要始终保证科学合理的运用，就比如说，对于前文提到过的那两个系统的运用过程中，要将各种类型的数据信息进行有效的储存，将相关数据大平台中的查询以及管理等相关功能进行有效地提高。第三，相关高校在运用数据大平台的过程中，要依据相关分析、管理以及应用等方面的各种需求，来对相关的计算方法进行区别运用，就比如说常见的算法有，图式计算、实时计算等。这样一来，就能够将高校中大量的数据信息进行有效的手机、挖掘以及分析和使用。第四，依据相关高校的教育教学的各种决定需求以及高校发展各个方面的需求，要能够提供与之相匹配的数据分析法以及数据计算等方法来进行有关数据信息方面的处理和分析。

1.数据信息方面的采集层

相关高校教育教学过程中，产生的教育数据信息的基本内容一般是包含着教学、科学研究以及学生就业问题等方面的教育管理数据，还有就是在实际的学生教学过程中而产生的各种教学视屏、图画以及相关文档等各种数据信息，以及在教师的教学过程中以及学生的学习过程中会产生的各种数据信息也要进行有效的处理。高校教育大数据平台对于各种信息数据方面收集工作过程中，通常会对高校各种业务管理体系在运转过程中产生的各种数据信息和具有实时性的数据信息这两种进行有效的收集。在这其中，相关收集业务的管理过程中也会产生各种类型的数据信息，对于这类数据信息的相关处理基本上逗死通过批量导入、将接口的相关处理进行公开化以及将数据库相关的数据信息记录直接读取出来等各种方式来进行实现，但是，针对各种图像、音频等相关多媒体数据的收集过程中，一般是经过图像识别的有关技术，才得以实现。

2.数据信息方面的储存层

相关数据信息的储存层，一般都是要以HBdoop技术作为基础，再充分的利用服务器中所含有的硬件，以及对于Hadoop这种具有分布式特点的计算框架来构建出一个可以为Hive、HBase等相关信息技术来为大数据相关内容提供相对应的服务，与此同时，还要完成高难度的吞吐、容错以及可靠等相关工作，来进行数据信息的分析挖掘工作的相关任务，并且，还要充分运用具有较高的扩展性以及可靠性的分布式系统。这样一来，就能够最大程度的满足各种不同方式的储存以及可以实现数据结构对于高校教育中大数据的各种采集工作以及存储要求，因此，在进行数据挖掘层次的过程中，还要有一定高效方面提高相关的基础保障[3]。

3.数据信息中的挖掘层

在高校相关数据信息的处理过程中，相关数据信息中的挖掘层主要包括了要对高校中相关教学方面的管理内容进行简单的分析、挖掘以及御用，再具体地说，其中主要内容就是包括学生具体行为方面的分析、学习内容的有关分析和专业分析，以及教师的各种教学行为方面的分析和科学研究方面的分析等。在这其中，主要能够波及大数据平台中的技术，可以从两个方面的具体内容进行简单的分析，第一点，在实际的应用过程中，要不断挖掘新数据技术的相关需求，将挖掘相关的模型进行有效的设计。第二点，在充分利用大数据信息平台的过程中，要充分的利用数据挖掘的各种功能，要及时地发现问题，并采取合适的措施来进行解决。

4.数据信息中的运用层

在对高校相关数据信息的分析、处理和挖掘的过程中，需要注意的一个方面就是要从中发现相关数据信息的运用价值的高低，但是为了能够有效地体现出相关数据信息在运用过程中的各种价值观念，还需要在实际的运用过程中进行充分的展现。依据学生的角度来看，要对学生的基本信息和状态进行深度挖掘和分析，尽可能全面的掌握学生的心理状态，要帮助学生在未来的发展轨迹中设定相关的发展目标，而且要依据学生的心理状态以及成长经历，对学生进行画像描述。依据教师的角度来看的话，应当在教学的过程中，将上文提到的数据信息方面的挖掘工作进行充分的运用，并将其中有用的数据信息融入相关的教学方案中，这样一来，相关教师的教学方法就得到了有效的创新，并且能够提高相关教师的教学质量。而且对于专业化的相关内容的发展要有一个全面的分析，要及时地检查专业改革所带来的多方面影响，避免出现制约专业进行改革等不好的情况。与此同时，能够有效预测是否存在制约高校整体发展的各种负面的因素。

三、高校教育大数据平台中关键技术

1.收集数据信息相关技术

高校大数据平台在收集相关数据的过程中，通常会采取以下两种方法：第一种，关于已经存在的各种业务管理中相关系统进行对接工作的过程中，需要将各个业务系统中产生的各种数据信息都要进行集中处理，一般来说，都是要放到同一个大的数据仓库中进行储存，然后对于相关数据信息的存取标准要制定出一个合理的标准要求，并且在这种前提下，充分的利用API对接来直接对相关数据信息进行读取和相关的收集工作。第二种，就是采用比较直接的方法来对数据仓库中的数据信息进行收集，一般来说，是会应用到Flume技术来达到相对应的收集工作的目的。在整个收集数据信息的过程中，主要的对象就是高校中的学生和教师，并且会对高校中的师生在校的生活中发生的事情中的数据信息进行收集，但是当事件监听器对于相关事件对象的行踪信息有所掌握之后，就会充分运用事件处理器，并且将相关事件中的各种行为信息数据进行有效的处理和整理，在完全整合之后，会将相关内容发送到相关服务器当中的收集组件，收集组件在处理完相关数据信息之后，会将相关的数据信息发送当缓存组件中。之后才会通过数据发布的相关组件将有用的数据信息发送到消息处理的队伍之中。

2.数据总仓库的设计技术

结合之前所产生的各种数据信息的处理方法，可以从中看出，一般情况下，都会充分利用各个业务当中的管理系统进行有效的储存。并且针对这一部分的数据信息会进行有效的收集，对于各种类型的知识内容也会进行获取，在相关数据仓库搭建后，还需要相关联的数据进行转换，这样是为了将相关数据信息更好地进行储存。由于高校的专业种类是比较多的，教师和学生数量也比较多，因此，在进行数据收集的过程中，要按照专业、教师以及学生的各种行为进行有效的分析，并且在应用的过程中，要保证相关主题是符合相关要求，另外，还要充分结合数据颗粒度中存在的原理进行相关数据组织工作，并且还要设计出大数据平台的储存仓库。

3.数据存储以及计算技术

高校教育大数据在实际应用的过程中，所能够设计到的范围与规模的发展过程中，逐渐呈现出增大的发展趋势，因此，在进行高校教育大数据进行相关的管理工作以及储存的过程中，要充分的利用Hadoop技术，这样一来，就能够更好地实现相关数据信息的储存管理和计算机一体化方面的发展。

结语

总的来说，在高校管理的过程中，构建出高校教育大数据平台，是能够将相关教育教学过程产生的多种数据信息进行深层次的挖掘，这样一来，还能够充分体现出教育大数据中的重要现实意义，就比如说，可以更好地帮助高校培养出精通各种大数据信息技术的专业性人才，以及能够在一定程度上推动了高校方面的教育、教学以及科学研究方面的改革，还能够更好促进相关政策的顺利运行。