基于Hadoop的教学资源平台建设

孙国福

（南京师范大学泰州学院 江苏省泰州市 225300）

1 引言

5G 时代已经到来，加速了信息产业技术的迭代，国家对信息化尤其是教育信息化的要求越来越高，使得教学资源的特征出现了很大的变化。高校在教学资源数量上也在迅猛发展，以爆炸式增长。在资源数据结构上也出现了多种结构，机构化的数据与非结构化的数据并存。如果继续采用传统的集中式管理教学资源平台，已经不能满足当今教学和实验资源的大数据化所带来的最新发展需求。这样就给我们开发和优化教学资源平台提出了新的要求和目标。因此，对教学实验资源平台数据存储的扩展性和可靠性的研究是必须的。本文将针对当前高校教育资源最新的需求，利用Hadoop 框架的基础上设计实验教学资源平台来解决实可扩展、高并发的增删改查，处理分析强大的海量数据。更好地提高管理者的使用效率，最终达到较好的辅助教学的效果。

2 关键技术介绍

Hadoop 是一个分布式处理大规模数据的框架。在Hadoop 技术集群中每台计算机都提供运算和存储，支持并行扩展，而不是完全依赖于某台高性能的服务器硬件支撑。Hadoop 包含多项技术，HDFS、MapReduce、Flume、Hive 等已经形成完整的生态系统。Hadoop 平台的核心构建为HDFS 分布式文件系统和MapReduce 分布式计算框架。

2.1 HDFS技术

HDFS 是一个分布式的文件系统，是Hadoop 平台的重要组件之一，多台机器构建集群共同协作，主要用来解决数据的分布式存储问题。HDFS 采用主从架构，一个HDFS 集群有一个主节点和许多个从节点，主节点主要负责来自客户端的访问和管理文件系统。从节点负责管理所运行的节点存储，整体架构如图1所示。

2.2 MapReduce技术

MapReduce 是Hadoop 平台的灵魂，负责大规模数据的分布式处理和分析。MapReduce 有两个部分组成，map 任务和reduce 任务，Map 输出就是Reduce 输入，MapReduce 编程模型计算的结果来自Reduce 的输出，并把结果存放在HDFS 文件系统中。MapReduce执行流程如图2所示。

3 平台设计

本文主要利用Hadoop 技术研究教学实验资源线上平台，总的目的是方便学生自主学习，对上传的教学实践资源统一管理，对学生的需求提供个性化的服务。分析和统计系统日志文件，使得老师和学生能通过平台获得自主交流。

表1：硬件表

表2：软件表

图1：HDFS 整体架构

图2：MapReduce 执行流程

图3：教学平台总体框架

图4：功能结构图

图5：资源收索界面

教学平台主要有三个角色构成，学生、老师、系统管理员，学生是教学资源的使用者，老师是教学资源的管理者。学生通过系统，对资源的下载、交流以及在线听课，对课程在线学习；老师对系统资源进行管理，上传优质课程资源和学术交流；系统管理员可以对角色进行管理分权以及系统日志文件的统计和分析，更好地管理平台。总体架构如图3所示。

本系统为学生提供一个优质的教学资源，方便学生和老师之间的教学反馈个教学互动，并对海量的教学资源存储个管理。其功能结构如图4所示。

4 平台实现

4.1 软硬件环境参数设定

4.1.1 硬件环境

本环节采用1 台实体计算机来虚拟3 个计算机节点，搭建Hadoop 集群，并使用另外一台计算机为终端对Hadoop 集群进行远程控制。如表1所示。

4.1.2 软件环境

如表2所示。

4.2 Hadoop集群搭建

4.2.1 Hadoop 环境变量配置

4.2.2 Hadoop 参数配置

4.3 各结点的SSH配置

SSH 是传输层和应用层上的安全协议，Hadoop 集群内结点之间通过使用SSH 协议，不但可以免密登录，还可以有效解决计算机远程登录时的信息泄露。

首先，对3 个结点分别产生公私密钥，设置本地五密码登录：

4.4 主要模块实现

4.4.1 学生资源浏览模块实现

学生资源只要是在校大学生的基本信息数据，是数据和结构化的表单数据。本设计中学生的基本信息存放在MySql。利用JDBC驱动连接到MySql，通过SQL 语句对学生信息表进行增删改查，连接代码如下：

4.4.2 收索模块的实现

收索模块的功能，是通过前端的页面对教学资源平台存储在MySql 和HBase 上的数据库检索，MySql 数据库使用的是SQL 语句，HBase 使用API 提供的HTable 类的GET 方法，通过column、rowKey 实现。

使用本系统的收索功能，关键字输入“移动学习”，收索模块就会同时对MySql 和HBase 上的数据库进行检索，并在页面返回结果显示。搜索关键字：移动学习，如图5所示。

5 总结

本文使用Hadoop 技术实现了高校教学资源平台的建设，本平台是一个全开放的资源管理平台，交互性和实时性都比较强。不但能给老师、学生提供方便快捷、安全可靠及稳定的服务，还大大减轻了系统的运维成本。给高校存储和管理资源数据提供了新途径和新思路。