基于Hadoop的英语辅助教学云平台的构建

李洁　钟锐

摘 要： 目前传统网络英语教学方法互动性不足，无法同时满足学生不同的英语学习需求，传统网络英语教学平台采用的是单服务器模式，无法负荷大量学生对教学资源的同时访问。本文通过使用Hadoop平台软件，通过对该平台软件的配置，实现英语辅助教学云平台的搭建，在所搭建的辅助教学云平台中添加优质的英语教学资源，实现大量学生同时访问，有效提高學生的学习兴趣与自主学习能力。

关键词： Hadoop 云计算 英语辅助教学云平台

云计算是传统的分布式计算技术与网络技术共同发展融合而成的产物，具有高度可靠性、通用性、可扩展性及成本低廉等诸多优势。因此，云计算经过近几年的快速发展，已经被广泛应用于各行各业。目前有很多开源的云计算平台软件：Hadoop、Eucalyptus、Enomalism、MongoDB等。其中Hadoop是当前应用最为广泛的云计算平台之一，该平台基于Google的MapReduce的编程模型包发展而成，现已迅速发展成为大数据分析的领先平台。在英语教学方面，由于涉及听说读写等多个模块，每个学生针对不同的模块有不同的侧重点。如果采用传统课堂教学方式，将无法满足学生对英语教学中各技能的训练需求，不能有效提高学生的学习积极性。同时，英语教学涉及的学生人数众多，英语教学资源多为视频、音频等资源，传统辅助教学平台无法负荷大量学生同时对以上资源的访问。因此，在本项目中采用Hadoop构建英语辅助教学云平台，通过在所构建的辅助教学云平台中添加优质的英语教学资源，增加师生互动的网络英语版块，提高学生的学习兴趣与自主学习能力。

1.Hadoop平台的系统架构

Hadoop是一款开源的云计算平台软件，由Apache基金会所开发，由于其具有扩展性强、成本低、可靠性高等优点，目前被广泛应用于各领域。Hadoop主要由三部分构成：Map/Reduce分布式计算框架、分布式文件系统HDFS（Hadoop Distributed File System）和分布式数据存储HBase（Hadoop Database）。Hadoop能够在低端的硬件平台上搭建云计算环境的基础服务与接口API。同时由于Hadoop采用Java进行开发，因此能够兼容多种操作系统，移植性较高。

1.1Map/Reduce分布式计算框架。云计算的核心技术为分布式并行计算，Map/Reduce分布式计算框架是Hadoop平台的分布式编程模式。其具体的工作流程如下所示：

Step1：将需要运行的程序调用Map/Reduce分布式计算框架，把输入的数据分割成与Map主机数目相同的n个部分数据块，并将划分好的数据块分配给所有Map主机；

Step2：由Master主机对任务进行分配，将Map任务分发给Slave主机进行分布式并行计算，最后由Reduce主机对Slave主机所得出的计算结果进行合并。

Step3：每一台被分配了Map任务的Slave主机计算出一组键值对〈key，value〉，所有这些键值对为当前任务的中间结果。

Step4：将Slave主机计算出来的中间结果送入Reduce主机中进行结果的整理与合并，得出当前任务的最终结果。

从以上Map/Reduce分布式计算框架的工作流程可以看出，该计算框架的两个核心步骤为任务映射Map结果整合Reduce，通过调用Hadoop云计算平台中的映射函数（Map）与整合函数（Reduce），实现Map/Reduce的核心功能。

1.2分布式文件系统HDFS。HDFS系统采用的是Master/Slave架构，该架构由命名节点（NameNode）、数据节点（DataNode）和客户端（Client）构成。其中命名节点是分布式文件系统的核心部分，主要用于控制客户端对文件系统的管理与访问。当使用Hadoop平台实现基于的云计算管理平台时，在命名节点的统一调度下对数据进行分块、删除及复制等操作。数据节点则主要负责数据的存储，同时HDFS为每一个数据块创建多个副本，确保数据的高度可靠性。

1.3分布式数据存储HBase。HBase在分布式文件系统HDFS之上实现一种非结构化数据存储的数据库，该数据库中的数据不像传统的数据库表中存在大量的关联关系，HBase中存储的数据为松散数据，在该数据库中，每一个数据行都具有一个可供选择的键与不限定数量的列。在该数据库中创建的表可以根据需要为每一行定义不同列的属性，具有很强的灵活性，对于一个复杂的数据库项目具有很好的实用性，能够极大地简化数据库设计与升级的成本开销。同时分布式计算框架Map/Reduce为HBase提供了强大的计算能力，使之实现高速的数据检索。

2.英语辅助教学云平台的系统框架

为了搭建有效的英语辅助教学云平台，采用Browser/Server模式搭建该平台，将搭建的英语辅助教学云平台中的数据存储、分布式计算及用户体验进行模块化处理，使每个模块之间都相互独立。为此，本项将该平台划分为三个层次，分别为教学资源存储层、学习评价层和用户访问层，每一层具体完成的功能如下：

2.1教学资源存储层：该层采用Hadoop平台实现，使用Hadoop平台中HBase作为教学资源的存储数据库，将各种有利于英语教学的音频、视频、图像等数据存储于该数据库，应用Hadoop平台的分布式特性，实现以上教学资源的分布式存储，当以上教学资源存在大量的并发读取、写入及查询等操作请求时，则调用Hadoop平台中的分布式计算框架Map/Reduce为HBase提供高速并行的计算能力。

2.2学习评价层：在该层使用数据挖掘中的聚类、关联规则、贝叶斯分类等算法，设计出高效可靠的学习评价算法。该算法能够对学生使用英语辅助教学云平台时的使用效果进行评价，并根据学生的使用情况为学生提供详细的学习建议，同时为教师提供学生在整个学习过程中存在的主要问题。

2.3用户访问层：该层是学生与教师访问的人机交互接口，该接口采用Web界面实现，该界面能够为学生和教师提供简洁明了的资源访问与操作界面。

3.基于Hadoop的英语辅助教学云平台的配置

在搭建本項目的英语辅助教学云平台时，需要使用的硬件为10台PC机，将其中1台PC机作为Hadoop Master，将其设置为云平台的NameNode和JobTracker，剩余的9台作为Hadoop Slave，设置为云平台的DataNode和TaskTracker。具体的配置步骤如下所示：

Step1：为以上10台PC机安装Ubuntu Linux操作系统，并为每一台PC机设置用户账号及密码，通过网络将所有PC机进行互联，为所有PC机设置IP地址，确保每一台PC机之间都能进行互相通信，并能使用所设置的用户账号和密码对所有PC机进行访问与管理。

Step2：在Hadoop的官方网站上下载最新版本的Hadoop云计算平台软件，为每一台主机安装上该云计算平台软件，并在Hadoop平台中设置Hadoop的用户账号，由Master主机通过Hadoop账号和密码对Slave主机进行任务调度与管理。

Step3：为每一台PC机安装系统必备软件，需要安装Java SDK、Java plugin、SSH、SSH Server及rsync同步软件。

Step4：对Hadoop云计算系统进行配置，需要确保Mater主机与Slave主机的设置相同，应用SSH密钥证书以加密的形式，将hdp0主机上的基本配置分发给其他主机。

Step5：对Hadoop安装目录下的系统设置文档进行编辑，将主机hadoop1中的设置文档进行编辑，将该主机设置为Master主机，并将其配置为NameNode与JobTracker。对其余的主机中配置文档进行编辑，设置为Slave主机，并配置为DataNode与TaskTracker。

Step6：在Master主机上应用Hadoop指令对NameNode进行格式化，当格式化完成后，通过在浏览器中访问http：//hadoop1：60021对NameNode的运行状态进行检查，通过访问http：//hadoop1：60040对JobTracker的运行状态进行检查。

4.基于Hadoop的英语辅助教学云平台的性能测试

为了对搭建的英语辅助教学云平台的性能进行测试，通过在云计算平台上传一部大小为1GB的英文电影文件。为了测试学生的听力水平，学生观看完该英文电影文件后设置20个问题，将该测试挂在某学校的主页链接，召集1000名学生同时对该测试链接进行访问，以测试该平台的并行处理能力，具体的实验结果如下表所示。

从上表的数据分析可以看出，使用云计算技术构建的英语辅助教学云平台，极大地降低了系统访问的延时，当访问人数达到1000人时，系统延时为6s。而采用传统的单服务器模式构建英语辅助教学平台，当并发人数达到800人时，系统就出现无法访问的情况，可见云计算技术的使用，极大地提高了英语辅助教学平台的可靠性与实时性。

5.结语

目前云计算技术已经深刻地影响教育信息化的发展进程，越来越多的教育手段通过云计算技术进行推广。本文采用Hadoop构建英语辅助教学平台，详细介绍该云计算平台的工作原理与部署策略，并对该平台的性能进行测试，取得较好的实验结果。如何充分利用该平台及在此平台中开发出更高效的英语辅助教学应用，是今后进一步研究的重点所在。

参考文献：

[1]蒋宁，李文，李鸿彬.基于Hadoop的云计算辅助教学平台研究[J].中国远程教育，2012.（9）：79-82.

[2]洪沙，杨深远.云计算关键技术及基于Hadoop的云计算模型研究[J].软件导刊，2010，9.（9）：9-11.

[3]王皎，呼明亮.基于Hadoop云计算平台的资源搜索系统[J].电脑知识与技术，2014，10.（19）：4463-4465.