大数据背景下高职计算机网络专业课程体系改革研究

2017-01-21 10:12裴浩
物联网技术 2016年12期
关键词:云计算大数据

裴浩

摘 要:文中分析了大数据的现状和高职计算机网络专业的培养目标,基于大数据、云计算等技术,提出对专业课程体系的改革,并给出改革思路和核心课程Hadoop的实施。使得学生不仅能具备高级网络的设计、管理能力,熟悉使用云平台管理软件,实施Hadoop平台的构建和管理,还具备一定的大数据应用开发能力,成为具有大数据技术应用能力的高级技能型人才。

关键词:计算机网络专业;大数据;云计算;Hadoop

中图分类号:G642.0;TP393 文献标识码:A 文章编号:2095-1302(2016)12-0-02

0 引 言

随着云计算、物联网以及“互联网+”技术的兴起,数据正以前所未有的速度在不断增长和累积,互联网大数据正在实时影响人们的工作、生活乃至社会发展。2012年 3月,美国奥巴马政府公布“大数据研发计划”,旨在提高和改进人们从海量、复杂的数据中获取知识的能力,发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术。2014年大数据高速发展,中国互联网三巨头BAT(百度、阿里、腾讯)纷纷建立大数据研究院、大数据实验室等,提供大数据专业服务,一批大数据专业分析公司应运而生。我国的开放、共享和智能的大数据时代已经来临,同时对专业人才的需求也日益增长。

大数据的发展与计算机网络密切相关,因此适时调整高职计算机网络专业方向的培养目标,可以更好的适应大数据发展要求。大数据背景下计算机网络专业学生的目标是培养具有计算机网络、大数据及云计算的专业知识,实践能力强、职业道德素养高,具备云平台的管理能力和网络软件开发能力,能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才[1]。

1 大数据与云计算

根据维基百科的定义,大数据[2,3]是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据主要具有4V特征[2],即数据体量巨大(Volume)、数据种类繁多(Variety)、流动速度快(Velocity)、价值密度低(Value)。

从技术角度上看,大数据必然无法用单台计算机处理,必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。目前应用最为广泛的大数据分布式处理平台就是Hadoop,Hadoop是由Apache基金会所开发的分布式系统基础架构,能够对大量数据进行分布式存储、分析和处理的云计算平台,已经在网络大数据领域得到了广泛运用。例如Yahoo使用4 000个节点的Hadoop集群来支持广告系统和Web搜索的研究;Facebook使用1 000个节点的集群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周200 TB的数据,进行搜索日志分析和网页数据挖掘工作;淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。

2 课程体系改革研究

2.1 课程体系现状

目前,高职院校计算机网络专业类课程大多围绕计算机网络工程和计算机网络开发两条主线,主要课程包括网络基础、路由器及交换机配置与管理、Windows网络服务器配置与管理以及动态网站开发相关技术等。这些课程内容传统,课程内容严重同质化,教学内容已不能满足大数据时代人才培养的要求,这些将直接影响学生的理论实践能力和就业机会。

大数据、互联网+、物联网及云计算技术的发展和应用给高职计算机网络专业人才培养带来了新的要求与挑战,与市场需求存在脱节现象。计算机网络专业应紧跟大数据、云计算等先进技术的步伐,不断进行专业课程的创新性研究,重视实践类课程和教材的研发,适时调整人才培养目标和专业教学计划,以期满足工作岗位的实际要求。

2.2 研究思路

计算机网络专业经过多年的发展,其课程体系比较成熟,形成了各自的特色教学。因此,本文的研究内容是对原有课程体系的补充和完善。

2.2.1 有针对性的进一步优化传统的专业职业技能课程

传统的专业职业技能课程已经比较成熟,经过了实践的考验,也已得到了学生的认可。尽管如此,还要有针对性的进一步优化,使得课程体系的理实比达到更优,提升课程教学实施的效果。

2.2.2 采用增加模式,补充完善课程体系

基于大数据和云计算技术研发新的职业技能课程,充实现有的课程体系。大数据和云计算紧密相联,因此要增加云计算和大数据的理论和实践课程。在研发课程的过程中,以岗位需求为导向,以培养技能型人才为目标,合理安排理论教学内容和课时,着重开发实践教学案例和内容,明显区别于本科课程教学设置。

2.2.3 课程体系相互作用,相互促进

网络技术是大数据、云计算技术的基础。因此计算机网络传统课程也是新研发课程的基础。新研发课程既是传统课程的有效实践,又是对传统课程的有效扩展和提升。

2.3 具体内容

由于大数据、云计算技术是基于网络的技术,因此,计算机网络专业人才培养具有先决条件。根据以上研究思路,具体方案主要包括强化现有课程体系,增加基础理论课程、完善知识体系,增加实践课程、锻炼岗位能力三个部分。

2.3.1 强化现有课程体系

针对现阶段存在的问题,学校应强化现有课程体系,使学生具有扎实的网络管理能力和一定的网络开发能力。现有的课程体系使学生具备了相关能力。熟悉ISO/OSI互联网模型,并掌握常见的互联网协议如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能够配置管理Windows和Linux服务器,熟悉使用常见的网络命令,具备远程网络控制学习能力。掌握程序设计语言Java,具备Windows和Linux下的程序开发能力,包括编写shell程序。能够配置交换机和路由器,具备组建局域网的能力。熟悉信息安全、系统安全及网络安全攻防技术。

2.3.2 增加基础理论课程,完善知识体系

针对人才需求,增加大数据、云计算等基础理论课程,完善知识体系。虽然大数据、云计算等课程教学的最终目的是培养实践技能,但基础理论仍非常重要,主要包括熟悉大数据的基础概念和常见技术架构;熟悉云计算原理和架构,并了解虚拟化技术如KVM;熟悉分布式系统和分布式计算原理;了解大数据、云计算的最新应用。

2.3.3 增加实践课程,锻炼岗位能力

在课程体系设置中,实践课程比例应超过理论课程。增加大数据、云计算等实践课程,锻炼学生的岗位能力。主要包括主流云平台管理软件的使用,如华为FusionSphere、VMWARE等;分布式系统管理、分布式并行计算以及Map/Reduce编程;Hadoop集群、HBase分布式数据库的构建与管理;Hadoop、HBase等案例实践与应用。

通过以上方法,使得计算机网络专业学生在原有专业基础上,掌握大数据和云计算的原理,具备云平台的管理能力,并能基于Hadoop等云计算平台实现大数据程序,对大数据进行计算分析。

2.4 Hadoop课程实施

通过以上分析可知,增加的课程内容主要是大数据、云计算相关课程,最终采用Hadoop云计算平台相关技术实现大数据的存储、计算与分析。通过理论教学,使得学生深入了解掌握大数据技术、云计算原理及Hadoop架构。通过实践教学,使得学生能够掌握Hadoop集群的配置与管理,并且能够基于Hadoop实现大数据程序设计,使得学生具备基本的大数据处理能力。因此Hadoop课程是核心课程。

2.4.1 Hadoop原理

Hadoop是把大数据集分发到计算集群中各个节点上共同处理以实现大数据的快速处理。用户无需了解分布式底层细节就可开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop最核心的设计是HDFS文件系统和MapReduce编程模型。HDFS为海量数据提供存储,而MapReduce则为海量数据提供了计算。如图1所示,Hadoop运行的基本过程如下[4,5]:

(1)客户端可以将文件上传至HDFS文件系统,NameNode则会根据文件大小和Block大小配置将文件的物理属性分成若干个Block文件块,并分布式存储至DataNode数据节点,同时将块存储信息保存至NameNode节点,以方便文件进行资源管理。

(2)文件上传完成后,客户端提交具体Job任务至Hadoop集群,各DataNode节点根据任务要求可以读取相应的文件Split,并完成Map和Reduce计算任务,将结果作为输出文件传输至HDFS文件系统。

(3)在任务执行过程中,可以通过JobTracker、TaskTracker及ResourceManager监控任务的执行情况和资源消耗信息等。

2.4.2 Hadoop教学平台配置与部署

Hadoop教学平台需配置、部署一些部件。基于现有实验室的计算机和网络环境,网络服务器系统采用Linux Ubuntu,构建Hadoop集群网络。基于Cloudera Hadoop开源框架实现Hadoop教学平台。

2.4.3 Hadoop分布式文件存储及大数据处理实现

Hadoop分布式文件存储及大数据处理实现包括:HDFS文件系统的使用;HBase的使用;MapReducer程序实现;大数据案例分析与实现。

3 结 语

本文分析了大数据背景下高职计算机网络专业的培养目标和课程体系的改革思路,在优化计算机网络专业传统课程的基础上,增加大数据、云计算等相关课程,并以Hadoop课程的具体教学实施来培养学生的实践能力,使得学生能够紧跟大数据、云计算的技术步伐,满足工作岗位的要求。

参考文献

[1]赵伟艇,夏栋梁.基于岗位能力培养的云计算课程群知识体系构建研究[J].电脑知识与技术,2016,12(2):167-169.

[2]陶雪娇,胡晓峰,刘洋.大数据研究综述[J].系统仿真学报,2013(S1):142-146.

[3]孟小峰,慈祥.大数据管理概念技术与挑战[J].计算机研究与发展,2013,50(1):146-169.

[4]王铮.基于Hadoop的分布式系统研究与应用[D].长春:吉林大学,2014.

[5]陈吉荣,乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学,2013,35(10):25-35.

[6]曾文英,吴积军,曾文权,等.基于云计算的IT课程体系改革[J].计算机教育,2014(17):40-44.

[7]鲍爱华,陈卫卫,刘鹏,等.云计算课程内容体系的建设与实践[J].计算机工程与科学,2014,36(A02):42-45.

[8]方娟,刘建丽,梁毅.依托云计算平台的计算机硬件课程体系改革与创新[J].计算机教育,2014(17):36-39.

[9]张燕南,赵中建.大数据时代思维方式对教育的启示[J].教育发展研究,2013(21):1-5.

猜你喜欢
云计算大数据
实验云:理论教学与实验教学深度融合的助推器