基于Hadoop2.0的大数据课程体系实验平台建设

李玥

摘要：大数据时代来临，而高校大数据人才极为匮乏，培养大数据人才迫在眉睫。本项目以Hadoop2.0为底层框架建设大数据课程体系实验平台，项目课程包含Hadoop2.0、HBase、Spark、Mahout、Hive等，以校企结合方式设计课程实验平台项目案例，使用案例驱动模式促使学生学习体会大数据课程的特点以及大数据相关技术的优势，注重培养学生从实际案例转移到相关知识、技能的能力。本平台建设也可给其他开设及将要开设大数据课程的高校提供参考，共同促进大数据教育事业的发展，为市场培养更好的大数据技术人才。

关键词：Hadoop;大数据;实验平台;人才培养

中图分类号：TP399        文献标识码：A        文章编号：1009-3044（2019）02-0143-03

Construction of Big Data Curriculum System Experimental Platform Based on Hadoop2.0

LI Yue

（Jincheng College of Sichuan University， Chengdu 611731， China）

Abstract：Large data era is coming， but the related university students is extremely scarcity. Training big data talent is imminent. The project constructs big data curriculum system experimental platform which based on Hadoop2.0， and includes Hadoop2.0， HBase， Spark， Mahout， Hive curriculums and so on. These courses are designed with the combination of school and enterprise. The cases of these courses are used in the project. This driving model can promote students learn the characteristics of big data courses， big data related technology advantages. This project focus on training students from the actual case transfer to the relevant knowledge and skills. The platform can also be opened to other big data courses and universities to provide reference， promote the development of big data education， and bring up big data technology students  for the market.

Key words：Hadoop; big data; experimental platform; talent development

大数据浪潮席卷而来，渗透到了社会的方方面面。从“互联网+”到“大数据+”概念的提出，大数据全面融入人们的社会生活。与此同时，高校大数据人才极为匮乏，培养大数据人才迫在眉睫。作为云计算科学与技术系，如何让学生所学的云计算大数据知识更好的得到实践与落地是教学关注的重要内容。在2015年3月5日举行的十二届全国人大三次会议上，李克强总理也提出“‘互联网+行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合”，这就需要高校能够培育出适应社会发展的云计算及大数据人才，能够将所学知识与社会实践密切结合的专业技术人才。

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，以HDFS和Mapreduce为核心，为用户提供了系统低层细节透明的分布式基础架构。本项目以Hadoop2.0为底层框架建立起Hadoop生态圈的大数据课程体系实验平台。

1 落实人才培养

1.1  培养目标

由于大数据相关应用课程为新兴课程，传统的教学模式重视传授知识，按一个模式培养学生，不利于调动学生的积极性，不利于具有创新思维和创新能力的创造型人才的成长。鉴于此，大数据课程体系的实验平台建设工作刻不容缓。

本项目以课程体系实验平台为主，沿着项目主线进行教学，充分发挥学生自主学习能力和动手能力。重点培养熟练掌握Hadoop平台架构原理和使用场景，并且可以设计、开发海量数据存储、海量数据处理、数据挖掘等大数据应用系统的实用型技术人才。通过系统学习和大量实践项目训练，掌握使用大数据处理技术进行系统搭建、开发、调优、运维等技能。同时，本平台建设也可给其他开设及将要开设大数据课程的高校提供参考，共同促进云计算大数据教育事业的发展，为市场培养更好的云计算大数据技术人才，学成后可在软件公司、政府机构、系统运营商、金融保险、移动互联企业从事大数据应用开发、数据挖掘应用开发、数据中心运维、解决方案规划和设计、大数据产品部署等工作。

1.2 培养内容

经过大数据相关应用课程的教学，我系获取了大量的教学经验，也积累了传统教学方式下的不足之处，本项目课程包含Hadoop2.0、HBase、Spark、Mahout、Hive等多門课程。依托前国腾创智云公司的研究人员的实际工作经验，设计关于这些课程实验平台使用项目案例，使用案例驱动模式促使学生学习体会大数据课程的特点，大数据相关技术的优势，注重培养学生从实际案例转移到相关知识、技能的能力。

在实验平台上整合了以上课程的实验课程，老师可根据不同课程动态实时的为学生分配云主机，学生可根据实际需求申请使用云主机，课程结束后老师可根据实际需求销毁或者保存学生的云主机，解决了传统实验室无法保存学生上机成果的问题。学生可在该平台上动手搭建各种大数据技术平台，模拟真实企业的生产环境。 教师也可在实验平台上设计多种多样具有特色的实验案例，根据学生掌握情况，设计不同级别难度的实验课题，详细到每一个步骤，让学生可以根据实验方案，独立完成实验。有针对性的分层次地进行实验教学，为社会培育出不同领域不同层次的人才。

大数据系列课程采取实验课与理论课紧密结合的方式进行教学，有助于学生更加清晰直接的理解理论知识，加深对知识的理解与印象，避免了以往教学过程中注重理论知识的讲解，课后学生不复习，再次上课时前面所学知识容易忘记的缺陷;以一个项目为中心，围绕项目进行相关知识的讲解，有助于形成大数据实践教学的整套体系，让学生了解本门课程的实际作用，更加积极主动认真的去听讲，去学习。此外学生可以随时随地远程登录实验平台进行学习，无需要独立实验室，并且，可以授权学生把虚拟实验环境搭建在学生的电脑上离线使用，从而可以节约学院大量实验室资源。避免过多的课题教学，提高学生学习积极性。

实验平台示例如下：

1.3  校企合作打造优秀师资团队

对本科类学生而言，学习大数据相关课程，主要学习其中的应用和实践操作。这一部分教学采用公司实际项目案例，教学更有针对性，并能让学生更好地理解企业需求，激发学生兴趣，学习过程更有目标性和方向性。校企合作的教学方式为该平台实验课程体系的建设提供了生产实验的基地。在本项目平台上，教师可利用创智云公司优秀的硬件资源进行平台的建立部署及测试，丰富的大数据经验方面的专家可提供更加切合社会实际的指导。本系聘任了一部分企业兼职教师来进行指导教学，与专职教师结合，构成了一支理论上过硬、实践上够强的师资队伍。

1.4  推进产学研一体

通过该实验平台上课程体系的建设，让学生对课堂上学习的理论有直观的理解，采取理论课后直接连着上实验课，理论与实验紧密结合的方式，以做一个项目为主线，贯穿整个大数据课程的学习过程。通过以实践项目为引导的教学指导思想建立起适合新型课堂和实验室的教学理论和方法。以一个项目为中心，围绕项目进行相关知识的讲解，有助于形成大数据实践教学的整套体系，让学生了解本门课程的实际作用，更加积极主动认真地去听讲，去学习。此外学生可以随时随地远程登录实验平台进行学习，无需要独立实验室，并且，可以授权学生把虚拟实验环境搭建在学生的电脑上离线使用，从而可以节约学院大量实验室资源。避免过多的课题教学，提高学生学习积极性。这种新型的教学方式可以对大数据教学带来新的力量和成果，让学生对学习产生更加浓厚的兴趣。让学生真正学习到社会需要的东西，为社会培养实际有用的人才。通过研究与实践，带动学与教质量和效率的提高，促进学校的信息化建设，提高学校整体办学水平，使教师撰写符合实践的实验报告、论文、制作优秀课件集锦，提高教师的信息素养， 改善教师的教学行为，转变教师的教学观念，使教师的“教”切实地为学生的“学”服务，使课堂教学适应形势发展的需要，培养信息化社会的新型人才。

课程体系以就业岗位为导向，以能力培养为目标，以平台产品为载体，以项目化教学为模式，以教育云平台为辅助手段，按角色、分层次，培养具有行业领先知识和实际动手能力的技术型人才;以新技术为引领，以学科带头人为核心、专职教师为主导、企业兼职教师做支撑，细化人才培养方案、自编高端核心教材、填补国内云计算大数据技术高校本科教学空白;以教学改革为契机，以高新企业为同盟，构建产学研一体化教学格局。

2 发展趋势

大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。它对于推动信息产业创新、大数据存储管理挑战、改变经济社会管理面貌等方面也意义重大。2015年，大数据将为全球带来440万个IT岗位，其中190万个IT岗位在美国。此外，在美国，每个大数据相关的岗位将催生三个非IT的就业机会。在未来的四年里，信息经济将推动美国产生600万个就业机会。 由于市场的巨大需求，许多培训机构已在陆续开设企业人员的大数据培训课程，如何将高校的大数据教学办的有特色有创新有市场竞争力，是时不我待的事情。

3 结论

本项目对学生和学校都具有巨大的现实意义。就学生而言，实验时间可以在任何时候进行，因为本项目部署在学校的云平台上，学生可在寝室、教室等地方通过网络连接。就学校而言，本课程实验内容属于国内空白领域，可为其他学校的大数据教育事业提供技术支持与指导。该项目可为培养社会有用、急需的高素质人才提供一个全面的大数据实践平台，使毕业生能找到更加适应社会需求的工作，通过向其他学校推广该平台，可为社会输送更多实际的高质量的人才，促进人才的培养。使国家的“互联网+”政策和改革的落地有了人才的支撑。

参考文献：

[1] 陈娜，徐歆壹，宋红兵. 基于Hadoop的电信BSS大数据平台建设研究[J]. 电信科学，2013，29（3）：36-40.

[2] 司雅楠. 基于MapReduce的高校大數据分析挖掘[J]. 河南师范大学，2016.

[3] 裴浩.大数据背景下高职Hadoop课程内容体系建设[J]. 电脑知识与技术， 2016，12（10X）：131-132.