应用型计算机专业大数据分析实验室建设

李晓丹, 刘云翔, 王 浩, 原鑫鑫, 徐 琛

(上海应用技术大学 计算机科学与信息工程学院, 上海 201418)

应用型计算机专业大数据分析实验室建设

李晓丹, 刘云翔, 王 浩, 原鑫鑫, 徐 琛

(上海应用技术大学 计算机科学与信息工程学院, 上海 201418)

分析了大数据产业的社会需求、学生就业需求、实践学习需求,提出了高等院校大数据课程开设的必要性。针对目前实践教学的需要,从应用型本科院校的实际情况出发,探讨了大数据分析实验室建设的目标,以及大数据实验室建设的3大具体内容,提出了基于教学科研一体化的实验室建设“三步走”方案,为教学和科研提供有力支持。

实验室建设； 计算机专业； 大数据分析

“十二五”期间,我国信息产业迅速扩大、信息技术快速发展、互联网经济日益繁荣,并积累了丰富的数据资源,比如面向公众的政府网站达8.4万个、智慧城市试点近300个、网民数量超过7亿、移动电话用户突破13亿等[1]；技术创新取得了明显突破,应用势头良好,电信、金融、交通等行业利用已积累的数据资源,积极探索行业大数据的应用和行业服务优化；为“十三五”时期我国大数据产业快速发展奠定了坚实基础。

目前,大数据在电子商务、金融、物流、电信、医疗、教育、智慧城市等领域的应用蓬勃兴起[2-4],产业发展如火如荼,以Hadoop、Spark等开源技术为代表的技术发展日新月异[5]。由于大数据技术属于近几年的新兴技术,目前部分高校缺乏高层次的大数据技术专业人才培养的课程体系和师资队伍；同时,大数据不仅是停留在课堂教学层面上的技术知识,更是需要在实践中学习的一项技能,因此为师生提供一个大数据实践教学平台势在必行。

1 大数据分析实验室建设的必要性分析

1.1 大数据社会产业需求分析

“十三五”时期是我国全面建成小康社会的决胜阶段,是新旧动能转换的关键时期,也是全球新一代信息产业处于加速变革期,以及国内市场需求处于持续增长期。我国大数据产业面临重要的发展机遇,抓住这一机遇,推动大数据产业发展,对提升政府治理能力、优化民生公共服务、促进经济转型和创新发展有重大意义[1]。

随着新一代信息技术的迅猛发展,互联网与社会各领域、各行业交融、交汇日益深化,一个以大规模产生、分享和应用数据为特征的大数据时代已经到来。2014年是进入大数据应用市场的快速增长期,同比增长80%以上,2015年后进入平稳增长阶段,预计2018年全球大数据市场规模将达到超过2 500亿元,2015—2018年的增长率为21.8%,我国大数据市场规模将超过500亿元,增长率为47.0%,是全球增长率的2.2倍[6]。

1.2 学生大数据就业需求分析

目前,大数据在各个行业都得到了充分的重视,也急需大数据方面的人才。大数据人才是一个非常宽泛的概念,根据具体从事岗位不同,技能要求也会不同。从大数据岗位和技能需求的角度来划分,大数据人才分为3类[7]:第一类是数据分析师,要求熟悉大数据的概念和原理,具有一定的数理和统计学知识,能够熟练操作和使用数据软件和工具,是从事大数据的初级人员；第二类是数据工程师,能够开发和搭建数据平台和应用,并且熟悉数据挖掘的流程和原理,为大数据技术应用在各个领域提供解决方案,要求具有软件开发和数据分析的能力；第三类是数据科学家,要求熟悉各种大数据技术的原理和相对的优劣势,合理利用各种技术来设计大数据平台的架构,根据数据挖掘的使用需求和商业理解来设计和开发算法,是对数学、统计学、机器学习等多方面知识的综合掌控的复合型人才,也是大数据分析的高级人才。

大数据人才在“领英”(linkedin)和“玻璃门”(glassdoor)等人力资源和招聘网站上,长期处于供不应求的状态。麦肯锡咨询研究指出,到2018年仅在美国,大数据人才短缺就达到50%～60%。今日美国和彭博社等媒体一致认为,大数据人才短缺的问题短期内只会加剧而不会缓解[7]。如何从纷繁复杂的海量数据中提取有用的信息,变数据为财富,挖掘数据中的金矿,提升企业竞争力以及提高企业风险管理水平,是当前企业和院校教育工作的重要课题。

1.3 学生理论学习与实践相结合

院校开设大数据相关课程,涉及到的课程内容有数据分析、数据挖掘、编程语言、机器学习等,这些课程均需要学生具备很强的实践动手能力,如果只是停留在理论知识上,学生也只能纸上谈兵。因此,学校在开设大数据课程时,只有为学生提供配套的实践课程,才能真正达到学以致用的目的[8-9]。

建设大数据分析实验室,从学生学习角度来讲,迫切性和必要性主要在于以下几点:第一，加强学生对知识的吸收与应用,萌发学生的创新精神,激发学生的学习动力,在实践中,通过有趣并结合实际的案例,提高学生的兴趣和分析问题的能力；第二，有利于提高学生解决问题的实践能力,通过实验室模拟环境,使学生能够将理论知识用于解决实际问题；第三，增强学生的社会适应性与竞争力,通过实际案例及应用场境,使学生毕业后能够很快融入行业环境,掌握和具备相应的技能。

2 大数据分析实验室建设目标与建设内容

大数据分析实验室的建设,应最终为该专业人才培养方案中相应的课程服务,而人才培养方案的制订,应该从社会需求和学生实际需要着手[10],考虑学生学习基础,不能盲目追求高大上。我校为应用型本科院校,注重培养学生的实践动手能力,因此培养方案中课程的制定,也更注重实践部分。对于大数据技术方面,我们侧重于大数据的分析和挖掘,以及大数据技术和应用。课程方面,先从大数据分析和挖掘、大数据技术及应用等相关内容入手,使学生具备数据分析、数据挖掘的基本能力和大数据技术的基本原理,以及应用系统开发的能力。因而大数据实验室的建设,也将从数据分析挖掘算法、Hadoop生态系统及开发2方面进行建设。

大数据分析实验室集硬件服务器、云计算技术、大数据技术于一身,便于计算机相关专业开设大数据教学课程。实验室的建设内容将包含以下3方面内容:

(1) 实验室硬件平台建设:为保证实验环境的整体搭建,需在现有实验室基础设备基础上,配备必要的服务器环境、网络环境,为搭建大数据分析实验教学平台,提供硬件支撑环境。

(2) 实验教学平台建设:充分利用现有硬件资源,通过Vmware等虚拟化技术构建云中心的资源池,将云存储资源、服务器资源和网络资源整合,在云平台上搭建统一的大数据分析与挖掘和大数据技术及应用的实验课程所需的实验平台。

(3) 课程资源建设:根据培养方案,开设大数据分析与挖掘、大数据技术及应用2门专业必修课程。为确保理论与实践的紧密结合,培养学生知识应用能力,积累工程项目经验,需要增设以上理论课程的配套实验课。

3 大数据分析实验室实施方案

3.1 大数据分析实验室建设思路

大数据实验室的建设是一个系统工程,主要服务于学生学习、教师教学；为了充分发挥大数据实验室的功效和作用,可以增加一项增值服务,即在满足学习和教学的基础上,进一步为教师和学生提供科研服务,使得教师可在该平台上进行科学研究和实验,进而反哺教学(见图1)。

图1 实验室建设思路

3.2 大数据分析实验室建设

实验室建设分3步走:

(1) 为满足教学的迫切需求,首先建设大数据分析教学平台,以及必要的软硬件支撑,如课程资源,可以是真实数据,也可以是模拟数据。在该平台之上建设数据挖掘分析平台和大数据开发教学平台,满足课堂教与学的需求。

(2) 沙盘模拟系统建设。为了积累更多的行业数据,更好地体现大数据的特性,需要建设沙盘模拟系统,更好地服务于大数据分析和大数据挖掘相关功能的实现和操作。

(3) 服务科研的高级应用。通过校企合作[11],引入企业实际工程项目,随着系统的完善和数据的积累,教师和学生可以在该平台上进行其他行业的科学研究和算法优化等工作,一方面服务企业,另一方面也可不断服务创新。

4 结语

建设大数据分析实验室,不但可以满足教学的需求,而且可以提高学生的工程意识、工程素质和工程实践能力,解决理论知识与企业实际需求相脱节的矛盾,培养能快速适应企业技术环境和需求的工程技术人才[12]。同时,需进一步开展校企合作,加强人才培养,以企业需求为导向,以实际工程为背景,以工程技术为人才培养主线,将高校的资源优势和企业的技术优势相结合,建设一个符合专业人才培养要求的、能够支持实践教学和科研的、具备一定前瞻性的、能够统一管理和维护的实训基地,是提高人才培养水平、提升师资队伍能力、增强学生就业率的有效举措。

References)

[1] 工信部. 大数据产业发展规划(2016—2020年):工信部规[2016]412号[Z].2016.

[2] 韩慧. 大数据环境下电子商务的发展探讨[J]. 科技展望,2017,27(3)51-54.

[3] 郭琨, 李建平. 金融大数据标准规范体系比较研究[J]. 大数据,2017(1):12-18.

[4] 吴东东, 黄昊, 赵平, 等. 大数据医疗与移动医疗队未来医疗体制的影响[J]. 重庆医学,2016,45(34):4866-4867.

[5] 陈虹君, 谢彩云. 基于Spark的大数据实验室建设的研究与实施[J]. 教育现代化,2016(37):218-219.

[6] 中国产业信息. 2016年中国大数据行业现状分析及市场规模预测[EB/OL]. (2016-08-15). http://www.chyxx.com/industry/201608/439019.html.

[7] 上海大数据联盟. 中国即将面临“大数据人才荒” [EB/OL]. (2016-11-16). http://mt.sohu.com/20161109/n472698429.shtml.

[8] 蒋日华, 傅文博. 提升大数据时代应用型本科院校计算机实践教学管理水平的思考[J]. 洛阳师范学院学报,2016,35(11):62-65.

[9] 王成端. 应用型本科院校实践教学建设探究[J]. 四川文理学院学报,2016,26(6):7-11.

[10] 谢宇. 高职院校“大数据创新实验室”建设与规划[J]. 无线互联科技,2016(6):81-83.

[11] 熊建. 校企合作共建的大数据实验室管理经验与做法[J]. 电脑知识与技术,2017,13(4):153-154

[12] 吴明念. 基于应用型本科院校的大数据实验室建设探究[J].电脑知识与技术,2015,11(16):6-7.

Construction on big data analysis laboratory of application-oriented computer majors

Li Xiaodan, Liu Yunxiang, Wang Hao, Yuan Xinxin, Xu Chen

(School of Computer Science and Information Engineering, Shanghai Institute of Technology, Shanghai 201418, China)

Based on the analysis of the social demand of the big data industry, students’ employment demand and the practical learning demand, the necessity of setting up the Big Data course in colleges and universities is put forward. In view of the need of the current practical teaching, and on the basis of the actual situation of the application-oriented undergraduate colleges and universities, the goal of constructing a big data analysis laboratory and the three major specific contents for the big data laboratory construction are explored. The “Three steps” program of the laboratory construction based on integration of teaching and scientific research is proposed so as to provide the strong support for teaching and research.

laboratory construction; computer science majors; big data analysis

G482

: A

: 1002-4956(2017)09-0236-03

2017-03-27

李晓丹(1980—),女,河南许昌,博士,讲师,主要从事信息系统理论与技术、大数据分析等方面的研究和教学工作.

E-mail：lxdan@sit.edu.cn

10.16791/j.cnki.sjg.2017.09.061