我国普通高校大数据管理与应用专业实验课程体系建设研究

王颖纯，张紫荆，冯 娇，贾雪琳

（天津理工大学管理学院，天津 300384）

0 引言

目前，全国各大高校都在陆续开设大数据管理与应用专业，专业性质决定了该专业的学生需要了解大数据管理的相关原理，掌握相关理论和技术，理解大数据技术在实际管理和决策中的应用。当前社会信息化发展速度迅猛，大数据管理与应用作为一门新兴应用技术型专业在课程设计等方面尚不够成熟，各高校大数据管理与应用专业的实验课程体系较社会需求来说相对滞后，各高校有必要完善该专业的实验课程体系，对该专业的教学内容进行课程改革，在学习理论课程的同时，加强实践能力，加快学生对社会环境的适应速度。本文以天津理工大学大数据管理与应用实验室建设为背景，对该专业的实验课程体系的建设进行探析。

1 大数据管理与应用专业实验课程体系的研究现状及所存在的问题

1.1 存在的问题

大数据管理与应用专业是一门多学科交叉的综合性学科，旨在培养复合型人才，要求学生不仅要具备信息系统方面的专业技术，还要具备管理能力。因此，该专业虽然属于管理类，但是要求学生在具备信息化方面的专业知识的同时也要拥有实际操作能力，现在的企事业单位非常重视该专业学生能否在工作中充分发挥大数据的优势处理实际问题。然而目前该专业的实验课程体系在专业技术知识和处理实际问题方面的融合与社会要求相比依然滞后，这也说明该专业的实验课程体系不够完善，实验课程设计不能接轨业界需求，学生难以将专业技术知识向解决问题的行为能力顺利过渡。当前大数据管理与应用专业的实验课程体系不够合理主要表现在两个方面：其一是上机实验课时占总学时的比重不足；其二是具体实验课程中实验操作内容综合性不足。

1.2 研究现状

刘莉[1]认为大数据管理与应用专业的改革应结合本专业培养目标，做到教师主导，学生主体，让学生对专业感兴趣，主动学习思考，提高实践能力，在毕业求职过程中有较强的自身优势。魏小龙[2]认为目前实验教学出现为题的原因在于对课程在专业体系中的作用分析不到位，学生进行实验的主动性较差，应该重构课程内容，联系运维实际，以实际操作考核的形式进行考核。刘海燕[3]认为大数据管理与应用专业应注重实践过程，坚持“理论与实践并重，知识与运用相结合”原则，及时更新和改革现行的教学内容，通过拓宽学生的知识面，培养学生分析和解决实际问题的能力，发展学生的创新能力，逐步缩小社会需求与人才培养之间的差距和矛盾。吴湘宁等[4]梳理了大数据专业知识体系，认为设计实验课程体系需要在考虑毕业生的职业定位的同时，选择被业界认可的通用技术和实验平台开设实验课程，提出了在不同环境下建设大数据实验室时所对应的方案，以及相关的实验课程体系和具体的实验项目。刘芳[5]通过分析大数据人才需求，详细介绍了大数据实验教学平台的搭建流程，并设计了对应的具体实验项目，采用开放实验室的管理模式，让学生开源自由选择时间进行仿真实验，一定程度上解决了实验课时不足的问题。

2 大数据管理与应用方向的课程体系

2.1 大数据管理与应用的学科特点决定的基础课程

大数据管理及应用学科，正在开展研究如何利用信息系统实现管理与控制。它具备双重意义：一是运用大数据处理网络系统进行大数据分析，二是运用大数据处理网络系统进行大数据的研究和实证。在进行信息处理与数据分析过程中，所需的数据处理人员为大数据处理工程技术人员、大数据分析人员和大数据处理科研人员以及专门负责大数据处理工作的专业技术人员。在数据传输过程中，他们有自身的责任。相应的程序设计能力均可在专业知识板块中获取，而信息处理能力、大数据挖掘及其可视化能力就需要相关的学科来支持。具体内容如图1所示。

图1 数据人才的职责与技能

2.2 大数据管理与应用专业课程体系

大数据是研究数据的类型、现状、属性、形式和数据变化规律的学科，因此大数据的课程和教学改革应该在考虑大学四年的情况下实施，首先遵循数据分析的生命周期。大数据学科考虑到它自身的学科特点将其分为三个模块，主要包括基础理论课程模块、分析技术课程模块和商务数据实践课程模块。理论的研究方式主要包括利用数据进行科学的观测和对基本数据的逻辑推理，运用数据特征和数据推理方法及其中的观察方式，完成生命周期中的业务理解和数据感知；而分析技术主要是利用核心的方法对大数据进行探索与研究，以便学会认识和把握大数据分析变化中的各种类型、状态、属性、类型，以及变化规律；而商务数据实践工作则主要应根据高校的工作特色和专业化，把大数据分析科学研究的理论与方法运用到多个应用领域。主要课程详见图2。

图2 大数据管理与应用专业主要课程

2.3 大数据管理与应用专业实验课程体系

2.3.1 Hadoop平台

Hadoop是一种分布式系统基础架构，能够对海量数据进行处理，是当前各大企业进行大数据开发的首选。Hadoop生态系统支持结构化查询语句，具有关系型数据库的优势。通过开设Hadoop实验课程，使学生掌握开发平台的搭建流程，理解MapReduce并行计算的算法设计，学习通过调整Map和Reduce的各项参数调优性能。目前国内能够熟练掌握Hadoop技术的人才非常稀少，开设Hadoop实验课程让学生掌握 Hadoop使用方法是培养学生使用大数据平台，进行数据的分析处理等操作的前提条件。

2.3.2 Spark计算引擎

Apache Spark也是一种开源集群计算环境，为大数据处理提供通用并行框架。作为Hadoop的补充，Spark能够在Hadoop环境下并行运行。Spark通过将运行过程中的中间输出结果在内存中进行存储[6]，能够提供比Hadoop更快的速度和更高的性能，通过建立在Java、Scala、Python、SQL的标准API也使其具备更强大的易用性。此外，Apache Spark由Scala实现，代码比较简洁，但存在一定的门槛，开设Spark实验课程能够为该专业学生作为大数据处理工程技术人才使用 Spark进行数据系统的管理与维护打下基础。

2.3.3 Linux操作系统

Linux是一款典型的开源操作系统，由于其性能稳定，也是目前最常用的开源操作系统。Linux被广泛应用于各种嵌入式开发领域，网络运维人员也将其作为服务器使用[14]。掌握Linux操作系统是搭建Hadoop集群的必要条件。通过开设 Linux实验课程，使学生在上机操作的过程中熟悉Linux系统中的常用命令语句，是后续学生在Linux系统环境下搭建Hadoop平台进行操作时的必备技能。

2.3.4 基于Python的数据爬虫和数据处理

网络爬虫是Python的优势领域，使用Python编写爬虫可以自动抓取互联网上的信息，能够支持大量并发操作，是大数据处理人员获取数据的重要途径。Python简单易学，可读性强，其丰富的库还能够为数据分析提供大量工具集，相比常规的数据处理软件，Python能够处理规模更大的数据集以及更复杂的数据逻辑。数据的收集和预处理是大数据处理工程技术人才的必备技能。通过开设Python实验课程，使学生掌握通过爬虫获取数据的方法，才能够为后续使用HBase进行数据挖掘、大数据分析等操作提供数据源，也是大数据分析人员进行算法设计和挖掘模型开发的参考依据。

2.3.5 HBase开源数据库和Hive数据仓库

HBase属于分布式数据库，为Hadoop中的数据提供存储服务，并通过MapReduce管理存储在数据库中的数据。区别于一般的关系数据库，HBase不属于关系型数据库，也不支持SQL。HBase基于列的模式存储数据，进行数据检索查询只需访问相关列。通过实验使学生熟悉HBase中增删改查的相关语句，掌握在Hadoop和HBase之间进行数据迁移的相关操作。

Hive使用HQL这种类SQL查询语言，是一种建立在Hadoop上的数据仓库架构。大数据分析人员通过使用Hive对存储在HDFS中的数据进行管理和分析，并使用MapReduce完成命令的执行。HBase和Hive在大数据架构中占据的位置不同，发挥的作用也不同，HBase主要进行明细数据的实时查询的操作，Hive主要用于进行大规模静态数据处理和计算。通过实验使学生熟悉HBase和Hive的功能并结合使用能够得到相得益彰的效果。能够熟练使用HBase和Hive进行数据管理是学生将来作为大数据分析人员通过数据挖掘和分析，提炼有效信息，并结合管理理论辅助企业经营决策的重要手段。

3 大数据管理与应用专业课程设置的建议

3.1 改革教育模式与方法

大数据管理与应用专业在教学过程中，应注重理论与实际相结合，强调课程学习与实践操作相结合。遵循老师主导，学生主体的原则。在实验课程中，增强实验探究性，给予学生充分发挥的空间，在讲好理论前提之下，最大程度保证学生实验时间。在实验课程中提出问题，让学生自主思考，给予学生充分的实验时间以及试错机会，使学生在实验过程中更好地体会理论知识并加以掌握，让实验课程发挥最大的作用。对于基础较好的同学，要鼓励其进行创新型实验以培养创新型人才。

教师在设计实验课程的时候应根据课程体系要求，分析各门课程在课程体系中的作用，重构实验课程内容。鉴于大数据管理与应用专业的专业特点，要求该专业学生综合掌握各方面知识，导致理论知识过于繁杂，教师应平衡理论内容教学课时与上机实验课时之间的关系，将理论体现在实践过程中，摆脱“重理论轻实践”的现象。在具体实验设计上，不仅要设计验证性的基础案例，也要强调案例的综合性和创新性，激发学生的探究精神和思维能力。教师应主动利用各个实验课程之间的相关性，倡导学生结合多门实验课程完成实际操作考核，培养学生的综合应用能力。

3.2 校企合作

大数据管理与应用专业具有很强的创新性和实践性，注重学生的实践能力。在理论知识扎实的基础上，对实践性较强的实验课程开展校企合作。由于企业对实践能力要求较高，而学校相对企业来说实验的前沿性不足，在课程讲授方面，可以实施双教师模式，邀请企业相关人员进行实验课程讲授，结合实际案例，从专业角度指导学生进行上机实验，使实验更贴切实际，让学生更容易进行实操并与企业接轨，学校教师辅助企业人员解答学生疑问，使学生了解最前沿的技术和应用，对相关知识有更加深入的了解，在实验过程中真正掌握一门技术。例如编程课程，学校讲授基础理论，上机操作比较简单或有一定的模式可遵循，引入双导师制度，企业真实案例更有助于学生实操能力的提升。

3.3 树立融合发展理念

大数据管理与应用专业是一门综合性较强的专业，旨在培养可以利用本专业知识开展信息系统策划、系统分析、设计与实现，能熟练利用数据挖掘、数据分析等技术手段支持组织管理决策的人才。相对应的实验课程也应该更加丰富，对有实验需求的课程要严格落实，给予学生充分的实验时间。在每一门实验课掌握良好的基础之上，设置综合实验课程，使学生对课程之间的关系有进一步的认识，培养复合型人才。在条件允许的情况下，和企业达成合作，让学生有机会去企业实习，把课堂设置于企业之中，使学生在更切实的实验条件下进行学习，更有利于课程的推进，有利于学生的发展。

4 结论

在大数据背景下，大数据管理与应用专业要凸显专业优势，设置先进合理的课程体系，而不是把课程机械的组合在一起，要培养复合型人才，培养与时俱进、符合时代需求的人才，为学生未来发展打下良好的基础。大数据管理与应用是实践性很强的专业，分析问题解决问题以及动手实践能力是本专业的核心能力之一。本专业一部分实践能力的培养是通过课程中的实验环节实现，独立实验课程较弱，本研究的结论是加强独立实验课程建设，并且由于本专业技术更新日新月异，所以实验课程的设置要与时俱进，紧跟当前技术热点，这不是一次性教改可以达到的目标，实验课程建设要常态化，才能使毕业生更快地融入工作岗位。