大数据技术基础课程教学内容设计

刘杨涛 张秋红 唐丙寅

摘要：社会对大数据技术人才的需求量逐年增加，为了培养适应社会需要的具有较强实践能力的大数技术人才，必须对大数据技术基础教学内容进行完善。文章介绍了课程的设计原则和教学目标，确定了贯穿大数据技术中的数据采集、存储、分析、应用和数据可视化全过程的知识体系，并在此基础上提出了比较完善的教学内容设计方案。新的教学内容在教学实践中进行了尝试，该教学设计方案有利于学习实践应用能力的培养。

关键词：大数据技术基础;知识体系;教学内容;设计方案

中图分类号：G642        文献标识码：A

文章编号：1009-3044（2022）01-0023-03

随着社会的发展，数据量的激增，原有的数据处理方法已经不能适应社会发展的需要。一种以分布式技术为核心的大数据技术的出现，为海量数据处理提供新的思路和方法，也为企业业务分析和行业发展带来了新的思维角度，提高了数据应用力，推动社会的影响和发展。大数据技术被越来越多的行业和部门所采用，社会对大数据技术人才需求也在逐年增加[1]。大数据技术的应用关键是大数据技术应用人才的培养。为了适应社会对大数据技术人才的需求，目前数百所学校开设了大数据技术专业（方向）。如何培养适应时代需求、具有大数据思维、掌握大数据技术的高素质人才是各校面临的问题[2]。

大数据技术基础是大数据技术的基础性课程，是学习大数据技术的先导课程。为了满足时代的需求，应完善大数据技术基础课程的教学内容设计。南阳理工学院是一所应用型本科高校，加强学生的实践应用能力培养是我们的教学目标之一。设计一套适合学生实践应用能力培养的大数据技术基础课程教学内容，有助于提高学生学习的积极性和主动性，提高学生的学习效果和动手能力。笔者以我校的大数据技术基础教学实践为基础，就该课程的教学内容设计问题进行讨论，期望给国内同类高校参考和借鉴。

1 教学内容设计的原则

目前国内许多高校都开设了大数据技术基础，各个学校的教学内容设计上各用特色，但在知识章节上侧重点不同。然而，在坚持加强学生实践应用能力培养的目标下，现有的内容难以满足需求[3]，需要从以下几个方面考虑，对教学内容进行重新设计。

1）教学内容应“全”而非“难”。大数据技术基础是一门技术导论课，有些院校可能只开设该门课程，后续不再开设大数据技术的其他课程，因此在授课内容上应该尽可能地全面，以保证学生较为全面地掌握大数据技术基础知识。此外，该课程开设时间较早，此时学生掌握的基本理论并不全面，同时有限学时数的限制，因此教学内容不宜难，要考虑学生知识的接受能力，教学深度要适宜。

2）及时更新知识体系统。当前大数据技术迅速发展，不断有新的技术出现。一些陈旧的技术在实际应用中逐渐被淘汰，可以适当删减相关内容以节约有限的学时，同时将一些新的技术应用要及时更新和补充到教学内容中去，适应社会的用人需求。

3）重新梳理前后逻辑。不同的学校、不同的专业在开设大数据技术相关课程时，各自体系的逻辑顺序不同。在制定教学内容时，也要统筹考虑课程内部的顺序以及专业后续课程的逻辑衔接。

4）加强实践内容设置。丰富完善的实验教学内容，有助于提高学生的学习兴趣。在实践安排上仅有综合实习的内容是不够的，需要增加课内实验，通过单个课内实验项目，加强知识的学习和理解，对于课程的学习和学生应用实践能力的提高有很大的作用。

2 教学目标

大数据技术基础是大数据专业的基础性课程，也是其他专业学生学习和了解大数据技术的导论课程。对于应用型本科高校，培养学生具备一定的理论基础，同时具用良好的实践应用能力是该类学校的培养目标[4]。因此该门课程的教学目标是通过该课程的学习能够让学生掌握大数据的基本概念，了解大数据技术及其应用。具备大数据的思维[5]，能够按照具体的工程项目的要求，选择合适的软硬件设备，设计大数据架构的解决方案。能够使用Hadoop大数据处理架构及其生态系统，完成分布式存储系统和分布式运算系统的搭建，能够使用相應的工具和方法实现大数据的采集、存储、简单处理和分析，并实现数据的可视化展示。

3 知识体系

大数据技术是一种海量数据采集及预处理、存储及管理、数据分析与挖掘、大数据应用与展现及应用等一系列新技术的总称。大数据技术应用主要围绕大数据应用中的“数据采集与预处理、数据存储、数据分析、数据应用与可视化”四个环节[6]。目前，大数据技术主要采用Hadoop大数据处理架构及其生态系统的相关开源软件[7]，因此课程的知识体系主要是在掌握一定理论的基础上，主要学习Hadoop大数据处理架构及生态圈相关的数据处理技术、大数据应用与可视化。并在此基本上通过具体的大数据应用案例将相应的知识点进行综合应用。因此，课程的知识体系分为大数据基础、大数据存储、大数据分析、大数据应用4个部分。

4 教学内容设计

4.1 大数据基础教学内容

大数据基础主要学习大数据的基本概念、大数据的应用、大数据的关键技术、大数据产业的相关情况。内容包括以下几部分：

1）大数据概述。主要讲述对大数据的总体认识，内容包括大数据时代背景、大数据的基本概念、大数据的应用及对社会的影响，以及大数据与物联网、人工智能的关系。

2）大数据关键技术介绍，主要介绍大数据的采集、存储、分析和应用的相关关键技术简介，贯穿了大数据处理的全过程。

3）Hadoop大数据处理架构。主要介绍目前主流的开源的大数据处理架构Hadoop。

4.2 大数据存储技术教学内容

大数据存储技术主要介绍大数据的存储方法，包括以文件形式存储数据的HDFS分布式文件系统和以数据库存储数据的分布式数据库HBase两种。

1）HDFS分布式文件系统。主要介绍HDFS分布式系统的相关概念、基本结构、存储原理、工作原理及基本操作，以及HDFS编程基础。

2）分布式数据库HBase。主要介绍HBase数据库的特点、应用场景、数据访问接口、数据模型、工作机制与运行原理、数据集群的安装配置与操作和HBase Java API编程基础。

4.3 大数据处理与分析教学内容

大数据处理与分析主要介绍基于Hadoop生态系统的各种大数据处理与分析工具的使用方法。

1）分布式日志采集系统Flume。主要介绍海量日志的采集工具Flume的特点、使用场景、工作原理和使用方法。

2）数据交换工具Sqoop。主要介绍数据Sqoop的特点，应用场景以及使用方法。

3）分布式协调服务的Zookeeper。主要介绍分布式协调服务的概述、Zookeeper的特点、Zookeeper的工作原理和Zookeeper的使用方法。

4）MapReduce分布式并行处理框架。主要介绍Mapreduce架构的基本特点、模型简介、工作原理和Mapreduce的具体应用。

5）分布式数据分析工具Pig。主要介绍Pig的特点、基本概念、工作原理、使用方法和Pig的应用案例。

6）大数据处理框架spark。主要介绍Spark的特点、Scala语言、Spark运行框架、Spark的部署和应用、Spark编程。

7）分布式数据仓库Hive。主要介绍Hive出现的背景、Hive的构成、Hive的使用方法和Hive的应用案例。

8）数据可视化。本章内容主要概述什么是数据可视化、可视化的发展历程和重要作用，介绍桌面可化化、OLAP可视化和Web可视化的方法，重点掌握Web可视化中Echars的可视化编程方法。

4.4 大数据应用教学内容

大数据应用主要介绍大数据技术在各行各业的应用情况以及具体的案例。通过具体的案例讲解让学生了解大数据技术的实际应用方法，提高实践应用动手能力。

1）大数据在行业各业的应用情况。概述大数据在互联网、健康医疗、現代农业、现代物流、现代金融和城市管理、数字政府中的具体应用。了解大数据库在社会生产和生活中具体应用

2）大数据应用案例。本章节内容主要是通过一个具体的大数据应用案例，培养学生的大数据技术的综合应用能力，该案例要求贯穿大数据的采集与预处理、大数据存储、大数据分析与可视化。具体的案例如智能推荐系统、用户网站行业分析、OTA离线数据分析等。

4.5 大数据课堂实验教学内容

课程的学习仅仅依靠综合实习是不够的，必须增加相应的课堂实验操作，以验证所学的知识，提高知识的实际应用能力。对于大数据技术基础而言，一门偏重技术实践的课程，课程实验尤为重要。大数据技术基础课程实验的内容安排如表1所示。

5主要创新与特色

1）教学内容设计较为全面

根据社会对大数据人才的需求，按照宜“全”忌“难”的原则，既有一定的理论基础，又有大量的技术应用，建立了较为全面的教学内容。在第一部分大数据基本知识的基础上，介绍了大数据的架构、处理、分析和应用的各种新技术，涵盖了大数据处理技术的各个方面。

2）知识体系与科技发展同步

根据大数据技术的发展和应用现状，及时调整了大数据库技术的知识体系，保持课堂教学内容与社会技术应用同步。第三部分增加了Flume海量日志采集和Spark处理框架。

3）贯穿大数据技术全过程

大数据应用技术教学内容贯穿大数据采集-存储-分析-应用的全过程，能更清晰完整地展现大数据技术的全流程。在技术应用部分分为大数据存储、大数据处理和大数据应用三个层面，全面系统地介绍大数据的应用技术。

4）加强实践应用能力培养

课程内容更加注重学生的应用实践能力培养，而非纯理论。课程共计设置24个学时的课堂实验，在教学部分安排2个学时的应用举例和2个学时的案例讲解，有利于提高学生的应用实践能力的培养，激发了学生的学习兴趣。

6 结束语

社会对大数据技术人才的需求量逐年增加，社会需要大量实践应用能力较强的大数技术人才。实现以提高学生应用实践能力为目标的教学内容改革，对培养大数据技术人才有重要的意义。本文针对大数据技术基础的教学目标，结合社会的人才需求，提出了新的教学内容设计方案，包括设知识体系、理论教学内容和实践教学内容的调整。教学内容安排从基础理论、基本架构、处理技术和综合应用这4个方面，由理论到实践，由简到难顺序向前推进。新的教学内容在教学实践中进行了尝试，该教学内容有利于学习实践应用能力的培养，有助于学生更加深刻理解大数据技术，激发学生学习的积极性，为学生后续大数据技术的学习提供保证。今后，该教学内容存在的不足有待在后期的教学实践活动中进一步改进。

参考文献：

[1] 冯永，钟将，李学明，等.共智融合的大数据智能化人才培养研究与实践[J]. 中国电化教育， 2021（4）：16-25.

[2] 莫礼平，周恺卿.基于CDIO理念的大数据专业实践类课程教学设计模式研究[J].现代计算机， 2020（27）：63-67.

[3] 张志伟，房爱东，崔琳，等.新工科背景下大数据专业建设探究[J].攀枝花学院学报，2018，35（5）：107-111.

[4] 周黎鸣，林英豪，李征，等.新工科背景下大数据专业课程建设[J].计算机时代，2021（1）：102-105.

[5] 吴启明，尹兰兰，林芳.地方应用型本科院校人才培养质量保障体系的构建——以数据科学与大数据专业为例[J].高教学刊，2020（26）：146-149.

[6] 许安见，邹杨.数据科学与大数据专业培养方案探讨[J].教育教学坛，2019（5）：45-46.

[7] 王建芳.大数据时代计算机科学与技术专业应用型人才培养研究[J].齐齐哈尔大学学报（哲学社会科学版），2021（3）：185-188.

【通联编辑：王力】

收稿日期：2021-04-09

基金项目：南阳理工学院“操作系统原理”一流课程建设基本（编号：270112）

作者简介：刘杨涛（1980—），男，河南罗山人，讲师，硕士，研究方向为大数据应用技术。

3290500589214