基于模块化分层次的大数据专业实践教学体系研究*

雒伟群 党红恩 刘炜

（西藏民族大学信息工程学院，陕西 咸阳 712082）

0 引言

大数据已成为国家战略，产业结构升级换代需要大数据技术紧密结合行业应用，大数据人才是数字经济发展的重要资源。2020年度，教育部批准的第六批数据科学与大数据技术专业建设高校共有74 所。包括前五批的600 所高校，全国共有674 所高校获批该专业建设与招生［1］。在这些高校中，地方性院校占了绝大多数，如何培养理论基础扎实和专业技能精通的大数据应用型人才，成为各个高校需要面对的难题。

由于大数据专业培养方案没有全国标准，各个大学办学背景各有差异，各个高校依据据自身办学优势制定了不同的培养方案，但是在课程体系和实践体系两个方面更多的是依靠专业负责人的知识水平和直观感受，这种粗放式的方法导致其系统性方面还存在许多问题。

大数据人才是工程应用型人才，能够熟练使用专业IT 工具促使大数据落地的实现。我们根据网络招聘信息中的企业用人需求和行业的岗位类别出发，以及应用能力培养层次，设计出了专业课程教学体系。考虑学校办学状况，综合考虑素质教育和应用能力培养，根据层次由低到高设计出了实践教学体系。

1 数据科学与大数据技术专业人才岗位分析

从智联招聘网［2］上来看，各行各业急需大量数据科学与大数据技术的专业人才、大数据人才岗位需求最多的有：大数据采集工程师、大数据处理工程师和大数据开发工程师。这三种人才具体任职要求如下：

大数据采集工程师任职要求：（1）胜任数据爬虫开发工作；（2）对html、css、xpath、ajax 和xml，以及HTTP 非常熟悉，对网页抓取和整合非常精通；（3）对Python、Scrapy 框架和反爬等技术精通；（4）能够熟悉使用MySQL和Hbase。

大数据处理工程师任职要求：（1）熟悉hadoop、Spark、Kafka、Zookeeper 等部署工作；（2）熟悉Hive、spark-sql大数据分析环境，并具有开发能力；（3）有常用数据库使用和数据建模经验，有数据流水线和数据管理系统使用经验；（4）具有基于linux平台的开发、部署、运维经验。

以上岗位对大数据获取、大数据存储与管理、大数据分析的工程实践能力提出了具体要求，首先能够进行大数据平台搭建、调优和维护，然后可以开展大数据清洗、转换和集成工作，最后能够利用人工智能和机器学习技术研发算法模型，并将其应用到具体业务优化和提效方面。所以，大数据专业课程教学体系要培养具有创新意识的应用型人才，实践教学体系必须匹配人才市场岗位要求。

2 数据科学与大数据技术本科专业课程体系设计

数据科学与大数据技术本科专业课程体系构建，必须考虑企业的人才需求，行业的岗位类别，要以解决大数据行业领域问题为导向，遵循专业知识学习和知识运用能力提高并重的原则。

根据网络招聘信息来看，大数据的业务主要分为数据采集、数据管理和数据分析三个阶段。每个业务阶段就是培养方案的一个课程方向，通过设置对应的课程模块，使学生具备相应理论和实践的知识结构。

大数据人才应用能力主要体现在两个方面：第一是认知层，对大数据技术原理与方法熟练掌握，达到认识能力的提高；第二是应用层，能将技术应用到解决真实场景问题中［3］。

作为一所地方民族院校，西藏民族大学在2018年、2019 年开设了信息管理与信息系统（大数据方向），在2020 年新开设了数据科学与大数据技术本科专业。根据大数据市场岗位职能要求，学校对本专业的知识结构提出如下要求:（1）具备扎实的数学功底，掌握计算机基本理论，理解统计学基本方法；（2）掌握数据科学与大数据技术专业发展趋势及大数据工程基础和专业知识（3）熟悉工程实践中的职业道德与规范；（4）熟悉大数据采集和大数据处理技术，掌握大数据分析手段，能够对大数据行业领域现实问题通过分析和设计，给出实现方案。

学校的数据科学与大数据技术本科专业课程体系分为专业基础课和专业教育课（必修和选修）两个方面。按照以上知识结构，我们的专业课基础课包括高等数学、线性代数、概率与数理统计、离散数学、大学物理、数字电路与逻辑设计、计算机网络和C 语言程序设计等课程；专业教育必修课包括数据结构、操作系统、数据库原理与应用、计算机组成原理、Python数据分析、大数据导论等课程。专业教育选修课根据大数据三个业务阶段的岗位职能要求，以及应用能力培养的两个层次，学校将该部分课程分为三个课程模块，每个课程模块又分为两个层次。具体设计如下：

（1）大数据采集课程模块：①认知层课程：管理信息系统、计算机网络原理、网页设计、Java 程序设计；②应用层课程：大数据采集与爬虫技术、Mysql数据库技术、互联网系统开发（Java+Mysql）。

（2）大数据存储和管理课程模块：①认知层课程：分布式系统与云计算、Linux 操作系统；②应用层课程：大数据开发技术（Hadoop）、大数据处理技术（Spark）、数据库技术(NoSQL)。

（3）大数据分析与建模课程模块：①认知层课程：多元统计学、R 语言数据分析、人工智能、机器学习与数据挖掘、Scala语言；②应用层课程：大数据可视化技术课程设计、计算机视觉、自然语言处理、深度学习、知识图谱，区块链技术。

3 数据科学与大数据技术本科专业实践教学体系构建

实践教学体系依据教学规律，由一系列教学活动组成。构建实践教学体系时一定要做到内容一致性，形式多样性，层次连续性，采取有效措施加大对学生动手实践能力［4］。下面以西藏民族大学为例，探讨数据科学与大数据技术本科专业实践教学体系的构建过程。实践教学体系从层次上由低到高分为入学专业教育、课程实验、阅读实践、专业实习、毕业设计、创新创业以及大数据平台辅助作用七部分。

3.1 入学专业教育

安排第一学期开学后的第一周。专业教育要求大数据教研室全体教师参加，教研室主任介绍专业培养目标、师资力量、就业方向，实验室情况、课程设置以及人才培养模式和人才培养特色。各位老师介绍自己所承担的课程以及科学研究方向。通过专业教育，要求每位学生制定大学四年专业学习规划，认识到实践教学的重要性。

3.2 课程实验

课程实验分为验证实验、设计实验、综合设计实验和自主创新实验四个层次级别。这四个层次类别是专业实习、毕业设计和创新创业等更高层次实践教学的预训练。我们的实践性强的课程超过60%，课程实验学时占比超过50%以上。为了提高学生互联网系统开发能力，我们开设了应用基础实践（Java+Mysql）课程；为了加强大数据处理能力，我们开设了大数据开发实训（Hadoop）课程；为了拓展大数据应用能力，我们开设了大数据综合应用实践（Spark）课程和大数据可视化技术课程设计。

3.3 阅读实践

大数据学习过程中，课外还需要看些什么书？学校为大数据专业学生指定了100 本左右的阅读书目，并分配了阅读导师，要求学生从第一学期至第六学期，每学期撰写不低于8000字的阅读笔记。其中的数据科学与大数据技术方面的书目按照大数据的求职岗位和大数据技术从低到高的学习路线，我们遴选了超过30 本书目。并要求学生在看懂书籍内容的前提下，采取边看边练和不断练习的方式，努力提高编写代码能力。

3.4 专业实习

第六学期期末在学校实训基地或校外专业实训基地安排大数据专业技能实训2周。实训内容包括企业级应用开发框架设计、大数据采集、大数据分析和大数据可视化等［5］。我们与东方瑞通（西安）科技有限有限公司等多家企事业单位建立了紧密合作关系，由企业导师对本专业学生进行专业实训。将学生分为多个小组，每组3～5 人，每组组成一个团队，自主确定一个大数据相关的项目，并推选一名产品负责人和主管。按照Scrum 敏捷开发流程进行项目开发，我们要求每个团队在项目开发的前期、中期和后期分别提供以下材料：（1）前期(技术培训阶段)提交文档：团队创建报告，简单风险分析追踪，总用例图，初始产品待办列表。（2）迭代进行期间文档：当前迭代的Sprint 待办列表，当前迭代的用例场景，本迭代的成果：源代码和发布包，修订后的产品待办列表。（3）实训结束前提交的文档：项目最终源代码和安装包，产品演示PPT和资料（视频+文档），团队评分表。过程化管理保证了各团队项目的质量和按期完工，提高了学生的大数据系统开发能力。

3.5 创新创业和学科竞赛

学校培养方案中对创新创业有学分要求，大学生创新创业项目和各类学科竞赛学校有专门经费支持。我们鼓励数据科学与大数据技术专业学生积极投身专业实践，勇于创新创业，大学四年期间必须参加一项大创项目，大数据教研室教师担任指导老师。大创项目选题以互联网、大数据和人工智能等新IT技术结合经济社会领域，探索互联网+时代的新产品和新服务。创新创业项目优秀者，推荐参加西藏自治区“互联网+”大学生创新创业大赛。另外，学校也有经费支持学生组队参加国家和行业内的各种竞赛，例如：全国大学生数学建模竞赛、全国大学生软件设计大赛、全国大学生大数据与人工智能大赛等。学生成立课外科研小组和竞赛小组，开展有应用价值的项目开发，带动了实践教学，也为将来毕业就业顺利适应工作岗位打好了良好的基础。

3.6 毕业设计

毕业设计属于综合性实践教学环节，学校将该项工作安排在第7 学期中期开始至第8 学期中期结束，共16 周。毕业设计要求：学生能灵活运用数据获取、数据处理和数据分析的工具和技术开展复杂工程问题研究与设计，提出有效的解决方案［6］。毕业选题我们以大数据产业链为主线，以解决行业问题为出发点，采用教师命题或学生自主选题两种方式进行。毕业设计过程，主要有以下四个步骤：（1）数据采集。选定行业大数据分析项目，在背景分析基础上进行数据调研，了解数据获取途径后选择大数据采集方案，然后数据采集与存储；（2）大数据预处理及数据探索。初步分析采集数据的质量，预处理数据的缺失值和异常值，以及要集成和变换的数据;数据探索主要是对数据的分布和统计量分析，挑选特征显著的数据；（3）选择机器学习算法，构建合适模型。数据探索后得到的数据，根据数据分析需要选择分类、预测、聚类或关联规则等机器学习算法，构建模型对问题求解。最后对模型处理结果可视化，评价模型或提出改进方案；（4）部署行业大数据项目解决方案。

3.7 大数据平台辅助作用

数据科学与大数据技术本科专业学生实践能力锻炼，需要大数据平台提供软件系统和硬件算力。大数据平台要建成开放性实验室，成为学生持续实践能力锻练的平台，学生可以根据个人兴趣爱好和课外实践活动内容进行自主学习。学校于2021 年11 月建成大数据学生实训实验室和大数据科学研究平台。大数据学生实训实验室主要为实践教学体系中课程实验、毕业实习、毕业设计和大数据技能竞赛等环节提供实践环境和实践场所；大数据科学研究平台主要为教师科研、学生大数据创新创业项目研发和毕业设计提供硬件和软件资源，平台提供了各种主流大数据系统工具，人工智能、深度学习和区块链等资源框架以及服务器高性能计算资源。实训实验室和科研平台都采用私有云形式，可以随时随地开展实验教学和科学研究，打破线下实验教学和科学研究固定时间、固定地点的限制。实验室+平台建设经费已达530 万元，实验室还建立了数据采集及爬虫技术案例、机器学习与数据挖掘案例、深度学习案例和行业综合案例以及行业数据集十几套，有了大数据集，具体应用与特定行业相结合，就可以很方便的进行数据存储和管理、数据分析与建模的综合训练了。教师在科研平台上已开展西藏畜牧业大数据融合、西藏藏医知识图谱热点主题推荐、西藏非物质文化遗产知识图谱构建等研究，促进数学、统计、信息和计算机等学科之间的交叉、融合和渗透。

4 结束语

深化应用型人才培养是高校当前人才培养的关键所在。学校课程教学体系中专业教育选修课按照大数据三个业务阶段的岗位职能要求，以及应用能力培养的两个层次，将课程分为三个课程模块，每个课程模块又分为两个层次。实践教学体系从层次上由低到高分为入学专业教育、课程实验、阅读实践、专业实习、毕业设计、创新创业以及大数据平台辅助作用七部分。我们的课程教学体系及实践教学体系可为高校应用型工程人才培养提供可模仿借鉴的方法。