应用型本科高校《大数据与云计算》教学改革实践

王全福

（中山大学南方学院，广州510970）

0 引言

随着高校教育事业的发展，应用型本科高校的改革日益重要。2019 年2 月，教育部发展规划司在《支持应用型本科高校发展有关工作情况》中说明要做好应用型高校发展的顶层设计，《国家教育事业发展“十三五”规划》将推动具备条件的普通本科高校向应用型转变，作为高等教育结构调整的重要举措，明确提出引导高校从治理结构、专业体系、课程内容、教学方式、师资结构等方面进行全方位、系统性的改革[1]。

为积极贯彻落实国家建设应用型本科高校的战略，高校新开设《大数据与云计算》专业课程。考虑到理论与实践的有机结合，理论知识的讲授深度、动手实践的难易程度、前沿知识的科普学习等方面。需要在有限的学期课时内，让学生深刻理解必要的理论知识，掌握一定的实践能力，更好达到应用型本科高校的课程建设要求。因此，提出一种改进的教学方法，对教学改革实践具有十分重要的意义。

1 教学过程中的问题

1.1 理论知识较多

专业课程《大数据与云计算》包括两个方面的内容，一个是大数据，另一个是云计算。

维基百科中大数据的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集[2]。大数据的处理模式主要分为先存储后处理的批处理（Batch Processing）和直接处理的流处理（Stream Processing）两种[3-4]。同时，大数据包括数据量大（Volume）、多样（Variety）、快速（Velocity）、价值密度低（Value）、复杂度（Complexity）的4V+1C 特征。

云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务[5]。而在云计算服务的划分方面，根据美国国家标准与技术研究院（NIST）的定义，当前云计算服务可分为3 个层次，分别是：①基础设施即服务（IaaS），如Amazon 的弹性计算云（Elastic Compute Cloud，EC2）、IBM 的蓝云（Blue Cloud）以及Sun 的云基础设施平台（IAAS）等；②平台即服务（PaaS），如Google 的Google App Engine 与微软的Azure 平台等；③软件即服务（SaaS），如Salesforce 公司的客户关系管理服务等[6]。

1.2 实践操作不足

课程内容有许多需要实践操作的技术知识点，包括大数据中的数据获取、数据清洗、数据分析、数据解释、数据可视化等内容。云计算中的Hadoop 基本架构、Spark 基本架构、虚拟化技术、数据中心建设、核心

算法介绍等。在有限的学期课时内全部都掌握并实践显然会有较大难度。考虑到学生的自控力，在技术选型和实践操作中也会遇到困难。同时，学校的配套资源更需要进一步提高。

1.3 技术融合性难以把握

在大数据与云计算的关系中，大数据可以描绘为待解决的问题，而云计算是解决此问题的方法。如果用x表示大数据，f表示云计算，则求解目标可以表示二者关系。但通过具体教学实践方式找准切入点，将大数据与云计算技术浑然天成地融合起来，需要教师特定的教学方法、技术储备以及相关领域的工作背景。

2 教学过程中的改进方法

2.1 大数据教学的改进方法

对于大数据方面的教学改进，首先可以从大数据4V+1C 特征进行举例，例如电商平台交易业务、铁路春运售票系统、金属射流有限元模拟等数据处理。之后引入数据获取、数据清洗、数据分析等理论知识。最后讲授数据可视化的内容。

在实践操作上需要用到的工具包括Anaconda 软件与VS Code 软件，使用Python 语言来编写数据分析的程序代码。Anaconda 软件作为一个开源的Python包管理器，包含Pandas、NumPy、matplotlib 等丰富的科学计算模块，但其开发界面不太友好。而VS Code 是一个轻量并且强大的跨平台开源代码编辑器IDE（Integrated Development Environment），具有丰富的插件生态系统，开发界面友好。将二者配置连接后便可进行数据分析的实践学习，配置内容如图1 所示。

图1 VS Code内配置代码内容

在数据分析中会涉及到对比性指标、离散程度指标，以及相关性指标等。而在数据可视化方面，需要绘制折线图、气泡图、雷达图、热力图等图表来清晰有效表达数据信息，如图2 所示。

图2 某数据分析师的综合成绩

2.2 云计算教学的改进方法

对于云计算方面的教学改进，首先可以从大型的分布式文件系统GFS（Google File System）举例介绍客户端（Client）、主服务器（Master）、数据块服务器（Chunk Server）等内容。之后引入分布式计算框架MapReduce，包括Map 映射函数操作以及Reduce 归约函数操作。最后讲授分布式文件系统HDFS（Hadoop Distributed File System）以及分布式操作系统Yarn（Yet Another Resource Negotiator）。

在具体的实践过程中，首先可以使用虚拟机安装CentOS 7 操作系统，实践修改主机名、修改IP 地址、关闭防火墙等操作。其次安装JDK 与Hadoop 并执行必要的文件配置操作。配置HDFS 的namenode 地址和Hadoop 运行时产生文件的目录，如图3 所示。最后初始化HDFS，使用HDFS 管理界面，如图4 所示，以及使用Yarn 管理界面完成一些文件的上传和下载操作。

图3 配置Hadoop文件的部分代码

图4 HDFS的管理界面

2.3 课程《大数据与云计算》的技术融合

数据的价值会随着时间的流逝而不断减少，因此需要尽可能快地对数据做出分析并给出结果。数据分析是整个大数据处理流程的核心，因为大数据的价值产生于分析过程[7]。同时，云计算是大数据平台的技术支持基础。通过Anaconda 软件分析处理后的数据文件可以上传至HDFS 进行存储备份。同样，也可以从HDFS 中下载待分析的数据文件供Anaconda 软件进行分析处理。以此通过简单案例实现大数据与云计算的技术融合，提高教学过程中的可操作性，便于学生理解掌握相关理论知识。

3 教学改进方法的结果分析

理论与实践相结合，从简单案例逐步过渡到理论知识，再运用理论知识指导实践操作。使用改进后的教学方法，由浅入深循序渐进地教学，更能提高学生的学习兴趣。经过学生的课后反馈，普遍认为理论课程不再枯燥乏味，课程的技术实践操作更能提高学生的专注程度。通过分组完成课程设计，在程序实现方面可以运行出相应的正确结果。在课程设计报告中，培养出规范化的书写能力与较高的团队合作意识，每位同学在小组内的不同分工，会获得不同的学习总结感受，进一步提高自身学习能力。毕竟，在大学中培养出学生较好的自学能力会使其终生受益。

4 结语

在《大数据与云计算》这门课程的教学改革实践过程中，通过大数据和云计算两方面理论知识的教学分析与教学实践，有助于强化学生理解并掌握这门课程的相关知识点。同时，在实际的教学实践过程中收到良好的反馈效果，符合应用型本科高校的教学改革实践要求。