应用技术型高校Hadoop 课程建设研究

肖薇，李建敦，任菊慧

（上海电机学院 电子信息学院，上海）

一 引言

中国特色社会主义进入快速发展的新时代，国家在“十四五”开局之年提出了大数据的发展战略，加快了我国数字经济建设，为我国协同推进数字产业化和产业数字化转型创造了良好的环境，同时，为我国加快数字社会建设步伐，营造良好数字生态奠定了坚实的基础。丰富的数据资源是我国加快建设数字经济的重大优势。经过长期的数字基础设施建设，我国目前互联网用户规模已超过10 亿，互联网普及率达71.6%，成为全球最大规模网络通信国家。此外，海量用户数据极大推进了我国零售业的创新，成为全球规模最大、最具活力的网络零售市场。在十九届中共中央政治局第二次集体学习中，习近平总书记重点指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署。这说明我国数字经济发展具有广阔而光明的前景，以数据为关键要素的经济发展将为我国构建大数据时代国家综合竞争新优势指明了方向[1]，也将成为推动全球经济快速稳步发展的新动能。

新工科建设是应对新经济发展的一项持续深化工程教育改革的重大行动计划。目前，已具备新技术、新产业、新业态和新模式的多种特征。各高校正在加速改造升级传统工科专业，加快培养新兴领域工程科技人才[2]。大数据技术人才培养对应用技术型高等院校而言充满了挑战与机遇。为了建设合理的大数据专业课程体系，使学生充分掌握大数据专业核心技术，通过吸取计算机相关课程建设经验，以大数据行业需求为指导方向，及时调整大数据课程教学内容，以培养学生对大数据分析与处理的能力[3-9]。随着大数据爆发式的增长态势，我国对大数据专业人才的需求也非常巨大。然而，我国大数据开放共享还处于初级探索阶段，并且存在总体数量少、地域差异大、资源建设与利用情况差、数据管理薄弱、服务不完善等多种问题。此外，大多企事业单位为了保护数据资源的隐私，从而导致数据资源共享程度低，甚至出现数据孤岛现象。同时，大量涌现的数据也可能导致其质量低、资源流通不畅、管理能力弱等现象，从而难以从海量数据资源中挖掘有用的价值。因此，加速新一代信息技术人才培养以满足我国大数据行业的人才需求迫在眉睫[2]。

二 培养目标

Hadoop 课程作为数据科学与大数据技术专业的一门核心技术课程，以培养大数据分析与处理、数据存储与计算能力为目标，将业界主流大数据处理语言Python 基础与实践应用相结合，旨在让学生了解大数据的基本概念，掌握Hadoop 集群的搭建及基础操作，以及MapReduce 编程等，并能将其应用于智能制造等行业数据处理中。课程具有较强的模块性与逻辑性，强调理论联系实际，对培养学生分析处理能力、编程能力及可视化展示等基础能力有重要作用，同时对激发学生发现问题与解决问题、逻辑思维与创新意识有重要意义。课程依照人才培养方案与大纲要求，以培养大数据分析与处理、数据存储与计算能力为目标，将业界主流大数据处理语言python 基础与实践应用相结合，全面覆盖基础，并结合线上与线下教学模式，全面提升学生的数据思维与处理能力，力求使学生获得扎实的编程功底，为面向大数据的综合处理与决策支持等提供有力支撑。

在专业人才培养方案中，Hadoop 基础应用旨在加强本科及高本贯通学生对大数据处理的认识，提升在大数据存储与计算方面的应用能力。该课程建设的有序实施，能使学生对大数据处理的基本概念与方法有较深入的理解，同时培养一定的实践操作能力，从而为面向智能制造行业的大数据处理与决策支持提供有力支撑。本课程建设有望从整体上提升课程体系的质量，包括教学大纲、授课计划、课程实验、题库等，进而更好地服务课程定位与专业人才培养方案，提升毕业要求与职业能力的完成质量。此外，本课程建设有望更加贴近学生实际情况，激发学生的学习热情，为未来平滑就业提供有力保障。

三 大数据知识体系

大数据技术目前已经形成了较庞大的知识体系，主要分为五大模块，如图 1 所示。

图1 大数据的生态圈[10]

（1）数据收集。数据类型有历史数据/ 文件、点击流、数据市场、实时日志和数据流等。目前主流的大数据日志数据采集系统平台有Flume、Kafka、Scribe 和S-qoop 等。

（2）数据存储。数据存储主要采用抽取方式对数据进行管理，主要包括云存储、云数据库、Hadoop 集群、系统管理和自动部署等。

（3）数据分析。数据分析主要分为离线计算和实时计算两大类。实时数据分析为当业务系统产生数据，大数据平台能够立刻采集、存储并进行计算处理。离线数据分析即系统每时每刻产生的历史数据等。数据分析过程主要包括数据清洗、数据建模、多维分析、作业跟踪和即席查询等。

（4）数据集成。在大数据处理中，数据集成通常是指将计算任务在内部分解成为若干个子任务，将这些子任务之间的逻辑关系或顺序构建成图结构。数据经过分析处理后会得到不同的结果，将这些结果集根据业务需求进行组装集成，形成数据网关、开发套件、BI 组件、可视化第三方工具等。

（5）数据交易万象。数据集成结果为数据交易万象提供服务，形成数据集市层，包括API、数据报告、块数据、第三方数据等。

用户根据需求对大数据项目进行检索或使用，如环境数据、运营商数据、征信数据、金融数据、电商数据等。同时，大数据也需要咨询顾问、数据专家或数据地图等对数据进行管理和维护，从而优化出合理有效的运维运营支持、同意标准规范、权限账户控制和项目组织协调方案。

四 课程建设内容

以行业需求为导向，Hadoop 课程建设拟从以下几方面来深化课程建设。

（一） 设计贴近行业的课程教学内容

传统课程教学中采用理论教学和纯粹验证教学，在本课程改革中，教学方法上拟定由验证型、提高型向综合型、设计开发型和创新型转变。课程教学内容划分上按教学规律分阶段递级展开，按照由认识到理解、由理解到掌握、由具体到抽象、由微观到宏观的学习规律递进，以渐进的形式达到对学生动手能力和创新能力的培养。目标由以往单纯的教学型向产学研相结合的方向转变，采用案例化教学，以项目驱动法和案例为新元素，广泛收集Hadoop 基础应用的最新应用案例。通过以实际案例为导向组织教学内容，从而强化各知识点的运用，更加贴近行业需求。

（二） 提升实践环节的前沿性

在强化理论知识的基础上，通过校企合作平台等途径，积极了解企业的前沿方向与技术，进一步丰富与优化本课程中实际案例的导入。此外，在实验课中，还可以增加以小组为单位的创新大作业。学生可以结合临港周边企业的大数据处理技术与方案，实现与Hadoop 基础应用相关的课题，这样可以进一步提高实践动手能力和团队合作能力。此外，课题的不断改进和完善也能给学生带来成就感，从心理上对专业前景充满信心，提高大数据专业学生的专业技能和就业核心竞争力，帮助学生提前熟悉毕业设计制作过程，培养学生的职业能力。

（三） 改善考核方式

在课程建设中新课程考核突出实践教学，注重学生在实践过程中应用能力和过程的考核。对于应用技术型高校学生，以能力考核为核心的课程考核体系是提升学生培养质量的重要基础和有力保障。在课程考核中要重点突出考核内容设计的科学性，并采用多样化的方式，以激励学生主动学习。对于综合成绩评定，增强过程考核的比例，减少期末考试所占比例，也即增大考核实践教学中学生实验应用能力、大作业完成能力、主题讨论理解能力等多项分数所占的比例，并且降低期末考试理论知识的考查力度。拟通过实验应用、实践创新项目大作业等动手环节，进一步锻炼学生运用基本理论与技术解决实际工程问题的能力，尤其考查实验过程中学生的创新性和系统考虑周密性等。

（四） 提升课程在线性

依托专业教学平台，以面向产出的教学思维为指导，开展在线翻转课的教学实践。首先在课程体系的基础，通过直播、录播、借鉴示范课程等途径，为学生提供全天候学习环境，以保证学生可以做到提前预习、课后复习、反复巩固的效果。其次，丰富习题库，根据大数据时代发展的趋势，将大数据前沿知识的新技术融入已有的题库中，以不断充实和更新专业基础知识。同时，加强知识点与毕业能力的链接强度，通过阶段性、自主性测试等手段让学生明晰能力达成度，让课程考核真正做到产出为导向。最后，完善小组协作与实时答疑，提升学生的团队沟通能力与解决问题能力。大数据的分析处理平台和分布式框架搭建涉及的组件众多，如何将多种技术有机结合，以完成海量数据挖掘和处理是一项复杂的工作。因此，小组中的每个成员需要明确场景业务需求，充分发挥团队优势。

五 校企合作平台

Hadoop 课程对应用型本科院校学生的实践能力有较高要求。通过课堂学习，让学生对理论基础知识有直观的理解和掌握，同时结合实验课，将理论知识和实验紧密结合，从而达到对大数据技术的全面掌握。近年来，针对本课程实行的教学改革与基本措施如下：

（1）进一步明确培养目标，完善课程建设方案。结合大数据发展的需要，坚持以社会需求为导向，进一步明确“技术应用”培养目标并完善课程建设方案。大数据顺应了信息时代的发展趋势，培养大数据分析与处理相关的人才也是社会发展的需求。目前，大数据的研究还处于初级阶段，随着应用领域的扩展、技术的提升、数据共享开发机制的健全，以及产业链的不断成熟，大数据处理与挖掘将是时代发展的重点。

（2）加强队伍和课程体系建设。自大数据本科专业招生以来，通过专业建设使课程体系更加完整，课程师资队伍建设也成为专业建设中的核心部分。大数据技术是计算机方向的一门新技术和新知识，专业教师不仅要加强基础理论知识的学习，同时，还要不断融入新技术，并且加强实践能力的训练。因此，在专业授课之余，还需要积极参加相关企业实践课题或培训，紧跟大数据前沿知识，提升自身专业修养。

（3）建立了有效的校企合作机制。学校培养人才的最终目的是为社会服务，因此传统教育离不开社会的发展。而校企合作教学团队建设是一种有效途径。通过将“企业成功应用案例引入课题教学和实践教学”的可行办法，探索出传统教学中融入企业真实实践项目的有效途径，从而为后续的相关课程建设提供了成功的经验。

本课程通过以实践操作项目为引导的教学指导思想，引入了公司大数据开发平台。教学过程中有配套的实验视频教学，详细地讲述了每个实验的操作步骤，同学们可以多次学习大数据经验方面的专家给出的实际指导。在该开发平台上，教师和同学可以自己搭建和部署实验环境，或直接导入公司已搭建好的实验环境。同时，该开发平台还提供了实验参考报告，对于实验过程中的操作命令和代码也给出了详细指导。通过视频和报告结合的学习手段，能够更加有目标性和方向性地让学生更好地掌握实验开发过程，激发学生的学习兴趣。此外，学生可以在校园内随时登录开发平台进行相关的实验操作，从而有效避免了实验课的时间约束。采用这种新型教学方式可以为应用技术型高校的大数据专业教学引入新的教学模式和方法。同时，通过与企业真实项目结合，激发学生的学习兴趣，不断增强他们的动手实践能力，为大数据时代培养真正有用的专业人才。

六 结语

根据院校自身的办学特色和管理目标，将现代化的技术融入应用技术型院校教学中，是高校与时俱进的发展理念。Hadoop 课程作为大数据技术中的核心专业课程，以行业需求为导向，从课程教学内容、实践环节、考核方式、课程在线性等方面来深化课程建设。同时，结合校企合作平台，从而全面提升应用技术型院校学生的理论知识和实践能力，为学生未来平滑就业提供有力保障。