面向大数据平台的数据库技术创新创业教学改革

刘 莉 陶 强 张小峰

1.鲁东大学信息与电气工程学院 山东烟台 264025

2.山东商务职业学院 学生工作处(团委)山东烟台 264003

从2011年大数据概念提出以来，大数据几乎应用到人们生活、工作的各个方面，无论是对社会、公司还是个人而言，都是一次世界观的改变，而且数据和土地、劳动力、资金一样成为国家的重要经济资源[1]。作为一种商业资本和重要的经济投入，大数据可以创造出新的经济效益，激发新型产品和新型服务，同时影响着国家和社会经济的安全、稳定与发展。大数据产业本身具有巨大的商业价值和社会价值，国际数据公司(International Data Corporation，IDC)将大数据作为4个支柱研究领域之一，预计2018年大数据技术和服务市场总额将达到415亿美元，大数据将成为全球下一个促发创新、角力竞争和提高生产力的前沿领域[2]。根据2014年EMC公司公布的第七份数字宇宙(Digital Universe)报告，通过国际数据公司(IDC)的研究和分析，2013年全球大数据的总量为4.4 ZB(Zettabyte)，预计到2020年全球的数据将增长10倍，总量达到44 ZB。值得关注的是，大数据所获取的信息包含大量非结构化、半结构化以及结构化数据，而且常常以数据流的形式动态、快速地产生，具有很强的时效性[3]。这就需要高等学校教育在构建数据库技术课程体系中时，针对不同应用领域，面向大数据平台，研究适应新形势下的创新创业教学改革模式。

1 大数据在不同领域的应用现状

随着社会信息化和网络化程度的不断提高，以及云计算、物联网等新兴技术的发展和应用，一个大规模生产、分享和应用数据的时代已经悄然而至。大数据及其分析技术在公共卫生、商业、企业以及科学研究等领域应用广泛[4]，极大地改变了人们的生活。例如，互联网领域中，一些电商发起了“双11”“双12”等购物狂欢节，其暴增的交易量带给应用服务系统非常大的运行压力。商家为了缓解供需关系，采用大数据分析技术对往年用户的消费情况，以及个体用户购物节前所关注、收藏和浏览的商品等信息进行分析，从而更有效地备货[5]，应对短时爆发的海量需求。以医疗服务大数据为例，IBM与同仁医院合作，针对医院现有的客户病例信息，通过分析健康与患病人群的差异，搭建了基于临床、运营、科研、考核等信息的大数据分析系统，给患者和医护人员以更好的参考和服务[6]。

在科学研究领域，大数据分析和应用技术也取得了很好的成绩，国内外多个研究机构建立了大数据知识库，并在此基础上构建了多种应用系统[7]。以知识库为例，具有代表性的知识图谱有WordNet，KnowItAll，Freebase，DBpedia，WikiTaxonomy，YAGO，ReadTheWeb，以及基于网络大数据构建的概率化知识库Probase，Knowledge Vault等[8]。国际上著名的知识搜索和计算平台，如Google公司的知识图谱、Wolfram公司的知识在线自动问答系统Wolfram Alpha和美国的官方政府搜索平台Data.gov等[9]。我国科研机构构建的知识搜索平台，具有代表性的工作有搜狗知立方、百度知心、陆汝钤院士等人提出的知件、上海交通大学的zhishi.me和复旦大学的GDM中文知识图谱展示平台等[10]。综合以上应用现状和科研成果，可以看出，大数据分析技术得到广泛的应用和推广，同时，随着新时代对数据的需求越来越依赖，它将成为一种不可或缺的巨大的经济资产。

2 大数据平台基本模型

针对大数据人才的需求，结合数据库技术课程建设和教学改革现状，提出面向高等学校本科生及研究生的大数据平台人才培养基本模型，其层次结构如图1所示。该基本模型包含了实施大数据技术和部署大数据平台需要的6个层次，按照自下向上，逐层实施的原则，依次为基础平台→信息采集→信息融合与存储→计算与分析→应用层→可视化层。模型的每一层又按照“初级”“中级”和“高级”3个难度等级规划学习路径，循序渐进。同时，基本模型面向每个层次和学习路径设置了从简到繁、从易到难的学习模块，包括40个相关技术。具体层次划分依据如下。

(1)基础平台层：用于训练大数据底层的软硬件能力，主要包括操作系统技术(如Linux)、虚拟化技术、体系架构技术以及硬件技术。

(2)信息采集层：训练大数据的主动获取能力，主要包括网络爬虫、中级以及高级内容检索技术。

(3)信息融合与存储层：该层是信息处理的关键层，用于训练大数据预处理能力并部署融合能力，主要包括文件存储技术、关系数据库技术(如Oracle)、数据仓库技术，进而延伸出数据抽取、过滤、融合与压缩等技术。

(4)计算与分析层：该层主要对数据进行分析，用于训练大数据的分布式并行计算与分析模型构建能力，主要包括数据批处理计算框架(数理统计知识)、内存计算框架、图计算框架(机器学习)、流式计算框架(数据挖掘技术)等大数据分析技术。

(5)应用层：针对基础的大数据应用技术，主要包括文本处理、图像处理和语音识别等技术，能够训练综合运用大数据技术的能力。

(6)可视化层：该层提供了数据与用户交互式体验所采用的如Excel，Google ChartAPI，D3可视化库等数据可视化技术和工具，提高大数据计算与分析结果的展示能力。

通过大数据平台人才培养基本模型的搭建和实施，按照模型规划的6个层次、3个路径和40个技术模块进行创新创业教学改革，使学生掌握具有差异化学习难度的大数据技术，同时，循序渐进地提高大数据技术的部署和实施能力。

3 大数据平台拟解决的关键问题

图1 大数据平台人才培养基本模型

提出的创新创业教学改革思路，其平台构建过程按照图2所示的开发与运行机理展开。总体上分成4个部分：大数据构件资源库、集成设计开发环境、系统运行分析工具、大数据平台应用系统。具体而言，“大数据构件资源库”是大数据平台的元数据存储引擎，用于存储用户状态、资源状态、集群状态等元信息，同时为其他模块提供查询和更新接口。考虑到资源库是整个系统的核心，其与需求模块、分析优化模块和自动部署模块相关联，因此，“大数据构件资源库”的作用是负责系统的状态存储与消息传递。针对需求模块，“大数据构件资源库”能够根据用户对大数据存储、计算和分析需求，设计满足用户需求和构件特点的自适应方案，自动选择合适的大数据存储系统、计算系统和分析系统。进而对大数据平台应用系统进行软硬件参数自动配置以及参数优化。

该大数据平台的主要运行机制和特色如下。

(1)构件自动选型：依据用户需求，自适应地选择大数据平台应用系统构件。

(2)系统硬件容量规划：考虑到用户需求中的数据负载等情况，规划大数据平台应用系统的硬件容量，并给出硬件容量建议。

(3)系统软件参数配置与优化：根据用户需求和系统硬件容量规划，对大数据平台应用系统的软件参数初始化配置，并设计优化方案。

(4)构件资源库实现动态更新：配置“大数据构建资源库”的文件更新策略，实现其选型知识、参数配置知识，并根据用户的反馈进行自主更新。

图2 大数据平台应用系统的开发与运行支撑平台

综合以上大数据平台人才培养基本模型和主要运行机制，本文主要解决大数据构件资源库的运行机制。整个运行过程分为使用前，使用中和使用后，可以总结为3个主要阶段：训练阶段、应用阶段和动态更新阶段。训练阶段用于训练选型决策树和性能模型，以及训练软件参数初始化配置规则库；训练完成阶段，依据训练结果，设计优化方案，解决大数据平台应用系统的构件选型和参数配置问题；动态更新阶段，用于系统的持续使用，所设置的选型决策树、性能模型和软/硬件参数配置规则库在应用过程中，根据用户的反馈不断进行更新，自主调整，以适应新的知识和方法。

4 改革方案设计

协同创新创业大数据平台的数据库应用课程结合当前创新创业的时代要求，主要体现在校企合作大数据平台的搭建，以及教学实践案例的创新。其改革方案设计举例如下。

案例：Oracle 12C 在铁路运输行业中的应用—零散货物快运服务平台

模块(一)：需求单管理

需求单管理模块的模块名称及简要功能见表1。

表1 需求单管理模块汇总表

模块(二)：车站作业

车站用户完成需求单的计费制票业务后，根据业务运转流程将需求单进行集货入库确认、出库装车确认、卸车入库确认、出库交付确认等确认作业操作。图3描述车站作业流程：车站用户对本站集货的需求单进行入库操作，对需要装车的需求单进行出库、装车操作；对到达本站卸车的需求单进行卸车、入库操作；对本站交付的需求单进行出库、交付操作。表2汇总了车站作业模块及其相应功能。

图3 车站作业处理流程图

表2 车站作业模块汇总表

表2(续)

5 结语

新形势下，社会对大数据的需求更加迫切。面向大数据平台的创新创业教学改革，主要针对当前“推崇创新、鼓励创业”的热潮，同时考虑到就业竞争加剧、技术变革加速，以及生产效率不断提升的现状。为了使大学生在大数据时代能够从容应对社会发展的需求，个人能力得以蓬勃发展，同时通过新时代大学生的努力，提升国家经济的战略地位，高校开展创新创业教育势在必行。面对大数据时代下的教育改革挑战，结合高校实际情况，以大数据平台人员培养模型为蓝本，积极将数据库技术课程体系融合到创新创业教学改革中，校企协同合作，能助推创新创业教学体系朝着健康的方向发展，为国家和人民培育出知识结构完整、勇于贡献自身的知识和能力、具有奉献精神和创新精神的大数据平台实施者和创业者，进而实现我国经济的长远健康发展，以及社会的长期和谐稳定。