基于大数据技术的专业发展信息化系统研究

张伟龙　李荣娴　张波

摘要：专业质量建设是当前高等职业院校内部质量保障体系建设的重要环节。运用大数据技术构建专业发展信息化系统，整合业务系统和数据资源，能为相关部门提供信息可靠、数据精准、资源共享和可视化分析的服务，辅助学院开展专业质量诊断与改进工作，提升专业建设水平，推动智慧校同建设步伐。

关键词：大数据技术;可视化分析;专业建设;质量诊断

中图分类号：TP311 文献标识码：A

文章编号：1009-3044（2020）20-0038-02

为贯彻落实《高等职业院校内部质量保障体系诊断与改进实施方案》等文件精神，完善质量标准和制度体系，全面提升人才培养质量[1]。在教學质量诊断与改进体系及理论指导下，以提升学院办学质量及促进后续发展为中心，采用大数据技术建没专业发展信息化系统，将专业相关业务系统的数据实现统一存储、分析及应用，建立自动采集汇总的机制，让专业数据形成循环扭转的数据流，积累专业数据资产及资源库，存储文档、图片、视频等非结构化教学资源，通过数据应用，挖掘分析，为决策提供依据，最终用信息化辅助学校人才培养质量体系的搭建。专业建设信息化平台通过多终端采集数据，实现对专业建设工作流程全过程的跟踪、监控、预警、诊断与改进，提升教育教学质量管理信息化水平[2]。

1专业建设面临的问题

（1）人才培养滞后于市场需求。专业人才培养目标和市场需求存在差异。高职院校新增专业往往根据当前市场社会热点，热门专业进行设置，但市场需求和产业调整会对人才需求产生变化。人才培养周期性较长，再加上各个学院争相开设热门专业，这必然会导致学生毕业就业时压力增大。有的职业院校师资力量不足，致使学生就业竞争力不足。人才培养与市场脱节，必然导致专业质量低下，浪费国家人力物力和财力，影响职业院校的长远发展。

（2）缺乏长远规划，定位不精确。专业设置定位模糊、专业课程衔接不够紧密、课程没置不全面、专业课程重复现象严重等问题一直影响专业发展。专业建设服务区域经济，人才培养与市场需求紧密相连，精准预测区域动向，合理制定专业长远发展规划和短期发展规划是专业质量的关键。

（3）专业相关系统多样，数据利用率低。当前各大院校专业数据资源增长迅速，并以非结构化数据为主，但是在面对视频、图像等非结构化数据在分析、利用等方面存在着严重不足。大量的专业数据分布与学生迎新系统、学工系统、教师选课系统、教务管理系统、智慧课堂等系统之中，数据重复性大，保存分散，不利于专业发展有效数据的提取。专业数据资源浪费严重，专业改进不及时、不彻底。

2专业大数据的特点分析

2.1大数据的概念及特点

大数据（big data），是指用传统技术和软件工具无法进行有效的数据获取、存储管理、挖掘分析的数据集合，是当今社会重要的信息资产[3]。衡量大数据的标准可以从这五个方面考虑，分别是数据规模、数据类型、数据增长或转换速度，数据的密度和价值。大数据技术主要包括大数据的采集、数据预处理、数据交换、数据存储、数据分析和数据挖掘等。简而言之，大数据是把所有的数据放到一起，再通过云计算，运用数据分析和挖掘技术，找到数据关联，实现精准预测。

2.2专业大数据的数据来源及其分析

专业大数据是专业建设过程中建没过程中，形成的一系列数据。数据形式多样，有标准化文本形式结构数据，也有图片、教学视频等过程性非结构化数据。其数据内容主要包括专业建设方案、人才培养、师资团队、教学资源、专业管理和社会服务六大块内容。

专业建设方案包括专业市场调研、专业区域竞争力、专业申报、专业分析报告、专业建设计划、年度终结、存在问题、成因和改进措施等。人才培养包括订单班、校企合作、学徒制、技能大赛、各类证书赛项、课程体系、课程教学实施等数据。师资团队包括师资培养、教职工发展规划、校外专家、名师培养、教师科研提升等。资源建设包括校内专业资源、实训场地建设、校外实训基地、教学信息化资源等。社会服务主要包括招生就业信息、继续教育信息、学生职业发展、社会捐赠、技术服务和成果转化等。

2.3专业大数据系统设计的技术路线和系统架构

为满足专业建设过程中所产生的大量的结构化数据和非结构化数据存储，可视化分析和有效数据挖掘等需要，根据批处理的特点，采用基于HDFS存储系统+Spark架构开发系统。

Hadoop是一个分布式系统基础架构，它可以利用集群实现高速运算和海量存储，其核心是HDFS和MapReduce。HDFS为海量数据提供了存储，MapReduce为海量数据提供了计算框架。由于MapReduce是面向磁盘的，受磁盘读写速度的制约，MapReduce在交互式查询、实时计算和迭代计算方面并不高效。Spark是基于内存运算的大数据框架，具有良好的并行运算性能，具有高容错性和高可伸缩性，可以在大量廉价硬件之上部署大规模集群，性能上要优于MapReduce，在同等条件下要比Hadoop快10到100倍，具有能力更强，效率更高的特点。基于分布式文件系统HDFS的NoSql数据库HBase有存储速度快，易扩展，容错性高等特点，满足采集大规模数据集实时读写、随机访问的需求[4]。

专业大数据系统架构分五个层次：（1）数据源层：对多种数据类型进行实时采集，包括结构化数据源、非结构化数据和半结构化数据;（2）数据传输和预处理层：针对上下课签到、食堂刷卡、图书借阅等密集数据采集时，基于KAFKA构建消息队列实现缓存区，避免数据井喷式增长可能导致的数据滞后丢失等情况。还包括通讯网关服务，并行作业传输实现对数据快速采集与交换;（3）数据存储层：通过数据接收、数据预处理、数据检查、预判分析、数据的存储等功能完成对数据的接收、解析和存储工作;（4）数据分析层：运用数据仓库、联机分析、数据挖掘等技术提取、整合有价值的数据;（5）应用展示层，为使用者提供可视化数据展示、专业画像及可操作UI界面。

3专业发展大数据系统的主要功能模块

3.1数据交换和数据共享系统

专业大数据的数据交换和共享系统主要包括专业数据字典、异元数据交换系统和数据共享系统三部分：一是，根据专业建设和专业质量诊断与改进需求，设计专业字典及各类指标体系、质量控制点，编制专业数据指标规范。例如：专业编号、专业名称、专业群编号、专业群名称等。构建专业数据字典，规范各项专业指标编号和名称，说明指标作用和指标来源，为各个部门使用统一的、标准化数据提供服务;二是，建没完善的数据交换系统为各个部门的数据通信建立统一的数据通道，保证数据信息准确及时;三是，建设一套完善专业数据共享系统，实现一次录入多部门多用户多次共享的功能，减少冗余数据。专业数据共享系统可教职工数据采集数量和频率，有效提高各部门协同工作效率、提升专业建设的质量。

3.2数据清洗系统

数据清洗系统主要是为提高数据质量，发现并纠正数据文件中可识别的错误。数据清洗主要是对数据进行预处理，通过判断识别，得到数据集含有的诸如错误、无效、重复的数据等，再填补空值，最大可能地保证在数据真正使用和分析应用前的正确性，从而提高数据决策的质量[5]。数据源的采集是一项极为繁杂的工作，大量的数据原始填报是由人工完成的，而录入后的数据清理一般是由计算机完成。原始数据往往存在数据缺失、数据重复、數据异常甚至错误等问题。例如迎新系统原始数据库中学生性别字段用“男”和“女”表示。教学过程中，教务管理系统原始数据库中性别字段用“Y”和“N”表示。数值类型、字符串回车、全角半角、日期格式等这一系列的错误都会导致ETL运行失败，这就需要在获取数据之前有一套完整的数据清洗机制。例如对于数据进行统一的对比，找出不一致的数据精准处理，统一标准，交给业务部门删除异常数据。对数据进行清洗和比较，是为满足专业建设和专业质量诊断与改进需求的高质量数据。

3.3专业大数据画像系统

专业大数据画像系统是专业各项指标的综合展示系统，为满足专业质量保证系统核心KPI决策分析，从人才培养、资源建没、社会服务、专业评价、交流合作等各方面指标进行详细的指标量化分值设置，并且进行横向纵向排名分析实现专业建设持续改进。所应用的大数据相关技术有：专业数据关联分析、独立成分分析、分类分析、主成分分析、聚类分析和异常分析以及决策树等。该系统包含能满足专业发展和质量诊断改进需求的专业大数据分析模型，帮助各个系部、专业相关部门直观地了解专业现状，深入分析专业建设成效，为专业发展提供决策支持等。例如应用聚类分析技术分析学生，对课堂回答问题的频率、正确性，按照学生对知识的掌握情况进行分类，开展精准辅导，针对不同群体制定不同的教学安排。

4专业发展大数据系统建设的意义

专业发展大数据系统不仅能实现专业的申报、遴选、淘汰以及检测、预警、改进，还对专业相关数据进行整合、实现数据分析和挖掘形成专业画像，有利于推进高职院校专业建设质量工作，促进师生树立质量理念，培育质量文化，履行质量主体责任，形成常态化的诊断与改进制度.具有较强预警功能和激励作用。

5结论

应用大数据技术建设专业发展信息化平台，整合学院各个部门间的数据资源，为学院专业建设工作提供精准可靠的数据支撑。能够有效提升专业建设水平，实现专业建设过程中处处留痕，实时改进的功能，稳步提升专业质量、专业知名度的效果。利用专业建设大数据系统能够为专业定制、专业申报、优质专业遴选、专业质量诊断与改进和劣质专业淘汰，提供一整套现代化解决方案，持续提升办学活力和人才培养质量，对加快发展现在职业教育具有重要意义。

参考文献：

[1]袁洪志，陈向平.文化育人：高等职业教育质量提升的新视角[J].江苏高教，2016（1）：135-137，151.

[2]方娟.基于质量提升的职业院校教学诊改工作研究[J].哈尔滨职业技术学院学报，2018（3）：4-6.

[3]汪保友，钱晶，袁时金.基于Hadoop的电信大数据来集方案研究与实现[J].电信科学，2017，33（1）：135-142.

[4]程学旗，靳小龙，王元卓，等.大数据系统和分析技术综述[J].软件学报，2014，25（9）：1889-1908.

[5]范会丽，彭宁，任薇.基于Hadoop平台的数据清洗研究[J].电脑知识与技术，2020，16（5）：27-28.

【通联编辑：代影】

收稿日期：2020-03-23

基金项目：河北省社会科学发展研究课题——大数据背景下专业建设质量诊断与改进研究（编号：2019030401065）

作者简介：张伟龙（1981-），河北交通职业技术学院，副教授，硕士，主要研究方向：大数据技术。