基于大数据的人才需求与培养精准对接系统分析与设计

孙宪丽，鲍 卉，夏 炎

（1.沈阳工程学院 信息学院，辽宁 沈阳 110136；2.辽宁何氏医学院 创新素养教育学院，辽宁 沈阳 110163）

随着新技术的不断进步与创新，大数据技术逐步应用到社会生活的各个领域。针对我国目前发展规划战略部署，众多学者开展了应用大数据技术深化教育改革的研讨，并取得了丰硕的成果。

1）大数据时代下毕业生就业监测

我国以大学生就业率为监测目标自1999 年开始，之后监测体系不断完善，2015年11月提出借助“互联网+”技术建立精准就业机制，标志着基于大数据的毕业生就业监测时代的到来。为此，众多学者对此进行了研究与实践。藏其林［1］分析了目前高校毕业生就业统计情况以及构建毕业生就业跟踪反馈机制的意义，探讨了大数据时代构建毕业生就业跟踪反馈机制的路径；郜攀峰［2］提出基于大数据分析技术的高校毕业就业分析方法，与原有分析方法相比，精度更高，更适用于就业分析工作。

2）大数据时代下人才培养改革

大数据作为一种新技术，在高等教育人才培养中发挥着越来越重要的作用。葛琳琳等［3］分析了大数据对高等教育人才培养的影响，探讨了大数据对高等教育人才培养的挑战，阐述了大数据时代高等教育人才培养的方法；毛嘉莉等［4］分析了在大数据背景下传统的软件人才培养模式存在的问题，以计算思维为核心，融合设计思维与大数据思维，探索了新型的软件人才培养模式。

3）大数据系统设计

舒畅等［5］叙述了基于Hadoop框架，采用HDFS存储数据，结合Hive 数据仓库和MapReduce 对大数据进行分析的系统设计方法；朱永忠［6］叙述了如何从网络招聘网站采集数据，存储于Hadoop 生态环境中，使用Hive进行分析的方法。

研究表明，大数据技术为现代高校人才培养模式改革带来了机遇与挑战。从理论上讲，利用大数据可以更好地、更有效地进行人才培养，对学生未来做出更准确的规划，以适应社会需求、岗位需求。同时，高校人才培养关于人才能力、知识、素质的设置及对应支撑课程设置以及毕业要求等等，是否与社会需求匹配，通常少有定量分析依据，也就是没有精准定量分析数据作为人才培养的数据支撑。那么，如何利用大数据技术培养精准匹配社会需求的人才呢？

1 问题描述

1）我校与人才培养相关的大数据尚未形成，需补充大量数据资源。与人才培养最为密切的是社会需求情况以及大学生毕业后的就业情况，目前本校已有毕业生管理系统，其中跟踪监测较好的是每年毕业生的基本就业信息，主要用于统计就业率以及专业对口就业率，没有各专业各层次学生在社会众多岗位上的适应情况以及学生就业后个人发展前景情况分析数据；毕业生管理系统包括零散的毕业后岗位适应情况以及个人发展前景等数据，但并没有得以充分利用；社会需求情况通常仅有实时更新的企业招聘信息，而没有相应的岗位需求变化分析数据。

2）与人才培养相关的大数据资源非常庞杂，需要考虑与人才培养相关的应包括哪些数据。在大数据背景下人才培养生态环境中，学生、教师、高校、企业、教育管理机构以及第三方数据管理机构如何参与合作，各方提供哪些数据资源与服务，这些数据如何获取，如何管理。另外，与人才培养相关的大数据资源完善后，还需要考虑如何抽象将其量化为人才培养所需数据。

3）还需考虑如何利用大数据提高人才培养质量以精准匹配社会需求。

基于以上分析，本文借鉴已有研究成果以及国内外大数据应用实践经验，结合本校发展定位，解决大数据下人才需求与培养精准对接系统的设计问题，主要解决以下问题：

1）搭建大数据生态环境，制定规则，采集人才培养所需数据；对数据进行清洗，按要求转存至关系数据库，为人才培养提供定量数据支撑。

2）搭建web 交互界面，为用户提供查询、分析和管理功能。根据大数据信息能够从不同角度对比分析现有人才培养方案预期目标与社会需求以及学生实际情况三方面的差异；专业负责人可以根据上述信息修订人才培养方案，以精准匹配社会需求；学生可以根据上述信息结合自身实际情况及兴趣制定职业规划，以更好地适应社会需求。另外，还可以查询分析历届毕业生就业情况以及岗位需求情况，预测将来就业前景，指导学生就业。

2 系统设计

2.1 系统功能设计

针对本校具体情况，系统功能主要分为以下几个模块。

1）人才培养模块

人才培养模块主要用于查询与修订人才培养方案，主要包括以下几项功能：

①专业负责人可根据系统提供的人才培养大数据信息查询现有人才培养方案与社会需求的差异，从而根据本校具体特色定期修订人才培养方案，以精准对接社会需求。人才培养模块数据预定按学期更新，专业负责人定期检查培养方案，在差异达到一定上限时更新培养方案内容。

②课程负责人员可根据系统提供的人才培养大数据资源分析所承担课程与社会需求的差异，定期修订具体内容或者教育、教学方式方法，尽可能精准对接社会需求。

③学生可根据系统提供的人才培养大数据信息查询自身与社会岗位需求的适应情况，从而根据自身优势与兴趣更好地进行职业规划，更加精准地适应社会需求。

2）就业信息查询与分析模块

就业信息查询与分析模块主要用于查询历届学生就业情况，包括就业率查询、专业对口就业率查询、岗位适应情况查询、个人发展情况查询等；学生可利用就业大数据资源了解本校就业情况，做好职业规划；就业管理人员可根据就业大数据资源分析预测未来的就业形势，做好就业规划。

3）岗位需求查询模块

岗位需求查询模块主要用于查询岗位需求情况，给学生提供招聘信息，了解岗位需求，为就业管理人员提供招聘信息，指导学生就业。可以根据专业、岗位、职责、地域、城市、薪资、福利、发展前景等进行查询。

4）系统维护模块

系统维护模块主要包括用户管理、资源管理、系统操作规范管理。用户管理部分提供用户注册、注销、登录、权限等管理功能；资源管理部分对大数据资源进行维护和更新；系统操作规范管理部分维护和更新系统使用规范。

系统功能结构如图1所示。

图1 系统功能结构

2.2 系统角色

该系统用户主要包括系统管理员、教师、学生、游客。

1）系统管理员

系统管理员的主要职责是使用系统维护模块实现对用户、资源、系统使用规范等进行管理；同时，维护数据库保证数据库高效运行。

2）教师

专业负责人可以查询修订培养方案，专业课教师可以查询并修订教学内容及方法，就业管理人员可以查询社会人才需求与就业信息，分析预测就业形势，指导学生制定职业规划，提高就业质量。

3）学生

学生可以使用人才培养模块查询自身与社会需求以及人才培养的差距，根据自身特征制定个人职业规划，精准匹配社会需求。

4）游客

游客可以浏览本校人才培养以及公开的就业数据。

2.3 数据库设计

根据需求分析，大数据下人才需求与培养精准对接系统关键实体E-R图如图2所示。

图2 系统关键实体E-R图

3 系统实现

3.1 确定数据源

根据本校已有专业对口就业信息提取相关企业网址；通过互联网获取国内招聘网站网址（非注册可访问的公开资源）以及大学毕业生管理系统网址（采集与毕业生就业后岗位适应情况以及个人发展情况相关信息）。

3.2 明确待采集数据

该系统主要功能包括基于大数据分析的人才培养改革、就业预测与分析、就业信息查询与岗位匹配信息查询等。因此，在采集数据时，根据网页中的任职资格、应聘条件、岗位要求等关键字采集人才需求数据；根据岗位薪资、地域、单位性质等采集招聘企业对应信息；根据网页中的发展、适应、规划等关键字采集就业岗位适应信息以及就业后个人发展前景信息；另外，在本院毕业生管理系统中获取历届毕业生的就业反馈信息。

3.3 搭建大数据生态环境

1）大数据框架的选择

该系统采用Hadoop分布式系统架构对大数据进行管理，采用Hive 数据仓库结合面向列的NoSQL 数据库HBASE，使用类SQL 的HQL 进行数据查询分析，使用Sqoop 在Hadoop 与传统数据库（例如MySQL）间进行数据转换，使用SSH 框架开发Web界面。

该系统采用的大数据生态环境：Hadoop+HBASE+Hive+Sqoop+MySQL+WEB（开发、部署工具）；hadoop-2.8.5、hbase-2.1.1、hive-2.3.4、jdk-8u102-linux-x64、CentOS-7-x86_64、mysql-connec‐tor-java-8.0.13.jar、sqoop-1.4.6。

分为一主四从，共5个节点：

master：192.168.208.129；

slave1：192.168.208.130；

slave2：192.168.208.131；

slave3：192.168.208.132；

slave4：192.168.208.133。

2）采集数据

编写Java 爬虫程序采集相关网站、网页数据，并将数据存储于Hadoop 系统中。使用URL 对象保存待采集网址，采用URLConnection 链接数据资源，使用BufferReader 创建输入流通道，使用Pat‐tern 指定正则表达式匹配规则，使用Matcher 匹配数据，提取数据并保存数据到分布式系统中。

3）数据清洗与转换

采集到的原始数据通常存在不完整、错误或者无用等问题，不能直接用于大数据分析，所以分析之前需要对数据进行删减、合并和格式处理。该系统使用MapReduce，剔除与研究无关、无效的数据。

4）数据分析

数据分析是大数据利用价值的关键，通过数据分析提取大数据中有价值的信息，为后续人才培养提供数据支撑。根据本校软件工程专业实际情况，系统使用HBASE和Hive分层次设计所需事实表和维度表，并进行数据分析。经过数据分析，生成针对软件工程专业学生就业所需专业知识、素质、技能、经验等相关数据。上述数据根据制定培养方案的需要，按照一定规则利用Sqoop导入由MySQL数据库已经建立好的表中，用于下一步的人才培养方案修订。

5）编写Web应用程序

该系统Web 交互界面采用基于Ajax 的ExtJS和SSH 框架开发。ExtJS提供了丰富的UI插件，开发人员利用已有控件可以开发出丰富多彩、美观实用的用户界面，并且可以提高用户和界面的交互速度，改善用户体验。因此，Struts中的用户界面通过ExtJS 完成。另外，系统业务层主要通过Spring 框架实现，模型层主要通过Hibernat完成［7］。

4 应用案例

采用大数据技术对毕业生社会需求以及就业数据进行分析与挖掘，可以发现和预测社会人才需求、发展趋势，以及高校在人才培养过程中存在的问题，为高校人才培养改革提供佐证，从而实现高校人才培养精准匹配社会需求，进一步提高大学生就业质量。

针对软件工程专业，以下述3 方面为例概述系统应用情况。

1）人才培养

专业负责人利用该系统查询现有人才培养方案运行情况，分析现有人才培养方案与社会需求的差异，定期更新人才培养方案。以理解、沟通、表达能力培养为例：在就业大数据统计分析中发现，我校毕业生就业后，在岗位适应过程中，这些能力存在欠缺。例如在项目需求分析中，不能灵敏洞察用户的需求，不能清晰的将自己捕捉的需求方案文档化，让决策者、团队、合作者都能够顺畅的理解。根据上述信息，对培养方案中的培养目标、毕业要求以及相应的支撑课程体系进行修订。初次使用大数据信息修订培养方案时，调整了必修课程与选修课程比例，构建了灵活的选修课程体系，增加了商务沟通、明辨性思维等特色课程。另外，重新规划课程的实施过程，采用全过程考核的方式，并且在考核过程中明确规定考核细则。以软件工程课程为例：增加了原软件工程课程学时，并与编程实践训练课程合并，在实施过程中从基础知识的掌握情况，理论应用解决实际问题情况，理解、沟通、表达以及评价能力等多方面进行考核；采用考试的方式考核基础知识掌握情况，采用个人项目考核个人理论应用情况，采用团队项目考核团队合作与沟通情况。同时，根据项目完成情况考核对问题的理解分析能力，根据项目文档考核设计与表达能力，采用项目展示考核口头表达能力，根据学生互评考核学生的评价能力，最终根据各个考核项目的权重及成绩加权计算本门课程的总成绩。

2）课程建设

课程负责人利用该系统查询课程实施情况，根据本校学生实际情况与社会需求的差异定期修订课程的内容、学时以及教育教学方法。以Java课程为例：根据人才需求与就业反馈大数据信息获知，Java 技术人才需求的重点在Java 技术中面向对象基础知识部分，而Java 技术前端界面设计应用不多，Java 小程序出现的频次更低，而基于Java 的框架技术需求在不断增加。因此，为满足社会需求，适当降低了Java 界面开发的学时，大幅度缩减了Java小程序的开发应用学时，同时增加了集合操作部分内容，以更好地适应后续的Web与框架技术课程。

3）匹配查询

人才培养匹配查询主要包括综合查询、岗位查询、课程查询及自定义查询。其中，综合查询主要根据指定专业人才培养方案整体分析现有人才培养方案的预期目标，社会需求以及学生的实际学习情况三方面的差异；岗位查询主要针对指定专业指定岗位的社会需求、现有人才培养方案对应的岗位预期目标以及学生的实际学习情况三方面的差异；课程查询针对指定课程的社会需求、现有人才培养方案课程的预期目标以及学生的实际学习情况三方面的差异；自定义查询主要针对指定课程的社会需求，人才培养方案中对应课程预期目标以及学生的实际学习情况三方面的差异。例如，学生可以根据自己的成绩查询自身与现有人才培养方案的匹配情况，与社会需求的适应情况，从而根据自身优势与兴趣更好地进行职业规划，更加精准地适应社会需求。

图3 为人才培养模块中的学生查询主界面，学生可以利用综合查询功能查询自身所获知识能力与人才培养方案的预期目标以及社会需求的差异；也可以利用岗位查询功能查询自身学习所获知识、能力与人才培养方案中对应岗位的预期目标以及社会需求的差异。

图3 学生查询主界面

图4 为学生查询移动开发工程师岗位社会需求、现有人才培养方案预期目标以及学生实际能力三方对比分析曲线。

图4 移动开发工程师岗位能力三方对比分析曲线

另外，还可以利用课程查询或者自定义查询功能查询学生的实际学习情况与人才培养方案对应课程的预期目标以及社会需求的差异。

5 结论

高校人才培养必须符合社会需求，否则就会出现脱节现象，造成大学生就业难的问题。本文搭建模拟大数据环境，利用社会岗位需求与大学生就业大数据信息，结合本校软件工程专业建设的实际情况修订人才培养方案，精准对接社会需求，提高大学生就业质量。因此，本文可以为使用大数据技术进行人才培养改革提供一定的思路。由于技术和资源的限制，该系统仅针对软件工程专业采集了部分网站中的文本信息，大数据信息以及大数据技术迅速更新、体量大，如何管理以及充分利用还需不断研究与实践。