基于互联网大数据的招聘数据智能分析平台

秦玥　朱继威　董哲清

摘  要：国家教育事业发展迅猛，毕业生人数连年攀升。尤其是受疫情影响，就业形势严峻，给毕业生带来了巨大的挑战。因此，了解企业招聘要求，实时获取招聘信息十分关键。本文采用hadoop集群作为数据清洗的环境搭建大数据平台，Tomcat服务器，Vue作为前端框架设计了一套基于互联网大数据的招聘数据智能分析平台，对主流企业的招聘信息进行分析和整理，并利用可视化技术展示帮助毕业生们能够了解互联网行业的趋势和要求，提供适合的岗位。

关键词：招聘;大数据;智能分析;可视化

引言

据教育部统计，2020届高校毕业人数高达874万人，再创历史新高[1，2]。尤其是受到新冠肺炎，经济下滑等多种因素的影响，就业形势十分严峻，毕业生们面临着巨大的就业压力。值得注意的是，在《2020应届生毕业生春招求职报告》，中我们了解到，在各行业新增的应届毕业生人数来看，互联网行业应届生占比最高，无疑加大了互联网行业人才市场的竞争，解决高校毕业生就业成为了一个热点问题。

随着网络时代的到来，每天都有海量的信息铺天盖地而来。一方面为人们提供了大量选择的机会，但另一方面，信息的冗余也增大了人们筛选的难度[3]。传统招聘的数据采集和分析光靠人工收集并采用普通的方式进行分析十分的浪费人力和物力，效率不高，用户体验效果不好。

针对上述问题，本文设计了一套基于互联网大数据而招聘数据智能分析平台，运用大数据技术，对当前主流企业的招聘信息进行分析和整理，提炼出毕业生最关心最感兴趣的部分，并利用可视化技术将这些内容以一种简洁清晰的方式展现出来。在此平台，毕业生们能够了解到当前互联网各行业的趋势以及当前企业对毕业生的期望和要求;同时还能根据自身的条件，获取到适合自己的岗位信息。

1系统设计框架

本系统主要采用hadoop集群搭建大数据平台，并将事先采集到的数据加载到Mapreduce中清洗，再载入至hive数据表中，对其进行统计和分析，并将结果通过hive表保存至hbase中。再通过tomcat服务器訪问获取hbase中的数据打包成json格式，通过前端页面展示出来，具体设计框架如图1所示：

2具体实现方案

2.1 数据分析

在hadoop大数据集群环境搭建完毕后，进入数据处理的阶段。首先将csv数据文件装载到hdfs文件系统中并编写相应的MapReduce进行数据的初步清洗。将初步的清洗结果通过hdfs文件系统载入至hive表格当中进行数据的统计与分析。并将统计结果存入hive表。

2.2 数据展示

在处理好数据后，创建web项目。通过启动tomcat服务器访问hbase获取hive统计好的数据，并打包成json格式，方便前端实时访问数据。当前端获取到数据后，对其进行解析利用echarts可视化工具进行展示。在前端页面展示中主要通过“工作薪资”，“地区”，“招聘所学技能点”，“招聘影响因素”等方面进行展示。

2.3 职位推荐

根据用户对相关知识技能的专业程度对用户进行画像，再根据职位对用户的相关知识技能的专业程度要求对职位进行画像。在前面的大数据分析过程中，已经分析出了各职位标签分类的技术热词以及数量，利用大数据分析结果，对每个专业领域的技能要求进行重要程度的分析，再根据不同职位所属大类对各种不同知识技能的重要程度的分析，利用层次分析法计算在用户和职位中不同知识技能所占的比重，利用这个比重衡量用户画像和职位画像的和适度，和适度前几位的职位信息将被推荐给用户。

3系统测试

本文主要是针对算法和主要功能点进行测试，通过设计测试用例判断程序的逻辑、功能是正确实现。测试结果与分析如表1所示：

4总结展望

本系统充分利用了大数据技术解决了传统数据采集和分析所带来的不便，通过前端可视化的展示让用户直观了解招聘信息，为毕业生提供了一定的就业帮助。但是仍有不足的地方需要改进，在之后的工作中，我们将采集更多的招聘信息，优化推荐算法，为高校毕业生提供更精确的推荐服务。

参考文献

[1]杨紫，刘凯，王乐乐.后疫情时代高校毕业生就业意愿的变化分析及对策研究[J].中国商论，2021（08）：187-189.

[2]黄宇飞.大学生就业现状及对策研究[J].青年与社会，2020（17）：130-131.

[3]马晓超.“互联网+”时代高校人才招聘新思考[J].科技经济导刊，2020，28（24）：163-164.