大数据环境下基于Python大学生就业指导的数据可视化

宋文杰

(青岛工学院, 信息工程学院, 山东, 青岛 266000)

0 引言

大数据对大学生就业形势的分析、政策的制定、就业效劳与就业指导、大学生职业开展规划等方面具有深远的影响,对促进当代大学生充分就业具有重要意义。本文依托互联网平台,运用大数据技术,构建了以大数据信息采集为基础的“互联网+求职招聘、互联网+就业分析”系列分析方法,可有效帮助大学生利用就业数据信息,提升自身就业筹码,有助于高校通过联动数据信息完善就业效劳体系,助力我国建立大型就业数据库,精准制定就业政策。[1]

1 网络爬虫获取招聘信息

1.1 需求分析

网络招聘[2]是效果最快而且成本最低的一种招聘渠道。因此,对网络招聘信息进行分析研究,了解企业岗位需求特点 与趋势,对大学生求职与就业指导有着非常重要的意义。利用爬虫技术可以很好地进行数据分析。这里以BOSS直聘网为实例,对如何使用网络爬虫技术高效地获取信息进行深入探讨与研究[3]。

首先从招聘网页面中获取每一页的岗位名称、薪资、学历、经验、工作地点、公司、公司类型等基本信息。

本文在爬取BOSS直聘网时,通过循环的方式爬取不同的页面。

1.2 模块设计

通过for循环的方式爬取不同页面的思路为首先输入想要爬取的页数,然后网页通过requests库获取源代码,对获取到的网页源代码通过lxml库中的Xpath对每个目标字段进行解析,最后将获取的字段信息存储至MySQL数据库中[4]。代码设计思路如图1所示。

图1 获取BOSS直聘网全国职位的爬取思路

获取存储在数据库中的数据,通过DataFrame()来对获取到的数据进行分析与处理[5]。图2为获取数据库中的数据及处理数据的方法[6]。

图2 连接数据库及DataFrame数据处理方法

1.3 爬取结果

设计好爬取流程后,将对BOSS直聘网中北京、广州、杭州、上海等热门城市的所有职位进行信息采集,共获得60 516条数据,爬取的部分数据如表1所示。

表1 全国热门城市职位数据部分截图

2 数据分析

2.1 全国热门地区招聘人数分析

根据BOSS直聘网中的热门城市,画出其相对应所在省的招聘人数分布图,如图3所示。

图3 全国热门地区其所在省/市招聘人数分布图

从图3中可以看出,招聘人数最多的地方,主要分布在浙江省、北京市。虽然只是对其中的一个城市进行分析,但作为直辖市或省的核心城市,可以很好地对工作岗位招聘人数进行分析。一个省或直辖市中核心城市的发展,必然会对直辖市或省带来高效快速的发展。

2.2 全国热门地区岗位排名前50数据分析

通过词频统计的方法对全国热门地区排名前50岗位进行分析,如图4所示。

图4 全国热门城市排名前50职位饼图

从图4中可以看出,Java、Java开发工程师、前端开发工程师、测试开发工程师是急需的,高校应该开设这方面的课程,以培养企业与国家所需要的人才。

2.3 全国热门地区排名前15岗位薪资分析

薪资是当代大学生选择岗位的首选,图5是BOSS直聘网-热门城市排名前15岗位薪资的情况分析。

图5 全国热门城市排名前15岗位薪资情况折线图

从图5中可以看出,全国热门城市排名前15岗位薪资在22～50 K/月范围之间,而且排名前15的大部分是工程师。

2.4 全国热门城市学历要求分析

学历是企业招聘人才的第一个选择因素,把握好新时代各企业招聘的学历要求是很有必要的。图6为全国热门城市学历分析的情况。

图6 全国热门城市排名前25学历要求漏斗图

从图6中可以看出,岗位招聘要求经验与学历在3～5年本科的占比最高,在校/应届本科处于中等水平,要想在全国热门城市中找到一个岗位,门槛是比较高的,高校应该在加强当代大学生学好专业知识的基础上多开展一些校企合作,培养当代大学生的实践能力。

2.5 全国热门地区招聘人数分析

为了清晰地看出当前热门的岗位,图7为全国热门城市职位热词情况分析。

图7 全国热门城市职位热词

从图7中可以看出,工程师岗位在全国热门城市中的需求占比较大,对于这种岗位需求,建议当代大学生多参加资格证的考试,多做一些实战的项目,从这些项目中不断地提升自己,完善自己。

3 实际应用

3.1 实习生招聘

通过对一些企业招聘大学生相关岗位的调查,发现了在招聘岗位的过程中,工程师岗位所对应的薪资是最高的;而且对调查中的所有数据做一个综和分析排名,并将排名前6的岗位所对应的薪资做了条形图(见图8),这样能够更加直观的看出岗位与薪资之间的对应关系。

图8 实习生招聘岗位待遇

3.2 大学生课程开展

通过对中国大学慕课中对工程师岗位的分析,统计了各大学在2021年开展该岗位相关的课程,图8为大学慕课中高校开展该岗位的相关课程数的分析。

从图9中可以看出,各名牌大学更加的注重技术手段方面的研究性人才及培养大学生的动手实操能力。

图9 高校及工程师相关课程开课数量

3.3 大学生就业帮助

大学生就业一直是社会关注的热点问题。随着社会的不断发展和技术的迅速进步,大学生在就业市场上面临着新的挑战和机遇。以下几点建议希望能够更好地帮助大学生就业。

第一:注重技能的培养。大学生在就业市场上需要具备实际的技能和知识。在本文图中可以看出,工程师等技术岗位的需求相对较高。因此,高校应该加强技术类课程的开设,为学生提供必要的技能培训。关于技能培养应该从以下几个关键要点出发。

(1) 专业知识和实践技能培训。高校应该确保他们的课程涵盖最新的行业趋势和技术,以确保学生获得实际工作所需的技能和知识。

(2) 实习和实践机会。学生应该有机会参与实际项目、实习和研究,以将理论知识转化为实际经验。这有助于他们更好地适应职业生涯。

(3) 资格证书考试。考取与自己领域相关的资格证书可以增加竞争力,因此高校应鼓励学生参加相关考试。

(4) 编程思维和解决问题能力。技术类岗位通常需要学生具备优秀的编程思维和解决问题能力,因此高校可以开展编程竞赛和培训,帮助学生培养这些重要技能。

第二:做好职业导向。除了技能培养,大学生还需要明确的职业导向,以更好地规划他们的职业生涯。关于职业导向应该从以下几个关键要点出发。

(1) 职业咨询和指导。高校可以提供职业咨询服务,帮助学生了解各种职业选择,并根据个人兴趣和能力制定职业规划。

(2) 实习和实践经验。学生应该有机会参与实际项目和实习,以更好地了解他们感兴趣的领域,并确认自己的职业兴趣。

(3) 就业展会和招聘活动。高校可以定期组织就业展会和招聘活动,使学生能够与潜在雇主建立联系并了解不同公司的需求。

(4) 校企合作。与企业的合作可以为学生提供实际项目机会,并帮助他们建立职业网络。

第三:注重综合发展。综合发展是培养当代大学生的重要方面,不仅要培养他们的技术能力,还要关注他们的综合素养。关于综合发展应该从以下几个关键要点出发。

(1) 综合素质教育。高校应该鼓励学生参与综合素质教育项目,如文化、体育、志愿服务等,以培养学生的全面素养。

(2) 领导力和团队合作。学生应该有机会参与领导团队或合作项目,培养领导力和团队合作能力。

(3) 创新和创业。高校可以鼓励学生参与创新和创业项目,培养创新精神和创业技能。

(4) 跨学科学习。学生可以尝试跨学科学习,了解不同领域的知识和技能,以拓宽视野。

第四:加强政府、高校和企业的协作。关于加强政府、高校和企业的协作应该从以下几个关键要点出发。

(1) 政府政策支持。政府可以通过政策和资金支持高校的职业发展和创新项目。

(2) 高校与企业合作。高校可以积极寻求与企业的合作机会,为学生提供实际项目和实习机会。

(3) 就业培训。政府和企业可以提供就业培训和导向服务,以帮助大学生更好地准备职业生涯。

(4) 就业数据分析。政府和高校可以共同进行就业市场数据分析,以了解市场需求和趋势,为学生提供有针对性的建议。

总之,大学生的就业帮助需要综合考虑技能培养、职业导向和综合发展,以及政府、高校和企业的合作。通过这些努力,我们可以更好地为当代大学生提供就业支持,帮助他们在竞争中找到属于自己的天地。

4 总结

本次爬虫项目以BOSS直聘网的互联网模块的招聘信息为例,进行了基于Python的网站爬取以及对应的数据分析,对于这个职业的各地区分布情况分析和薪资情况进行分析,目的是分析各地数据,将互联网行业的招聘信息进行可视化展示,为以后大学生的就业进行了基础铺垫,可以少走应聘弯路。

项目主要工作是通过requests库和lxml库进行爬取数据以及利用Pyecharts库来进行分析,最终实现可视化的数据分析。

在实验过程中,还有许多不足的地方,比如爬虫的部分可以通过Scarpy框架来完成,可以更加的专业化,解析的字段可以增加一些,这样更加利于后期的数据分析,让数据分析的结果更加有说服力。

在做完整个项目后,不仅对爬虫的技术有了更加牢固的掌握,真切感受到数据分析的重要性,数据分析就是对某一数据进行详细的分析,即用适当的统计分析方法对所收集来的大量数据进行分析,从而提取有用信息,从而形成结论并对数据加以更为详细的研究和概括总结。数据分析工作在企业运营的时候还能够及时的发现出企业自身的问题,对于业务运营过程中可能会出现的问题作预警,还能对企业未来发展方向的预测,这都是十分重要的。