基于大数据的在线就业课程推荐系统

陈永康　章美仁

摘要：针对目前在线教育与网络招聘的发展情况，通过对现有平台运营模式的分析研究，提出构建基于大数据的在线就业课程推荐系统。本文详细阐述了在大数据时代通过数据分析将在线教育与网络招聘融合发展的前景及必要性，最后通过实验，运用Apriori算法和协同过滤算法对真实的在线学习数据，网络招聘数据以及个人信息进行关联规则挖掘，提供个性化课程岗位推荐，得出在大数据背景下在线教育与网络招聘融合发展是未来准确方向的结论。

关键词：大数据；在线教育；网络招聘；推荐系统；融合发展

引言

随着互联网的快速发展，在线教育与网络招聘随之崛起，人们的学习模式和求职招聘方式得到了深刻的改变。

在线教育的出现使“教”与“學”得以在不同的时空进行，打破了时间和空间的阻隔，大大便捷了教学的进行。网络资源的可共享性使得众多稀缺、珍贵、高质量的教学资源得以广泛廉价地传播，有效缓解了不同地区教育资源不公平的情况，促进了教育的公平性。同时，在教与学的过程中，用户的在线学习，经过线上学习规划，名师视频学习，线上习题测试，学习论坛讨论等在线学习行为，产生了海量的学习数据。这些数据对线上教学的进一步优化有十分重要的意义。

网络招聘从兴起到发展的十几年中凭借其速度快、成本低、招聘范围广、无地域限制、高效便捷等优势快速占领传统招聘市场。传统的求职就业模式在互联网发展的冲击下被迫转型甚至逐渐消亡。据艾瑞咨询统计显示：从2014Q1到2015Q4，企业通过城市公共就业服务机构进行招聘的岗位越来越少，2015Q1同比减少14.9%，全年总人数减少9.7%；通过公共就业服务机构进行求职的求职者人数也在不断下降，2015Q1同比减少144%，全年总人数减少7.6%。艾瑞分析认为，在互联网大环境下，传统招聘模式覆盖率低、效率差、成本高的弊端逐渐显现，同时随着互联网对各个行业的渗透，传统行业也倾向采用互联网招聘的方式。传统招聘规模下降显而易见。

然而随着大数据时代的到来，持续增长的课程资源和职位信息却为用户的选择带了困扰。用户面对海量的职位信息与在线课程资源时往往难以抉择，不知道所学或所拥有的技能对应哪些热门就业岗位，不知道什么岗位适合自己，不知道相关岗位需要掌握哪些课程知识，不知道哪些课程是优质资源。

针对这一现象，我们清楚地认识到，线上的学习就业与线下的学习就业一样，具有密切的联系，是难以分割，互为因果的整体。而在他们之间存在一个亟需解决的问题——如何解决课程自主学习与职业选择之间的关联决策。以大数据为技术背景，通过对现有模式研究，提出只有以用户个人能力为链接点，将在线教育与网络招聘融合发展，为用户提供个性化的从学习到就业一条龙的生态服务才是大数据时代规避数据风险，利用数据价值的最好方式。

1、大数据驱动下在线学习就业融合发展

分析当下在线教育与网络招聘割裂发展的现状，提出“在线教育+数据分析+网络招聘”的新发展模式。

以数据分析、关联匹配等大数据技术作支持，用户能力培养为纽带，将“用户”、“学习资源”、“岗位信息”串联贯通，实现为每一位用户提供个性化的学习就业规划以及相匹配的学习资源和岗位信息。

通过在线学习就业的融合发展，针对“在校大学生”、“应届毕业生”、

“在职人员”三类用户群体个人能力培养的不同诉求设计了五条用户数据分析和资源提供的流程。

1）专业——能力——在线课程

2）在线课程——能力——岗位

3）岗位——能力——在线课程

4）岗位——公司——能力培养

5）能力——岗位——在线课程

五条推荐模式是网络招聘与在线学习在大数据迅猛发展的背景下，共享并挖掘彼此的用户数据，通过相关数据挖掘、推荐算法所产生的新的服务模式，也是在线教育与网络招聘利用大数据这一技术在融合发展之后新的前景。

可以看到，五条新流程都出现了“能力”一词。能力作为用户最初与核心诉求，是在线学习的最终目的，是网络求职的首要条件，自始至终贯穿在学习到就业这一流程之中。将其作为新模式下的核心链接点，在分析用户能力诉求和工作能力的基础上为用户推荐课程及岗位，在了解用户求职取向的基础上对用户进行能力培养等等紧密相连的服务模式都可以实现。而实现这些新模式的首要条件是在线学习与网络招聘的融合发展，充分利用各自的服务获取用户学习就业数据并在数据分析的基础上进行关联匹配，为彼此的个性化推荐服务提供重要依据。

2、构建基于大数据的在线就业课程推荐系统

2.1个性化推荐技术

个性化推荐是推荐系统根据用户的个性化特征，如兴趣、爱好、职业或专业特点等，主动地向用户推送适合其学习需要或可能感兴趣的信息资源的一种推荐技术。随着用户的数据种类与数据量迅速增加，当餐饮、娱乐、学习、健身等平台的数据汇集到一起时，针对单一用户可提供的个性化推荐服务将不单单是割裂的餐饮、学习、购物等推荐。如阿里巴巴在云栖大会上提及的：早年的阿里巴巴，淘宝，支付宝，1688，口碑，天猫等每一个业务板块都有自己搭建的数据平台，数据共享变得十分困难。一个统一全部异构的技术平台是未来的方向。在这样的模式下，用户将会获得更全面，更精确，更有效率和价值的个性化推荐。而这也是在线教育与网络招聘的发展方向。

此外，通过个性化推荐技术，用户在工作、学习、出游等生活活动上的经验也会被推荐给有需求的用户。通过对所有用户数据的分析获得用户画像，找到并推荐与目标用户具有相似兴趣偏好的用户或相关的信息资源。以此来满足用户对于信息资源的个性化需求。

2.2Apriori算法

Apriori算法的经典实例便是“尿布与啤酒”。通过对商品购买情况的记录和分析，帮助商家对用户的购买习惯有一个更深入的了解，从而制定出更优的销售策略。

Apriori算法的基本原理是先从数据集中获得频繁项集，即将常常共同出现的物品集合作为一个项集，并获得该项集对应记录出现的次数。将该值除以数据记录的总和以求得项集支持度，进一步通过与项集中元素的支持度作比获得可信度或置信度。支持度与可信度是将某一项集的关联分析量化，为判断分析成功与否提供了重要的判断依據。

2.3协同过滤算法

个性化推荐技术能克服传统资源检索方式的缺陷，其中，协同过滤推荐技术是一种应用最为广泛的个性化推荐技术。协同过滤算法通过对用户视频学习、线上作答、社区讨论、求职简历、工作履历、课程选择等数据集的挖掘分析后为每一位用户形成一个用户画像，在此基础上将不同用户画像进行对比分析，进一步为目标用户寻找到与其兴趣爱好、学习情况等最为相近的用户集，将他们所关注的项推荐给目标用户。

协同过滤算法实现主要分为数据的表示、最近邻居集的匹配以及top-N数据集的推荐。其基本原理首先对一个历史数据集进行数据分析，通过一张i*j的表格呈现历史数据，i和i分别代表用户和与用户相关的兴趣项。例如：在获取的海量的用户学习到就业的一系列数据中，用户的视频学习、测验成绩、工作经历都会被量化作为i中的数据项。当一个新的数据集出现的时候，就可以通过协同过滤算法进行邻居匹配，为当前数据集找到“最近邻居”集。并通过余弦相似性和相关相似性度量邻居集与目标用户的相似程度，最后根据邻居集的数据特称对当前数据集进行课程或岗位等其它兴趣项推荐。

2.4算法及个性化推荐的实现

在“在线学习+数据分析+网络招聘”的新模式中，系统采用python语言制作爬虫，抓取用户信息，在线课程信息与招聘网职位信息以及与之相关的评论内容。通过Apriori关联算法分析课程与职位之间的关联规则以及基于就业技能的课程频繁项集，使用协同过滤算法对就业岗位与在线课程进行推荐与决策支持。实现了根据用户自身爱好和特长，帮助用户选择符合自身特点的热门岗位，并对该岗位所需的在线课程进行推荐。

通过Apriori算法，以“能力需求”为链接点，对“在线课程”“线上岗位”“用户信息”进行频繁项集分析，获取“课程一能力”“能力一岗位”“能力一用户”之间的关联，从而获得“课程一岗位一用户”之间关联的频繁项集。通过测试集数据库对获得的频繁项集的检验，不断调整最小支持度获得最合适的支持度设定值，并进一步计算出符合要求的项集的可信度。在此基础上，当目标用户选择某一课程或某一岗位时就会在系统中出现“尿布与啤酒”的效果。一方面用户的课程学习与岗位选择联系在了一起，另一方面则有益于在线教育与网络招聘的发展。

协同过滤算法的实现则主要集中在对用户数据集的分析，通过协同过滤算法挖掘分析所有和某一用户相关的学习、就业、兴趣爱好等数据，为所有用户形成唯一的用户画像，并以时间轴的方式呈现用户的学习就业历程。当目标用户在系统中输入自己的相关特征时，系统通过收集该用户的相关信息进行协同过滤算法分析，为其获得最优邻居的相关数据并进一步根据这个结果进行岗位和学习资源的推荐。

3、结束语

当下，用户面对的不再单单是资源匮乏的问题，更迫切的需求是帮助他们在海量的资源中做出选择。

在线教育与网络招聘平台都已经发展到了一个至关重要的环节。在这个环节，曾经匮乏的在线课程和职位或是求职信息都不再是问题的关键，如何在海量的信息资源中高效地筛选出高质量、高精度、个性化的信息资源推荐给用户成为各平台无法逃避的问题。

然而，想要解决这一问题单将目光局限在各自平台上的数据是难以实现的。用户的学习和就业是紧密相连、互为因果的过程。只有在线教育明确了用户的求职目标、工作历程才能更好地提供课程推荐服务，也只有网络招聘在清楚了用户的学习过程、学习能力才能提供更合适的岗位。