基于第三方平台大数据分析的人才培养质量评价方法研究

周蓉 师瑞峰

[摘 要]采用第三方平台大数据分析方法对高校人才培养质量进行评价，对进一步探索高校完善人才培养方案的修订机制、拓展人才能力培养途径与模式具有重要意义。该文采用共词网络、自动分类、文本聚类、机器学习等智能大数据分析方法，对全国各专业的人才数据进行清洗和整理，建立分专业评估的人才质量评价模型，分析具体人才培养质量的能力指标。对某高校自动化专业往届毕业生人才培养质量进行实证分析，研究结果表明，基于大数据分析的人才质量评价模型可以有效利用毕业生数据，为高校人才培养方案修订、课程体系设计提供重要的决策依据。

[关键词]人才培养质量评价;大数据;智能分析方法

[基金项目]2019年教育部第二批产学合作协同育人项目：基于混合式实践教学的双语计算机视觉课程建设（201902097008）;2020年北京高等教育“本科教学改革创新项目”：“人工智能+X”复合型人才培养模式的探索与实践

[作者简介]周 蓉（1975—），女，浙江丽水人，博士，华北电力大学控制与计算机工程学院讲师，主要从事信息技术与教学法、计算机应用技术研究;师瑞峰（1977—），男，山西运城人，博士后，华北电力大学控制与计算机工程学院副教授，主要从事系统工程理论研究。

[中图分类号] TP311;G642[文献标识码] A[文章编号] 1674-9324（2020）33-0008-04[收稿日期] 2020-03-10

一、引言

教育部2018年發布的《关于加快建设高水平本科教育全面提高人才培养能力的意见》指出，高等学校必须牢牢抓住全面提高人才培养能力这个核心点，振兴本科教育，形成高水平人才培养体系，开创高等教育新局面。因此，高校人才培养质量评价对于推动大学切实提升人才培养工作、落实办学理念、锚定办学方向具有深远影响[1]。目前，我国高校人才培养质量的评价工作主要由学校教务处、学院等部门承担，通过邀请毕业生和用人单位参与，对往届毕业生的专业能力及职业发展情况进行调查，以此作为学校进一步修订和完善专业培养方案、提升人才培养质量的重要依据。这种基于传统的问卷、访谈、座谈会、用人单位调研等方式开展的人才培养质量评价，通常存在样本量小、主观性强、规避敏感问题、调查内容受限、周期长等缺点[2]。为了克服这些方法的不足，南旭光等人提出利用大数据技术分析社会的人才需求，剖析人才培养的社会适应性，并以此为导向创新人才培养体系[3]。蓝荣聪等人也提出利用日趋完善的数据获取和挖掘技术创新高校人才培养方式[4]。

随着以社会需求和人才产出为导向的工程教育专业认证逐步推广，基于第三方平台大数据的人才培养质量评价方法可以更加客观、全面地对高校人才培养的综合能力进行评价[5]，进而为高校修订和完善人才培养方案、课程体系，以及人才培养模式提供重要的参考意见和决策依据。该文基于第三方平台大数据，对某高校自动化专业往届毕业生人才培养质量进行实证分析，通过用人单位反馈、毕业生调查问卷等方式多方验证模型分析结果的有效性。结果表明，通过基于大数据分析的人才质量评价模型可以有效利用毕业生求职、用人单位招聘、高考录取和人才培养方案数据，量化分析高校人才培养质量，为培养方案修订、课程体系设计提供重要的决策依据。

二、基于大数据分析的评价框架

基于大数据分析的评价框架如图1所示。该框架以AI大数据和专业人才培养方案作为分析诊断基础，对专业培养的人才素质从横向（同类高校毕业生之间对比）和纵向（社会需求与毕业生素质对比）两个角度进行评价和分析。该评价框架中AI大数据由包含了社会需求的招聘数据和反映毕业生学习成果的毕业生数据构成。评价分析结果可以用来对高校的人才培养目标、培养方案修订、课程体系设置等决策做出优化支持。

三、评价流程

如图2所示，基于第三方大数据的人才培养质量评价流程主要分为五步：（1）通过招聘信息采集社会需求数据，通过毕业生求职简历采集毕业生数据;（2）采用NLP（Natural Language Processing）分析方法对社会需求数据和毕业生数据分别进行分词和标注;（3）采用基于机器学习的文本聚类和自动分类方法分别对社会需求数据和毕业生数据进行清洗和分类，形成招聘信息数据池和毕业生数据池，同时对专业培养方案也采用NLP方法进行分词和标注;（4）采用共词网络和相关度分析方法，分析计算两个数据池之间的关系以及两个数据池对专业培养方案的支撑程度;（6）根据后台模型量化计算各个指标，形成人才质量评价分析报告。

四、实证分析

为了验证基于第三方平台大数据的人才培养质量评价方法客观性，该文选取某高校自动化专业进行实证分析，基于第三方提供的大数据，采用人工智能方法对自动化专业的社会需求、工程教育培养达成状况、毕业生能力素质、课程与能力关联程度、毕业生市场竞争力与社会评价等方面的培养质量进行分析评价。

（一）案例背景

基于第三方大数据的人才培养质量评价，是从社会视角对高等学校办学状况及其培养人才质量的有效检验，尤其是在当前以成果为导向的工程教育专业认证背景下，加强基于第三方大数据的人才培养质量评价机制，可以推进高等学校在评价方面的制度研究和建立，促进高等学校对自身人才培养质量评价的反思。因此该文选取参加自动化工程教育专业认证的某高校数据进行人才培养质量评价和分析。

（二）数据来源

文中第三方调查数据来源于前途大数据专业分析系统，所有呈现出来的数据分析都是拟合的，只对数据进行现象分析，无法还原到个人，不涉及隐私泄露。

本次人才培养质量评价第三方数据覆盖：

2012—2014届自动化专业全国本科生文本简历35585份;

2012—2014届全国596个本科专业各项指标数据;

2012—2014届本专业全国开设本科高校各项指标数据;

6568万条本科以上专业人才职位需求信息（来自216个招聘网站），其中明确需要自动化专业的136105个单位的494367条职位需求信息;

2012—2017年各省高考录取平均分数据;

某高校2012—2014届全日制本科生自动化专业毕业生总计486人，调研202份文本简历，样本占比41.56%。

（三）分析结果与讨论

该文基于全国数万家企业的招聘职位需求和求职者简历信息进行关键词提取、分类，并进一步建立后台模型，计算自动化专业的社会需求、工程教育达成情况、毕业生能力素质、课程与能力关联分析、毕业生市场竞争力与社会评价等多维度指标。由于篇幅所限，文中仅从毕业生能力素质和工程教育达成情况两个方面讨论评价结果。

1. 自动化专业全国需求状况：

（1）全国自动化专业需求仍处稳定阶段。自动化人才最近一年供大于求。如下表所示，自动化专业人才全国招聘人数比例呈现下降趋势，从2016年10月至2017年9月的1.15%下降至2017年10月至2018年9月的0.28%。但是，2013—2017届本专业全国本科生就业人数存量比例为1.38%，人才供需差距扩大。

本专业人才全国招聘人数比例大幅下降，分别如图3中的虚线和实线所示，全国职位需求占比从2017年第1季度的0.89%快速下降至2018年第4季度的0.35%，人才需求占比也從2017年第1季度的1.09%快速下降至2018年第4季度的0.30%。

（2）社会需求的素养、通识能力、专业知识和技能。如图4和图5所示，市场对自动化专业人才的素养需求中，用人单位关注点分布较高的是“勤奋努力”（72.74%）、“责任感强”（26.88%）、“乐于合作”（23.67%）等职业素养。

市场对自动化专业人才的通识能力需求分布较高的是：“沟通与表达能力”（57.52%）、“组织与管理能力”（57.06%）、“组织协调能力”（55.97%）。

从图6的自动化专业全国本科以上人才招聘需求“专业知识与技能”分布图中可以看出，自动化专业全国本科以上人才2016—2018年招聘需求专业知识与技能分布较高的是“C语言”（23.25%）、“CAD使用”（15.95%）、“常用办公软件”（12.09%）。但市场对“C语言”能力点需求呈下滑现象。

2.毕业生能力素质。通过自然语言处理技术基于文本简历智能统计分析出毕业生擅长的素养、通识能力、专业知识与技能等，并与自动化专业全国高校毕业生“素养”均值和社会需求比重分别进行对比分析。下面主要以专业知识和技能为例进行说明。

与自动化专业全国高校毕业生均值相比，2012—2014届某高校自动化专业本科生“专业知识与技能”整体合格。其中电厂热力设备、发电过程控制等表现显著高于全国高校均值水平，充分体现了行业高校的教育特色。

为了详细说明某高校培养的自动化专业人才的专业知识和技能水平，下面分别从自动化系统工程、分散控制技术、检测技术、仪器仪表、系统建模和C语言六个方面，将某高校自动化专业本科生专业知识和技能水平与全国工科类高校、一流学科建设高校、全国电力类高校进行分析对比。结果如图7所示。从图中可以看出：

某高校培养的人才在自动化系统工程方面表现相对较好。2012—2014届某高校自动化专业本科生“自动化系统工程”擅长比例为33.66%，比全国工科类高校均值（28.63%）高17.57%，比一流学科建设高校均值（29.37%）高14.61%;比全国电力类高校均值（34.09%）低1.24%。

某高校培养的人才在分散控制技术方面表现相对较好。2012—2014届某高校自动化专业本科生“分散控制技术”擅长比例为23.27%，比全国工科类高校均值（19.50%）高19.33%，比一流学科建设高校均值（17.47%）高33.21%;与全国电力类高校均值（23.56%）差别不大。

某高校培养的人才在检测技术方面表现与其他高校差别不大。2012—2014届某高校自动化专业本科生“检测技术”擅长比例为22.28%，与全国电力类高校均值（22.06%）、全国工科类高校均值（22.50%）差别不大，比一流学科建设高校均值（23.17%）低3.87%。

某高校培养的人才在仪器仪表方面表现相对良好。2012—2014届某高校自动化专业本科生“仪器仪表”擅长比例为18.81%，比全国工科类高校均值（14.40%）高30.63%，比全国电力类高校均值（17.29%）高8.78%，比一流学科建设高校均值（14.61%）高28.74%。

某高校培养的人才在系统建模方面表现相对较好。2012—2014届某高校自动化专业本科生“系统建模”擅长比例为9.90%，比全国工科类高校均值（7.32%）高35.18%，比全国电力类高校均值（7.27%）高36.22%;与一流学科建设高校均值（9.96%）差别不大。

某高校培养的人才在C语言方面表现相对一般。2012—2014届某高校自动化专业本科生“C语言”擅长比例为24.26%，比全国电力类高校均值（18.05%）高34.43%;比全国工科类高校均值（24.85%）低2.37%，比一流学科建设高校均值（29.21%）低16.95%。

2.自动化专业工程教育达成情况。2012—2014届本校自动化专业本科生毕业五年左右毕业要求达成整体均合格。其中环境和持续发展、使用现代工具的能力表现优秀。具备较好的工程知识，能够用于解决自动化领域的复杂工程问题。具备较好的研究能力，能够对自动化相关领域，尤其是能源电力生产自动化领域的复杂工程问题进行研究，包括设计实验、分析与解释数据、并通过信息综合得到合理有效的结论。具有终身学习能力，具有自主学习和终身学习的意识，有不断学习和适应发展的能力。在设计/开发解决方案能力方面基本合格，相对还有一定提升空间。个人和团队能力和项目管理能力表现一般，有待进一步改进课程体系。

（四）结果与启示

从基于第三方大数据对某高校自动化专业的人才培养质量评价结果可以看出某高校自动化专业人才培养目标基本契合社会需求，然而在以下几个方面还有改进的空间：

1.细化提升人才培养方案。自动化专业随着人工智能的快速发展，未来涉及的领域将十分广泛。因此，人才培养目标应在立足于当前社会需求的基础上有所升华和细化，明确若干年内所培养人才的层次、类型和主要服务方向。建议通过已有毕业生的培养效果的详细剖析，针对本专业人才培养方案召开专项研讨会，从社会需求能力点和已有毕业生能力点两个方面出发，在课程设置、培养理念等多方面吸纳专家的经验做法和宝贵建议，为自动化专业的人才培养指明方向，促进本科教育教学质量水平大幅提升。

2.加强培养学生主动性的思政教育。从社会需求素养比重和毕业生素养比重对比可以看出：在主动性方面，社会需求大于毕业生素养。因此，某高校应通过适当增加政治、人文、心理、职业规范等相关课程予以引导，同时结合学校实际情况，加强社会实践环节的组织与管理，使毕业生可在社会实践中更好地认识自我，了解社会，为将来走向社会打下基础。

3.实施多元课程，增加实践环节。从上述人才培养质量分析可知，在“沟通与表达能力”“组织协调能力”“逻辑思维能力”这些“通识能力”点上，某高校自动化专业学生能力相对低于社会需求，有待进一步提升。因此，应加强数学、计算机系列等基础课，以及政治等人文课程。可适当增加课程设计环节，增加实践动手机会，避免基础课程给学生带来枯燥乏味的感觉，提高学生的学习熱情;充分利用毕业实习这个体现毕业生综合能力的重要渠道，以建立大学生管理、组织、协调、沟通、人际关系等方面的延伸性经验。

4.结合新兴产业，推动创新复合人才培养模式。物联网、人工智能等新兴互联网应用技术对高校自动化专业教学提出的新挑战。发展战略性新兴产业、推动经济转型升级，离不开高素质技术人才的有力支撑。当前自动化专业设置还存在很多与战略性新兴产业对接的“盲点”。高校应坚持夯实基础、强化内涵，紧紧抓住战略性新兴产业发展的大好机遇，充分利用战略性新兴产业发展政策，精准对接相关产业，与相关企业开展深度合作，推动自动化专业创新复合人才培养模式。

五、结论

内部评价仍然必不可少。可以说，高校内部评价是从历史的维度对人才培养质量进行评价，而基于第三方数据则是从社会需求的纵向维度和各高校之间差异的横向维度进行人才培养质量评价。因此，两种评价应该相互补充，共同作用。尤其在当前形势下，切实加强第三方参与的人才培养质量评价机制，可以推进高校在评价方面的制度研究和建立、健全评价的组织机构、促进高校对自身人才培养质量评价的反思。

参考文献

[1]徐安兴.构建大学人才培养质量评价体系[J].教育发展研究，2006（5）：72-74.

[2]周世军，戴玉纯，洪旭东.基于网络爬虫大数据的地方高校人才培养质量社会关注度挖掘[J].黑龙江高教研究，2019（3）：44-47.

[3]南旭光.大数据驱动职业教育人才培养的价值逻辑与创新途径[J].教育与职业，2017（20）：20-25.

[4]蓝荣聪，陈永福.大数据视域下大学生创新能力培养的思考[J].思想教育研究，2014（11）：70-73.

[5]薛景，戴玉纯.论大数据在高校评价中的应用[J].亚太教育，2016（23）：10-11.

Research on Quality Evaluation of Talent Cultivation Based on Third-Party Big Data

ZHOU Rong， SHI Rui-feng

（School of Control and Computer Engineering， North China Electric Power University，

Beijing 102206， China）

Abstract： Objectively evaluation of talent training quality in universities based on the third party platform big data has profound reference and practical value for further exploration of the revision mechanism of training program， the way and models of talent capacity improving. Intelligent big data analysis methods such as co-word network， automatic classification， text clustering， machine learning， are adopted to establish the talent quality evaluation model of specific professional and analyze the specific talent training quality after the talent data of all professionals in the country. The results of previous automation major graduates' training in a university show that the talent quality evaluation method provides an important decision-making support for the revision of the talent training program and the design of the curriculum system by effectively using graduates big data.

Key words： quality evaluation of talent cultivation; big data; intelligent analysis methods