基于大数据的学生职业能力评价指标体系研究

胡伏湘 陈超群

摘  要：针对学生职业能力评价方面存在的层次少、指标粗、数据难获取等问题，从职业能力的内涵着手，系统梳理了国内外研究的阶段性成果，设计了依托大数据平台的由目标层、领域层、类型层和指标层组成的四层评价指标体系，包括基础素质、专业水平、方法运用能力、社会交往能力、可持续发展能力五个领域层指标，20个类型层指标和96个指标层指标，运用德尔菲法与层次分析法确定了指标权重。这种评价指标体系的优势在于，指标内涵明确，层次清晰，指标值可从大数据平台得到，客观真实。最后探讨了数据处理方法和评价过程相关问题。

关键词：大数据;职业能力;评价指标体系;智慧教育

Abstract： In order to deal with the difficulties of collecting students' data with few structures and rough indicators， for students' professional competence assessment， the paper proposes an assessment index system. It starts with the connotation of professional competence， summarizes periodical achievements made by domestic and international students on learning topics， and then designs a framework of 4-level assessment index system based on big data analysis. The framework consists of target layer， domain layer， category layer and indicator layer. There are five indicators at domain layer， it contains of indicators of essential quality， professional level， application ability， social communication skills and sustainable development ability. There are 20 indexes at the category layer， 96 indexes at the indicator layer. Delphi method and analytic hierarchy process are used to compose the weight of each index. The advantages of this assessment index system are that the index has clear connotation and levels， the index value can be obtained from big data analysis， which is objective and practical. At last， the paper specifies the data processing method and the evaluation process.

Keywords： big data; professional ability; index evaluation system; intelligent education

1   引言（Introduction）

職业能力是指从事对口职业岗位所需能力的总和，即完成一定职业任务所需的知识、技能和态度的要求[1]，通常包括三个方面：一是胜任一种具体职业而必须具备的基本能力，即任职资格，如职业资格证书和大学毕业证书;二是步入职场后所表现出来的职业素质，即专业核心能力，通常与所学专业知识紧密相关;三是工作岗位开始后具有的职业发展、岗位迁徙、组织管理、职务晋升方面的能力，即可持续发展能力，这些能力往往通过参加社会实践和课外活动等途径获得。运用信息技术手段，科学评价学生的职业能力既是时代的要求，也是学生自身的诉求，更是教师监测人才培养质量的现实需要。

2  职业能力评价的国内外研究现状（Research status on professional ability evaluation at home and abroad）

2.1   国外职业能力评价情况

美国职业能力评价体系是基于国家技能标准制定的[2]，由基础标准、专业标准和特殊标准（指特殊工种和特定行业所需的特别要求）三部分构成，国家技能标准推进委员会（NSSB）负责组织和实施，与职业岗位技能等级证书紧密关联，职业能力体系包括基础能力（基础技能、思维能力、个人素质）和工作能力（资源、信息、系统、技术、沟通等方面）。德国将职业能力确定为专业、方法、社会和个性能力四种类型[3]，按照重要程度又分为基本职业能力和关键职业能力[4，5]，前者包括专业知识和专业技能，与岗位要求相关，后者包括方法能力和社会能力，指职业发展过程中适应职位迁移、职务晋升而具备的跨专业、综合性组织协调和终身学习能力，它不受任职时间限制，也不受具体岗位制约，即职业生涯的可持续发展能力。英国以职业资格证书（NVQ）的要求为依据，将职业能力分为特定能力（专业技能）、通用能力（岗位群技能）和核心能力，由国家资格委员会和主导产业机构联合实施[6]。日本的职业能力评价体系有技能考核制度、企业内部技能考核制度三大核心，包括技能认定、事务处理和办公自动化技能等内容[7]。澳大利亚将职业能力细分为沟通能力、协作能力、解决难题、进取精神、计划组织、自我管理、学习和技术能力八个方面，同时增加了忠诚度、抗压能力、积极乐观心态等个人品质因素。从美德日澳对职业能力的分类不难看出，这些国家将读写表达、技术与方法运用等基础能力，团队意识、沟通能力、思维理解能力、性格品质、创新创业等可持续发展能力与专业技能置于同等重要的地位。

2.2   国内职业能力评价学术梳理

在中国知网上，以“职业能力评价”作为关键词检索，可找到20篇文献，其中核心期刊1篇，说明评价职业能力的学术研究还比较少。以“大数据”和“职业能力评价”同时作为关键词，相关文献为0，说明运用大数据手段来评价职业能力还没有成熟的方案。若以“职业能力评价”作为主题检索，可以找到483篇文章，近5年居多，其中全国中文核心期刊15篇，涉及核心能力评价、课程评价、教师职业能力评价、就业竞争力评价、发展质量评价等角度，说明职业能力评价已经受到教育界普遍关注，为本研究提供了借鉴。

文献[8]以《网络营销》课程为例，从学习环境设计、教学设计、个性化在线学习流程设计等方面探讨了提升课程教学效果的方法。文献[9]从海量招聘信息中，通过提取候选特征词，构造词汇-文本矩阵，利用聚类算法确定了企业需求与人才培养的相互关系，为教学实施确定了目标。文献[10]认为教师专业发展的核心是TPACK，即学科知识、教学法知识、技术知识以及整合技术的学科知识、整合技术的教学法知识、学科教学知识、整合技术的学科教学知识七个方面，相关数据反映出教师发展水平。文献[11]按照职业教育的特点和人才培养定位，构建了教师职业能力评价体系，包括教育、教学、科研和社会服务四个一级指标，涵盖课程建设、创新创业、项目论文、技术应用等具体内容。文献[12]利用层次分析法设计了包括创新知识学习能力、创新意识、创新个性和创新实现能力四个维度的学生创新能力评价体系，各部分权重在20%到25%。文献[13]以某职业学院为例，在问卷调查的基础上，设计了教师风范与职业道德教育、参与企业工作与行业影响力、教学设计与教学研究、教学组织与教学实施、教学资源开发、教学效果、学生服务与管理、职业规划与团队建设、校企合作与产学研共九个指标的教师职业能力评价体系，并运用专家评分法赋予了相应的权重。文献[14]、文献[15]、文献[16]分别以国际贸易专业、商务英语专业、酒店管理专业为例，分析探讨了职业能力的构成要素及评价方法，给出了提高学生职业能力的一些措施。

2.3   大数据用于职业能力评价方面

用大数据评价学生职业能力尚处于探索阶段，没有形成完整的解决方案，多数文献的主题集中在如何运用大数据思维提高学习效率、大数据时代对人才培养的影响等定性研究方面，文献[17]提出了一个通过企业需求大数据制定人才培养方案从而实现需求驱动导向的职业能力培养方法，将岗位职责映射为知识技能点，对于本研究具有一定的借鉴作用。

2.4   研究述评

上述不难看出，职业能力评价已经成为高校及学术界关注的热点，在职业能力的组成、专业职业能力体系、课程效果评价、教师能力评价等角度形成了一定的阶段性成果，但理论层面居多，指标体系不完善，包括目标层、类型层、领域层三层，粒度太粗，指标值难以直接获得，主观性指标多，与评价者存在直接关系，处理过程烦琐，操作性不强，落地难。将大数据用于职业能力评价过程，调用教育大数据平台的数据和分析预测结果，既能反映学生职业能力现状，更能促进学生取长补短，这个领域的研究尚属于起步阶段。

3  运用大数据评价学生职业能力的指标设计原则与方法（Design principles and methods of students' professional ability evaluation indexes with big data）

3.1   运用大数据评价学生职业能力的可行性

大数据是新一代信息技术的典型代表，是一种结构化和非结构化数据混合存储的方式，也是一种思维模式[18]，在精准营销、智能交通、案件侦破、互联网金融、政府治理等方面已广泛应用。在教育界，这些年陆续建成的专业教学资源库、资源共享开放课程、精品资源开放课程、MOOC、视频公开课等平台积攒了大量的资源，成为教师评价课程教学效果的主要方法，为职业能力评价手段的创新提供了数据支撑。作为评价对象的95后学生伴随互联网成长，获取知识的渠道多种多样，在某个问题上，比老师了解更多更深的现象时有发生[19]，仅靠课程成绩和辅导员的印象式评价难以精确衡量学生的职业能力。利用大数据的存储、分析和预测功能，在诊断性评价、形成性评价以及总结性评价三个阶段中多元化评价主体、细化评价指标、增加评价频度、加大过程数据占比[20]，弥补传统评价评价方法的不足。通过诊断与改进，强化结果运用，提高教与学的精确度， 优化培养过程，正是大数据驱动人才培养的价值逻辑，也是职业教育高质量发展的关键。

3.2   指标设计原则

导向性：以市场需求和职业教育人才培养目标为导向，从职业能力内涵入手，注重学生综合素质和应用技能的全面培养，围绕学生必须掌握的专业能力、方法能力、社会能力、成才能力等方向进行评价。

多元性：从学生自评、教师考评、项目导师点评等维度综合考虑，以用人单位招聘试题、本专业技能测试题目、项目库为基本依据，融入实习和项目实践过程，客观结果和主观测试结合，保证评价结果的科学性和公平性。

动态性：学生职业能力构建是一个动态叠加过程，需要以发展的眼光看待评价内容和结果，既要考虑学习期间的能力培养，还要具备一定的前瞻性，关注业态变化，适时调整评价方案，提高学生的就业竞争力和职场可持续发展能力。

可操作性：通过智慧校园或者信息化管理系统，充分利用教育大数据平台所存储的过程性数据，尽可能由软件自动评判赋分，同时兼顾终结性成绩，把平时学习过程和核心课程及项目的考试有机结合起来，使评价结果更加真实可信。

3.3   指标遴选依据

指标遴选的过程就是根据评价目的及内容、系统收集、分析和优化备选指标的过程。主要依据有四个，一是根据职业教育的特点、办学定位、岗位技能、课程体系、实践性教学環节等因素，在调研和专家论证的基础上提炼而成。二是考虑职业技能证书考试大纲所规定的基本要求，使评价结果与岗位胜任程度吻合。三是尽量客观，指标内涵明确，来源可靠，数据可信，避免界定模糊引起歧义的指标，缩小凭感觉评判凭印象赋分的指标所占的比例。四是指标数适中，层次分明，脉络清晰，可操作性强。

4  基于大数据的学生职业能力评价指标体系设计（Design of students' professional ability evaluation index system based on big data）

4.1   指标体系设计

从前面的分析可以看出，关于职业能力评价指标体系，业界通用的做法是分为目标层、领域层和类型层共三级，包括基础能力、专业能力和关键能力三类指标。在此基础上，充分运用教育大数据的优势，设计并经专家认可，本研究将指标体系拓展到四级，将类型层细化到指标层，实现指标层原子指标数据的可读取可计算;同时关注信息化时代学生职业生涯的规划和成长成才需要，将指标类型分类整合，重构为基础素质、专业水平、方法运用、社会交往、可持续发展五个方面，如表1所示。一级指标是目标层，即学生职业能力量化值，二级指标是领域层，反映学生职业能力所涵盖的范围，三级指标是类型层，是对各二级指标的进一步分类，四级指标是指标层，是可以量化的最小指标单位。

4.2   指标说明

表1看出，二级指标基础素质是步入职场所需要的个人素质，包括高考入学成绩、中文应用能力、英语水平、身体与心态、表达能力、计算机应用水平等三级指标。专业水平是进入大学后需要学习的知识和培养的技术技能，包括专业知识掌握程度、专业技能掌握程度、专业实习成绩、专业实践成绩、职业资格证书等三级指标。方法运用能力是在大学里通过学习和训练而掌握的问题分析、方案策划、综合运用所学知识进行科学决策等方面的能力，这些三级指标的值大部分不能直接获取，需要利用专门的题目或者专项测试，综合评价产生。社会交往能力具有一定的综合性，且不确定因素多、随机性大，主要采用观察法、调查法、实验法和测量法等评价方式，包括团队协作能力、环境适应能力和局面掌控能力，涵盖社会责任意识、合作能力、协调能力、领导力、模仿能力等三级指标。可持续发展能力是指既满足现在需要又考虑将来发展要求而具备的职业提升能力，包括创新能力、抗压能力、抗挫折能力、信息检索能力、计划能力、学习能力、自我管理能力、反思能力等三级指标。

本指标体系各二级指标及其下级明细相对独立，评价主线清晰，结果反映从入学到大学三年学习，再到走入社会，成长成才和职业能力提升的过程。与已有研究相比，具有四个特点：一是操作性更强，紧密对接教育教学和社会实践过程，大部分指标值可以直接从学业管理系统中获得，部分指标需要利用教育大数据平台，通过专门设计和专项测试，过程记录和软件系统评价产生。二是层级更多具体，达到四级，部分指标能够直接从大数据平台读取，更加精确和客观。三是紧密对接学校人才培养过程，充分利用智慧校园各业务系统记录的信息，尽可能减少了主观分和印象分，提高了评价结果的真实性和可信度。四是凸显职业教育特点，强调实践技能在指标体系中的份额，扩展了指标的数量和精细度。

4.3   指标权重的确定

采用德尔菲法与层次分析法，构建判断矩阵，其中为要素i与要素j的重要性比较结果，以此来确定二级指标的权重W，根据计算结果，以上五个二级指标的权重分别为0.08、0.27、0.35、0.18、0.12，得到二级指标的权重集合W为：W=（0.08，027，0.35，0.18，0.12）。依同样方法，可以得出三级指标与四级指标的权重，最后得到的学生职业能力指标权重见表1。

4.4   数据来源与收集

数据主要来自两种，一种是安装在校园信息化平台上的各类通用业务管理系统，包括教务管理系统、学工管理系统、奖助学金管理系统、一卡通管理系统、网上办事大厅、社团管理系统、顶岗实习管理系统、校企合作管理系统、创新创业教育管理系统、德育管理系统、学生社团管理系统等，这些软件应用较为普遍，大多数学校搭建数字校园或者智慧校园平台时，都会购置或者定制这类基础性管理系统。另一类是专用业务管理系统，这些系统需要进行定向开发和专项采购，通常是实施了智慧校园项目后，作为第二期建设内容，即建立大数据应用平台，全面实施智慧教育和智慧管理，才会考虑这些项目，包括学生考勤管理系统、学习管理系统、社会实践管理系统、项目实践管理系统、舆情监控预警系统、教学管理决策支持系统等。如通过项目实践管理系统实施精细化管理，学生在项目中是否担任经理（项目组长）等职务、项目进度情况、项目的创新程度、文档制作水平、团队展示情况等都会作为评价要点上传系统，通过项目完成情况能够反映负责人及团队成员的职业能力。再如《创业教育》课程，在评价其学习成效时，不能只是一个期评分数，而应该综合考量学生在创新意识、新生事物敏感度、创业动力、抗压能力、抗挫折能力、信息检索能力、批评与自我批评能力等相关因素，要通过理论教学、“双创”项目实践等过程阶段性评定，这对教师的教学方法提出了新的要求，需要用项目驱动、翻转课堂、智慧教育手段才能有效实现。

5  基于大数据的学生职业能力评价过程的实施（Implementation of students' professional ability evaluation based on big data）

5.1   指标数据的获取

运用大数据评价学生职业能力需要智慧教育大数据平台，典型载体是智慧校园[21]，要反映学生的中心地位，一方面是全程捕获学生的学习、测试、项目实践和社会活动信息，同时通过模式分析预测未来趋势，经过归一化处理产生评价值。数据的来源有三层，最底层是互联网层，即研习数据，包括师生合作完成、項目小组共同完成以及单独完成的成果。中间层是所链接的各类硬件，包括智能门锁、一卡通记录、远程访问数据。最外层是流入数据中心的各类业务数据，学工系统、教务系统、实习实训、社团、奖助学金、课程学习系统等，这是数据采集的主要来源，大多数指标是从此处直接读取或者处理得到。

5.2   数据中心设计思路

数据中心是业务数据的汇集地，也是评价过程所需要的过程数据和最终数据的存储池，包括结构化数据、半结构化数据和非结构化数据，学生自评或者教师测评均可以从中调取数据，系统根据评价结果向学生推送个性化资源也是由程序自动完成。整个数据仓库是通过HDFS、HIVE存储在HADOOP生态环境，通过HDFS和HIVE的相互配合搜索关键词条目，对原始数据抽取和筛选，形成原始库，再经过预处理构建标准库，聚合成主题库，建立起相应的库表，按照一定的规则做二次清洗，然后建模，计算结果存储在MySQL数据库分布式集群，以数字或图形方式呈现在前端界面。

5.3   指标数据的处理

方法运用能力、社会交往能力、可持续发展能力是职业能力的重要组成部分，在评价指标体系的五个二级指标中，占据了三席，从相应的各下级指标来看，数据获取的难度较大，和课程成绩、绩点等简单无争议指标相比，难以精确测量，不同的角度得到的结果也有一定的偏差，且无法从数据管理系统中直接导出，需要经过专门测试和处理后才能得到。通常可以采取三种措施解决这种问题：一是由学校和企业联合组成命题团队，根据岗位技能要求和职业发展的要求，设计大体量的专项测试题库或者专门项目库，在规定的时间独立完成或者小组合作随机抽取题目完成，根据所选择的角色、完成的速度和质量等因素确定指标分数，比如方法运用能力一级指标中的分析能力各下级指标都可以这样处理。二是优化设计原来的考核表格和方案，比如团队协作能力三级指标，对于社团考核表，不能只是一个简单的评语和结论，而需要根据学生在社团中承担的职位、工作量、工作态度和最后结果，设计更为详细的考核方案，尽量做到数字化、详细化和具体化，这些处理在软件系统中容易实现，也方便分类汇总形成统计数据。

6   结论（Conclusion）

提高学生职业能力是高等职业教育高质量发展的重要目标，是校企合作产教融合的核心成果，建立职业能力评价指标，依托教育大数据平台，可以以学期或者学年为单位，定期考核评价，这是除课程成绩外又一个调动学生学习积极性的主要手段，是實施智慧教育的抓手，是推动教育教学模式创新的时代命题，这是新时代赋予高校的使命。本文立足于此，对大数据环境下如何评价实施学生职业能力，初步探索了可操作的四级指标体系，并设计了数据采集和数据中心的建设方案，并通过采用德尔菲法与层次分析法确认了各个评价指标的权重，但尚未针对某一个学校进行实践检验与探讨，这也是将来要继续完成的工作。

参考文献（References）

[1] Kratzke Cynthia. Smart Choices for Cancer Education Professional Development： Your Voice and Visibility for Leadership[J]. Journal of cancer education： the official journal of the American Association for Cancer Education， 2018（33）： 5-9.

[2] Jan Masschelein， Maarten Simons. Education in times of fast learning：the future of the school[J]. Ethics and Education， 2016（1）： 322-339.

[3] Lindsay Johnston， Susan B. Williams， Anne Ades.Education for ECMO providers： Using education science to bridge the gap between clinical and educational expertise[J]. Seminars in Perinatology， 2018（42）： 2-10.

[4] 李新华，韩奕，陈莉莉，等.大学生职业能力提升方法探索[J].教育教学论坛，2018（42）：144-146.

[5] 谢英姿.论高职学生职业能力评价指标体系的构建[J].职教论坛，2015（11）：17-21.

[6] 肖化移，邱滢滢.国外高职学生职业能力标准的比较与启示[J].职教论坛，2016（04）：87-91.

[7] 李福东，曾旭华.国内外职业能力评价研究和应用[J].中国电力教育，2012（12）：34-36;47.

[8] 彭楚钧.大数据环境下高职学生在线学习成效提升路径[J].现代经济信息，2017（20）：367-368;379.

[9] 张学新，贾园园，饶希，等.海量非结构化网络招聘数据的挖掘分析[J].长春师范大学学报，2017，36（10）：28-36.

[10] 李国成，向燕玲.教育大数据视角下高职院校教师专业发展研究[J].牡丹江教育学院学报，2017（06）：11-13.

[11] 付永山，李春明，向月波.高职教师职业能力评价体系研究[J].教育科学论坛，2017（15）：68-70.

[12] 胡芬.基于改进的层次分析法对高职学生创新能力的评价[J].湖北成人教育学院学报，2017，23（04）：68-71.

[13] 姜荣，丛迎九，曲桂东.高职院校教师职业能力标准与评价体系研究[J].职教通讯，2013（02）：56-58.

[14] 李福东，曾旭华.国内外职业能力评价研究和应用[J].中国电力教育，2012（12）：34-36;47.

[15] 余雅.高职学生职业能力评价体系的构建与实施——以商务英语专业为例[J].教育教学论坛，2018（11）：228-229.

[16] 刘加凤.高职学生核心能力评价指标体系的构建——以酒店管理专业为例[J].职业技术教育，2012，33（05）：54-56.

[17] 刘耘，袁华.基于大数据的需求驱动的职业能力培养研究[J].电子科技大学学报（社科版），2018，20（02）：8-14.

[18] 胡伏湘，方玲玉.基于大数据思维的教育教学模式探析[J].湖南行政学院学报，2018（05）：25-29.

[19] 徐嫚，鲁晨阳，沙成金.高职院校视角下探究“00后”大学生辅导员工作的新模式[J].课程教育研究，2019（08）：195.

[20] 周洁如.大数据背景下课程评价方法探析[J].天津电大学报，2018，22（02）：10-13.

[21] 胡伏湘.基于大数据的智慧职教——内涵、平台设计与应用[J].中国职业技术教育，2017（03）：85-91.

作者简介：

胡伏湘（1967-），男，博士，教授.研究领域：智慧教育，软件技术.

陈超群（1974-），男，硕士，副教授.研究领域：生态旅游，系统评价.