数字化转型背景下高职教育第三方客观评价系统设计与实施

林健 陈百利

一、引言

随着高等职业教育的快速发展，学生评价已成为教育质量保障的重要手段之一，因其客观、公正和专业的特点，日益受到关注。数字化转型是当前全球经济和社会发展的主要趋势，它已经深入到各个领域，也给职业教育带来了新的机遇和挑战。第三方客观评价系统是数字化转型在职业教育领域的一个重要应用，其可以为职业教育机构提供公正、可用的评价，帮助其发现问题、改进教学、提高人才培养质量。

本文探讨了数字化转型背景下高职教育第三方评价体系的现状、问题及优缺点，为设计和实现高职教育第三方客观评价系统提供参考，并给出了基于云计算和大数据分析技术的第三方客观评价系统的设计和实施方法，意图借助这套系统更加科学地汇总分析教育评价数据，为教学整改提供数据依据。

二、第三方评价体系现状分析

（一）专门的评价研究机构

麦可思是专门的评价研究机构的代表，是中国最早从事教育评估、人才培养质量评价等项目的专业研究机构之一，其评价结果在国内外具有较高的认可度和影响力。优点是评价指标较为全面，数据来源较丰富，评价结果普遍受各大高校认可。其评价主要关注就业情况和授课效果等方面，忽略了诸如学生综合素质、用人单位的反馈等。

（二）官方综合性教育研究机构

以中国教育科学研究院、中国职业教育研究中心为首的官方机构，是中国教育科学的高端研究机构，在教育决策咨询、教师教育、基础教育、高等教育、学前教育、职业教育、特殊教育等领域拥有丰富的研究经验和成果。其优点是有足够的权威性和专业性，其主要评价方式是量化评价，缺乏对教育过程中人文因素和主观体验的评价，同时其评价存在一定的滞后，无法及时反映教育现实的变迁和需求。

（三）在线教育平台

智慧树、超星、网易云课堂等在线教育平台，除能够提供在线学习平台和课程资源外，还提供课程评价、学习成果认证等服务，能够满足不同类型和层次的学习需求。优点是评价方式较为灵活，能够根据不同学校和专业的需求进行个性化评价，并且包括在线测试、作业评价、课堂互动等，能够灵活地适应不同的学习需求和课程要求，并提供数据统计和分析功能，及时收集并分析学习数据，为教师和学生提供反馈和指导。这些平台也存在数据质量参差不齐、统计误差等问题，需要进一步优化数据采集和统计的流程，提高数据的质量和准确性，同时评价结果和反馈比较概括和笼统，难以针对不同学生和课程的具体情况提供个性化的指导和反馈。

根据上述对第三方评价机构的综合分析，本系统设计意在将评价的对象聚焦在学生、课程及教学上，作为对于现有评价体系的有益补充和拓展。同时针对现有机构及平台所采集的数据，提供数据导入的接口，进行二次统计和分析，深挖数据价值。

三、系统设计

（一）指标体系设计

指标体系是客观评价系统的重要组成部分，它需要涵盖教育质量的各个方面，包括教学内容、教学方法、教师水平、学生能力等。在设计指标体系时，需要考虑全面、科学、客观、公正等原则，确保评价结果的真实性和可信度。但目前对于评价维度的设计尚未有行业公认的标准，本系统的指标体系设计为可定制、可维护的，以适应不同场景、不同课程的评价要求。

（二）系统数据流程设计

系统总体的数据流程如图1所示。

1.数据来源

通过用户录入、外部接口传入等手段，采集教育过程中的各种数据。目前教学过程数据主要包括：考勤签到次数、学习视频完成度、平时作业评分、提问次数、回答次数、考试成绩、第三方评价等。

2.数据处理

对采集的原始数据进行清洗、標准化处理、分析等操作，提取有用的信息。这里使用Min-Max标准化的算法进行数据处理，但有些时候，我们采集到的数据里面，最小值不为零的，人工给予一个零值作为最小值。另外，在这些原始数据中，第三方评语的原始数据大多以文字方式呈现，故我们需要利用自然语言处理（NLP）技术将其感情色彩进行分析，从而得出一个可量化的百分制的分值。标准化后的数值，将乘以一个权重系数来构成学生的其中一个指标维度，比如学生的“学习积极性”可以由“提问次数”“回答次数”分别占50%的权重来构成，具体的权重设定，可以视乎每个课程的需要进行调整。数据具有时效性，随着时间的推移，可以看到学生的能力是否有提升。

3.评价模型

根据设计的指标体系，建立评价模型，进行客观评价。学生一旦匹配到某个典型的模型，或者某项能力指标偏低，能够提供预警和改进建议。

4.结果呈现

将评价结果以图表、报告等形式呈现给用户，方便用户了解教育质量的真实情况。而对于文字类的第三方评价数据，除了标准化后的数值以外，还提取评语关键词，并根据这些关键词的出现频率，分别生成用于描绘学生个人画像和群体画像的评价词云。

（三）系统架构设计

1.系统后端设计

系统服务后端使用了基于Uni-App的云开发技术进行开发，数据库的元结构由一系列的DBSchema json文件进行维护管理，服务器的MongoDB数据表会根据设计好的DBSchema结构进行动态更新，同时前端页面和服务端都能以同样的DBSchema标准文件进行统一的对象操作。服务后端使用基于Node.js语法的“云函数”实现。

2.数据库设计

本系统底层使用的是阿里云提供的非关系型数据库MongoDB，系统的几个数据表之间没有实际的外键约束，但逻辑上也是一一关联的，具体的数据库设计（部分）如图2所示。

3.功能模块设计

系统主要分为三个主要功能模块：学生端、AI助教、系统管理后台。

学生端是面向学生个人用户使用的，能看到学生自己实时的教学指标数据，也能参与群体排名，具有激励自我成长的功能。

AI助教是当学生在学习上遇到困难时，可以在本系统发起答疑对话。目前其核心数据主要来源于两个部分：一是利用AI平台的智能对话UNIT来实现的AI对话，AI平台可以根据需要进行替换；二是由教师预先设定好知识库，一旦学生对话命中预设关键字，则会提供相应知识内容反馈。因目前AI对话在知识库方面的广泛性有余，专业性略显不足，其不足部分由教师预设的知识库提供，以保证知识的专业性和准确性。

系统管理后台是针对每个不同的数据表进行数据查询和维护的入口。

4.系统前端及界面设计

系统界面设计遵循大方、美观、便捷等原则。前端使用基于Vue.js的Uni-App进行开发，代码简洁易于维护。

（四）系统关键技术及特点

1.数据存储

采用OSS云存储技术及Serverless服务端技术，存储教育数据和评价结果。可以随时进行升降配置，支持大规模的数据处理和分析。具有很好的可维护性及可拓展性。

2.数据处理

采用大数据处理技术，如Min-Max Normalization标准化处理等，对数据进行清洗、预处理、分析等操作，并使用自然语言处理（NLP）中的感情色彩分析、分词、关键字提取等技术。把文字评价数据以量化的方式统计呈现出来。

3.评价模型

根据设计的指标体系，初步建立评价模型，在系统使用过程中，根据实际数据可进行模型的动态优化调整。理论上该模型经过长期调整后会愈发趋于客观公正。

4.结果呈现

采用数据可视化技术，如ECharts、词云等，将评价结果以图表、报告等形式直观地呈现给用户。

四、系统实施成效

目前，系统通过数据导入的方式，建立了新媒体营销课程的数据，学生通过本系统，利用雷达图能够实时看到自己能力的优劣，如图3所示。

图3系统个人能力变迁雷达图其中所有的数据都可溯源，保证了数据的客观公正。教师通过本系统也能快速掌握学生个体乃至群体的学情，更有利于开展辅导工作。

五、总结

本系统基于对第三方评价体系的现状分析，以及教师的实际需求进行设计和研发，历时一年，不断整改及加入新功能而形成了一套可进行推广的客观评价系统。该系统可以作为超星等在线平台的有益拓展。第三方评论数据可以来自实习管理系统，或者直接以本系统作为实习评价系统来使用。总体来说，本系统具备数据可溯源、评价标准可调整、评价结果相对客观等优点。

但也存在着一些问题和不足，在数据标准化批量处理的过程中，云数据库可能会由于网络原因出现计算中断的情况。可以先将数据全部或者分批下载到本地，计算完毕后再一次性更新到服务器，这样就可以避免多次请求可能出现的网络通信失败的情况。

目前的数据来源大多通过导入的方式加载到系统中，后续可申请一些在线平台的API接口权限，直接进行数据的高效对接。作为一个第三方评价分析系统，可将其他一些评价要素加入，如实习评价数据等，从而更好地支撑学生的实习评价工作。

参考文献：

[1]薛利晨，米靖.2011—2021年我国职业教育第三方评价研究现状考察与思考[J].教育与职业，2023（07）：90-97.

[2]侯敬芹，吕志敏.职业教育第三方评价：问题与对策优化[J].职教论坛，2021，37（08）：163-168.

[项目来源：全国工业和信息化职业教育教学指导委员会课题：数字化转型下校行企共建职业教育第三方客观评价机制研究（GXHZWC44826）。]

責任编辑陈春阳