大数据时代高职院校援外培训项目评价转型现状分析与实现路径

张琼　丁镭　郑竹娟

职业技术教育援外项目是我国援外项目的主要形式之一，也是高职院校主要承担的项目类型之一。但是大数据时代下的援外培训在培训形式、培训内容上有较大变化，尤其疫情以来，职业技术援外项目转化为线上培训，项目培训评价模式的转型势在必行。本文通过分析现有的线上援外培训的评价方式的现实困境，创新设计大数据赋能的5M（多元化主体评价Multi-subjects、多维度评价标准Multi-dimensions、多模态评价内容Multi-modes、多渠道评价方式Multi-channels、多指标评价模型Multi-indicators）评价模型，提出援外项目评价转型的实现路径。

1 研究背景

高职院校援外培训项目内容丰富，涉及汽车与检测、机电维修、港口管理、职业教育宏观政策等；覆盖面广，主要服务“一带一路”沿线及非洲国家；形式多样，后疫情时代，援外培训项目由线下转为线上。但目前的援外培训项目研究主要集中在课程设计、跨文化适应等项目内容的研究上。对援外项目评价模式的研究较少，集中在评价指标构建、课堂教學质量评价、受训学员满意度调查等。项目评价主要采用结构化问卷的方式。针对项目评价的开展主要以外部评价为主，仅用“他者”视角将评价作为满意度测评工具，忽视了评价作为规划工具、监测工具的作用，对项目全程、全面的评价并不完善。随着信息技术的不断发展，援外项目的数字化转型迎来新的机遇和挑战。如王勇等（2019）运用数据挖掘技术对受训学员的评价反馈信息进行分析，整合教学资源，促进教学设计供给侧改革。在大数据时代，利用信息技术，更新数据采集、挖掘、关联、分析的技术，加强学员跟踪回访，转型评价模式，能够更好地改进培训内容，发挥项目评价对项目可持续创新发展的助推作用。

2 援外项目评价的现状分析

为了进一步了解现有援外项目评价模式的运行情况，笔者通过网站搜索、咨询调研等形式，得出以下表格内容（见表1）。

2.1 评价模式相对单一，数据类型不够丰富

培训效果评价主要有定性评价、定量评价、分层次评价和分阶段评价等几种模式。根据调研发现，目前高职院校援外项目评价形式主要以问卷形式为主，鲜少对受训学员开展一对一采访或小组访谈，因此项目评价收集到的数据主要以量化数据为主。受到语言、技术支持有限等因素的影响，近三年评价形式主要以线上问卷为主，采用英语调研为主，问卷内容主要集中在培训内容。因此，从培训评价的数据类型来说，量化数据多，质性数据少；从培训数据的语种来看，英文相对比较集中，而小语种调研比较匮乏，因此对援外项目的可持续发展模型的构建有一定限制，也不利于项目创新性发展。

2.2 评价主体相对集中，学员反馈信息为主

援外项目评价的主体主要是受训学员，由于培训项目的评价指标不够具体、系统，主要的评价指标为满意度调查。问卷的设计主要针对管理服务能力、培训内容、翻译服务、后勤保障等进行满意度评价，学员主观判断为主。但援外培训项目评价主体应包括项目主管部门、参训学员派出机构、项目承办单位、学员及授课教师等一系列相关人员，因此单纯从学员角度进行评价不够全面。评价主体的拓展能够刻画援外项目从策划、实施到收尾工作的全貌。学员反馈信息能够对改进培训内容、提升培训效率有一定的作用，但对援外培训项目的整体评价、项目的可持续发展不能提供足够的支撑。

2.3 评价程序不够全面，数据伦理意识不强

数据收集的伦理程序决定数据使用范围以及项目拓展的领域内容，HAKIMI（2021）提出了教育大数据的四大主要伦理问题类别：隐私、知情同意和数据所有权；数据和算法的有效性和完整性；道德决策和采取行动的义务；以及治理和问责制。目前，在收集数据的过程中，伦理程序的不完整是数据使用范围受限的重要原因之一。我国援外项目的范式在向国外推广的过程中会因为数据伦理而承担一定的风险，尤其在大数据背景下，数据来源的合理、合法是后续开展研究的重要前提之一。

2.4 过程评价不够系统，培训效果较难体现

援外培训项目考虑到大部分受训学员为发展中国家官员，因此，职业教育培训的评价形式大多为终结性评价。比如，电气自动化项目的培训一般以最后的项目作品作为考核内容，其实践结果、实践能力的提升作为终结性评价成为受训学员培训效果的主要来源。但项目的评价应该是全过程、全方位、全员的评价，目前的评价形式不能够体现培训的全过程，在一定程度上降低学员受训情况的及时反馈和实时监测，为形成学员的个人成长档案、定制国别化特色项目造成了一定的困难。

高职院校现有的援外培训评价模式相对静态，数据不够全面，不能有效跟踪学员的学习情况，未有效进行大数据技术与项目评价的融合，对项目的客制化创新、可持续发展的指导意义不强。

3 大数据赋能援外5M项目评价的创新转型

提升援外培训项目的评价模式的现状，全面了解援外培训项目的培训效果，需要通过扩大项目数据的来源，突破时空限制，挖掘不同的数据形态，明确评价指标，来提升援外培训项目的评价效果。随着信息技术的不断改进，上述数据的收集、分析、处理、呈现方式都能得以实现，因此，大数据赋能援外培训项目的5M评价方式的转型具有重要意义。

援外培训项目的5M评价模式是在大数据技术支持下，由受训学员、学员派出机构、项目主管部门、项目承担单位的管理人员、授课教师等共同参与，在明确的培训效果、满意度评价的具体指标下，通过多种渠道收集即时、非即时数据收集资源，运用数据相关性统计方法分析结构化、非结构化数据的创新评价转型模式。

3.1 过程评价更全面，实现多元化主体评价Multi-subjects

过程性评价主要是指在培训项目开展过程中多次、连续对学员进行非认知因素的调研，对项目的开展效果进行评价。过程性评价在教育领域的应用主要关注学员的学习效果，体现以学员为中心的理念。一般情况下，过程性评价主要由授课教师在课堂过程中通过课程反馈等记录学员参与的积极和反馈效果，判断学员在培训过程中的接受情况。但是仅从授课教师的随堂反馈及课堂问答，很难整理每位学员的过程性学习材料，其功能发挥也很有限。同时，职业技术援外项目的实践性的特点对过程性评价的定义不仅体现在培训过程期间学员的学习状态及学习效果，也涵盖了培训结束后的实践、应用环节。因此，培训效果的评价应包含自评与他评两种角度，评价主体包括项目主办方、承办部门、受训学员、派出机构等，实现对援外项目培训效果的全方位观测。因此，运用大数据的设备，如通过线上课程的录制或者实录教室的实时信息反馈，尽可能扩大过程性评价的收集范围。大数据应用能够一定程度上提升过程性评价的效率，一方面通过平台课程或线上直播数据的整理、统计，学员过程性学习资料更全面，更好地为每位学员提供培训指导。另一方面，信息技术的发展能够将更多评价主体纳入，通过信息化手段获取来自项目主管部门、参训者派出机构等的反馈评价。

大数据的数据监测能够实时记录和反馈学员培训过程中的互动情况，通过不同角度、不同层面三角验证学员的指标评价结果，指导援外培训项目的开发更贴合学员需求，提升培训项目质量。数据平台也能够为授课讲师、管理团队提供自评标准，针对不同培训项目、不同培训阶段、不同培训对象进行自评，反思总结改进评价标准。

3.2 数据收集更多元，形成多维度评价标准Multi-dimensions

全面、系统、科学的援外培训项目评价指标体系对提升培训质量起着至关重要的作用。基于CIPP模型，尹春洁等（2021）将援外培训评价指标分为项目条件、项目准备、项目实施和项目效果四个大项，12个二级指标及32个三级指标，细致考查受训学员在授课、管理两部分的评价信息。针对培训内容的适配度、丰富度，授课讲师的培训方法、培训手段等，辅以对管理人员的服务、信息沟通的及时性等已经形成较为成熟的评价指标。但对国别化、个性化的学员反馈评价梳理得较少，多维度的评价标准可以监测培训前、培训中、培训后的各项活动开展情况，对培训的前期调研、项目设计、课程开展、管理服务、后勤服务、训后回访等进行评价。

要确定评价标准的维度，需要从评价的目标、范围、指标着手。明确援外培训项目的目标和范围，包括教学效果、管理服务、师生满意度、社会影响等方面。同时，为每个评价指标设定相应的权重。这可以通过专家评估、层次分析等方法来确定。邀请相关领域的专家、项目主管、教师和学员参与权重的确定过程，确保权重的客观性和可靠性。根据不同的权重组织成评价体系。评价体系应该是层次化的，包括一级指标和二级指标。一级指标代表评价体系的主要维度，二级指标则进一步细分一级指标。评价体系的设计应该合理、清晰，能够全面、综合地评估援外培训项目的效果。

3.3 效果评价更具体，提升多模态评价内容Multi-modes

大数据赋能评价方式的转型能够推进多模态数据的推进，便利學员后续培训效果的跟踪、调研。目前的学员的满意度调查主要以问卷的形式收集，较少开展个人访谈、焦点小组的调研，因此形成定量与定性的分析难度较大。由于援外培训项目的受训学员相较其他教育对象比较特殊，为官员、专业人员等。线上培训阶段也很难开展笔试等评价手段，因此有效衡量培训效果是援外培训项目创新的重要环节。多模态评价内容涵盖了培训过程中的数字资源的使用情况、培训课程的视频、音频记录等。此外，受训学员的教学资源使用率、社交数据等能够被捕捉到的数据都能够印证学员的培训效果。大数据平台在采集、收集和存储多模态评价内容中都体现出其体量大、搜索便利等优势。

因此，结合现代技术手段和工具，例如使用视频录像、音频记录、学员自主制作的多媒体作品等，更直观地展示学员的学习成果和能力发展，增加评价的准确性和可信度。

3.4 数据形式更充分，形成多渠道评价方式Multi-channels

大数据技术的发展能够提供线上线下大规模、集成式的数据收集。传统的评价表格，如问卷的填写形式能够实现线上、线下的渠道填写，课堂实录资料、录音资料、培训资料的下载量、浏览时间等都可以通过大数据技术采集。大数据技术采集的数据有一定的优势：在时间上，连续性、全程、完整的培训数据；在空间上，自然状态的培训状态能够被记录。大数据支持下能够借助数据分析软件，根据具体的情况将多渠道数据进行关联性分析，以证据链的方式展现受训学员的发展，有利于形成受训学员的个人学习档案。

多渠道的数据收集便于数据整合和处理。利用数据分析软件进行数据整理和关联性分析，可以将学员的学习成果、教学效果、师生互动等不同数据进行关联，形成更全面和准确的学员学习档案。也可以利用数据分析工具和可视化技术对援外培训项目的大数据进行分析和展示。通过数据分析算法和模型，提取出有价值的信息和洞察。将数据结果以可视化的方式呈现，如图表、图形、仪表盘等，使数据更易于理解和应用。

3.5 增值评价更丰富，打造多指标评价模型Multi-indicators

“大数据”之“大”不仅体现在体量上，更体现在数据内部的相关性和复杂性。增值评价是一种基于大数据的发展性评价模式，通过对不同数据的处理，能够通过评价模式转型引领评价思路转型。寻找数据之间的相关关系，发掘项目的研究重点、难点，突破实践中产生的问题，拓宽援外培训项目的研究思路，充分运用大数据分析培训项目的发展方向、特色及效果等。在设计5M评价模式的评价指标的过程中，需要提前规划、设计收集数据的可行性、延展性。5M评价模型涵盖项目的完成度、国别化特色、学员满意度及实践转化情况等，通过关联性充分考虑援外培训项目效果的影响因素分析。

由此，增强数据伦理概念有助于后续数据的使用、研究的发展。数据伦理要求在数据采集、分析等各个环节都必须合理合法，采集到的数据可用于项目反思、总结、研究、发表等，能够保证项目研究工作的顺利开展。

4 援外培训项目5M评价模式的实现路径

根据《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》的文件精神，大数据的重要功能被高度肯定，随着数据治理和数据要素潜能的释放，大数据与各行各业融合是符合发展的必然选择。5M评价模式是大数据采集、存储、统计、分析技术支持下改进培训项目的评价技术手段，纳入更多主体、实现更多评价指标的具体操作方式。设计实施大数据赋能援外培训项目的评价转型仍然需要明确其实现路径。

4.1 强化数据思维，搭建采集平台

大数据规模宏大、数据源广阔，能开展全方位要素采集和全程性数据收集，准确反映援外培训项目的变化趋势，推动评价结果从经验型走向科学化。数据来源是培训准备阶段、实施阶段、总结阶段的各类材料。项目主管部门及承办单位作为数据采集方，应当强化数据思维，明确数据收集的伦理程序，确保数据的适用范围。项目主管部门发挥主导作用，依靠大数据技术，搭建数据采集平台，指导承办单位及时采集受训学员的学习行为、过程数据，拓展培训资源，加强训后跟踪指导，保留大量有助于培训效果评价的有价值的数据信息。

4.2 改进评价指标，提升数据效用

大数据支持下的评价指标体系能够兼顾过程性评价与终结性评价，将受训学员的反应、学习、行为、满意度、训后实践转化等有机结合，形成更完善、更细致的援外培训项目的评价依据。评价过程中，样本容量的丰富度决定了评价的科学性。大数据采集能够根据不同的评价指标汇集培训过程中碎片化的信息，尝试开展全样本、全过程采集。尽管大数据的应用能够扩大采集数据的范围，但也应根据数据采集的必要性适当调整数据采集范围。

改进健全援外项目评价指标体系，为充分挖掘大数据提供基础。在评价指标的改进过程中，做好前期规划，充分考虑数据间的相关性联系能够提高数据的效用，通过数据分析、问题诊断、反思改进等过程，将数据分析的主要结果落实在项目的创新、发展实践中，逐步形成常态化机制。

4.3 完善数据保障，服务评价转型

保障数据的安全性、科学性、标准化也是数据挖掘、分析、反思、改进的全过程顺利实施的重要环节。要提升数据安全保障，首先要加强主管部门和承辦单位相关人员的信息化能力，通过宣传、培训等途径加强各个主体对数据的重视。其次，通过对数据的挖掘、分析，开展进一步的研究工作，吸引更多的学者专家关注到援外项目的需求调研、创新发展等研究中来。最后，由于援外培训项目国际化的特色，评价数据的伦理标准及合法化程序能够加深国际合作，学习其他国家数据驱动教育评价的经验，提升评价数据的精准度。也通过国际科研合作，邀请不同国家的专家、学者共同关注援外培训项目的发展，更好地服务援外项目的创新性、可持续发展。

5 结语

援外培训项目的评价模式是项目的重要组成部分，对项目开展的效果做出评判。5M评价模式是大数据赋能援外培训评价模式的创新探索。通过多元化主体评价Multi-subjects、多维度评价标准Multi-dimensions、多模态评价内容Multi-modes、多渠道评价方式Multi-channels、多指标评价模型Multi-indicators的设计与实施，将信息化、智能化贯穿培训的每个环节，充分挖掘培训数据，强化数据思维，发挥导向、调控、反馈、创新等功能。

通过大数据技术的应用，援外培训项目可以获得全面而客观的评价结果。大数据收集和整合多渠道的数据，从而减少主观性和片面性的评价偏差，提供更准确的评估。同时，在数据伦理合法的情况下，实现实时监测与反馈，教师和项目组织可以及时获得学生的数据反馈，并根据评价结果提供指导和支持。大数据分析也能够发现援外培训项目的问题和优化机会，为持续改进提供支持。大数据分析可以提供定量、定性的数据支持，用于评估援外培训项目的效果和影响力，为项目的申报、开展和合作伙伴的选择提供有力证据。通过提前规划，挖掘、分析数据，为援外培训项目的研究提供更广阔的平台，更好地服务职业教育国际化进程。

本文系2022年度宁波市职业教育“一带一路”专项课题（2022YGHZJ018）：“‘一带一路倡议下高职院校援外项目多元评价模式的构建与研究——以宁波职业技术学院为例”；2022年浙江省教育科学规划课题“后疫情时代来华留学生中国国家形象认同的提升机制研究——以宁波高校留学生为例”（2022SCG139）研究成果。

（作者单位：宁波职业技术学院国际交流合作处）