基于层次分析法的现代学徒制人才培养质量评价指标体系构建

仇利克，莫新平，宗胜春

（山东外贸职业学院，山东 青岛 266100）

2014年5月，国务院印发《关于加快发展现代职业教育的决定》，对“开展校企联合招生、联合培养的现代学徒制试点，完善支持政策，推进校企一体化育人”做出具体要求，标志着现代学徒制已经成为国家人力资源开发的重要战略。经过多年的试点工作，现代学徒制作为校企合作的重要模式取得了丰硕的理论、政策研究与实践成果[1-3]，积累了丰富的人才培养经验。教育部于2019年6月发布了《教育部办公厅关于全面推进现代学徒制工作的通知》（教职成厅函〔2019〕12号），明确提出：“总结现代学徒制试点经验，全面推广现代学徒制”“深化产教融合、校企合作，健全德技并修、工学结合的育人机制和多方参与的质量评价机制”，现代学徒制进入了全面推广和高质量发展阶段。

现代学徒制的顺利推进和高质量发展离不开人才培养质量评价体系的构建，客观、科学地评价人才培养质量是规范现代学徒制人才培养过程、检验人才培养成效、完善人才培养模式、提高人才培养质量的重要措施。因此，构建多方参与的现代学徒制人才培养质量评价指标体系对保证和提高职业院校现代学徒制高质量、可持续发展具有重要意义。

一、国内外人才培养质量评价的研究现状

（一）国外研究现状

美国的高等教育质量评价主要采用认证制度，认证的核心是第三方的中介机构，机构成员主要包括职业界代表，机构对人才培养的过程、结果和资源进行评价，政府在认证过程中仅起监督作用[4]。这种认证模式以社会影响引导评价政策，能很好地对接市场需求，提高人才培养质量评价的社会认可度。

英国的高等教育质量保证署（Quality Assurance Agency for Higher Education, QAA）是高等教育和职业教育质量评价的主体，其董事会成员主要包括业界专家和学生代表。QAA的评价内容既包括总体效能、管理和执行的有效性，又具体到人才培养的过程和结果，保证了评价的全面性和可操作性[5]。英国的现代学徒制也非常重视企业对学徒学习的过程性评价，评价主体包括师傅、主管、同事、客户、供应商等，通过各种直接和间接的途径全方位地对学徒的学习效果进行评价，合格后颁发学徒结业证书。

德国的人才培养质量评价主体以行业协会和企业为主，也包括一些社会组织团体。评价标准是学生的职业能力素质与市场需求的契合度。虽然评价标准比较单一，但评价组织非常注重过程性评价和结果性评价，会从课程和资源开发、教学过程设计与实施、学习条件、结果考核等多方面进行评价[6]。

澳大利亚的人才培养质量评价主体以行业企业为主，评价指标主要包括学徒的“就业率”和市场的“满意率”，注重毕业生的长期跟踪调查，注重用人单位的全方面考核，注重利益相关者的满意度。

综上所述，以上四国的人才培养质量评价的基本特征是：（1）评价机构独立，评价主体多元，且多以行企业为主，注重第三方评价功能的发挥；（2）评价体系和评价标准完善、统一，为评价机构提供了评价依据和指导；（3）评价内容以结果性评价为主导，但也注重过程性评价；（4）注重法律法规建设，保障各方权益和第三方参与的长效性；（5）注重对评价机构的监督和管理，保证评价结果的客观和公正。

（二）国内研究现状

我国自2014年开展现代学徒制试点工作以来，国内的研究者们在现代学徒制项目评价[7]、教育质量评价[8]、学生评价[9]、合作企业评价[10]、人才培养质量评价等多方面开展了研究，取得了丰硕的理论和实践成果。但从知网查询结果来看，关于现代学徒制人才培养质量评价的研究并不多，2016年至今，仅有10余篇相关的研究文献，其主要的研究成果总结如下。

高洪波等[11]对现代学徒制人才培养质量第三方评价机制的策略进行了探讨，认为第三方评价目标应关注内适性、外适性和个适性，评价主体应主要包括行企业、毕业生及家长、社会教研机构等，评价指标体系应站在企业、家长、学生和社会角度构建。张法坤[12]认为目前现代学徒制人才培养评价的不足之处主要体现在：评价主体单一、评价对象片面、评价方式简单、评价指标模糊和评价反馈缺失五个方面，并讨论了现代学徒制人才培养评价的原则和评价实施。黄洁等[13]利用CIPP评价模型构建了现代学徒制服装岗位人才培养评价指标体系，但并未确定指标体系中各项的权重。李臻颖等[14]基于决策导向评价理论构建了现代学徒制人才培养质量评价指标体系，运用层次分析法确定了各项评价指标的权重，并给出了现代学徒制人才培养评价结果的计算方法。

综上分析，在国内已有的研究中，研究者们更多的是对现代学徒制人才培养质量评价的意义、主体、标准、原则和策略等进行了研究和思考，而关于人才培养质量评价指标体系构建的研究却相对较少，评价体系建设的实践改革也处于初步探索阶段，严重阻碍了现阶段现代学徒制的全面推广和高质量发展。

基于以上问题，文章基于某高职院校电子商务专业多年的现代学徒制实践经验积累，与合作企业共同构建了现代学徒制人才培养质量评价指标体系，在行企业和学校专家的共同参与下，利用层次分析法确定了指标体系各级指标的权重，并给出了利用此评价指标体系开展评价的评分方法。本研究对现代学徒制的实施推广具有良好的指导作用，为现代学徒制人才培养质量的不断提升提供了保障。

二、人才培养质量评价指标体系构建

为了不断提高现代学徒制人才培养的质量，以人才培养质量评价为代表的监控保障体系建设显得尤为重要。构建科学、客观、公正的现代学徒制人才培养质量评价体系，对以现代学徒制为代表的校企合作模式有着重要的现实意义。在构建指标体系的过程中，文章围绕“为什么评”“谁来评”和“怎么评”三方面展开，其中，“为什么评”是明确构建人才培养质量评价指标体系的目的；“谁来评”是理清评价的主体；“怎么评”是明确评价的方式方法、评价内容等。

（一）评价目标

现代学徒制人才培养质量评价指标体系要以提升人才培养质量、服务社会发展需要和成就个人成长为目标，也就是向凌云等[15]提到的评价目标的内适性、外适性和个适性。评价体系的指标应涉及人才培养的各个环节，贯穿整个人才培养的全过程，通过评价发现人才培养过程中的问题和瓶颈，不断完善和解决，为现代学徒制的高质量实施提供保障。

（二）评价主体

现代学徒制的人才培养质量评价主体应该包括现代学徒制人才培养过程中的所有利益相关者，对人才培养质量的评价应该具有社会性。因此，现代学徒制人才培养质量评价主体应包括行企业等用人单位（包括参与现代学徒制的企业和学徒的就业单位）、学生及其家长、校内导师等。

（三）评价指标体系

现代学徒制人才培养质量评价指标体系会由于评价主体、关注角度、赋权等的不同而导致评价结果有所差异。文章分别从行企业、学生及其家长、学校导师等角度出发构建人才培养质量评价指标体系，体系包括6个一级指标，24个二级指标和10个三级指标。指标体系的评价内容涵盖了现代学徒制人才培养的全过程，在时间维度上，包含了招生方式、培养过程、就业质量、毕业后的跟踪反馈等环节；在过程维度上，包含了试点专业的选择、人才培养方案的制定、校企教学任务分配、日常教学管理和考核方法等；在结果维度上，把职业道德、职业素养、技术技能水平、就业质量、创新创业能力等作为衡量人才培养质量的重要内容 (现代学徒制人才培养质量评价指标体系见附录）。

三、层次分析法计算权重

评价指标体系利用层次分析法 (Analytic Hierarchy Process, AHP)计算各层级指标的权重。层次分析法是一种定性和定量相结合的、系统的、层次化的分析方法，此方法可用来评定被评对象的优先次序，确定各指标的权重。本研究邀请来自山东外贸职业学院、青岛酒店职业技术学院、青岛职业技术学院、威海职业学院、哈尔滨职业技术学院和江苏经贸职业技术学院6所高校的11位现代学徒制研究专家，山东省跨境电商产教联盟、青岛跨境电商协会、青岛丽丝发制品有限公司和青岛跨境电商孵化基地等10位参与现代学徒制人才培养的行企业负责人依照层次分析法对权重进行评分。层次分析法计算权重的主要步骤如下。

（一）建立判断矩阵

笔者将指标体系分解成三级，专家对同一层级的指标进行两两比较，按其相对重要性程度，用斯塔相对重要性登记表（见表1）赋值，形成判断矩阵。

表1 斯塔相对重要性登记表

现以青岛职业技术学院某专家评分为例。第一层级包含 6个指标（A1—A6，详见附录 1），将指标 A1到 A6两两比较，得到第一层级重要性等级表（见表2）。由表2可以看出，A1和A4同等重要，A2比A1稍微次要。

表2 青岛职业技术学院某专家第一层级重要性等级

由表2可以获得一个判断矩阵B，如式（1）所示。bij表示 bi相对于bj的重要性等级，bij是bji的倒数，矩阵的主对角线元素都为1。

（二）层次单排序

层次单排序是根据判断矩阵计算本层次各指标的权重，步骤如下。

步骤1：计算判断矩阵中各行相对重要性等级之和

根据判断矩阵B，可以计算得到矩阵中各行的相对重要性等级之和Vi，见式（2），进而求得所有等级之和

由式（1）可得，V1=b11+…+b1n=1+2+2+1+2+2=10。

步骤2：求各指标的权重

各指标权重Wi的计算方法如式（3）所示，指标权重矩阵用W表示，如式（4）所示。

步骤3：层次单排序一致性检验

通过上述计算，可以确定各层级指标的权重，但此权重是否可确定为最终权重，需要经过一致性检验，即确定判断矩阵不一致的允许范围，公式为：

其中，CI是一致性指标，RI是平均随机一致性指标，CR是随机一致性的比值。当CR≤0.1时，认为判断矩阵具有一致性，即层次单排序有效；当CR＞0.1时，认为判断矩阵偏差太大，需重新修正进行评分，直至判断矩阵具有一致性为止。式（5）中一致性指标公式为：

λmax表示判断矩阵的最大特征根，n为判断矩阵的阶数。当λmax=n时，CI=0，n阶判断矩阵具有完全一致性；CI的值越大，不一致性越严重。

式（6）中λmax的计算公式为：

仍以青岛职业技术学院某专家第一层次重要性排序为例，该例中，

可根据判断矩阵的阶数n，从表3中查得RI。

表3 各阶判断矩阵RI值

本例n=6，查表可得RI=1.24，则CR=CI/RI=0/1.24=0≤0.1，因此，层次单排序有效。同理可求得其他专家对一级指标的权重矩阵W，并逐一进行层次单排序一致性检验。在一致性检验全部通过后，一级指标的权重矩阵We即可确定，计算方法为：

式（8）中，n表示指标数量，m表示专家的数量，W1m表示针对第m位专家的评分计算的第1个指标的权重，表示第i个指标的平均权重，即对所有专家给出的关于第i个指标的权重求平均。

同理可以求得二级指标和三级指标权重向量，此处不再赘述。

步骤4：层次总排序

层次总排序即是计算相比于高一层级的本层级各指标的权重。附表 1 中，A1、A2、A3、A4、A5、A6为第一层指标，与层次A相对应的下一层指标有B11…B16、B21…B23、B31…B33、B41…B43、B51…B54和 B61…B66，单排序结果见附表1。B层在总排序中各指标的权重就等于这些指标在B层单排序中的权重与相应的上一层指标的权重之积。如B12总排序的权重为0.1335×0.1814≈0.0242。

同理可求得三级指标的权重，最终确定现代学徒制人才培养质量评价指标体系各层级指标的权重（见附录1）。

附录1 现代学徒制人才培养质量评价指标体系

附表1层次B 总排序表

（三）结论分析

通过分析一级指标的权重，发现指标A4的占比是最大的，其次是指标A1。由此可以看出，学校老师和企业专家一致认为，要提高现代学徒制人才培养质量，最关键的指标是现代学徒制的落地实施情况，其次是试点现代学徒制专业的条件，如专业人才培养目标是否明确、人才培养方案和课程标准是否契合行企业需求等。

通过对比分析一级指标可以发现，企业专家和学校老师在某些指标上存在分歧，但两者所有一级指标的差值e≤0.02①，可见分歧并不是特别明显。通过对比分析发现，和企业专家相比，学校老师更注重现代学徒制教学的实施，即校企共同制定人才培养方案，在人才培养方案中明确校企教学任务分配和实习基地的软硬件条件，而对双导师的建设重视不足。和学校老师相比，企业专家更注重现代学徒制的机制体制建设，即现代学徒制的组织保障机制、教学运行与管理机制和企业的激励机制，而对校企合作的紧密性重视不足。

企业专家和学校老师在某些二级指标上也存在分歧，但两者所有二级指标的差值e≤0.007，可见分歧并不是特别明显。通过对比分析发现，和学校老师相比，企业专家更注重激励机制是否健全，以此提高企业参与校企合作的积极性。而学校老师更注重校企共同制定现代学徒制人才培养方案和教学标准，认为这是保证现代学徒制顺利实施的关键。

在现代学徒制人才培养质量成效评价指标中，校企专家最关注的指标均是企业满意度，其次是就业质量。由此可以看出，校企专家一致认为，现代学徒制人才培养成效主要取决于两个方面：（1）企业对毕业生的职业道德、职业素养、岗位适应能力、技术技能水平、团队协作能力、学习能力、创新能力和工作业绩表现等方面的满意度；（2）学生是否能够实现高质量就业。

四、人才培养质量评价的评分方法

在对现代学徒制人才培养质量评价指标体系充分理解的基础上，组织校内专家、现代学徒制合作企业专家、第三方外聘专家共同构成评价小组，对现代学徒制人才培养质量进行评价。评价过程中，需要结合实地考察、问卷调查、走访调研等不同的调查方法，多维度、多方面地开展考察，以科学的、客观的、公正的态度对考察的各个指标进行评分，汇总所有专家的评分得到最终的人才培养质量评价得分。具体的评价过程如下。

步骤1：专家对各项指标评分

首先，评价小组专家对各项三级指标或二级指标按照评价标准进行评分（如果二级指标下没有三级指标，就对二级指标进行评分），满分为100分。所评分值用Xij表示，其中，i=1，…，n，表示指标数量，文章构建的指标体系中，n=32，即所有最低级指标（没有三级指标的评价二级指标）的数量，j表示参与评价的专家数量。则Xij表示第j个专家对第i个指标的评分，Xij∈[0,100]。

汇总专家评分，可得评分矩阵X见式（9）。其中，m表示参与评价的专家数。

步骤2：计算最终评价得分

其中，Wi为第i个指标的权重，∑Wi=1

步骤3：根据反馈完善评价指标体系

评价小组将最终的评分结果和各指标得分予以公布，并向参与现代学徒制的学校和企业进行评价反馈，共同探讨现代学徒制人才培养过程中存在的问题、瓶颈及其解决方案，并根据社会经济发展和行企业需求动态调整和完善评价指标体系，使其能更好地促进人才培养质量的提升。

五、总结与展望

文章首先以提升人才培养质量、服务社会发展需要和成就个人成长为目标，结合多年现代学徒制人才培养实践经验，构建了现代学徒制人才培养质量评价指标体系。该体系邀请了11位高校现代学徒制一线专家和10位企业专家参与指标评分，采用层次分析法计算各级指标权重，并通过了一致性检验。其次，尽管层次分析法所采用的数据来自专家意见，在一定程度上具有主观性，不同专家对某些指标的权重分配存在一定差异，但笔者通过对各级指标对比分析后发现，各指标项所得到的结果较为趋同。最后，文章提出了现代学徒制人才培养质量评价的评分方法，为现代学徒制人才培养质量评价的实施提供了参考。

现代学徒制人才培养质量评价指标体系的构建，有助于引导校企双方更加关注人才培养过程和学生的就业质量，有助于推动现代学徒制人才培养目标的实现，有助于提高现代学徒制人才培养的质量。文章构建的评价体系已在校企合作中应用和推广，得到企业的大力支持和好评。我们将进行人才培养质量的跟踪调研与评估，在实践中评判该体系的有效性和科学性，不断完善和优化现代学徒制人才培养质量的评价。

注释：①差值 e的计算方法：e=|wit-wjt|，其中，wit表示第i个企业专家给出的第t个指标的权重，wjt表示第j个高校专家给出的第t个指标的权重；i=1,…,10；j=1,…,11；对于一级指标，t=1,…,6；对于二级指标 t=1,…,25。