1+X证书制度培训评价组织评价指标体系构建研究

黄铁牛?郭广军?潘建明?李鑫

摘 要 培训评价组织是1+X证书制度实施的关键主体，当下培训评价组织评价体系缺乏，有必要建立评价指标体系来加强对其监督与评估。参考CIPP理论评价模式，运用文献研究法、德尔菲法及层次分析法，构建了由基础评价、资源评价、实施评价和效果评价4个一级指标、12个二级指标、30个三级指标组成的培训评价组织评价指标体系，并确定了指标的权重。提出加强培训评价组织遴选、制订评价指标体系及全面开展现有培训评价组织监管考核的培训评价组织监督管理策略，为职业教育培训评价组织考核及监督管理提供参考。

关键词 1+X证书制度；培训评价组织；评价指标体系；德尔菲法；层次分析法

中图分类号 G717 文献标识码 A 文章编号 1008-3219（2023）11-0060-06

一、问题的提出

2019年1月，国务院印发《国家职业教育改革实施方案》，要求做优培训评价组织。随后，教育部等四部门联合印发的《关于在院校实施“学历证书+若干职业技能等级证书”制度的试点方案》（以下简称《试点方案》）指出，培训评价组织对1+X证书制度有效推进及成功实施起到关键作用。在1+X证书制度实施中，培训评价组织承担职业技能等级标准建设、师资队伍建设、优质资源建设、证书管理体系建设等职责，是职业技能等级证书和有关标准建设的主体。

本研究的职业教育培训评价组织是指教育部1+X证书制度试点的职业教育培训评价组织，是“集行业组织、教育机构及评价机构的属性为一体，具备凝聚行业企业、院校和考核评价机构力量的多功能社会组织”[1]。當下培训评价组织已成为学者们关注的热点话题，但在1+X证书制度试点中培训评价组织还存在一些问题，如证书标准社会认可度不高[2]、配套资源不完善[3]、组织行为不规范[4]等，究其原因是缺乏统一、客观且具有针对性的培训评价组织评价体系。众多学者也提出，要加强培训评价组织监督管理[5]、制定培训评价组织工作的绩效评价细则[6]、健全培训评价组织管理评价办法[7]等。目前国内有关1+X证书制度培训评价组织的研究还存在不足：一是现有研究主要是采取定性研究方法，尚未对培训评价组织的评价指标体系进行深入研究[8]；二是尽管已经有少数的研究开始提出培训评价组织的监督管理及评价，但还未涉及到指标权重的定量研究。此外，从政策上看，截至目前，国家尚未出台培训评价组织评价指标体系。2020年6月，国家职业教育指导咨询委员会发布的《职业教育培训评价组织遴选与监督管理办法（试行）》（简称《管理办法（试行）》）明确提出，要建立培训评价组织评价指标体系。在这一背景下，如何引导培训评价组织健康发展，如何评价培训评价组织，评价内容包括哪些等，成为当前1+X证书制度全面实施需要亟待解决的问题。基于此，本研究以CIPP理论为基础，运用德尔菲法和层次分析法，构建培训评价组织评价指标体系框架与主要指标，以期为1+X证书制度试点及正式实施提供新思路与方法。

二、研究设计与开展

（一）研究方法

1.文献研究法

本研究依据《管理办法（试行）》和《试点方案》等政策文件，通过中国知网、维普等数据库以及相关网络资源查阅国内有关培训评价组织的研究文献及成果等。一方面，归纳分析相关研究文献拟定了培训评价组织的评价指标体系，梳理出培训评价组织评价的基本维度，初步确定4个一级指标及相关内容；另一方面，为调查表、访谈提纲的制订以及指标体系的设计提供依据。

2.德尔菲法

邀请来自教育主管部门、职业院校和培训评价组织的专家，采用电子邮件发送问卷的形式，就评价指标的选择进行专家咨询，确定其评价指标体系的各维度指标。

3.层次分析法

首先，采用9级评分方法，专家对每一个指标重要性进行两两比较评分，得出相对重要性；然后，列出两两比较矩阵；最后，通过软件计算矩阵的一致性指标（CR值），如果CR<0.1，就可以判断矩阵的层次排序有满意的一致性[9]。本研究采用层次分析法计算指标权重。

（二）调研专家选取

本研究咨询专家的确定需满足三个基本条件之一：一是从事1+X证书制度试点工作的专家学者；二是主持1+X证书制度试点课题或项目的学者；三是公开发表过1+X证书制度主题论文的专家。所有专家不集中在一个单位，并能保证完成至少两轮的咨询。本研究按照三个基本条件，采用方便抽样法，确定了来自长沙民政职业技术学院、永州职业技术学院和宁波职业技术学院等1+X证书制度试点职业院校的专家，江西省和辽宁省等1+X证书制度试点推进办公室的专家，金职伟业集团有限公司和泰康珞珈（北京）科学技术研究院等培训评价组织的负责人，共25位专家参加专家咨询。

（三）研究过程

1.评价指标体系初步构建

本研究参照培训评价组织的前期相关研究成果，同时将相关政策文件要求作为重要参考，构建出“1+X证书制度试点培训评价组织初步评价指标”。评价指标的构建主要基于以下三个方面考虑：一是根据培训评价组织职能，考虑其基本要求；二是考虑培训评价组织职业技能标准、资源建设及证书考核管理要求；三是考虑培训评价组织助力职业院校人才培养和学生技能提升。课题组三次组织专家进行讨论，最终确定由4个一级指标、14个二级指标和37个三级指标构成第一轮咨询问卷的指标体系。

2.专家咨询

课题组问卷编制小组由6名成员组成。具有25年以上职业教育及研究经验的成员2人，有4名副教授和1名讲师具有10年以上职业教育经验。问卷编制侧重关注培训评价组织在1+X证书制度实施中的职责，形成指标体系的专家咨询问卷。

（1）第一轮专家咨询

进行评价指标的必要性专家咨询。本研究采用微信或电子邮件方式开展问卷咨询，采用5级评分，一共邀请20位专家对各指标进行必要性评分，同时设置了“新增”和“删除”二级指标项。回收有效问卷之后，对均值进行分析，保留了评分大于3的指标；对部分指标的描述进行了完善，对专家提出增加的指标进行补充。同时，对专家的熟悉程度进行5级评分，对指标评价的依据进行3级评分，依据评价来自1+X证书制度试点的实践经验、逻辑推理、了解程度和直觉判断四个方面。

（2）第二轮专家咨询

评价指标的重要性评价。在第一轮专家咨询基础上修改评价指标，形成新的培训评价组织评价指标体系，再次邀请22位专家，对新指标体系进行评分，采用5级评分对指标的重要性进行评价。

3.确定各级指标权重

运用层次分析法，邀请25位专家，采用两两比较9级进行评分，对评价指标体系的各级指标权重进行重要性评分，收集整理评分问卷，将数据导入软件，计算各级指标的权重。

三、研究结果

（一）德尔菲法专家咨询结果

1.专家基本情况

本研究的咨询专家基本情况包括：性别、职称是否参与1+X证书制度工作、从事职业教育年限及目前从事工作等。调研显示，这些专家来自职业院校、教育主管部门和培训评价组织，均参加了1+X证书制度试点工作，职称为副高级及以上的占80%以上，从事职业教育20年以上的占80%以上，见表1。

2.专家咨询表回收情况

第一轮专家咨询发放22份问卷，剔除规律作答问卷，最终得到20份有效问卷，问卷有效回收率为90.9%；第二轮专家咨询发放25份问卷，剔除规律作答问卷，最终得到22份有效问卷，问卷有效回收率为88%。问卷回收率可以反映出专家参与的积极程度高[10]。

3.专家权威程度

第一轮和第二轮专家判断系数（Ca）分别为0.885和0.892，熟悉程度系数（Cs）分别为0.827和0.873，计算出专家权威系数（Cr）值是0.878和0.882，都在0.7～1.0之间，说明两轮咨询专家的权威程度均较高，咨询结果可靠。

4.专家协调程度

“通过协调系数（W）来反映专家协调程度，协调系数为0～1之间，说明专家对指标重要性认知的一致性和集中程度，其值越大表示专家意见的一致性程度。”[11]本研究两轮专家咨询的协调系数是0.285和0.364，检验P＜0.05，差异无显著性，说明两轮专家意见的协调程度都较好，意见趋于一致。专家协调程度见表2。

5.专家效度分析

参与本研究咨询的专家都具有丰富的职业教育经验，在职业教育领域工作20年以上专家占80%以上，专家都对培训评价组织非常熟悉，参与研究专家的专业水平和权威度都较高。

本研究有效问卷回收率都高于80%，说明专家参与咨询的积极程度较高；权威系数Cr均值为0.875，说明专家咨询结果可靠；协调系数大于0.4，说明专家意见趋于一致，咨询结果可以使用。

（二）指标体系构建

1.第一轮专家咨询结果

首先，在文献研究的基础上，咨询职业教育1+X证书制度试点相关专家，初步设定三级的培训评价组织评价指标体系：一级指标4个、二级指标14个和三级指标37个。其次，邀请专家对初定的各项指标的重要性进行打分（1～5分）。最后，根据第一轮专家咨询的数据统计对指标体系再进行部分修改：例如将“实训条件”调整到“证书配套资源”，删除了“协同创新”和“合格率”；修改了“专家团队”评价内容，“课程资源”评价内容，增加了“职业教育师资培训”。

2.第二轮专家咨询结果

在第一轮指标的基础上，将完善后的评价指标体系进行第二轮专家咨询，经过专家们多次沟通和修改，最终形成由4项一级指标、12项二级指标和30项三级指标组成的评价指标体系框架。

3.指标体系权重的确定

（1）建立层次结构模型

本研究12项二级指标是指标体系的中间层要素，30个三级指标项指标体系的底层要素，以AHP分析软件构建评价指标的层次结构模型，见图1。

（2）构建判断矩形

通过AHP层次分析软件导出高职院校1+X证书制度培训评价组织评价指标的调查表，专家依据“1+X证书制度培训评价组织评价指标体系关键要素解读”说明和个人经验，从二级指标起逐层对各个指标进行两两比较，依次对相同层次中的两个指标进行判断并给予相对重要性的偏向。

（3）层次单排序及一致性检验

将22位专家的调查数据导入，使用AHP层次分析软件自动修正后计算，先求出判断矩阵，然后做30个指标的权重向量，矩阵CR＜0.1，符合一致性检验要求。

（4）层次总排序及一致性检验

首先满足每一个一致性检验的层次的单排序完成，然后根据每一层指标的权重再计算三级指标对应的二级指标组合权重，最后进行组合一致性检验。结果CR＝0.0782＜0.1，一致性检验符合，见表3。

（5）评价指标体系权重计算结果

通过AHP层次分析软件计算评价指标的重要性排序，计算分配权重比和组合权重比。本研究通过德尔菲法和层次分析法构建1+X证书制度职业教育培训评价组织评价指标体系，具体指标及权重见表4。

四、结论与建议

（一）结论

1.评价指标体系各级指标的权重

从全局权重来看，在4个一级指标中，“基础评价”所占权重最高，此结果表明，专家一致认为“基础评价”在培训评价组织评价指标体系中所起的作用最大，是培训评价组织最重要的部分。《管理办法（试行）》指出，“优先从合乎政策要求，且具备行业认证资质的龙头企业中选择，将行业认证资质作为其的重要遴选依据。”[12]培训评价组织具备组织资质、培训和标准开发及组织管理能力是其能否发挥职能的关键基础。

在12个二级指标中，全局权重排在前四位的是“组织资质”“证书标准”“培训和标准开发”和“考核站点建设”，其中“组织资质”所占权重最大。《管理办法（试行）》明确了培训评价组织资质要求，即“我国境内依法登记注册、有规范的管理制度、有独立法人资质的企业等主体”[13]。培训评价组织必须具有相应的资质，得到政府授权或官方认证[14]。本研究也说明培训评价组织的资质、规模和资金投入是非常必要的，这是培訓评价组织开展证书制度的重要保障和前提基础，在培训评价组织遴选和培育中要作为重点基础性条件考虑。其次是“证书标准”，这充分体现了职业技能等级标准是培训评价的核心，是需要重视的核心指标。排在第三和第四位的是“培训和标准开发”和“考核站点建设”。“培训和标准开发”能力是培训评价组织的基本条件。因此，提升培训评价组织自身的培训和标准开发能力是1+X证书制度效力发挥的重要保障。有研究认为，“培训评价组织的第三个职能是考核站点建设，其本身不建考核站点，而是在全国范围内统筹规划考核站点建设”[15]。考核站点建设在一定程度上体现了培训评价组织证书制度试点工作推进程度。

在30个三级指标中，从全局权重来看，排在第一位的是“登记注册”，这与国家相关部门培训评价组织的遴选要求一致，说明登记注册的必要性。排在第二位的是“技能标准”，说明职业技能标准的重要性。排在第三位的是“规模资质和资金实力”，说明规模和资金实力方面也是培训组织的必要条件。排在第四位的是“培训经验”，说明培训评价组织应该具有丰富的职业教育与培训经验。这4个指标对应的二级指标是“组织资质”“证书标准”和“培训和标准开发”，与二级指标的排序吻合。

2.评价指标体系构建的全面性

本研究的指標体系选择以专家访谈结果为依据，并对照《管理办法（试行）》《试点方案》及《关于推进“1+X 证书”制度试点工作的指导意见》等相关政策的要求，所选指标包涵了培训评价组织职责内容，并结合证书制度试点的实践经验，具有较好的覆盖面。评价指标体系适用于教育主管部门对培训评价组织管理和督查的综合评价，也可用于培训评价组织开展建设和自评，使用者可以通过对4个维度的取舍，分别对培训评价组织具体内容进行评价。

3.评价指标体系构建的科学性

本研究充分考虑专家的代表性和权威性，邀请了职业院校专家、教育部门专家和培训评价组织负责人，经统计分析，专家积极系数、权威系数及协调程度均较好。在德尔菲法构建指标体系一、二级指标中，多次讨论和修改，同时也征求部分社会评价组织相关负责人意见，使构建的指标体系客观、科学，具有可操作性。评价指标权重系数上，通过层次分析法计算指标权重系数，并量化处理，减少了专家主观判断。

（二）建议

一是对照标准加强培训评价组织遴选。一方面，加大培训评价组织征集遴选力度。采取激励措施和相关政策，引导、促进和支持优质企业、行业参与申报，为培训评价组织遴选提供更多的优质选择；另一方面，精准培训评价组织遴选标准。对照《管理办法（试行）》，严格把关培训评价组织评价指标体系中的指标，吸收行业内资质优、职业技能标准领先、培训能力强的龙头企业、代表性企业作为X证书的培训评价组织。

二是制订科学合理的评价指标体系。根据评价指标体系组织开展培训评价组织的全面监督和考核，建立健全1+X证书制度职业教育培训评价组织定期考核制度，重点考核组织资质、证书标准、资源建设、考核组织和师资培训等，以确保证书制度高质量实施。一方面，培育和评选出一批典型示范培训评价组织，引领和推动培训评价组织健康发展；另一方面，制订培训评价组织的退出制度，及时清退违规违纪的培训评价组织，还要对考核不合格的培训评价组织给予预警通报和强制清退。

三是全面开展现有培训评价组织监管考核。教育主管部门一方面要加强“遴选”和“培育”，另一方面要开展监管和考核，规范培训评价组织行为。组织培训评价组织开展自评，接受有关部门及第三方评价，公布评定等级，及时清退不合格的培训评价组织，促进职业教育培训评价组织健康发展。

参 考 文 献

[1]唐以志.1+X证书制度：新时代职业教育制度设计的创新[J].中国职业技术教育，2019（16）：5-11.

[2]张国民.1+X证书制度的价值意蕴、现实困境与优化对策——基于职业教育“三个面向”的视角[J].中国高教研究，2022（4）：103-108.

[3]于进亮，魏光泽.技能型社会建设背景下1+X证书制度推进价值、问题及策略[J].职业技术教育，2021（31）：40-45.

[4]陈丽婷，李寿冰.1+X证书制度实施的意义与现实问题分析[J].职业技术教育，2020（27）：13-18.

[5]李寿冰，高艳芳，等.1+X证书制度试点下职业教育培训评价组织建设与监管[J].中国职业技术教育，2020（7）：50-53.

[6]邓子云.1+X证书制度实施中的主要问题与对策建议[J].教育与职业，2021（5）：20-26.

[7]张晓刚.1+X证书制度试点工作存在的问题与对策[J].教育与职业，2021（15）：52-56.

[8]王伟伟，蒋世军，等.职业教育培训评价组织评价机制研究[J].中国职业技术教育，2022（23）：86-91.

[9]沈绮云，欧阳河，等.产教融合目标达成度评价指标体系构建—基于德尔菲法和层次分析法的研究[J].高教探索，2021（12）：104-109.

[10]CIALKOWSKA M，ADAMOWSKI T，PIOTROWSKI P，et al. What is the Delphi method？ Strengths and shortcomings[J]. Psychiatria Polska，2008（1）：5-16.

[11]王媛.主题出版物传播力评价指标体系构建研究[J].科技与出版，2022（4）：120-125.

[12]赵坚.上海高职院校1+X证书制度试点：特点、举措与推进思考[J].中国职业技术教育，2022（4）：75-79.

[13]刘晶，程红艳.职业教育培训评价组织政策价值：意蕴、偏离及回归[J].职教论坛，2022（4）：5-12.

[14]彭振宇.技能型社会建设背景下我国职业资格证书制度改革前瞻——基于国际比较的视角[J].中国职业技术教育，2021（33）：11-16.

[15]邹吉权.基于1+X证书的“四方联动、五链耦合”人才培养机制研究[J].成人教育，2021（4）：46-52.

Abstract  The evaluation organization of vocational education and training is the key subject of the implementation of the 1+X certificate system， and the evaluation system of training evaluation organization is lacking at present， it is necessary to establish an evaluation index system to strengthen its supervision and evaluation. With reference to the CIPP theoretical evaluation model， this study applied literature research， the Delphi method and the analytic hierarchy process， this paper constructs an evaluation index system of training evaluation organization， which is composed of 4 first-level indexes， 12 second-level indexes and 30 third-level indexes， including basic evaluation， resource evaluation， implementation evaluation and effect evaluation. This paper puts forward the supervision and management strategy of the 1+X certificate system for training evaluation， which is to strengthen the selection of training evaluation organizations according to the relevant standards， to establish a scientific and reasonable evaluation index system for training evaluation organizations， and to carry out the evaluation and evaluation of existing training evaluation organizations， and which can provide a reference for the assessment and supervision of the evaluation organization of vocational education and training.

Key words  1+X certificate system; training evaluation organization; evaluation index system; the Delphi method; the analytic hierarchy

Author  Huang Teiniu， professor of Changsha Social Work College （Changsha 410004）; Guo Guangjun， professor of Changsha Social Work College; PhD candidate of Xiamen University; Pan Jianming， Hunan Jinganweiye Mother and Child Care Co. ， Ltd.; Li Xin， Changsha Social Work College