基于CIPP模型和AHP-FCE的创新创业教育质量评价

寇龙，陈江燕

（1.广州华商学院，广东广州 511300；2.泰国国立发展管理学院，泰国曼谷 10700；3.广州应用科技学院，广东广州 511300）

创新创业教育是我国建设创新型强国的重要措施，是进一步加强高等教育教学改革、促进大学生全面发展、提高人才培养质量的重要途径。广州华商学院借鉴国内外的创新型人才培养模式，将创新创业教学与专业课教学相互融通，采取“政府引导、学校主导、行业指导、企业参与”四方协同机制，在“教育体系、师资队伍、实践载体、文化氛围”建设方面取得了一定成绩。面对学校创新创业教育改革的不断深化，即将从量变转为质变的现实需求，对其质量开展评价是当务之急。科学的创新创业质量评价能有效考查教育过程和效果，监控和评估创新创业教育发展过程的重要标准，对提高教育质量意义重大[1]。

近几年，国内学术界有关创新创业教育评价的研究成果不断出现。2022年1月26日在中国知网以“创新创业教育评价”为主题关键词，共检索到文献995 篇。从发文趋势来看，2015年呈大幅增长态势，2019年发文数量达到历史最高，有216 篇，研究学科分布，有61.76%为高等教育研究。从已有文献来看，相关研究多为定性分析，定量研究较少。据此，本文在梳理国内外创新创业教育质量评价研究的基础上，分析CIPP 模型、AHP 和FCE 评价法应用于创新创业教育质量评价的适切性，提出以CIPP 模式、层次分析法、模糊综合评价构建创新创业教育质量评价体系，可为同类院校创新创业教育评价研究提供借鉴。

1 问题提出

广州华商学院是民办应用型本科院校。为深入贯彻落实国家关于创新创业人才培养的重要部署，学校在2014年成立了创新创业学院，始终坚持以培养学生的创业精神和实践能力为目标，服务学校的高素质应用型人才培养工作，着力开展创新创业教育，构建了一套独具办学特色的“教学、模拟、实践”相融合的“双创”教育模式。随着“双创”师资队伍的建设和课程体系的完善，现已面向全校学生开设超过32 学时的《创业管理》等通识必修课程；开设27 门创新创业类校本课程和引入网络线上课程，供学生根据自己兴趣爱好进行选修；以专业为依托，开设68 门“专创融合”课程；创立SYB 创业培训班，为有意向创办企业的学生量身定制培训项目。自2020年以来，学校组织学生参加“双创”类项目超700 项，覆盖学生人数达4 000 人左右。先后获得省级奖项3 个，区域级项目3 个，国家级奖项5 个，在各类比赛和创新创业组织评选中也收获颇丰。学校就业率连续多年高于广东省平均水平。

虽然学校在创新创业教育的发展中已取得一定成绩，但是，评价教育质量的好与坏仅以“参赛获奖数量”“就业率”“创业园规模”“毕业生满意度”等因素来反映是不科学的。部分隐性的教育效果要注重过程性评价，如国家、区域政策扶持力度、创业环境、教师对学生的影响、学生自身的能力水平等不确定因素都会直接或间接地影响教育质量。面对当前学校教育质量评价指标和体系仍处于缺失的现状，借助CIPP、AHP和FCE 评价模式，主要对以下问题进行探讨：国内外创新创业教育质量评价的比较，CIPP 模型、AHP 和FCE 法对创新创业教育质量评价的适用性。

2 国外和国内创新创业教育质量评价比较

美国是创业教育的先驱者，也是传播者。早在1947年，哈佛商学院就首次开设了创业教育的课程。美国创业教育经历了起步、发展到成熟三个阶段，并建立了较为完善的评价体系。以评价标准来看，美国创业教育联盟在全国范围内发布了内容标准(CEE)、实践标准(PEE)和评估量表(AEE)。相关行政部门和权威机构也从不同的角度为创业教育和创业计划项目的实施提供了多种评价指标，可作为多主体评价的参考[2]。然而，这些标准因为顶层设计的缺失，只是在实施时参考，从而大大降低了标准化和有效性。

随着我国创新创业教育的发展和实践的不断深入，对评价标准的研究方面也逐渐丰富。从最初课程、教师、环境和学生四个方面，到现在从政府、学校、教师、学生和社会等若干层面的创新创业教育质量评价指标体系[1]。通过知网文献检索，袁丹丹围绕顶层设计和政策落实、课程开设和教学方式、师资队伍和教学能力、制度条件保障、学生的满意度、创业意向和创业能力等方面构建创新创业评价指标[3]。吴立全等从高校实施创新创业教育课程的任务、使命和存在的问题着手，提出构建创新创业教育课程质量评价体系的路径[4]。冯艳飞等在设计评价指标体系时，以政府层面、高校层面、学生层面、社会层面的影响因素为抓手，运用BP 神经网络进行客观的评价与分析[5]。黄兆信等认为应该建立全方位的评价体系，加强对质量方面的全面监管，从发展现状、结果、实施过程设计评价指标的核心框架[6]。王兴立提出从生源与起点、教师的教、学生的学、结果价值四个维度提出创新创业教育质量评价的创新举措[7]。由于创新创业教育质量受生源质量、课程体系设置、教师能力、学校氛围、当地政策等多方面因素影响，因此，使用统一的评价标准是十分困难的，每个学校应结合实际情况动态调整。相较于国外，国内的评价标准也越来越多元化，不同区域、学校会设置不同的标准，但是从整体上看，缺乏高层次权威机构为主导。

评价形式上，国外以民间、机构为主导，这种引入第三方的评价模式，需要过多的经费投入。而国内评价形式主要停留在理论分析层面，缺少实践论证，没有与学校创新创业教育管理形成闭环。部分学校以自我评价为主，或者存在不评价不监测的情况。总的来说，缺乏多层次、全过程、多主体的评价模式。

3 CIPP-AHP-FCE 对创新创业教育质量评价的适切性

3.1 CIPP 对创新创业教育评价的适切性

教育评价旨在教育价值观的指导下，根据既定的教育目标，运用一定的技术和方法，对实施的教育活动、教育过程、教育结果进行科学判断[8]。CIPP 模型是一种系统性的综合评价框架，具体体现在背景、输入、过程和成果四个评价步骤。它常被应用于现代教育评价中且具有普适性。不同地域、不同层次的学生所受到的创新创业教育也会有所差别，这就体现出创新创业教育质量评价的多样性和复杂性。创新创业教育过程包含启蒙、清晰、实践、成熟等诸多阶段，因此在复杂而长期的教学过程中，仅以结果为导向的评价标准并不能完整反映教育质量，CIPP 模型强调过程性评价，正适切于这一特点[9]。其次，教育评价的最终目的是为了发现和改进不足，最后达到促进和提升教育成效的功能，这也与CIPP 模型所倡导的“评价就是为了改进”相契合[10]。综上所述，CIPP 模型的全面性可以弥补单一评价模式的不足，适用于创新创业教育质量评价研究。

3.2 AHP-FCE 在创新创业教育评价中的适切性

用CIPP 模型构建出评价指标后，不同指标的重要程度需要建立一定的衡量标准，这就需要为每项指标因素赋予权重。层次分析法（AHP）是一种简单高效的指标权重计算方法，把需要决策的元素分解为目标、准则、方案三个层面，通过把定性指标信息模糊量化为简单、明确的数学运算结果，从而做出最终决策[11]。它也是教育评价中用于定性定量结合的常用方法。模糊评价法（FCE）是以模糊数学的隶属度理论为基础，将边界不清的要素量化，用多个因素对被评价对象的隶属度等级进行评价。

综上，在CIPP 模型构建评价指标的基础上，AHP不仅用权重解释了评价指标之间存在的影响关系，也解决了FCE 中复杂评价指标权重无法确定的问题，这正是AHP 所擅长的。另外，创新创业教育质量的评价指标中存在大量模糊观点，因此用模糊数学模型来评价是恰当的[12]。以上AHP 和FCE 相结合的评价方式应用于创新创业教育评价，适切于评价中难量化、目标复杂的特点，形成的结果可以为构建创新创业教育质量评价提供科学支撑。

4 研究方法

4.1 评价指标体系的构建

从CIPP 教育评价模式的现实启示出发，围绕学校实际情况，从四个评价层面出发设计评价指标。

（1）背景评价。

背景评价指在创新创业教育大环境下，学校所在地域政策支持、学校自有政策、制度保障、学生的教育背景等。

（2）输入评价。

输入评价指在创新创业教育背景基础上，达到目标结果所投入的外部条件，如师资、经费、场地等。

（3）过程评价。

过程评价是在实施创新创业教育的过程中不断地进行监测和反馈，为实施情况提供改进的阶段，学校进行创新创业教育的主要过程可以从课堂教学、项目活动、创业实践、“专创融合”的角度来考量。

（4）成果评价。

目标的达成和满意程度可为成果评价提供依据，结果可用于解释、判断、循环决策。因此，用科研成果、比赛获奖、社会效益、创业效果等指标来诠释成果绩效能力。

集上述指标元素为一体，评价体系如表1所示。

表1 CIPP 模型设计的评价指标

4.2 对指标赋予权重

根据评价指标，将创新创业教育质量评价作为目标层，4 项一级指标（B1-B4）作为准则层，方案层（C1-C11）共11 项指标，由此构建出创新创业教育质量评价体系，使用元决策yaahp 软件，绘制的评价层次模型见图1。

图1 创新创业教育质量评价层次模型

在具体计算中，采用1-9 标度法，邀请校内专家、创新创业专任教师对指标元素进行两两对比。通过反复汇总和梳理，得出判断矩阵，再经过归一化处理后，计算得出指标间的相对权重，结果见表2-表6。各要素矩阵的一致性比率均小于0.1，满足一致性检验要求。各项指标权重如表7所示。

表2 目标层 一致性比例：0.0728；λmax: 4.1945

表3 背景评价B1 一致性比例：0.0000；权重：0.2677；λmax: 2.0000

表4 输入评价B2 一致性比例：0.0176；权重：0.0572；λmax: 3.0183

表5 过程评价B3 一致性比例：0.0520；权重：0.5676；λmax: 3.0541

表6 成果评价B4 一致性比例：0.0517；权重：0.1075；λmax: 3.0537

表7 权重最终结果

4.3 模糊综合评价

把评价结果划分为“优秀，良好，合格，不合格”四个层级，通过软件生成EXCEL 测评表，发放给30 位专家和“双创”教师，邀请结合学校实际情况对各项指标进行评价，实际回收30 份。为了得到最终评价分数，模糊综合评价的最后步骤是去模糊再量化。去模糊的方法有多种，软件采用了评价等级论域然后加权平均法。这里设定“4，3，2，1”四个分值依次为评价等级赋值，将测评表导入得出综合评价结果为3.0317，处于“良好”等级。从得分可以看出，离优秀还有一定差距，有待进一步改进。准则层和方案层各项指标得分见表8、表9。

表8 准则层得分

表9 方案层得分

5 总结与建议

本研究基于CIPP 模型的四个层面设计出“双创”教育质量评价指标，并运用AHP 和FCE 对广州华商学院创新创业教育质量进行了评价。从过程看，CIPP模型的AHP 和FCE 综合评价方法是一种简单、科学的定性和定量分析方法，具有层次性、合理性、可解释性。同类高校尝试使用该方法进行评价时，还需结合实际情况进行修正和完善。

从结果可知，在准则层中，过程评价的权重最高，其次是背景评价。背景评价的得分是比较高的，说明学校在创新创业教育政策宣传方面、管理部门设立完善程度等方面比较好。但是，输入评价分值最低，其次是过程评价和成果评价。可见在师资投入、资源配置、实施教学、项目、实践等方面还有待进一步提升。创新创业教育过程实施的好坏会直接影响到成果。方案层中，教学方面所占比重是最高的，但是评价分值仅为合格，这也说明学校在实施过程中重点要加强创新创业教育教学质量。另外，资源配置得分最低，其次是师资投入。教学效果被师资方面的投入力度、资源配置直接或间接地影响，所以最终影响创业效果和社会效益。整体来说，学校在师资投入、资源配置、教学等指标存在不足。为进一步提高学校创新创业教育质量，提出如下几点建议：

（1）加大师资投入，提高专业水平。

创新创业教育是多学科的综合性教育，要求师资队伍具备“数量充足、理论精湛、实践过硬”的综合素质。目前，阻碍学校创新创业教育质量提升的瓶颈之一就是师资数量匮乏、教师知识结构单一、教师缺乏转型动力、教育形式和内容创新不足等问题，这也是大多数高校的共性问题。所以，学校应以师资队伍建设、教师专业化水平、培训和激励机制等方面为抓手，形成多职能部门协同联动机制，从人才引进到专业培训，激发教师敢于转型和创新的动力，把较高的专业水平作用于学生身上。

（2）加强“专创融合”，构建立体化的课程体系。

在师资队伍、教师专业化水平不断提升的基础上，加强创新创业教育与专业课程体系的相互融合，提升“专创融合”课程对学生的覆盖率。理论教学方面，学校根据学生专业特点，面向全校开设管理学、财务管理、市场营销等选修课程。实践教学方面，低年级以基础性企业认知实践为主，如到企业参观、认知实习等；鼓励中高年级学生开展学科竞赛、创业大赛、技能培训等；毕业班学生可以进入企业孵化、开展创业实践训练等[13]。不仅要“专创融合”，更要理论和实践配合，构建多层次、立体化、全过程的课程体系。

（3）优化资源配置，提升创业能力。

民办院校经费来源单一，主要体现在学校自己设定的专项经费，所以在资源配置方面的投入是有限的。学校设立专项资金用于扶持师生创业，学校可以多方位拓展经费来源，如企业、民间组织、校友会等的捐赠。多渠道的经费来源，可以保障学校“双创”教育的可持续发展。同时，通过为创业中的大学生提供创业补助、贷款，简化办事流程等来帮助大学生解决创业中遇到的困难。另外，可以为创业初期的中小微企业提供场地支持，提高校内孵化基地的利用率。充分发挥校企合作优势，加大合作力度，尽可能地多为学生提供创业资源，让他们感受企业精神，了解企业运营，为有创业想法、敢于行动的学生拓展业务渠道，解决产销问题，进而让学生获得实践经验。