“三圈三全十育人”理念下双创教学质量的CIPP评价模型构建与监测——以上海2所高职院校为例

沈青青，冯江华，朱保生

(上海电子信息职业技术学院，上海 201411)

0 引言

2015年5月，《国务院办公厅关于深化高等学校创新创业教育改革的实施意见》(国办发〔2015〕36号)文件颁布，提高双创教育人才培养质量已成为各高校深化创新创业教育改革的重要内容之一。上海作为我国对外开放的窗口之一，各院校已然建成了各种规模的创业基地，且形成了自身一定特色的双创教育教学模式，特别是牢牢把握立德树人这一根本任务，提出了“三圈三全十育人”理念，狠抓思想政治理论教育教学改革，推动习近平新时代中国特色社会主义思想入脑入心。在此背景下，以CIPP评价模型为切入点，在“三圈三全十育人”理念指导下，充分运用修正版德尔菲法和层次分析法，构建起较为科学合理且具有上海特点的双创教学质量评价指标体系，并对上海地区2所高职院校创新创业教育教学的实施效果展开评价，具有较强的理论与现实意义。

1 文献综述

1.1 CIPP评价模型

CIPP评价模型由美国学者斯塔弗尔比姆(Stufflebeam,D.L.)开发，由背景(Context)、输入(Input)、过程(Process)和成果(Product)4项评价指标英文首字母缩写构成。背景评价：涉及对社会与环境的背景和条件等对各方需求的满足情况进行评价，帮助评估者评估目标。输入评价：即评价项目的可行性，帮助评价者改进工作及其内容，制订可实施的行动计划。过程评价：评估是否偏离前期设计好的计划，并总结实施过程中所发现的各类问题。成果评价：评估实施效果，为提升教育教学质量提供对策[1]。

以中国知网为检索平台，较典型的研究成果有：高振强于1998年针对CIPP教育评价模型展开说明，是国内较早研究此工具应用的专家学者[2]。时至今日，以CIPP模型为基础展开课程评价的研究已辐射到各个领域。其中，在双创教育教学领域展开典型研究的学者有：对9所本科高校开展创业教育质量评价研究的葛莉[3]，对创业导师指导效果展开评价的陈立平[4]等。然而结合上海特点，针对本地高职院校的创新创业教育质量展开研究的文献则较少，在此背景下，通过构建科学的CIPP模型，对上海地区高职院校创新创业教育教学的实施效果展开评价，具有较强的理论与现实意义。

1.2 三圈三全十育人

“三圈三全十育人”即以“三全育人”为基础，形成了“内圈、中圈和外圈”三圈的育人范围，涵盖了课堂育人即“内圈”；第二课堂和网络、第三课堂协同育人的“中圈”以及社会育人的“外圈”，由此全面打通了课堂育人、科研育人、文化育人、实践育人、网络育人、管理育人、服务育人、心理育人、资助育人以及组织育人的“十育人”闭环，也让上海在2018年成为首批“三全育人”综合改革试点地区，同时也形成了向全国推广上海“课程思政”模式的样例[5]。

1.3 创新创业教育

美国学者柯林·博尔观点：通过理实结合的手段，培育个体创业综合素质，就是创新创业教育的内涵体现[6]。全美创业教育中心认为：个体创业实操能力、创业意识与精神、目标式导向等模块均是创业教育需包含的内容[7]。梁保国等学者(1999)[8]指出：要在知识结构、文化视野、健全人格以及创业意识等因素上下功夫。因此，依据国内外研究成果，本课题将创新创业教育界定为在高职层次培养学生的创业意识、创业实践能力和操作技能等内容，以期提高学生创业的综合素养，为促进学生就业创业全面发展奠定基础。

2 研究设计

2.1 研究方法及对象

研究方法：第一，在“三圈三全十育人”理念指导下，结合文献研读和工作经验，根据CIPP模型初步提炼出具有上海特色的双创教学质量评价指标体系；第二，经修正版德尔菲法，对CIPP评价指标体系进行优化；第三，经层次分析法，确定CIPP评价指标中各层级元素的权重。第四，用此指标体系评价2所当地院校的双创教学质量，并提出相应建议。

咨询对象：修正版德尔菲法和层次分析法中涉及的专家(主要有20位)，涵盖了一线双创教师、思政教师、双创部门及教学单位主任、企业创业导师以及科研行政人员等，从多角度对双创教学质量评价指标体系进行优化。

2.2 指标体系草案

根据文献资料与笔者工作经验，按照CIPP评价模型涉及的背景、输入、过程和成果4项评价指标，将“十育人”理念融入过程评价之中，初步建立了20项二级指标，62项三级指标的CIPP指标体系草案。具体包括：

一是双创教学宏微观环境(背景评价)，涵盖外部环境(1国家双创政策指导、2当地政府支持、3所在区域创业活跃度)，学校环境(4人才培养方案、5双创组织管理机构、6制度政策支持力度、7创业氛围营造、8已开展的产教研合作情况)，学生背景(9学生父母从商比例、10有兼职或工作经历的学生比例、11将创业作为毕业后目标的学生比例)3项二级指标，11项三级指标。

二是双创教学资源配置(输入评价)，涵盖师资条件(12校内专任教师配比、13校内有创业实战经验教师配比、14校内兼职教师配比、15外聘创业导师配比、16教师高级职称情况)，经费支持(17校内专项双创教育教学经费、18校内专项“互联网+”比赛经费配套、19创业基地建设经费支持、20创业项目孵化经费支持、21师资培训经费支持)，硬件支持(22创业实践基地数量、23双创教学办公条件、24创业实训模拟平台)，课程教材(25双创类校本教材、26双创类课程门数、27双创类课程覆盖面、28实操性强的双创类课程体系设计、29课程教育教学实施方案)4项二级指标，18项三级指标。

三是双创教学“十育人”(过程评价)，涵盖课堂育人(30创业模拟实训内容设计与实施、31创业理实内容设计与讲授、32案例和游戏互动内容设计与实施)，网络育人(33线上双创教学资源拓展、34教师线上互动答疑)，文化育人(35课程思政融合、36双创时政热点推送与发布)，服务育人(37“互联网+”赛事辅导、38创业导师帮扶指导)，资助育人(39种子项目资助、40上海地区创业类基金申报培训)，科研育人(41师生共创、42双创类讲座/沙龙开展、43学生科研成果)，组织育人(44双创学生社团建设、45市区级创业指导站建设)，心理育人(46创业大赛心理压力疏导、47创业心理准备、48创就业心理困惑解答)，实践育人(49学生参加各类型双创比赛、50参观调研各类型创业园)，管理育人(51考勤管理、52作业管理、53课堂互动管理)10项二级指标，24项三级指标。

四是双创教学育人成效(成果评价)，涵盖赛事结果(54“互联网+”赛事获市级及以上奖项、55“互联网+”赛事获得过优秀组织奖)，社会影响(56培育成功项目数、57校企合作孵化基地数、58项目带动就业情况)，育人成效(59优秀校友个数、60毕业生创业人数、61学生对双创类课程满意度、62学生创业意识培养)3项二级指标，9项三级指标。

3 实证分析

3.1 指标评估与筛选

根据修正版德尔菲法要求，就指标草案进行两轮问卷咨询。课题组自拟问卷“高职双创教学质量CIPP评价指标体系咨询问卷1/2”，通过在线发送链接的形式，收集20位专家对62项评估指标重要性的判断数据。首轮和次轮咨询问卷的选项程度评价均以李克特五级量表来设计，即1～5分别代表“完全不重要、不太重要、一般、比较重要、非常重要”五种程度。首轮指标筛选标准为各项指标的平均分超过“一般和比较重要”选项临界中间值3.5分以上者即保留，3.5分及以下者将被淘汰；次轮指标筛选标准为在首轮剔除被淘汰指标后的体系上，将标准提升至4分及以上者保留，其他淘汰。

3.2 指标体系确定

一是20位双创领域专家(含一线教师)基本信息：

性别：男女各占一半，各10人(50%)。

学历：专科及以下1人(5%)、本科2人(10%)、硕士16人(80%)、博士1人(5%)。

职称：无职称8人(40%)、初级4人(20%)、中级7人(35%)、副高及以上1人(5%)。

职业资格：无职业资格14人(70%)、三级1人(5%)、技师2人(10%)、高级技师3人(15%)。

职务：专任教师6人(30%)、行政8人(40%)、教研主任3人(15%)、企业导师3人(15%)。

二是根据首轮指标筛选标准剔除均值3.5分及以下指标，包括序号9、10、11、16、43等5项三级指标和1项二级指标学生背景(因它对应9～11项三级指标，故均被剔除)。

三是在首轮指标筛查完成的基础上，更新版问卷再次征询20位专家的意见，并剔除4分以下指标，包括序号8、14、19、20、23、26、33、39、41、47、57、59等三级指标。

由此，得到双创教学宏微观环境背景评价7项(1～7)，双创教学资源配置输入评价12项(12、13、15、17、18、21、22、24、25、27～29)，双创教学“十育人”过程评价19项(30～32、34～38、40、42、44～46、48～53)，双创教学育人成效成果评价7项(54～56、58、60～62)等19项二级指标和45项三级指标的CIPP双创教育教学质量评价体系(如表2所示)。经SPSS24.0计算后按降序形式排列得到表1结果，其指标均值均在4分以上，标准差均低于1，表明专家意见基本趋同。表1、表2中序号详见上文指标体系草案。

表1 双创教学质量CIPP评价三级指标体系(N=20)

3.3 信效度分析

利用SPSS24.0完成了次轮指标问卷调研的信度与效度分析。其中信度Cronbach’s alpha值为0.951。效度方面，经KMO和Bartlett球形检验，各模块KMO值均大于0.5，显著性为0.000。其中，网络育人、资助育人和科研育人3项二级指标，因剔除不合格指标后对应的三级指标均仅有1项，所以未参与检测。

3.4 层次分析法下指标权重分配

一是构建3个层次分析结构，包括：首层(目标层)，即双创教学质量CIPP评价指标体系；二层(准则层)，涵盖背景、输入、过程及成果评价4项，鉴于Yaahp模型中一个节点影响因素不能超9项，指标体系中双创教学“十育人”过程评价项有10项二级指标，故将它拆分为“十育人”之课堂过程和“十育人”之课外过程2项二级指标；三层(方案层)，涵盖了外部环境、学校环境、师资条件、经费支持、硬件支持以及课程教材等19项二级指标(如图1所示)。

二是构建判断矩阵。根据双创教学质量CIPP评价指标体系自拟“高职双创教学质量CIPP评价指标权重专家咨询问卷”。再次邀请上述20位专家完成各同层指标的两两比较。评价等级以1～9进行赋分，从1到9代表指标重要程度不断提高，其中2、4、6、8代表中间值，如A相对于B的重要性之比为a,则B相对于A的重要性之比为1/a，以此构建起两两比较矩阵。基于图1结构共建立6个判断矩阵，三级指标因数量过多，为降低专家判断任务量，三级指标权重以等额形式赋值，专家可集中精力完成一、二级两两指标对比的判断任务。

图1 双创教学质量的CIPP评价模型构建与监测层次结构模型

三是一致性检验，即对20位专家的判断逻辑是否合理进行检验，即CR(一致性比率)<0.1代表检验通过。如存在不一致性问题，则通过Yaahp软件进行修正，最终20位专家均通过一致性检验。如将专家1的一级指标判断数据导入Yaahp平台，得CR=0.0695<0.1，且通过一致性检验。

四是群决策与权重确定。本项目借助Yaahp软件，将20位专家的判断矩阵数据导入平台，经模型检查、一致性检验、以各专家排序向量加权算数平均的算法完成专家数据集结，且各层级组合一致性比例均低于0.1，由此得到了综合20位专家数据后的“三圈三全十育人”理念下双创教学质量的CIPP评价指标权重体系(如表2所示)。

4 指标体系应用

4.1 基本情况

以表2指标体系为依据，课题组确定了“‘三圈三全十育人’理念下双创教学质量的CIPP评价问卷调研表”，选取上海当地A、B两所院校实地应用。选项以“完全不符合、不太符合、基本符合、比较符合、完全符合”李克特五级量表式设计，并以1～5分赋分，以线上调研形式进行。A学院是一所办学有近60年的公办工科类国家示范高等职业院校建设单位；该校设有专门的创新创业教育中心，承接了全校性双创教育通识课程。B学院是一所办学有二十余年的全国首批教育创新示范性民办学校；该校有师生团队独立运营、商业化的电商平台，在双创理实教育方面有着丰富的经验。

表2 “三圈三全十育人”理念下A、B两学院双创教学质量的CIPP评测结果

4.2 调研对象

采集了A、B两学院各15位曾上过双创类课程的教师及行政领导，总计30位。A学院包括2位教研室主任、4位一线专任教师，6位校内兼课教师，3位一线辅导员教师；B学院包括1位二级学院院长，1位教研室主任，6位一线专任教师，7位一线辅导员教师。

4.3 主要结果

经线上调研和权重结果计算，A学院为3.93分，B学院为3.41分(如表2所示)。

4.4 结果应用

4.4.1 主要问题

据表2结果，总结主要问题有：

一是“三圈三全十育人”理念下A学院在双创教学质量的CIPP评测结果中优于B学院。A学院总体评价接近“比较符合”(3.93分)；B学院总体评价以“基本符合”为主(3.41分)。

二是以A学院为例，在19项二级指标综合评分中，只有学校环境、网络育人、管理育人、服务育人、组织育人、赛事结果以及育人成效7项指标分值在4分以上，仅占19项指标的37%，仍有非常大的提升空间。其中，心理育人(3.6)、师资条件(3.6)、资助育人(3.7)、硬件支持(3.8)、科研育人(3.8)，这 5项指标是19项二级指标中排名较后的项目。

4.4.2 A学院的主要对策

一是加强心理健康师资培训，打造专业化师资队伍。针对教师在创业大赛心理压力疏导、创业就业心理困惑解答等方面的短板，可通过加强教师在此领域的培训与学习，取得相应资质证书，并协同学工线思政教师以更好更专业的知识体系和人生经验来解答学生在创业大赛、创业就业过程中遇到的问题，更好地服务学生。

二是加强校内外合作，优化专兼师资人才库。针对专兼及实战导师配比、资助政策宣讲及培训、师生科研能力不尽人意等问题，可通过加强与校内其他二级学院教学部门、校外政企机构、实战导师、校外兄弟院校等机构人员开展教育教学和科研项目合作，充分利用线上平台，开展集体备课、双创知识讲座、线上沙龙以及资助政策宣讲解答等活动，灵活配套人员劳务经费支出，发挥各层级人才的专长，弥补院校在师资、资助政策宣讲以及科研等方面的短板。

三是联动孵化园，实现课程—实践—服务一体化的双创教育闭环。充分整合学院资源，积极创建区级、市级创业指导站，积极争取政策和经费支持，与区、市级各类型项目孵化园建立联系，努力探索创建具有学院特色的双创课程理论学习、双创项目基地实践、创业项目孵化服务的一体化双创教育体系，实现从课堂到基地实践再到真实项目跟踪培育指导的双创育人闭环。

5 结语

本课题在“三圈三全十育人”理念下，结合CIPP模型、修正版德尔菲法和层次分析法获得了评价指标体系，完成了对上海2所院校的调研。鉴于课题主持人及成员水平有限，无法完全去除指标筛查、提炼以及权重确定过程中的人为因素，指标体系也无法全面覆盖，但为监测自身双创教学质量提供了一种分析样例，经不断优化与灵活调整，以期为各兄弟院校在“三圈三全十育人”理念下开展双创教育教学质量评价发挥更大作用。