夏 红, 崔利宏
(1.辽宁师范大学 法学院,辽宁 大连 116081;2.辽宁师范大学 数学学院,辽宁 大连 116029)
党的十七大提出了“提高自主创新能力,建设创新型国家” 和“促进以创业带动就业”的发展战略。2010年5月,教育部下发了《关于大力推进高等学校创新创业教育和大学生自主创业工作的意见》(教办[2010]3号),明确提出:在高等学校开展创新创业教育,积极鼓励高校学生自主创业,是服务于创新型国家建设的重大战略举措;是深化高等教育教学改革,培养学生创新精神和实践能力的重要途径;是落实以创业带动就业,促进高校毕业生充分就业的重要措施(1)教育部关于大力推进高等学校创新创业教育和大学生自主创业工作的意见[EB/OL].[2018-11-22].http:∥old.moe.gov.cn∥publicfiles/business/htmlfiles/moe/info_list/201105/xxgk_120174.html.。在该文件中,创新创业教育教学质量监控系统是大力推进高等学校创新创业教育工作六项工作之一。创新创业教育在我国已经开展十年。根据《教育部财政部关于“十二五”期间实施“高等学校本科教学质量与教学改革工程”的意见》(教高[2011]6号)和《教育部关于批准实施“十二五”期间“高等学校本科教学质量与教学改革工程”2012年建设项目的通知》(教高函[2012]2号)精神,2012年2月教育部下发了《关于做好“本科教学工程”国家级大学生创新创业训练计划实施工作的通知》,通过立项方式在全国启动专门针对大学生群体,特别是本科阶段大学生的创新创业训练计划(2)教育部关于做好“本科教学工程”国家级大学生创新创业训练计划实施工作的通知[EB/OL].[2019-01-16].http:∥old.moe.gov.cn∥publicfiles/business/htmlfiles/moe/s5649/201404/xxgk_166881.html.。各层级(国家级、省级、校级)大学生创新创业训练项目(以下简称“大创项目”)是推进创新创业教育的重要平台和方式。2015年5月,国务院办公厅下发了《关于深化高等学校创新教育改革的实施意见》([2015]36号),深入、持续推进创新创业教育(3)国务院办公厅关于深化高等学校创新创业教育改革的实施意见[EB/OL].[2019-01-16].http:∥www.gov.cn/xinwen/2015-05/13/content_2861327.htm.。
对于创新创业教育重要组成部分的大创项目进行客观、科学评价是引导大创项目健康发展的重要途径。为了更好地对大创项目开展情况进行了解与认识,相应的评价体系就不可或缺。为此,笔者尝试以第四代教育评价理论为指导,将层次分析法(简称AHP法)和逼近理想解排序法(简称TOPSIS法)相结合,探索出一种新的大创项目评价模型。AHP法能够较为科学地分配各项指标的权重值,TOPSIS法则能够根据有限评价对象与理想化目标的接近程度进行排序。将二者结合起来能够较为科学、合理、有效地对大创项目的全程进行评价,并且对项目所取得的效果进行监测。
AHP法在决策分析时,可对一个由多个因素构成的相互关联、相互制约的复杂系统从不同角度进行评价。AHP法根据系统的决策目标将问题层次化、条理化,建立递阶层次结构,并形成一个多层次的分析结构模型。分析结构模型一般由高到低分为目标层、系统层(准则层)和指标层,利用下层对上层的相对重要性来确定因子的权重。
笔者在大创项目一级指标(目标层)下选取4个二级指标(系统层)和7个三级指标(指标层)构成综合评价指标体系模型。其中系统层包括项目基础、项目进程、项目结果和项目成效4个指标。综合考虑开展大创项目的具体过程以及数据的可获取性,选取合适的评价指标,构建大创项目综合评价指标体系(见表1)。
项目基础包括项目级别和项目类型2个指标层指标。其中项目级别分为国家级、省级和校级3个等级。项目类型包括创新训练项目、创业训练项目和创业实践项目3种。项目进程主要根据中期检查情况进行定性评价,包括优秀、良好、合格、不合格4个等级。项目结果包括结项评价和成果类型及数量2个指标层指标。结项评价包括优秀、良好、合格、不合格4个等级。成果类型及数量综合考察法学专业大创项目开展的实际情况,主要包括已发论文、未发论文、调查报告、专题讲座和决策建议5种形式。根据类型和数量对每种成果进行定量考察。项目成效包括成果获奖和考研2项指标层指标。
表1 大创项目综合评价指标体系
TOPSIS法又称为优劣解距离法,是由C.L.Hwang和K.Yoon于1981年首次提出的。该方法是一种运用距离作为评价标准的综合评价法。在TOPSIS法中,通过检测评价对象与最优解、最劣解的距离来进行排序,若评价对象最靠近最优解同时又最远离最劣解,则为最好,反之则为最差。TOPSIS法是多目标决策分析中一种常用且有效的方法,能够科学有效地评价多目标问题。但是在大创项目评价中,项目的运行是按照优中选优的思路和标准进行的,且不同项目运行又具有个性化特质,最劣解似乎无从谈起,或者无法界定。因此,在本研究中对TOPSIS法进行了改进,即只测量评价对象与最优解(本文称为最优正理想解)的距离的方法对项目质量进行评价。
设大创项目的原始评价指标矩阵为:
(1)
式(1)中的Z为初始评价矩阵;zij为第i个项目第j个指标的初始值:i=1,2,…m,m为参评的大创项目,j=1,2,…n,n为评价指标数。
构建标准化决策矩阵V=(vij)m×n,其中,
(2)
式(2)中的vij为第i个大创项目第j个指标的标准化值,i=1,2,…m,j=1,2,…n。构建加权决策矩阵。将矩阵V与指标权重相乘,得到加权标准化决策矩阵:
R=(rij)n×n,rij=wjvij,i=1,2,…m,j=1,2,…n。
(3)
(4)
确定各个指标与最优解的距离,本文采用绝对平均距离计算公式:
(5)
X校法学专业2011年开始有校级大创项目立项,2012年开始有省级大创项目立项,2013年开始有国家级大创项目立项。鉴于前两年资料保留和数据提取不全等原因,笔者并未将其纳入本次研究中。2017年度的立项正在进行中,尚未全部结项,本次研究也未予考虑。故而,本次应用仅针对2014—2016年度的各层级大创项目进行。2014—2016年X校法学专业共有各层级大创项目22项,其中,国家级8项、省级6项、校级8项。全部项目中仅有2项创业训练项目(均为国家级),其余均为创新训练项目。
评价体系中的各项指标按照以下方式赋值。
项目级别按照立项来源赋值,教育部立项的为国家级,省教育厅立项的为省级,学校立项的为校级,对应值分别为10、6、3。
项目类型以创新训练项目为基础,其值为10,创业训练项目基于其难度、复杂程度等,在创新训练项目的基础上加权1.5,其值为15。
中期检查和结项评价采用专家鉴定方式。鉴定结果分为优秀、良好、合格和不合格4个等级,对应值分别为10、6、3、0。
成果类型及数量采用分类定量方式赋值:分为已发论文(f1)、未发论文(f2)、调查报告(f3)、专题讲座(f4)、决策建议(f5)5类,对应值分别为10、8、6、5、4;已发论文数量为n1,未发论文数量为n2,调查报告数量为n3,专题讲座数量为n4,决策建议数量为n5;用C代表成果类型及数量值。计算方法为:
C=f1×n1+f2×n2+f3×n3+f4×n4+f5×n5
(6)
项目成效中的获奖采用分类定量方式赋值:省级一等奖对应值为10(h1),省级二等奖对应值为8(h2),省级三等奖对应值为7(h3),省学会奖对应值为6(h4),学校奖对应值为2(h5);各类型奖励数量分别为j1、j2、j3、j4、j5,用J代表获奖值。计算方法为:
J=h1×j1+h2×j2+h3×j3+h4×j4+h5×j5
(7)
考取985院校研究生的考核项权重为1.5;考取211院校研究生的考核项权重为1.3;考取国外研究生(留学)的考核项权重为1.4。考取985院校、211院校和赴国外攻读研究生的数量分别为k1、k2、k3。用K代表考研值。计算方法为:
(8)
根据指标定量化赋值标准,X校法学专业2014—2016年度全部大创项目各项评价指标值见表2。
表2 X校法学专业2014—2016年度大创项目评价指标值
采用层次分析法对系统层和指标层各项指标进行权重计算,结果见表3。各项指标最终权重为0.077 7、0.122 3、0.250 0、0.048 5、0.201 6、0.109 4、0.109 7。
大创项目评价指标均为效益型指标,即指标值越大意味着项目完成质量越好。由式(4)(5)计算正负理想解,再由式(6)(7)(8)计算各评价对象与最优理想解的距离S*,结果见表4。
表3 大创项目评价指标权重
表4 X校法学专业2014—2016年大创项目评价指标值对应的标准化决策矩阵
由表4可以看出,单纯使用AHP法和使用改进TOPSIS法后的排序结果有所不同:9个项目使用两种方法的排序没有变化,编号分别为4、7、10、12、15、18、19、20、21;9个项目排序有所上升,编号分别为1、2、3、5、8、11、13、16、22;4个项目排序下降,编号分别为 6、9、14、17。排序变化较大的4个项目分别为:编号9,使用AHP法排序第1,使用改进TOPSIS法后排序第5,排序下降5个位次;编号5,使用AHP法排序第12,使用改进TOPSIS法后排序第8,排序提升4个位次;编号3,使用AHP法排序第5,使用改进TOPSIS法后排序第2,排序上升3个位次;编号14,使用AHP法排序第9,使用改进TOPSIS法后排序第12,下降3个位次。另外,编号1、2、8、11、13、16使用改进TOPSIS法后比使用AHP法排序上升1个位次,而编号17则下降一个位次。
相对而言,项目中若有某个指标值突出,在AHP法中,就容易获得较高排序,9号项目就是典型例证。该项目因其中期检查评级为优秀(是全部22个项目中唯一一个中期检查为优秀成绩的项目),从22个项目中脱颖而出,排序靠前;14号项目因成果数量和类型值在22个项目中最高(该项目有1篇发表论文、2篇未发表论文、2篇调查报告),在使用AHP法评价时,也可排到比较好的位次。但是这两个项目的其他指标值并不特别突出,使用改进TOPSIS法评价后,项目排序均有所下降。
改进TOPSIS法评价体系更注重项目整体各项指标的均衡性和全面性。只有各项考察指标均有较好的表现时,才能获得较靠前的排序(评价)。如1号项目,过程扎实,效果显著,在使用AHP法时排序第2,在使用改进TOPSIS法后排序第1。该项目为国家级创业训练项目,项目级别、项目类型等均获得较高赋值,项目开展过程中,项目组参加了2次X省大学生创业竞赛项目,均获得一等奖;项目组5名成员中有3人考取硕士研究生,其中1人赴国外攻读学位。可见,该项目团队在项目开展过程中能够将专业知识学习与项目开展紧密结合,学以致用,用以促学,锤炼了技能,提升了素质,是一个非常成功的大创项目。3号项目各项指标也均有较好表现,在使用改进TOPSIS法后,排序较之前有3个位次的提升。
在评价中,若项目中有指标缺项(即某项指标值为0),仍需看项目的综合情况。5号项目和16号项目排序的变化就是很好的例证。16号项目在使用AHP法评价时排序第10,5号项目在使用AHP法评价时排序第12,二者的差别在于:5号项目为国家级创业训练项目,16号项目为校级创新训练项目;16号项目的考研值得分很高,项目成员中有3/4考取了研究生,其中有2人考取211院校。但在使用改进TOPSIS法评价时,5号项目排序第8,16号项目排序第9。总体而言,5号项目在申报时质量和难度显著高于16号项目;同时,基于创业训练项目的特质,其并不以发表论文见长,但是该项目参加了X省的创业项目竞赛,并且获得铜奖,项目组成员在比赛中受到的锻炼和提升更多;而16号项目无获奖,得分为0。显然,5号项目的综合效果和质量要优于16号项目。因此,并不能单纯地以考研一项指标评价项目质量和效果。
目前,大创项目评价主要通过结项验收方式进行定性评价,是一种以专家为评价主体的鉴定性评价,主观性、随机性较强。这种大创项目评价方式以判断为核心,体现出较多的管理性特征,该种评价方式仍停留在教育评价理论的第三阶段。而当前的教育评价理论已经更新为第四代,以“回应”和“协商”为重要标志,强调“评价最终只是利益相关者对现实的一个重构,是一个创造的过程”(4)杨彩菊,周志刚.第四代评价理论对高等职业教育评价的启迪与思考[J].中国职业技术教育,2012(30):71.。基于改进TOPSIS法对大创项目进行的综合评价,是应用第四代教育评价理论的一种尝试。基于改进TOPSIS法的大创项目评价体系克服了单纯定性考察的模糊性和主观性,以及单纯依靠结项鉴定进行项目评价的单一性,将定性和定量、评价和监测有机地结合起来,运用科学的方法进行权重分配,通过与最优正理想解的距离测量每个项目的综合状况,并进行排名,对每个项目的评价和诊断更加全面、立体和系统,不仅能够更加准确地对已开展项目进行测评,同时也会对其他项目的开展有很强的启示和指引作用。基于改进TOPSIS法的大创项目评价体系与大创项目开展的基本宗旨紧密契合。
“教育评价是为了改进,而不是证明,教育评价的功能由侧重甄别转向注重诊断、激励和发展,已经成为当代教育评价发展的重要趋势”(5)董奇,赵德成.发展性教育评价的理论与实践[J].中国教育学刊,2003(8):19.。教育评价和效果监测日益走向程序化、规范化、技术化以及可测量化(6)刘振天.为何要提“高等教育质量文化”[EB/OL].[2018-05-21].http:∥www.qstheory.cn/zhuanqu/zywz/2016-06/07/c_1119000638.htm.。因此,创新创业教育评价有必要在立足发展的基础上,采用数学模型进行评价分析以及效果监测,以期在评价过程中更好地培养和激发学生的创新创业精神,提升其创新创业素养,推进创新能力向创业实践升级和转化。