应用型大学专业实验室创新绩效评价研究

赵淳宇, 汪必琴, 杨宇科, 唐玺跃, 袁丽娟

(1. 四川师范大学 商学院, 四川 成都 610101； 2. 四川师范大学 实验室与设备管理处, 四川 成都 610066； 3. 四川师范大学 数学与软件科学学院, 四川 成都 610066)

为培养学生的创新意识和创新精神,加强学生素质教育和提升学生的综合能力水平,应用型大学各专业实验室在培养学生实际应用、自我探索与创新能力方面,以及在承担科研与服务社会职能的过程中,实施了大量的创新,但目前对创新绩效如何评价方面的研究较少。因此,如何对应用型大学的专业实验室创新绩效进行评价成为本研究的主题。在以往的相关研究中,大多侧重于科技创新团队的科研创新绩效[1]、教师教学与培训的创新绩效[2]、知识创新绩效[3]、协同创新绩效评价[4]等方面,很少有直接针对专业实验室进行创新绩效评价的研究。已有的相关文献也主要集中在实验室绩效考核[5]、专业实验教学质量评估[6]、教师实验教学绩效评价[7]等方面。因此,为客观评价应用型大学专业实验室的创新绩效,须构建合理的切实可行的评价指标体系,选择合适的评价方法,这为实验教学创新导向和大力发展创新教育具有积极的意义。本文将在以往的研究基础上,首先构建相应的创新绩效评价指标体系,然后使用层次分析法方法确定各指标权重,再使用二元语义多属性决策对其进行综合评价,最后通过实例分析验证该评价指标及方法的可行性。

1 指标体系构建

1.1 指标体系

以往对于创新绩效评价的视角主要有投入产出角度[8]、效益角度[9]、对象角度[9]、过程角度[10]和网络角度[11]等。对于应用型大学专业实验室而言,也同样涉及到创新投入、创新产出、过程创新、网络角度的组织间的关系与连接等。结合专业实验室在大学中的作用、大学的基本功能、创新绩效评价指标体系的角度与原则,本文分别从实验教学、科学研究、社会服务3大方面进行评价并构建相应指标。

(1) 实验教学方面。从产出的角度,最终是促使学生知识的吸收和能力的提升。从对象的角度,涉及到教师如何教、学生如何学,以及双方创新能力的培养与提升。从网络角度,学生参与各项比赛或者初创型项目也会涉及跨学校、跨地区的交流与学习。从效率的角度,包括在人才培养的过程中实验场所与设施设备的利用效率,以及教师和学生对其利用效率和效果的总体满意度评价等。但利用效率作为常规绩效考核指标,本研究主要体现对创新绩效的考核,因此,没有考虑利用率指标。在以往研究的基础上,结合对专业实验室的访谈,本文分别以资源投入、创新教学、教学效果、教学成果、教学交流为二级指标进行评价。其中资源投入主要从硬件固定资产、软件及师资作为三级指标；创新教学主要考察在实验教学中进行的创新,包括教学案例及编写情况、开发实验项目、自编实验指导书及讲义等；教学效果主要包括师生对实验教学的满意度、完成实验教学、各种比赛获奖数量等；教学成果主要包括实验教改的项目、论文专利、出版教材、获奖；教学交流主要体现在与同行的学习交流方面。

(2) 科学研究方面。教师利用专业实验室的相关设施、设备、软件或场所等开展或带领学生进行科学研究,参考目前具有较大影响力的英国高校科研评估机制(research assessment exercise,RAE)[12],结合应用型大学具体情况,主要从科研成果、科研带动方面进行评价。其中科研成果主要包括出版专著、发表论文、申请专利、科研项目、科研成果获奖等；科研带动主要体现依托实验室教师带动学生参与科学研究的项目、团队、论文等。

(3) 社会服务方面。对于专业实验室而言,最直接的就是结合其学科所对应的行业为相关领域其他单位提供测试、实验、咨询、培训,为政府及相关部门提供相应专业建议,与校外进行相关项目合作、联合培养人才等。

综上所述,基于科学性、客观性、可操作性和系统性的原则[13],结合应用型大学专业实验室的基本情况与以往的相关研究,构建的相应的创新绩效评价指标体系见表1。

表1 应用型大学专业实验室创新绩效评价指标体系及权重

表1(续)

1.2 指标权重

评价涉及到定量和定性评价。为了尽量减少个人主观臆断带来的弊端,使评价结果更可信,本研究使用层次分析法计算其指标权重。其原理是通过分析复杂系统所包含的因素及相关关系,将问题条理化、层次化,分析评价系统中各基本要素之间的关系,建立系统的递阶层次结构；对每一层次的各要素进行比较,按照一定的标度理论,得到相对重要程度的比较标度并建立判断矩阵；计算判断矩阵的最大特征值及其特征向量,并进行一致性检验；由判断矩阵计算被比较要素的相对权重[14]。

根据表1的指标体系,征集了10所应用型大学各类专业实验室及学校实验设备职能部门共25名专家对指标权重信息进行评价,其中23位专家信息有效。将收集的数据采用AHP(层次分析法)法确定三级元素属性权重。以一级指标为例,确定实验教学、科学研究、社会服务的权重。构造判断矩阵A,归一化求算数平均Wi,根据公式Aw=λmaxw，A为判断矩阵，λmax

为最大特征根，w为特征向量，求出λmax=3.015,一致性指标C.I.=0.0075,查看平均随机一致性指标R.I.=0.52,其一致性比例C.I./R.I.=0.0144<0.1,说明结果是接受一致性检验,最后加权求得最终的一级指标权重为W=(0.462,0.321,0.217)。即实验教学、科学研究、社会服务的指标权重分别为0.462、0.321、0.217。

同理可得,该指标体系中的二级指标的权重为：W1=(0.215,0.191,0.203,0.185,0.206),W2=(0.502,0.498),W3=(0.474,0.526)；三级指标的权重为：W11=(0.356,0.370,0.274),W12=(0.191,0.195,0.202,0.205,0.207),W13=(0.350,0.293,0.357),W14=(0.250,0.250,0.246,0.254),W15=(0.345,0.340,0.315),W21=(0.340,0.364,0.296),W22=(0.334,0.337,0.329),W31=(0.277,0.195,0.263,0.265),W32=(0.510,0.490),指标体系及权重如表1所示。

2 评价方法

2.1 指标评价标准与方法

如表1所示,本研究构建了应用型大学专业实验室创新绩效评价指标体系,并计算了各级指标的权重,但要对某个实验室进行创新绩效评价,还需要确定三级指标的具体评价方式。在评价的过程中,对于定量测量的部分指标(除C113高级职称比例外)评价为当年的数量与其过去3年的均值相比较,对其比值i1大小对应“非常好、好、一般、差、非常差”进行分类；对于C113高级职称比例方面,出于人力资本的累积性特征,直接计算当年高级职称在实验师资队伍中的比例i2,并根据其大小进行分类；对于定性测量指标,如C131师生满意度、C133完成实验教学顺利程度,则直接根据实际情况采用主观“非常好、好、一般、差、非常差” 的方式评价。采用专家意见法,综合各位专家的建议,对其比值i1、i2分类标准见表2。

表2 比值对应的评价等级

在针对某对象(或目标、准则)进行评价的过程中,又往往具有不确定性,与真实水平会出现偏差,尤其是针对指标体系中各级指标涉及不同的属性,即多属性评价时,语言评价的信息损失和集结结果也具有不准确性。因此,为了使评价更加精准,还需考虑真实情况与语言评价的偏差。同时,对于实验室创新绩效的评价,实际上也是根据指标体系对某专业实验室所包括实验教学、科学研究和社会服务的总体创新进行评价,属于多属性决策评价,也会面临对多属性评价信息、属性权重、专家权重以及评价值等难以精确衡量的问题。而二元语义多属性决策方法采用二元语义有序加权平均算子(T-OWA)则正好有效克服了这些不足,并广泛应用于多目标决策中[15]。因此,本文采用二元语义多属性决策方法进行综合评价。

二元语义信息[15]是由一个二元组(sk,k)来表示,二元组中的元素sk为预先定义好的语言评价集S中的第k个元素,它表示给出的语言评价信息与初始语言评价集中最贴近的语言短语[15]。例如,一个由5个元素(即语言评价)构成的评价集S可定义为S={s1=非常差,s2=差,s3=一般,s4=好,s5=非常好}。一般要求S具备有序性、存在逆运算算子、极大化运算和极小化运算等性质。二元组中的元素k为符号转移值,且满足k∈[-0.5,0.5),它表示评价结果与sk的偏差,可以由专家评价根据实际情况与sk的偏离方向与程度直接打分。例如,某校经济管理实验中心和化学实验中心在三级指标“在实验室研究的科研项目数C222”中计算出的指标值分别为1.2和1.8,根据表2,2个实验中心均获得了“好”s4的评价,但实际上1.2和1.8在量化数据上是有差别的。为了更准确地反映二者的评价结果,尽量减少评价误差,评价专家根据实际情况在“好”s4的评价基础上再给一个偏差值k。根据比值1.2、1.8在s4中取值(1,2)之间所处的程度位置,1.2处于s4的中下水平,1.8处于s4的中上水平,则可分别记为(s4,-0.3)、(s4,0.3)。评价专家根据各专业实验室的实际情况对每一项评价指标均按此方式进行评价。因此,每位专家就某实验室针对如表1所示的30项三级指标的评价结果所形成的二元语义信息集为{(sk1,ak1),(sk2,ak2),…,(sk30,ak30)}。

2.2 综合评价计算方法

二元语义多属性决策评价总体思路是将二元语义信息转化为二元语义评价矩阵,经T-OWA算子集结信息处理,结合各指标以及决策者的权重,最终计算出综合属性值。

设{(s1,a1),(s2,a2),…,(sn,an)}是一组二元语义信息,则该组二元语义信息的算术平均算子为[15]：

(1)

其中,

Δ-1是其逆函数,β∈[0,T]为语言评价集S经集结得到的实数,T为语言评价集S中元素的个数。

对应的二元语义权重向量W=w1,β1,w2,β2,…,wn,βn,则基于二元语义的加权算术平均算子定义为[15]：

(2)

设有t个评价者,评价者的权重为λ1,λ2,…,λt,且λ1+λ2+…+λt=1,则指标属性值为：

(3)

根据指标属性值的集合H,以及该集合的二元语义权重向量W=((w1,β1),(w2,β2),…,(wn,βn)),则综合属性值为：

(4)

3 应用实例分析

3.1 二元语义多属性评价

本研究以四川某省属大学为例,该校是非“985工程”和非“211工程”学校,是一所典型的应用型大学,其经管实验室承担了该校经济类、管理类8个专业共3 000余名学生的实验教学、创业支持和服务等任务。该实验室共有900 m2,包括财务管理实验室、会计电算化实验室、工业工程实验室、金融实验室、审计实验室、物流仿真实验室等。请5位专家对该经管实验室分别进行评价。所有评价者拥有相同的地位,因此在本实例中所有专家的权重相同均为0.2。将专家的评价结果转换为二元语义评价矩阵。根据二元语义矩阵数据与公式(3)得出二级指标的属性值,结果为：

H21={(S3, 0.338 2),(S3,-0.065 3),

(S3, 0.479 9),(S3,-0.150 1),(S3, 0.011 6)}

H22={(S3, 0.126 7),(S3, 0.000 1)}；

H23={(S2, 0.455 3),(S3, -0.298 8)}

然后,根据AHP法确定的二级元素属性权重和指标属性值,根据公式(4),计算出一级指标下的指标属性值：

H11={(S3, 0.125 7)}；H12=

{(S3, 0.064 1)}；H13={(S3, -0.415 3)}

最后,根据一级元素属性权重和指标属性值,根据公式(4),计算出综合属性值：H={(S3, -0.001 1)}。

3.2 评价结果分析

由此可得,采用等级分析法确定的指标权重和二元语义多属性决策算子得出该实验室创新绩效评价总体为(S3,-0.001 1),对应评价等级为“一般”,与该实验室在同行中所处的地位相匹配。该实验室创新绩效一级指标属性值由大到小排序为：实验教学、科学研究、社会服务。具体情况分析如下。

(1) 在一级指标中,社会服务的指标属性值最低,说明相对于实验教学与科学研究而言,该实验室在对外服务方面还需提升。在二级指标中,对外服务与对外合作的指标属性值分别为(S2, 0.455 3)、(S3,-0.298 8),分别对应“差”和尚未达到“一般”的评价。这表明该校经管实验室在对外提供培训学习、承接外包业务方面还需要进一步加强,以及与校外组织合作开展新项目和与校外组织联合培养人才的活动较少。经过专家团队讨论,大家一致认为这可能与该校所处的地理位置有关,其所在的城市共有56所高校,其中“985工程”“211工程”大学共5所,地方政府及相关部门的很多服务项目以及继续学习服务等大多由这几所著名高校实施。

(2) 实验教学指标的评价结果为“一般”,其二级指标属性值由大到小排序为：教学效果(S3,0.4799)>资源投入(S3,0.3382)>教学交流(S3,0.0116)>创新教学(S3,-0.0653)>教学成果(S3,-0.1501)。在教学效果方面,该实验室近年来带领学生参加了较多比赛,获得了一些奖项,所开展的实验课程能够顺利完成；创新教学和教学成果的得分较低,反映了该实验室在这些方面的不足,尤其是在实验教材的建设与科研成果转化为教学案例等方面还需要提高。

(3) 科学研究指标的评价结果为“一般”,且该指标下的二级指标为科研带动(S3, 0.1267)和科研成果(S3,0.0001),均属“一般”。这反映了该实验室所进行的科研项目、相关研究论文的发表以及科研成果奖并不多。这与目前现状相符,大多数科研项目都集中于研究型高校,其成果转化相对更多,也具有更多的支持和优势,而一般应用型高校的科研项目不多,发表的论文相对就偏少。

4 结语

本文通过国内外相关文献的查阅与梳理,构建了应用型大学专业实验室的创新绩效评价指标体系。该体系包括实验教学、科学研究、社会服务3个一级指标,9个二级指标和30个三级指标。使用层次分析法对该创新绩效评价指标体系的各级各项指标的权重进行了计算,其中一级指标实验教学、科学研究、社会服务的权重分别为0.462、0.321、0.217。基于二元语义多属性决策方法可以对专业实验室的创新绩效、各级指标的综合属性进行评价,学校可以根据其评价结果进行比较、分析,以利于实验室根据其评价结果提出针对性的改进措施,从而进一步提高其创新绩效。另外,在评价实施过程中,评价主体也可以根据被评价学校专业实验室的具体情况对各评价指标的权重进行微调,并参照二元语义多属性决策方法自行计算和评价其创新绩效。