江苏高校协同创新中心绩效评价研究——基于改进的G1-CRITIC-TOPSIS综合评价模型

卜 伟，孙 骏，王钰云，叶 枫，王 宇

（1.江苏师范大学科学技术研究院，江苏徐州 221116；2.河海大学计算机与信息学院，江苏南京 211100；3.河海大学水科学研究院，江苏南京 211100）

1 研究背景

2012年3月，国家启动实施高等学校创新能力提升计划（以下简称“‘2011计划’”），“2011计划”是继“985工程”“211工程”之后，我国在高等教育系统又一项体现国家意志的重大战略举措[1]。江苏省委省政府高度重视“2011计划”，于2012年11月率先启动实施江苏高校协同创新计划，开展以四年为建设周期的建设工作，在全国高校协同创新中心建设工作中具有先发优势[2]。现已形成国家、省和高校三级协同创新中心体系（见表1）：南京大学、东南大学、苏州大学、南京工业大学4所高校牵头的5个协同创新中心成功获批成为国家2011协同创新中心，数量位居全国第二；为持续推动高校协同创新，2018年4月，教育部启动实施了省部共建协同创新中心认定工作，江苏师范大学、河海大学等高校牵头的13个协同创新中心成功获批省部共建协同创新中心，数量位居全国第一；2013至2014年江苏省教育厅和财政厅共开展了两批次江苏高校协同创新中心认定工作，全省共认定了76个江苏高校协同创新中心；此外，在江苏高校协同创新中心认定和建设的过程中，60余所江苏高校通过自有资源和经费筹措，建设了272个校级协同创新中心。在财政投入方面，截至目前，江苏省财政累计安排专项资金30.9亿元，江苏高校协同创新中心累计投入经410.3亿元。在人员等投入方面，江苏高校协同创新中心共协同799个单位，其中高校院所405个、骨干企业340个、政府机构及行业协会等54个；聘任全职固定人员8 476人、兼职与双聘人员5 657人、访问与流动人员3 075人，其中院士161人、长江学者234人、国家杰出青年科学基金获得者274人、国家海外高层次人才353人。

表1 江苏高校三级协同创新体系情况 单位：个

随着国家、地方政府、高校以及重点企业对协同创新中心建设的投入日益增多，社会各界对协同创新绩效水平的关注程度也不断提高。目前江苏高校协同创新中心绩效水平如何，存在哪些问题及优化提升路径是亟需探讨的问题。

2 相关研究工作

国内外学者从不同视角对协同创新中心的绩效评价展开了大量研究。赵德武[3]认为，要从创新力和协同力两个维度对协同创新中心进行绩效评价，并设置了人才培养、学科发展、创新团队、科研成果、社会效益、组织制度等六大类型指标，他认为要依据不同类型的协同创新中心，细化评价指标。王钰云[4]基于创新系统理论、协同理论以及绩效评价理论等，剖析了产学研协同创新各主体的系统行为模块及其关联度，运用网络层次分析法（analytic network process，ANP）构建了产学研协同创新绩效评价指标体系并采用线性加权的数学模型对某高校协同创新中心进行了绩效评价。蒋兴华等[5]从体制机制改革情况、运行建设管理情况、协同创新增效情况等三个方面构建了2011协同创新中心绩效评价体系，采用模糊评价方法进行综合评价，并就如何做好高校协同创新中心建设绩效评价提出了建议。李永周等[6]通过构建模糊综合评价模型，使用德尔菲法和专家打分法赋权，对22个纳入考核的湖北高校协同创新中心进行了绩效评价。钟雨婷[7]采用战略地图评价模型来构建行业产业协同创新中心绩效评价指标体系，再利用基于正态云模型的行业产业协同创新中心绩效评价方法来对4个样本中心的绩效评价和结果进行分析。李爱彬等[8]从协同创新产出绩效、创新行为协同绩效、协同创新环境3个维度构建了协同创新中心绩效评价指标体系，并设计了云模型，通过实例对行业产业类协同创新中心绩效进行评价。

科学合理的评价指标体系是实施绩效评价的关键。上述工作主要通过专家筛选指标叠加主观赋权方法的模式来构建绩效评价指标体系。主观赋权方法是基于专家经验对指标进行赋权，通常要对多名专家进行调查问卷，花费较大且易受不同专家意见的影响，同时绩效评价结果也相对难以重现。

朱金龙等[9]从创新能力、知识运用、沟通协调和创新环境4个方面构建了评价指标体系，利用主成分分析法（principal component analysis，PCA）和随机前沿分析（stochastic frontier analysis，SFA）的组合模型（PCA-SFA）面向江苏四种不同类型协同创新中心就重大协同任务完成情况、学科建设、科学研究、人才培养、服务社会和国际合作交流等方面的建设效率进行了评价。蒋明烨[10]从人、财、物三个方面选取多个绩效评价指标，通过PCA法进行降维处理后，采用三段DEA模型对江西省高校的综合效率、规模效率和技术效率进行分析。刘天佐等[11]从投入产出角度选取了具有代表性的评价指标，基于DEA-Tobit模型对H省立项资助的35个2011协同创新中心投入产出效率及其影响因素进行了实证研究。在确定江苏高校文化传承类协同创新中心绩效评价指标体系的基础上，陈颖[12]运用PCA方法对投入产出指标进行处理，再基于DEA的基本模型和SE-DEA构建江苏高校文化传承类协同创新中心绩效评价模型，对江苏高校文化传承类协同创新中心绩效进行实证分析和综合评价。张忠迪[13]采用数据包络分析（data envelopment analysis，DEA）对河南省不同批次、不同类型的30个协同创新中心进行了创新效率研究，研究证实不同类型的协同创新中心科研创新效率差异较大，科学前沿类的创新效率显著高于其他类型。赵雷英[14]首先基于因子分析法，构建了产学研协同创新绩效评价体系，然后基于扎根理论总结出产学研协同创新绩效的影响因素，最后基于系统动力学建模，对产学研协同创新绩效影响因素的作用机制进行了分析。

上述研究主要采用客观赋权的方法为绩效评价指标赋权，特别是DEA方法由于具有对多投入与多产出效率评价不需要进行指标量纲的归一化处理以及指标较好的包容性等优势成为诸多研究人员的选择[15]。但是，在实际应用过程中由于完全忽略主观因素，因此有可能会出现一些不符合逻辑的情况。例如，以DEA方法为代表的非参数方法的最大局限在于：运用线性规划方法进行计算，并对观测样本数据有一定的限制，有时不得不舍弃一些样本值，这样会直接影响分析结果的稳定性和准确性。此外，上述研究工作也相对缺乏考虑不同综合评价方法下评价效果、结果重现以及差异比较的研究。

综上所述，目前面向高校协同创新中心绩效评价研究工作，已取得了良好的应用成效，但仍有两方面需要进一步完善：一方面是目前研究多采用某一研究方法对协同创新中心开展绩效评价，相对缺乏与不同评价方法的对比分析，以验证评价方法和评价结果的准确性；另一方面是目前研究多属于结果评价，缺乏相应的综合评价系统与可视化平台来对相关数据进行动态监管和过程评价。

基于上述思考，本文提出一种基于改进的G1-CRITIC-TOPSIS方法对协同创新中心进行绩效评估，并利用殷耀文等[16]与Edward等[17]等提出的Python和MongoDB法设计开发了协同创新中心绩效评价系统用于展示分析绩效评价结果。具体来讲，首先以江苏高校协同创新中心年度报告为基础数据建立绩效评价指标体系；其次运用改进序关系分析法（G1）[18-20]以及CRITIC法的组合赋权法计算出各指标权重并利用TOPSIS法[21-22]构建高校协同创新绩效评价模型，计算出各协同创新中心绩效评价结果并对其进行排名；最后在构建评价模型和算法的基础上，基于Python和MongoDB设计开发了江苏高校协同创新中心绩效评价系统，该系统可较为科学、直观地展示、比较各协同创新中心年度进展和绩效评价结果。

3 基于改进的G1-CRITIC-TOPSIS综合评价方法

3.1 数据来源及预处理

本研究采用的数据均来源于2015年至2019年江苏高校协同创新中心年度报告。2013年至2014年为江苏高校协同创新中心的初建阶段，部分协同创新中心相关数据不全；2020年为协同创新中心第二建设周期绩效评估年，部分数据统计口径发生变化，因此这3年数据未纳入本文绩效评价范围。由于不同评价指标的单位不同，因此在进行绩效评价之前，须采用min-max归一化方法对个评价指标进行无量纲化处理。

3.2 构建协同创新中心评价指标体系

本文在借鉴参考相关学者和江苏高校协同创新中心绩效评价指标体系基础上，充分考虑到创新发展的导向，将资金投入与构成、新培养和引进高层次人才、现聘人员数量与构成、重大科研奖励、高水平论文、发明专利、国际交流与合作、社会服务与贡献8个方面作为评价指标体系的一级指标，并参照赵德武[3]提出的差别评价、立体评价和全面评价等三大原则对上述的8个不同的一级指标选取22个典型的二级指标，如表2所示。

表2 协同创新中心绩效评价指标体系

3.3 改进G1-CRITIC赋权法

组合赋权法通常是将多种赋权法结合起来，综合主客观两方面来计算权重，兼顾了评价指标的多样性和一些隐性关系。因此从实际出发，组合赋权法对于高校协同创新中心的绩效评价更为适合。具体而言，本文主要综合采用G1法与CRITIC法的组合赋权法，它可以在客观赋权法的基础上添加一定的较为容易进行判断的主观因素，以此来控制客观赋权法易出现不符合逻辑的情况。其中，G1法是层次分析法的改进[18-20]。相比于AHP，G1法计算简便且不需要进行一致性检验，因此受到海内外学者的广泛研究。原始的序关系分析法不仅需要指标之间的序关系，而且还需要给相邻指标之间的相对重要性标度，而相对重要性标度这一数值是在实际应用的过程中是难以确定，例如可以确认对于高校来说新增院士数量这一指标要比新增长江学者数量这一指标要重要，但是重要程度往往是比较难以判断的。因此，本文采用了一种基于变异系数与G1法的混合交叉赋权方法。

首先，参考专家意见确定二级指标之间的序关系；其次，计算协同创新中心各项指标之间的变异系数；最后，采用混合交叉赋权方法，通过相邻指标之间的变异系数之比来确定各指标间的重要性程度。在实际运用过程中，相邻指标之间的变异系数之比会出现小于1的情况，常规的做法是将相对重要性标度设置为1，即这两个相邻指标认为是同样重要，但这是不符合实际情况的，因为指标之间实际上存在有明显的序关系。针对该问题，在相邻指标之间确定一个权重差异基准，并将权重基准设置为1.2，1.2通常被认为是“略微重要”这一程度，在这个基准上结合变异系数之比计算相邻指标之间的相对重要程度。改进的G1法避免了确定相对重要程度时的主观及随意的问题，又引入了权重差异基准，使得权重的确定更加合理与客观。

具体计算步骤如下：

第一步，根据专家意见确定指标之间的权重排序，构建指标之间的序关系，记作：

第二步，确定评价指标的变异系数值，首先计算评价指标的标准差：

其次，根据标准差计算评价指标的变异系数：

第三步，根据评价指标的变异系数之比以确定相邻指标之间的重要性程度：

第四步，根据G1法确定各指标之间的最终权重。

根据上一步求得的相对重要性标度来求解第n个指标的权重，即：

通过上述的改进G1法，可以获取到每个指标组内指标的权重，即二级权重。接下来，通过CRITIC法来计算一级指标之间的权重，并以此来确定每一个指标的最终权重。CRITIC法是Diakoulaki等人[21]提出的一种基于综合考虑指标之间对比强度和指标之间冲突性的指标权重的确定方法。相比于熵权法（Entropy Weight Method，EW）[22]，CRITIC 方 法考虑了同一指标内部的差异程度以及不同指标之间的相关性，并有了较为成熟的应用[23]。江苏高校协同创新中心的绩效指标并不是孤立存在的，它们之间有着很强的关联性，因此CRITIC方法适用于此情况。CRITIC方法不仅通过标准差来衡量同一指标内部的差异程度，同时还使用相关系数来反映指标之间的相关性。标准差越大，同一指标下各评价对象的取值差异就越大，权重就越大；相关系数越大，指标之间的冲突性就越小，权重就越小。采用CRITIC方法确定权重的计算步骤如下：

由上述的改进G1法与CRITIC法，分别可获得一级指标内部的二级指标之间的权重以及不同一级指标之间的权重，将两者相乘计算最终的权重，最终获得所有指标的权重如表3所示，其中二级指标名称后的数值代表序关系。

表3 协同创新中心绩效评价各级指标权重

3.4 采用理想点法计算协同创新中心得分

采用适用于处理多属性判定问题的TOPSIS方法测算协同创新中心绩效得分[24]。该方法通过计算评价对象与正理想解和负理想解之间的距离来判断评价对象的优劣，指标值距离正理想解越近，得分越高。主要计算步骤如下所示：

表4 绩效评价结果等级表

由于利用TOPSIS计算出来的得分值较小，反映协同创新中心绩效的直观性较差，因此为了更好地反映协同创新中心绩效水平，本文中将所有计算出来的得分采用最大-最小规范化的方式映射到[3,10]的区间内。

4 绩效评价结果分析与展示

4.1 系统实现

在构建绩效评价体系的基础上，基于Python和MongoDB，设计开发了江苏高校协同创新绩效评价系统，该系统可实现基础数据、不同综合评价方法绩效评价结果的展示与对比功能。

综合评价方法既包含上文提出 的G1-CRITIC法，也包含ANP法、EW法、G1-EW法等3种经典的综合评价方法。数据展示功能，可以展示各协同创新中心2015年至2019年的基础指标情况和变化情况；绩效评价结果对比功能，则为用户提供了不同主体的评价结果，以及不同综合评价方法的对比结果。其展示界面如下图1所示。

图1 协同创新中心绩效评价系统界面

4.2 方法验证

为进一 步验证研究方法与系统的准确性和可信度，将上文构建的G1-CRITIC方法分别与基于客观赋权法、主观赋权法以及组合赋权法的综合评价方法进行对比，其中客观赋权法选择EW法，主观赋权法采用ANP方法，组合赋权法采用G1-EW法，最终的评分与评级均采用TOPSIS的方法。

首先，我们以2019年XX大学各协同创新中心在不同综合评价方法下的得分情况为例进行验证，具体见图2。

图2 XX大学协同创新中心不同综合评价方法下的得分情况

如图2所示，从最终得分来看，G1-CRITIC法与其他综合评价法最终得分差距不大，均在一定范围内波动；从最终的评级结果来看，EW综合评价法与其他三种评价法的评级结果有较大差距。

上述是以某一高校协同创新中心数据为样本进行对比分析，为进一步验证说明绩效评价系统的整体性能，接下来我们以立项建设的59个协同创新中心2019年的数据为样本进行验证分析。具体如图3所示。

图3 立项建设59个协同创新中心的不同综合评价方法评价结果对比分析

从图3中可见，采用的G1-CRITIC综合评价法与其他的综合评价法得分结果走势基本相同，但是其中基于EW法的综合评价方法，由于其赋权过程完全基于数值变化而难以反映主观因素因此会出现一些偏离的点，由此可见单一的客观赋权法难以在大量相关联的指标的情况下发挥出较好的效果，需要有主观因素的控制。而ANP等主观赋权法在进行赋权的时候需要花费大量的时间也精力，评价效率较低，且指标权重相对固定，无法应对实时数据的变化。

综上，本文所提出的赋权方法能够在基于客观数据变化的基础上，添加一定的主观因素，反映出数据之间的关联性，同时做到了准确与高效，能够对协同创新中心绩效实现客观而又有效地评价。

4.3 绩效评价结果分析

4.3.1 不同级别协同创新中心绩效评价结果分析

江苏高校协同创新中心分为国家、省级和校级三个级别，其中国家级包含省部共建协同创新中心。校级协同创新中心由各高校自行管理，因此，这里我们仅对国家级、省部共建和省级协同创新中心进行绩效分析。

从发展动态来看，国家级和省级协同创新中心整体发展相对稳定，但省部共建协同创新中心呈下降趋势，尤其是2015年至2016年期间绩效评价等级达A和B的占比下降23.08%，整体绩效水平下降幅度较为显著；不同级别协同创新中心绩效评价结果相对明显，国家级协同创新中心整体绩效水平遥遥领先且样本考察期间绩效评价等级达A和B占比一直保持100%。

图4 2015—2019年不同级别协同创新中心绩效评价等级达A与B占比

从静态角度来看，样本考察期间，国家级、省部共建及省级协同创新中心综合绩效评价结果分别为7.212、6.400和4.301分，呈阶梯状逐级降低趋势，但省级与国家级绩效评分差距较大。这从侧面反映江苏高校协同创新中心体系结构划分相对合理，但省级协同创新中心应进一步优化资源配置提高绩效水平。

图5 2015—2019年不同级别协同创新中心绩效评价综合得分

4.3.2 不同类型的协同创新中心绩效评价结果分析

根据“2011计划”重大需求划分，高校协同创新中心分为行业产业、区域发展、科学前沿以及文化创新四种不同类型。不同类型的协同创新中心的战略定位和发展目标各不相同。为深入探讨江苏高校协同创新中心整体绩效水平，我们从这一视角进一步分析不同类型协同创新中心的绩效水平，结果如图6和图7所示。

图6 2015—2019年不同类型协同创新中心绩效评级达A与B的占比

图7 2015—2019年不同类型协同创新中心绩效评价综合得分

从发展动态来看，行业产业类和文化传承类协同创新中心绩效评价等级达A和B占比处于不断上升趋势，而区域发展和科学前沿类绩效评价结果处于不断下降趋势，尤其是科学前沿类，2017年至2019年期间，绩效评价结果达A和B的占比为0，这一结果应引起重视。

从静态角度来看，2015年至2019年期间，行业产业类和区域发展类协同创新中心的绩效评价得分分别为6.107和5.723分明显高于文化传承和科学前沿类；行业产业类型与区域发展的协同创新中心达A和B占比高达66.42%和58.09%，而文化传承类与科学前沿类仅仅为34.28%与13.33%。

综合来讲，样本考察期间，行业产业类和区域发展类协同创新中心整体绩效水平较高；科学前沿类协同创新中心整体处于末位且呈持续下降趋势；虽文化传承类协同创新中心绩效水平呈上升趋势，但仍落后于行业产业和区域发展类协同创新中心。出现这一现象可有以下几种原因：（1）协同创新中心属性不同。文化传承类协同创新中心重点突出为国家重大决策提供支持的能力以及对文化传承的推动作用；科学前沿类则以学科交叉和基础研究为主，聚焦解决重大基础前沿科学问题，两者更偏重质的发展；而行业产业和区域发展类协同创新中心更加突出对服务地方经济社会发展的支撑作用，两者更偏向于量的发展。现行的评价指标更加侧重于量化的、显性的绩效分析，不能全面反映协同创新中心隐性的建设成效，如机制体制改革、支撑学科建设，标志性成果等方面。（2）投入力度不平衡。 从基础数据来看，行业产业类和区域发展类协同创新中心在人员、经费、场地或大型仪器设备等方面投入力度远远超过文化传承类与科学前沿类的协同创新中心。因此，为进一步加强科学前沿和文化传承类协同创新中心的建设，首先应加大人、财、物等创新资源的投入力度；其次协同创新的本质是体制机制创新，因此，同时还应持续深化体制机制改革，建立健全相对灵活的管理机制、利益分配机制、风险共担机制、激励机制和科研评价机制，满足各方协同体的动机和诉求，充分释放人才、资本、信息、技术等方面的创新活力。

5 结论与建议

本文基于改进的G1-CRITIC-TOPSIS法构建了江苏高校协同创新中心绩效评价模型，并在此基础上设计开发了绩效评价的可视化系统。通过与其他评价方法对比分析，表明本研究构建的绩效评级模型准确性强、可信度高，不仅充分考虑了客观和主观两方面的衡量标准，而且实现了基础数据和不同评价方法评价结果的展示和对比功能，同时该系统还可动态监测江苏高校协同创新中心数据变化情况。

基于上述研究方法和可视化系统，从动态和静态两个角度对江苏高校协同创新中心2015年至2019年的建设情况进行了实证分析，客观反映了样本考察期间江苏高校协同创新中心整体建设情况良好且体系结构划分相对合理；但同时我们也发现，江苏高校协同创新中心整体发展不均衡，省级协同创新中心的绩效水平与国家级绩效水平差异较大，且不同类型的协同创新中心绩效水平悬殊较大明显。

通过上述研究，本文提出以下对策建议：

强化顶层设计，优化调整协同创新中心体系建设。 当前国家正在优化调整国家创新体系，但江苏暂未能对标国家战略需求适时改革管理模式，如在碳达峰碳中和等关键核心技术领域尚未能及时布局新增省级协同创新中心；且从上文可知目前省级协同创新中心绩效水平不佳。因此，建议相关部门以此为契机，进一步强化顶层设计，以国家战略需求为导向，通过重组江苏高校协同创新中心体系，优化江苏高校协同创新中心整体布局。具体地，在全省范围内展开“能者上、平者让、庸者下”的公平竞争，探索建立“揭榜挂帅”遴选机制，把重大任务交到真正想干事、能干事、干成事的高校手中。对能干事、想干事且进展较好、成效明显的协同创新中心，持续支持并加大支持力度；对运行情况一般、研究领域有重合度协同创新中心，进一步凝练研究方向，重组或并入其他运行状况较好的协同创新中心中；对缺乏特色，长期无实质性进展的中心予以限期整改，整改无效的坚决撤销；在集成电路、碳达峰碳中和等关键核心技术领域新建若干省级协同创新中心。通过重组优化方式，让协同机制活起来，让创新动力强起来。

（2）深化绩效评价机制，建立分类分层评价体系，引导错位竞争，分类发展。 科学合理的绩效评价体系协同创新中心高质量发展的指挥棒。虽第二期建设周期江苏高校协同创新中心绩效评估方案结合不同类型协同创新中心属性特点，在二级指标选取方面进行了适当调整，但大部分评价指标仍然相同；且绩效评价主要以同行评价为主。分类评价是分类发展的基础，只有真正做到分类、分层评价，才可能引导产生多样性发展的局面。建议第三周期绩效评估方案要根据不同类型协同创新中发展目标和发展路径的差异性，进一步精准、细化分类评价指标体系或根据不同类型协同创新中心属性特点选择赋予指标不同的权重；在评价主体上，稳步引入第三方机构评价，根据不同评价对象合理确定不同评价主体的权、责、义，同时确认不同评价主体的决策权重；在评估方式上，对行业产业类等协同创新中心可采用现场答辩和实地考察相结合评估方式。

（3）强化信息化过程管理，动态监测协同创新中心运行情况。协同创新中心绩效评估每四年开展1次，平时管理缺乏抓手。建议充分利用江苏高校协同创新中心绩效评价可视化系统，根据各协同创新中心年度报告数据持续收集相关基础数据并进行分析，动态监测各中心发展情况。同时，对年度报告建立抽查和监督机制，委托第三方对各协同创新中心进行抽查，建立年度发展指数，作为平时成绩，纳入最终绩效评估结果中，建立“年度发展指数+绩效评估”相结合的考核机制。强化信息化过程管理，不仅能在一定程度上能避免绩效评估时部分中心数据陡然增大的夸大造成的为评而评、为资源而评的不良现象，而且有利于管理部门及时掌握协同创新中心整体运行情况。