公益类科研院所创新绩效评价

路文杰 ,刘 鑫 ,耿艳楼 ,张巧英 ,杨 京 ,秦 焱

(1.河北科技大学 经济管理学院,河北 石家庄 050018;2.国家半干旱农业工程技术研究中心 办公室,河北 石家庄 050050)

公益类科研院所作为公益类科研的骨干力量,对公益类科研院所进行绩效评价不仅是科研机构改革的重点任务,也是提高国家科创能力的重要途径,有助于深入施行创新驱动发展战略。为此,科技部、财政部与人力资源和社会保障部合力,共同制定了《中央级科研事业单位绩效评价暂行办法》[1],进一步推动中央级科研管理机构管理革新,构建囊括综合评估、年度抽检评估等评估类别的科研机构绩效评价长效管理机制,依次提出关于基础研究、公益类、应用研究等科研机构的绩效评估指标架构。

本研究立足于公益类科研院所绩效评价政策的施行背景,以公益类科研院所的公益服务目标为导向,从创新效益、创新效率、创新成果转化和创新发展四个维度创建公益类科研院所创新绩效评估体系,采用模糊综合评价法对院所实施创新绩效综合评价,借此将评估结果作为财政扶持的重要参考,为迅速推进以创新绩效为中心的科研院所财务拨款规制,引导构建以政府为主导的科研院所创新体制奠定基础。

一、相关研究

公益类科研院所是指在农林、地质勘探、环境资源、技术咨询、情报服务等领域从事科研工作,提供于国家和社会公共技术服务的科研机构,是开展公益科研的核心力量。公益类科研院所绩效评价是指相关部门通过选用相应的评价方法与评价体系,开展对公益类科研院所的创新水平、效益、成果等方面的综合评价[2]。

科研院所绩效评价一直是国内外学者研究的热点。20世纪50年代,国外学者开展了对科研院所绩效评价的探究。评价指标体系构建方面,文献[3]构建了包括资源使用率、成果影响力、协调发展能力与科学研究能力四个维度在内的指标体系,开展对科研院所的绩效评估;文献[4]将竞争价值理论纳入科研院所绩效评价的研究框架,从人员绩效、组织运营绩效、影响力与发展能力、科研产出水平等方面对科研院所进行绩效评价;文献[5]选取了科研影响力与社会效益两个维度的指标,探究科研院所的绩效水平。评价方法选用方面,文献[6]基于社会网络原理与社会资本,采用文献计量法对科研绩效进行评价;文献[7]将定性与定量因素相结合,采用层次分析法对西班牙的科研院所展开研究。

国内学者对科研院所绩效评价研究起步较晚,采用不同评价方法和指标体系对其进行了一系列探索。其中,文献[8]采用模糊评判模型与层次分析法相结合的数理分析方法建立了农业科研院所绩效评估体系,囊括创新水平、管理水平、发展水平、服务转化能力、团队能力、科研条件等六个维度的指标,并通过模糊评判模型对研究所多个指标进行量化。文献[9]采用层次分析法和线性综合评价法,引入协同创新思想和要素,构建了由创新投入、创新产出、成果转移转化、创新保障和协同创新维度组成的公益类科研机构创新绩效评价体系;文献[2]基于协同创新理论,采用平衡计分卡方法建立了公益类科研院所绩效评价体系,涉及创新成本、创新效益、管理制度、学习发展、协同创新等五个维度;文献[10]采用DEA 方法测度了农业科研机构创新绩效,其中输入指标包括科研机构从业人员、当年内部经费支出,输出指标包括发表论文及专著数量、专利授权和技术性收入,开展农业科研院所创新绩效的实证分析。文献[11]基于网络层次分析法,以产业化为导向,构建了包含人力资源、科研条件、创新行径、创新效益等指标在内的新型科研机构绩效评估体系;文献[12]基于层次分析法,构建了包括科研投入、科研产出、科技条件平台和国际科技合作四个方面的科研院所指标评价体系,对广东省科研院所的科技创新进行综合评估。文献[13]采用专家打分法,以职责目标为导向,对省属公益性科研院所进行了绩效评估,包括职责目标、科技产出和运行管理三个一级指标。

梳理上述文献发现,学术界对科研院所绩效评价的研究主要分为两点:一是评价方法,主要选取层次分析法、模糊评判法、数据包络法、平衡计分卡等方法构建评价体系;二是指标选取,侧重于科研院所的创新投入和创新产出指标,对公益类科研院所公益服务类指标较为欠缺。基于此,本文结合公益类科研院所研发投入→成果产出→服务成效的创新过程,从创新效益、创新效率、创新成果转化、创新发展四方面构建公益类科研院所创新绩效评估指标体系,以国家半干旱农业工程技术研究中心(以下简称“国家半干旱中心”)为实例,通过模糊层次综合评价法科学测度院所的发展实力和创新绩效水平,对公益类科研院所的创新能力和服务经济社会发展能力的提升提供借鉴。

二、研究设计

(一)指标构建原则

1.完整性与全面性原则

公益类科研院所的运营规律与创新绩效水平要通过评价体系的信息充分表露出来,这意味着评价体系的构架要遵循完整性与全面性原则,应依据行之有效的系统方法来细分评价指标,将评价目标的相关内容用目标评价体系完整、全面地进行反映。公益类科研院所工作任务多样,包含科研任务与服务任务,且受众多样,对其进行评价的主体众多,可以从不同的角度对科研院所的创新绩效进行全方位评价,以保证评价结果的完整性与全面性。

2.便于操作与执行原则

在公益类科研院所创新绩效评价的过程中,将评价主体具体化与明晰化是评价工作高效操作与执行的前提。就可量化指标而言,在遵循可测性与可比性的基础上,将其进行量化;就无法进行量化的指标而言,可通过定性方法进行测度。为保证指标操作的顺利进行,应选取代表性强、影响力大的综合性指标,避免模糊与繁杂的指标出现。此外,评估指标应具备可获取性原则,且同一准则层的指标具备独立性特点。

3.科学性与导向性原则

针对公益类科研院所创新投入与创新产出的特点,要从科研的角度,综合全面地反映整体创新情况,抓住主要信息,对科研院所创新绩效的实际水平给予一定的反映,保证绩效综合评估的全面性与可信度。此创新绩效评价体系应侧重于公益类科研院所以目标为导向的评价。通过创建的创新绩效评估体系可向被评价主体传递一些导向性信息,如应当做什么,应当重视什么等,将被评价主体的科研目标与公益类科研院所的发展需求紧密结合。

(二)指标筛选

评价指标的选择是公益性科研院所创新绩效评估的重要环节。基于上述指标体系的构建原则,围绕创新效益、创新效率、创新成果转化和创新发展4个维度构建公益类科研院所目标导向的创新绩效评价体系,同时在一级指标的基础上构建了6个二级指标和22个三级指标(见表1),实现对公益类科研院所创新绩效的评价。

表1 公益类科研院所创新绩效评价指标体系

1.创新效益

公益类科研院所创新效益是指科研院所通过创新活动获得的超额收益,主要包括经济效益和社会效益。经济效益是科研院所创造自身经济收入的能力,社会效益是科研院所的研究项目实施后对社会的贡献能力,体现了公益类科研院所公益服务的目标导向。

2.创新效率

公益类科研院所创新效率代表科研院所在规定期限内的产出与投入之比,包括创新投入与创新产出。其中,科研院所在创新活动中的投入强度代表了科研院所的创新投入能力,科研院所各要素组合产生的实际成果代表了科研院所的创新产出能力。

3.创新成果转化

公益类科研院所创新成果转化是指科研院所为了达到高产出水平目标,对通过研发活动所产生的创新成果作进一步延伸转化、试验与应用,据此获取的新技术、新项目等成果转化收益。成果转化能力在很大程度上决定了创新活动的成败,是评价公益性科研院所创新能力的重要指标。

4.创新发展

公益类科研院所创新发展是指科研院所通过生产、研发等创新经营活动,不断拓展自身积累的发展潜力,体现了科研院所依赖创新活动持续发展的目标,是评价公益性科研院所创新发展实力的重要指标。

(三)研究方法

层次分析法(AHP)是一种定性和定量相结合的决策分析方法,将目标分解到不同的层次。然而,在实际决策问题时,单标度法不能详尽地描述决策问题,具有很大的不确定性,模糊数可以将不确定性语言进行详细描述,因此,结合传统的层次分析法和模糊数理论的量化,将难以量化的定性指标转化为隶属度函数,采用模糊数学集进行计算,克服了评判标度单一和不确定性大的缺点。因此,与其他绩效评价方法相比,模糊层次综合评价法(FAHP)不仅考虑了专家同行的主观判断,而且量化了绩效目标,它是一种将定性评估转化为定量评估,并将复杂决策问题简单实用化,以此来进行建模评价的系统分层的分析方法。

三、实证分析

(一)国家半干旱中心试点现状

在中华人民共和国科学技术部和河北省科学技术厅共同领导下,国家半干旱中心成为全国首个半干旱农业工程技术研究与成果转化机构,并于2019年成为创新绩效评价试点单位。国家半干旱中心依据《河北省省属科研机构创新绩效评价试点实施方案》和绩效评价指标等有关要求,履行国家工程中心公益职能,积极开展科研、成果转化、科学技术服务等工作,并成功地完成既定目标。在争取基本科研经费、人均科研经费、承担各类科技项目、科技成果产出等方面均比2018年有较大幅度增长。同时,国家半干旱中心履行科技服务职责,推动农业节水抗旱公益事业发展,2019年制定技术规范4 项,推广科技成果19项,开展节水技术产品咨询280人次,组织完成技术成果对接58项,完成规划设计服务9项,促进技术合作6项,服务产业活动较2018年增长25%。

(二)模型构建与实证结果

1.层次分析法设定指标权重

指标权重的设定会直接影响评判结果的精确性,对最终评判结果有着十分重要的影响。本研究邀请10位专家组成评审团,让小组成员利用“1-9标度方法”对每个层次各项指标的重要性进行判断,获得评判结果,进而构造出两两相比判断矩阵,这里仅选取准则层指标判断矩阵、A1指标层判断矩阵、B1指标层判断矩阵列示。

分析检验结果可知,CR均小于0.1,这表明判断矩阵均通过随机一致性检验。由此确定科研院所创新绩效评价实施效果评估指标权重,见表2。

表2 科研院所创新绩效评价实施效果评估指标权重

2.模糊综合评价确定评价结果

依照国家半干旱中心的具体概况,邀请10位专家评估各个指标的隶属度,建立模糊评判结果,见表3。

由表3可得22个指标对5个评价等级的隶属度矩阵Rall,从左向右各列分别对应五个评价等级,矩阵第i行对应表3中第i个指标的评价结果。

表3 国家半干旱中心模糊评判结果统计

续表3

由层次分析法知,各指标权重依次为Wall=(0.051 3,0.025 7,0.025 7,0.024 5,0.125 0,0.048 3,0.110 0,0.024 6,0.057 6,0.121 8,0.063 7,0.026 4,0.006 2,0.010 5,0.010 5,0.058 9,0.041 6,0.020 2,0.020 2,0.031 9,0.063 7,0.031 9)。目标层的评价结果Cij=Wall*Rall。因此,可求得Cij=(0.2148,0.3198,0.308 4,0.106 2,0.050 8)。

由上式可知,评价等级为“良好”对应的最大隶属度为0.319 8,根据隶属度最大原则,国家半干旱中心模糊综合评判结果为“良好”。为了更直观地了解国家半干旱中心创新绩效水平,将模糊综合评价的结果按照公式F=Cij*XT转化为分值,式中X为评价集中每个指标绩效等级对应的分数值所组成的向量,见表4。

表4 科研院所创新绩效等级评分量化结果

将模糊评价结果转化为分值,则国家半干旱中心的综合评价得分为F=Cij*(95,85,75,65,55)T=80.416。

(三)结果分析

通过层次分析法计算科研院所创新绩效评价指标权重发现,一级指标创新效益与创新效率权重较大,分别为0.410 5,0.321 2;创新成果转化和创新发展的权重次之,分别为0.140 9,0.127 4。二级指标社会效益和创新投入能力的权重较大,其他二级指标权重较小。评价指标体系中三级指标的推广新技术和新产品数量、研发服务平台数量和研发投入比重的权重相对较大,其他三级指标权重均小于0.1。

基于模糊层次分析法计算得到国家半干旱中心创新绩效水平的评价隶属于(优秀,良好,一般,较差,较)的隶属度分别为(0.214 8,0.319 8,0.308 4,0.106 2,0.050 8),结合科研院所创新绩效等级评分量化结果得出国家半干旱中心创新绩效水平的综合得分为80.416。

分析结果可知,依据加权平均原则,利用科研院所创新绩效等级评分量化域得到国家半干旱中心创新绩效水平综合得分为80.416,创新绩效等级接近良好等级的取值范围下限,因此,国家半干旱中心的创新绩效水平仍有较大的提升空间。

依据最大隶属度原则,结果分析如下:

第一,推广新技术和新产品数量、高级职称人员占比的创新绩效评价指标等级评价为优秀,这说明国家半干旱中心在推广新技术方面表现不错,且拥有较多的高水平科技人才,团队建设能力较强。

第二,人均科研经费收入、培训人次、开展技术示范辐射面积、研发人员占比等三级指标的创新绩效等级评价为良好,这说明国家半干旱中心的创新效益较好,研发团队庞大。

第三,研发投入比重、成果转化收益和净资产增长率这三个创新绩效评价指标的等级评价为一般,同时,根据层次分析法得到三级指标研发投入比重的综合权重较大,成果转化收益和净资产增长率的综合权重次之。结果表明,改进该科研院所的创新投入占比可在一定程度上提高其创新绩效水平。

第四,发表论文专著数量、获得技术授权数量等创新绩效评价指标的等级评价为较差,这表明国家半干旱中心创新产出和创新成果转化能力较弱,在这方面仍需加强。

四、结论与建议

(一)结论

本文立足于公益类科研院所绩效评价的实施背景,以公益服务为导向,从创新效益、创新效率、创新成果转化和创新发展四方面构建了科研院所创新绩效评估模型,以国家半干旱中心为实例,全方位、多角度地对国家半干旱中心创新绩效水平进行了模糊层次综合评价,通过模型分析发现,科研院所在运作过程中存在研发投入比重较小,创新成果转化能力较弱,创新产出水平较低等问题,有待进一步改进。

(二)建议

1.加大研发投入力度,推动创新进程

首先,各级政府可建立科研基地,推动资源共享,借助于优势条件来形成更高规模的创新平台,为科研人员提供创新空间,推动创新资源的最大化利用;其次,政府应针对不同科研机构的专业特点,出台相应的创新投入支持措施,加强对科研院所的支持力度。

2.提升创新成果转化能力,助推创新建设

首先,科研院所应当建立健全成果管理机制,规范与明确成果转化活动的监督,明晰成果转化、评价奖赏、知识产权等责任对象。其次,科研院所应当完善以创新成果转化为主的岗位管理制度,优化科研人员的离岗与兼职等管理方案。

3.提高创新产出水平,聚集创新浓度

首先,科研院所应转变效益理念,强化科创效益,增加高水平单一的科创项目,在保证成本效益的前提下开展科研工作;其次,科研院所应当完善激励制度,有效激励在产品研发、技术创新等活动中作出成绩的科研人员,加强创新队伍建设,营造良好的科创环境,激发科研人员的创新热情。