基于AHP法的高校科研人员创新成果转化绩效评价指标体系研究

2019-05-21 03:25周恩毅刘启雷张洪英
关键词:科研人员科技成果绩效评价

周恩毅刘启雷张洪英

(1.西安建筑科技大学 管理学院,陕西 西安 710055,2.西安航空学院 经济管理学院,陕西 西安 710077,3.西安邮电大学 管理学院,陕西 西安 710061,4.西北工业大学 学生处,陕西 西安 710072)

在转变经济发展方式和经济结构调整的深化改革背景下,高校作为前沿性基础研究及应用开发研究的主“阵地”,居于国家创新体系的核心位置,其科技及知识成果的输出奠定了推动区域创新进程。研发人员作为高校科研创新最为关键的要素,依赖人才驱动大力开展成果转化和科技创新才能使我国能真正走上一条创新化发展、可持续化发展以及健康化发展的道路[1]。其中,科研人员绩效提升则是依靠人才驱动创新发展的重要突破口,调动科研人员科研创新及参与成果转化积极性是当前突破成果转化瓶颈问题的关键举措。

关于高校科研人员绩效评价与管理的研究,国内外学者主要聚焦于创新科技成果转化绩效考核指标体系设定与测度等方面。唐琳等构建了科研人员绩效考核指标体系,并采用数据包络分析模型对科研人员绩效进行评价,并从专利申请、论文发表等方面给出了改进措施[2]。张慧颖等通过创新扩散视角,构建了科技成果转化影响因素指标体系,为考核和提升科技成果转化效率提供了有效指标和路径[3]。蔡跃洲在对科技成果转化内涵界定基础上,指出国内在科技成果转化测度和绩效评价方面应做好指标体系设定、统计调查、测度评价等基础性工作,着力优化科技成果转化相关的法律和政策环境[4]。胡罡等针对我国高校科技成果转化现状和需求,从成果转化机制、创新成果转化绩效考核等方面进行了多项创新研究,显著提升了高校科技成果转化的效率[5-7]。梳理总结学者研究现有成果,虽然有些文献研究到了高校院所科研人员创新科技成果转化绩效考核指标,以及如何有效提升科技成果转化率,但几乎都没有建立一套完整系统的创新科技成果转化绩效考核指标体系,而且现有文献没有对创新科技成果转化绩效考核指标进行有效科学分类,明确各指标对总目标的贡献度大小。基于此,在构建高校科研人员创新成果转化绩效评价指标体系基础上,运用AHP法按照指标权重及各指标对总目标的贡献度对绩效评价指标进行了排序,明确创新科技成果转化考核重点,正确引导高校院所科研人员创新成果转化努力方向。

一、层次分析方法及原理

层次分析法(简称AHP方法)常用于复杂系统研究中,是一种定性和定量相结合的系统分析方法。所谓层次分析是将一个待决策目标(或分析目标)分解成若干个子系统,再将若干个子系统进行量化,成为可测量的指标[2]。层次分析法的基本原理可归纳为三个步骤(图1):(1)根据评价对象构建要素间的结构关系,建立阶层结构。(2)根据评价准则,对各要素相对上层要素(目标)的重要性程度进行比较,形成评价矩阵(通常借助专家打分的方法,形成要素评价矩阵)。依据该原理,在科研人员创新科技成果转化绩效评价分析中,可将成果转化目标依据系统分解的思想进行层层分解,从不可直接观测的抽象指标,由不可直接观测的评价目标分解至可直接测度或可量化的指标。(3)判断比较要素的权重,进而计算各层要素相对评价总目标的权重,进行要素重要性排序。

图1 AHP方法递阶结构

二、科研人员绩效评价指标体系构建

高校科研人员创新科技成果转化绩效考核指标体系在构建时,主要采取了以下思路:一方面借鉴学者研究成果,从文献中筛选经实践检验较为成熟的指标。例如,黄崇江、张建军等分别提出了科研团队中科研人员创新成果转化绩效评价的内容、范畴以及战略目标导向下科研人员绩效评价的思路,尤其是在评价思路方面,多数学者主张采用分层次、分纬度对科研人员绩效开展评价[8-9]。在具体指标设计方面,翁清雄从投入指标和产出指标两个方面构建了科研人员绩效评价指标体系,其中在产出指标方面,将科研人员获得的科研奖励、发表论文、出版著作、授权专利等作为基础绩效部分[10-11];而戚湧则认为知识产权收益与成果效益应作为衡量科研机构绩效的主要指标,其中成果转让收益可在某种程度上衡量科研创新能力[12]。在上述文献梳理与研究基础上,形成了创新成果转化中高校科研院所科研人员绩效评价初始指标体系。另一方面,在实际评价开始时邀请有关方面专家、学者对所遴选指标的可测度性、数据可获得性等进行了讨论,删除了初始指标体系中不符合上述要求的指标,最后形成了如表1的高校科研院所科研人员绩效评价指标体系。该指标体系分为两个层级,其中一级指标为不可直接观测指标,包括基础绩效、创新创意绩效、成果转化绩效3个关键指标。而其中,基础绩效则由科研论文发表、著作出版等4个二级指标构成;创新创意绩效由科研活动采用新思想、科研活动采用新技术等3个二级指标构成,均为客观定性指标,拟采用里克特量表采集数据;成果转化绩效由签订技术合同转让金额、对外技术授权数量等7个三级指标构成,指标拟采用区间数或精确数相结合的方式搜集原始数据。

在高校科研人员创新科技成果转化绩效考核指标体系构建过程中,坚持客观量化指标与主观定性指标相结合的原则。即关注了可显性化科研成果转化与应用的情况,又均衡了原始创新与成果输出的关系。

三、科研人员绩效评价指标权重确定

根据层次分析方法原理,在确定高校科研人员创新科技成果转化指标权重时,主要采取了调查问卷方式,借助面对面访谈、邮件及计算机网络等进行调查问卷发放。

1.问卷设计与修正

研究构建的高校科研人员绩效评价指标体系既包括可直接观测的客观量化指标,又包括不可直接观测的定性指标,因此在对科研人员开展绩效评价分析前,需要获取能够反应上述指标的科研人员绩效数据。依据构建的高校科研人员绩效评价指标体系,将绩效指标转化为问题项,设计的调查问卷结构如下:第一部分,基础信息部分。主要采集受访人员年龄、所在机构类别、从事专业领域等信息。第二部分,问卷主体部分。涵盖基础绩效、创新创意绩效及成果转化绩效三个方面的问题,均为客观题项。第三部分,开放式问卷。主要收集受访人员有关提升科研人员绩效、促进科研成果转化的对策建议。

表1 创新成果转化中高校科研人员绩效评价指标体系

2.问卷发放与回收

为保障调查问卷设计与研究问题的匹配性,在初始问卷设计完成后,选择西安航空学院、咸阳职业技术学院、西京学院、西安建筑科技大学、西安交通大学有限样本进行了发放,就预调研回收情况咨询了有关专家,对问卷中部分提项进行了修正。正式问卷发放历时4个月,采取面对面、网络及微信等方式共发放调查问卷300份,回收问卷286份,剔除无效问卷后,保留有效问卷253份,有效回收率为84.3%,将其作为高校科研人员创新科技成果转化绩效评价的样本数据。

3.数据整理与分析

为保障数据收集与问题研究的匹配性,数据整理后对其进行了信度和效度分析,并对其基本数据特征进行了描述性统计。

(1)数据的统计性描述。在统计性分析中,主要进行数据均值、极大极小值及偏度峰度分析(表2、表3)。依据数据统计结果,科研人员科技成果产出指标具有以下特性:①在省属普通本科院校、大专院校和民办高校中,科研论文及科研著作年均产出不高,3年内发表核心及以上期刊论文数处于1~3篇的受访人员占比最大,为53.25%;而出版著作数量则更低,其中80%以上的科研人员3年内没有著作出版。②科研人员申请专利及上级政府部门或科研单位科研成果认定的积极性不高,仅有少部分科研人员3年内申请了发明专利或争取了上级政府部门或科研单位科研成果认定,占受访人员比例均低于10%。③参与企业或相关单位委托课题已成为高校教师介入成果转化的重要形式,受访高校教师中有接近40%的人员,主持或参与横向课题研究。但从研究形式上看,还相对单一,与企业的研究合作多数限于承担起科研外包项目,高级合作研究形式(如联合研究)较少。④技术授权使用率较低。主要集中在对外技术授权和对内技术授权两个方面,其中对外技术授权量(即向企业或其他单位技术授权)明显较低,人均技术授权数仅为0.34;而接受外部技术授权数则更低,人均仅为0.09。⑤多数科研人员难以进行科技成果的自主孵化,受访科研人员中仅有不足15%的人员进行或参与了科研成果的自主孵化。

表2 高校科研人员创新成果转化绩效统计性描述(1)

表3 高校科研人员创新成果转化绩效统计性描述(2)

(2)数据的信度和效度检验。采用Cronbach方法对调查问卷回收的数据进行信度检验。借助社会科学统计分析软件spss18.0,检验其Cronbach系数(表4)。

表4 科研人员绩效评价问卷调研及数据Cronbach系数

借助探索性因子分析方法分析问卷的结构效度。经检验,KMO值为0.876,Bartlett球形检验值为593.065,认为可进行因子分析(表5)。由此可以判定,研究设计的调查问卷具有较好的结构效度,对于高校科研人员创新科技成果转化绩效评价具有较强的解释力。

表5 科研人员绩效评价调研问卷KMO和Bartlett球形检验值

综上所述,采集数据后调查问卷通过了信度和效度检验,可有效支撑后续的绩效评价与分析。

四、采用层次分析法对绩效评价指标进行排序

1.确定绩效评价专家数量

在对高校科研人员创新科技成果转化绩效评价实施过程中,综合考虑了研究需要及评价方法的适用性,在创新成果转化绩效评价指标赋权环节选择了20名相关领域专家组成评价小组;在创新成果转化绩效评价指标评分环节邀请了10名相关领域专家参与科研人员绩效评分。

2.确定绩效评价专家学科领域

在对高校科研人员创新科技成果转化绩效评价实施过程中,评价专家主要来自于以下领域:(1)科技管理部门人员,占20%;(2)人事部门绩效管理的相关人员,占20%;(3)科研团队负责人或其他科研一线人员,占40%;(4)政府及产业界相关人员,占20%。为避免绩效评价主体对评价结果客观性的影响,在绩效评价各环节由上述来自不同领域的人员构成名义小组。

3.邀请绩效评价专家打分

邀请专家对准则层相对于目标层、方案层相对于准则层的重要性程度进行打分。为计算方面,采用各个专家打分值简单平均数取整数作为指标相对重要性评价值。其中,依据层次分析方法的基本原理,打分准则依据表6。

表6 重要性判定的标度

4.准则层指标权重判断矩阵构建与计算

首先,借助专家打分情况,构建准则层相对于目标层的重要性矩阵(表7)。

表7 准则层(B)相对于目标层(A)的重要性矩阵

利用常用跟方法对其进行归一化处理。其中

(1)

为保障评价的一致性,在权重计算后需要对其进行一致性检验。借助式(2)对其进行一致性检验。为保障评价的一致性,而一致性检验需测算向量矩阵的最大特征值,研究采用方根法计算特征根λi,而最大特征根可应用式(2)对表7矩阵进行一致性检验。其中,N=3。

(2)

λmax=3.531,依据一致性检验参考标度,矩阵通过了一致性检验,说明专家关于准则层相对于目标层重要性的判断具有较好的一致性。由此,判定准则层权重向量:科研人员绩效评价一级指标可按照其重要性进行排序,为基础绩效(0.601)>成果转化绩效(0.259)>创新创意绩效(0.140)。可见,基础绩效仍为科研人员绩效构成最为核心的部分,而评价主体对于成果转化绩效重要性的认同感也在增强。

5.方案层指标权重判断矩阵构建与计算

依据上述关于准则层指标重要性矩阵构建思路,同样构建方案层相对于准则层指标重要性判断矩阵(表8~表10)。

表8 方案层相对于准则层(B1)的重要性矩阵(C1)

表9 方案层相对于准则层(B2)的重要性矩阵(C2)

表10 方案层相对于准则层(B3)的重要性矩阵(C3)

6.权重判定与排序

对高校科研人员创新科技成果转化绩效评价指标权重的判定,需结合各层指标相对与上层指标的重要性,计算加权权重,构建综合指标权重矩阵(表11)。

依据表11对高校科研人员创新科技成果转化绩效指标综合权重的判定,可得指标权重向量:

W=(0.053 9,0.067 1,0.200 7,0.279 3,0.036 5,0.052 8,0.050 7,0.010 2,0.012 0,0.016 0,0.025 1,0.048 0,0.052 3,0.095 3)

由指标权重向量结果可知,对高校科研人员创新科技成果转化绩效三级指标(方案层指标)进行排序如下:地市厅局级及以上档次科研成果认定、专利申请(批准)、成果转化收益、著作出版、核心及以上期刊论文发表、科研活动采用新技术、自主孵化项目、科研活动知识积累、企业委托或联合技术开发项目、科研活动采用新思想、成果(专利)交换使用、获得技术授权数、对外技术授权数、签订技术转让合同。

表11 综合指标权重矩阵

五、结 论

通过运用AHP法对高校科研人员创新成果转化绩效评价指标体系中指标按照权重及各指标对总目标的贡献度进行排序,研究结果表明,在高校科研人员创新成果转化绩效评价指标体系中,基础绩效作为绩效构成的核心部分,在绩效评价中的综合权重相对较高;其中,地市厅局级及以上档次科研成果认定、专利申请/批准、成果转化收益、著作出版及核心及以上期刊论文发表4项指标对科研人员创新成果转化绩效影响因子最大,表现出明显的导向性和倾向性。因此,在对高校科研人员创新成果转化绩效进行考核时,应重点考核地市厅局级及以上档次科研成果认定、专利申请/批准、成果转化收益、著作出版及核心及以上期刊论文发表4项指标,同时通过绩效考核形成一种导向,正确引导高校科研人员创新成果转化。

猜你喜欢
科研人员科技成果绩效评价
科技部等五部门联合发文开展减轻青年科研人员负担专项行动
科研人员揭示油桃果实表皮不长毛的奥秘
科研人员破译黑猪肉特征风味物质
我国科研人员揭秘银杏古树长寿机制
打通科技成果转化“最后一公里”
基于BSC的KPI绩效评价体系探析
非营利组织绩效评价体系的构建
气象部门财政支出绩效评价初探
科技成果
科技成果