●王勇 卢长江 任慧 马君
人才项目科技创新成效评估指标体系研究
●王勇卢长江任慧马君
本文通过文献研究、典型调查和专家研讨等方法,构建了人才项目科技创新成效评估模型,进而设计了人才项目科技创新成效评估指标体系,包括科技创新资源集聚、科技创新绩效创造、科技创新行业影响和科技创新环境变化四个维度,分析了指标权重的设计方法,并提出了该指标体系的两种应用方式。
人才项目科技创新成效评估指标体系
“十三五”规划中明确提出:“创新是引领发展的第一动力。必须把创新摆在国家发展全局的核心位置,不断推进理论创新、制度创新、科技创新、文化创新等各方面创新,让创新贯穿党和国家一切工作,让创新在全社会蔚然成风。”而科技创新战略的实施关键在于要有足够的科技人才。2008年,中央启动了海外高层次人才引进项目——“千人计划”,各省市也纷纷出台了各类地方人才引进项目,如北京的“海聚工程”、南京的“321计划”、无锡的“530计划”、深圳的“孔雀计划”等,很多人才项目的支持力度都高于国家“千人计划”。此外,还有很多不限于海外人才的人才项目,如江苏省的“双创计划”等。目前,人才项目的有效实施和科学发展亟需建立一套评估指标体系。一方面,为保障这些人才项目的实施,政府投入了大量的资金和资源,需要对项目实施成效进行评估;另一方面,这些人才项目的主要目标是充分发挥人才进行科技创新的能动作用,但现阶段还主要围绕人才的寻访、引进、评选和配套服务展开,对人才科技创新作用发挥情况还缺少有效的评估指标体系。此外,对人才科技创新成效进行评估也是区域和国家科技创新体系建设的重要组成部分。
现有的人才创新成效评估相关研究主要包括两类:一类是区域创新绩效评价;另一类是基于人才工作角度的人才项目评估。
(一)区域创新绩效评价方法
目前国内外关于创新评价的研究主要集中于区域创新绩效评价,可分为以下三类:(1)研究区域创新投入对经济增长的贡献率。著名的柯布-道格拉斯(Cobb-Douglas)生产函数便是此方向的典型研究成果,索洛(Solow,1956)从经济增长速度方程中分离出技术进步,而后经济学者们通过建立各种计量模型做了大量延伸研究。国内学者也进行了相关研究,探讨区域创新投入与经济增长的相关关系或利用参数法评价区域的技术进步贡献率。该方向只考虑了经济增长产出指标,难以全面衡量投入对经济社会发展多方面的影响。(罗掌华、杨志江,2011)(2)研究区域科技资源的配置效率。该方向大多局限于定性研究,在定量研究中,一种研究路径是直接用创新活动的产出指标来衡量区域创新资源的配置效率,如徐建国(2002)运用加权平均法对知识形态成果、科技转化效果和经济结构优化效果三方面对区域科技资源配置能力进行分析,另外一种是利用投入产出权值总量比较法来判断资源配置效率的高低,主要用于地区间的比较分析。(3)研究区域创新投入产出的转化效率。主要是运用非参数方法(以DEA为主)来评价多投入转化为多产出的区域创新绩效问题。
从国内外学者对创新绩效的实证研究看,创新绩效评价基本上都围绕创新产出和产出效率展开,评价指标体系框架大体相同,只是由于不同报告的评价目的和评价对象存在差异,而在具体指标选择上有所区别。国外现有的创新评价报告主要有欧盟的《创新联盟记分牌》(Innovation Union Scoreboard)、世界知识产权组织的《全球创新指数》(The Global Innovation Index)、英国的《年度创新报告》,国内也陆续出了《中国区域创新能力报告》、《中国城市创新报告》、《中国创新蓝皮书》等系列丛书以及一些地方创新报告。
1.全球创新指数(GII)
全球创新指数的编制来源于两个二级指数:创新投入和创新产出,依此测算出全球创新指数和创新效率。5个“创新投入指数”分别是:制度(政治环境、管理环境和商业环境)、人力资本和研究(教育和研发)、基础设施(信息/通信技术、能源和一般性基础设备)、市场成熟度(信贷、投资和贸易竞争)、企业成熟度(知识型工人、创新链和知识吸收);2个“创新产出指数”为:知识和技术输出(知识创新、知识影响和知识扩散)、创新输出(无形资产创造力、创新产品和服务以及在线创新)。共包括7个一级指标、21个二级指标和84个三级指标。这些指标相对独立又相互联系,综合反映了世界各个国家和地区在创新方面的优劣势、能力和绩效。全球创新指数由创新投入指数和创新产出指数的平均值计算而成,二者的比值即为“创新效率指数”。
2.创新联盟记分牌(IUS)
IUS采用了3类指标,分为8个创新维度。第一类指标为“创新驱动因素指标”,包括3个维度:人力资本(教育);开放、卓越、有吸引力的研究体系;财政与支持。第二类指标为“企业活动”,包括3个维度:企业投入(研发投入和非研发投入)、企业间和公私联系(创新企业间及私营部门与公共部门间的联系)、智力资产(知识产权)。第三类指标为“产出”,包括2个维度:创新主体(已将创新引入市场或组织内的公司数量)、经济效益(创新在就业、出口和销售环节带来的经济效益)。IUS通过25个基本指标构成的评价指标体系对欧洲近30个国家进行排名,该系列报告在国际上具有一定的权威性。
3.国家创新指数
《国家创新指数报告》由中国科学技术发展战略研究院自2011年开始发布,该指数从创新资源、知识创造、企业创新、创新绩效和创新环境5个方面构建了国家创新指数的指标体系,由30个二级指标组成。
4.地方创新报告
首都科技发展战略研究院编制的《首都科技创新发展报告》中,构建了科技成果、经济产出、结构优化、绿色发展和辐射引领五个方面共24个指标的创新绩效指标体系。
国内外关于区域创新绩效的评价,虽以科技创新为评价视角,但主要是从国家、城市或企业的层面而不是人才项目的层面进行的创新绩效评估,因此并不能直接应用于评估人才项目的科技创新成效。
(二)基于人才工作的人才项目评估
为深入推进人才工作的发展,一些地方政府部门已开始进行人才项目的评估。本文对深圳、成都、北京三地进行了调研,发现这些城市都还没有构建系统地评估科技创新成效的指标体系,而这是评估人才项目实施成效的关键。
1.深圳人才项目评估
深圳市海外高层次人才计划(又称“孔雀计划”)分为个人项目和团队项目,截至2015年8月,已评选国(境)外高级专家和留学回国人员600多位,孔雀团队59个。在项目团队入选1年半到2年的时间,组织部会进行一次中期评估,评估重点考核的是人员到位、财务使用、项目进度等情况。除了项目评估,深圳市对人才政策本身也进行了一次评估,主要是综合评估政策效用和团队发挥的作用等方面,其中个人项目由用人单位负责每年对人才进行评价考核。深圳市“孔雀计划”评估由6位市相关专家组成的“孔雀计划”政策评估组指导完成。评估组采取问卷调查、访谈座谈、实地考察等多种方式,到各区(新区)和市人力资源保障局、市科创委、市财政委、市住建局、市教育局、市卫人委等相关单位进行调研,实地走访“孔雀计划”团队,召开“孔雀计划”人才和团队座谈会,对各领域的高层次人才发放调查问卷,最终根据调查结果对“孔雀计划”的整体实施情况、实施效果进行评估。
深圳对“孔雀计划”的项目评估重点是对入选者获得的荣誉称号、发明专利、承担国家项目、发表论文,以及企业的销售额、净利润等方面进行调查,选取的评估指标较为松散,只是简单挑选了几个较为关注的指标,未形成评估指标体系,缺乏一定的系统性、科学性和延续性。
2.成都人才项目评估
2011年,成都开始实行海外高层次人才计划,市财政每年设立专项资金1.2亿,包括长期、青年、短期、团队四类项目,目前已引进253名海外高层次人才专家。2014年成都市对人才计划进行了评估。由财政局牵头,委托会计师事务所对1.2亿专项资金的使用情况进行综合绩效评价,注重资金使用后产生的效益。成都市制定了详细的评估指标体系,由项目决策、项目过程和项目结果3个一级指标构成,分别占30分、30分和40分,一级指标分解为10个二级指标,并分别赋予一定的权重,二级指标最终分解为25个三级指标,其中项目结果包括经济效益、社会效益、生态效益、示范性作用四个二级指标,评估组通过不同形式考核各三级指标的负责部门,并进行打分,最终计算得到各级指标的评估结果。
成都的人才项目评估相比深圳较为系统,构建了一套相对完善的评估指标体系,但其重点在于从财政资金支出和各部门的工作绩效角度进行项目实施评估,对项目本身带来的成果,尤其是科技创新成效方面的关注不足。
3.北京“海聚工程”调查
北京“海聚工程”尚没有正式进行评估,但作为评估的准备工作,已于2012年和2013年对入选北京“海聚工程”的创业类人才和工作类人才进行了问卷调查,其调查的要素可以视为评估关注的指标。对创业类人才的调查包括创业企业发展、生活配套服务、政策环境、融资环境、技术与人文环境、商业网络环境等维度。对工作类人才的调查包括定量与定性两个层面,定量层面,重点考察人才承担的教学/临床任务量、参与课题/项目量、科研成果及专利数量、培养及引进人才数量等要素;定性层面,对于科研类工作人才,重点考察教学/临床治疗效果,以及对单位学科建设、实验室建设、团队建设、国内外学术交流、制度建设、提高声誉等方面的作用,对于企业类工作人才,则重点考察人才对企业经济效益、技术水平、团队能力提升的作用。
目前关于科技创新评估主要体现于“绩效”,重点关注投入与产出相对应的“率”,并且是从区域层面而非人才项目的视角进行创新成效评估;国内的人才项目评估基本是从政策评估角度对人才项目的目标、实施过程和投入产出情况进行评估,缺少对人才项目科技创新成效的系统评估。本文旨在建立一套针对人才项目科技创新成效的评估指标体系,重点关注的是人才项目本身给区域带来的科技创新成效。
根据现有的相关研究方法,本文提炼出关于科技创新成效评估的关键要素,并组织了多位专家进行了深入研讨,专家统一认为,作为成效评估模型,应对人才群体所产生的整体影响进行综合评估。第一,从其所在的行业入手,考察其创新创业工作对整个行业产生的影响;第二,从区域科技创新环境入手,考察人才项目的实施对区域科技创新环境产生的变化。基于文献研究、实地调研和专家研讨,本文构建出人才项目科技创新成效评估模型,如图1所示。
本文构建的人才项目科技创新成效评估模型由科技创新资源集聚、科技创新绩效创造、科技创新行业影响和科技创新环境变化四个维度组成:(1)人才项目的起点是吸引和培养更多的人才,因此其首要成效便是人才在科技创新资源的配置与集聚上的作用,这些资源包括承担的课题/项目、技术引进、人才培养和吸引的资本投入等;(2)资源集聚之后,人才在创新创业的过程中实现的成果,一方面是知识创造,包括获得授权的专利和发表的高质量论文,另一方面是经济价值,指的是创新性成果转化为产品的数量以及所取得的经济效益;(3)基于资源集聚和绩效创造,人才对高新技术行业、产业发展等也应有所影响,包括产业链的合作和促进国内外的学术交流等;(4)最后,人才项目的实施对于区域的科技创新文化氛围、政策水平和创新服务平台等整体环境将会产生一定的影响作用。四个维度既共同构成了人才项目科技创新成效,它们之间也存在着递进、闭环的逻辑关系。
图1 人才项目科技创新成效评估模型
(一)评估指标体系的构建
方新(2001)指出中国的科技指标体系应注意三个方面:(1)定性指标与定量指标;(2)描述指标与分析指标的结合,宏观指标与微观指标的结合;(3)指标之间的相关性,从单纯的描述和用比较分析方法逐步深入到可直接反映、评价事物间相关程度和发展趋势的研究方法。根据上文构建的人才项目科技创新成效评估模型,对四个维度的指标进行分解细化,可以初步构建人才项目科技创新成效评估指标体系,进而利用专家研讨法对评估指标体系进行过滤、净化和筛选,确定定量和定性指标,通过层次分析法对各级指标进行赋权,最终得到由四个维度组成的人才项目科技创新成效评估指标体系,如表1所示。其中,科技创新资源集聚指标和科技创新绩效创造指标是从个体层面进行的定量分析;科技创新行业影响指标和科技创新环境变化指标是对整体层面的定性评估,由相关人才、单位提供可以支持各项评估指标的材料佐证,由专业评估机构进行打分。
表1 人才项目科技创新成效评估指标体系
(二)指标权重的确定
对科技创新成效评估指标的赋权采取的是层次分析法,由来自管理学、经济学、教育学、人力资源、能源环保、电子信息等不同专业领域的专家对指标进行打分。专家在各级指标的判断矩阵中,采用1-9标度法对各级指标相对于目标层的重要性进行两两比较(1:同样重要,3:稍微重要,5:明显重要,7:强烈重要,9:极端重要,2、4、6、8介于其间),并确保每一个判断矩阵都通过一致性检验,而后将各位专家赋予的权重进行平均,便得到各级指标的最终权重。具体权重计算方法如下所示:
1.一级指标赋权
(1)建立判断矩阵
科技创新成效评估指标体系的一级指标层共有四个指标,建立一级指标的判断矩阵,采用1-9标度法对一级指标相对于目标层的重要性进行两两比较,以某位专家的一级指标判断矩阵为例,如表2所示。
(2)一致性检验
层次分析法是将对主观判断尽可能地转化成客观描述,其正确与成功取决于客观成份能否达到足够合理的地步,因此需先对判断矩阵做一致性检验。其方法是计算判断矩阵的最大特征值λmax,一致性指标CI=(λmax-n)/(n-1),为了度量不同阶数判断矩阵是否具有满意的一致性,需引入判断矩阵的平均随机一致性指标RI,当阶数大于2,即指标数超过2个,判断矩阵的一致性比率CR=CI/RI<0.10时,即认为该判断矩阵具有满意的一致性。仍以表31为例,可计算得到最大特征值λmax=4.05,CI=(4.05-4)/(4-1)=0.017,查表可得四阶矩阵的RI=0.89,因此可得CR=0.017/0.89=0.020<0.10,通过一致性检验。
表2 一级指标判断矩阵
表3 和积法计算权重
表4 二级指标权重计算表
(3)计算权重
采用和积法计算权重,首先将一级指标判断矩阵按列归一,用每个元素除以所在列全部元素之和得到归一矩阵,然后对归一矩阵按行加和得到新的一列值,对该列值再做归一即得到权重。
由表3可见,该位专家对资源集聚的权重为0.53,绩效创造的权重为0.29,行业影响的权重为0.12,环境变化的权重为0.05。
2.二级指标赋权
资源集聚指标由3个二级指标构成,绩效创造指标由2个二级指标构成,行业影响指标由2个二级指标构成,环境变化指标由3个二级指标构成,采用专家赋权法可得到4个判断矩阵,并采用和积法计算得到权重,如表4所示。
3.三级指标赋权
10个二级指标由30个三级指标构成,共构建了10个三级指标判断矩阵,采用和积法计算得到权重,与前两级指标方法一致。
最后,将各位专家赋予的权重进行平均,便得到最终各级指标的权重,科技绩效创造成为最重要的一级指标,权重为0.36,权重最小的是行业影响,为0.17,环境变化指标权重为0.25,资源集聚指标权重为0.22,其余各级指标的权重结构如表1所示。
本文构建的人才项目科技创新成效评估指标体系,既可以进行纵向比较,也可以应用于横向分析。
(一)纵向比较
人才项目具有较为明确的群体特征,本文开发的评估指标体系具有较强的针对性和连续性,可以采用一致的评估指标数据统计口径和统计方法,对项目实施的成效进行纵向比较,分析其年度之间的变化特征与发展趋势。
纵向比较体现的是人才项目实施成效的发展速度和发展水平,评估的是人才群体的绩效产出,分析增长率的变化趋势。其中,定量指标注重的是科技创新增量和效率的提升;定性指标是评估人才对科技创新行业发展、对外交流、环境变化等方面表现出的推动和影响作用。纵向比较注重的是指标年度之间变化的观察和比较分析,从而逐步积累人才项目的发展数据和连续性认识,提高评估指标对项目实施成效的解释力和预测力。
(二)横向分析
人才项目分为中央和地方两种,地方人才项目又分为省级、市级、区县级等,不同地区间由于资源、经济社会发展水平等条件的差异,为人才提供的创新环境存在较大的差异,人才项目的实施成效也会有显著的不同。通过横向评估,可以分析不同地区在人才的引进、服务和支持策略的优劣及效率上存在的问题,作为鼓励先进、鞭策后进的依据,并可对数据资料深入挖掘,探究地区差异形成的原因以及各项指标间的结构、作用关系。
以应用于北京市的“海聚工程”为例,“海聚工程”是面向北京市所有区县的海外高层次人才引进项目,为了分析不同区县的海外高层次人才所产生的影响,可以分区县进行横向比较。不同区县之间由于诸多条件的差异,人才集聚的类型、为人才提供的创新环境也有所不同。横向评估主要侧重于“海聚工程”的实施对各区县在科技创新环境变化上产生的影响差异,分析不同区县在海外高层次人才的引进、服务和支持措施上进行的创新和所取得的成效。行业影响和科技创新环境变化的指标属于定性指标,由第三方评估机构通过佐证材料对各个区县的科技创新文化、科技创新政策执行水平和科技创新平台服务水平进行综合判断和比较,对各类材料进行编码和分析,同时,对比较数据应根据各区县的不同起点进行解读,对数据资料深入挖掘,探究差异形成的原因以及各项指标的发展态势。
人才项目是中央及地方各级政府为实施人才战略而制定的吸引、激励、支持和服务创新创业人才的政策组合,人才项目实施的闭环需要建立一个科学有效的创新成效评估指标体系。现有的人才创新成效相关理论研究,主要是针对区域或企业创新绩效层面;人才成效评估相关工作实践,则主要是关注财政投入及其结果产出,缺少将人才项目与科技创新成效进行系统地融合。本文构建的评估指标体系则在这方面进行了有益地探索和尝试,不仅关注人才群体产生的客观成效,也融入了人才及项目对整个行业和社会所带来的软影响力。本文构建的评估指标体系由科技创新资源集聚、科技创新绩效创造、科技创新行业影响和科技创新环境变化四个维度构成,其中前两个维度偏重于从个体层面进行定量分析,后两个维度偏重于从整体层面进行定性分析。
一方面,该评估指标体系可供各级政府直接应用于人才项目的纵向年度比较或横向区域分析,对项目入选人群的整体科技创新绩效和项目所带来的社会影响进行综合评估,为各类人才项目的有效实施提供科学的评估工具;另一方面,可作为科技创新理论体系的一个组成部分,促进我国科技创新体系的建设与发展。另外,该指标体系对从微观层面上评价科技创新人才的创新绩效也有一定的借鉴意义,科技创新类企业和研究机构可以根据自身特性和实际需要,从评估指标体系中挑选部分指标对内部的科技创新人才进行绩效评价,如企业或研究机构可选择二级指标中的承担项目、技术引进、知识创造、促进科技创新合作与交流等指标,对科技创新人才进行考核。
由于目前对人才项目实施成效评估的相关研究还较少,可借鉴的工作实践经验也有限,因此,本文构建的人才项目科技创新评估指标体系还有待在人才项目评估工作实践中通过数据获取过程和数据分析结果进行丰富和完善。
1.罗掌华、杨志江:《区域创新评价——理论、方法与应用》,经济科学出版社,2011年版,第108-110页。
2.方新:《论科技政策和科技指标》,载《科技管理研究》,2001年第01期。
3.首都科技发展战略研究院:《首都科技创新发展报告2014》,科学出版社,2015年版。
4.杨河清、陈怡安:《海外高层次人才引进政策实施效果评价——以中央“千人计划”为例》,载《科技进步与对策》,2013年第08期。
5.中国科学技术发展战略研究院:《国家创新指数报告(2014)》,科学技术文献出版社,2015年版。
6.宗子仰:《地方政府海外高层次人才引进政策研究》,上海交通大学硕士学位论文,2010年。
7.Cornell University,INSEAD,and WIPO.The Global Innovation Index 2013:The Local Dynamics of Innovation [R].Geneva,Ithaca and Fontainebleau,2013.
8.European Commission.Innovation Union Scoreboard 2014[R].Brussels.doi:10.2769/88936,2014.
■责编/宋萌Tel:010-88383907E-mail:songmenghrd@163.com
Research on the Evaluation Index System of Talent Projects’Technological Innovation Achievements
Yong Wang,Changjiang Lu,Hui Ren and Jun Ma
(Beijing Overseas Talents Center)
Through literature study,typical investigation,expert seminars and other methods,this paper builds an evaluating model to evaluate the technological innovation achievements of the talent project,meanwhile,it designs an index system based on the model.Specifically,the index system includes four dimensions,which are technological innovation resource gathering,efficiency creation,impact on the industry and environmental change.Finally,the paper analyzes the process how to design the weight of indexes,and puts forward two ways to apply this index system.
Talent Project;Technological Innovation;Achievements Evaluation;Index System
王勇,北京海外学人中心,第一资源研究院院长,副教授。
卢长江,北京海外学人中心,副主任、高级经济师。
任慧(通讯作者),北京海外学人中心,中级研究员。电子邮箱:renhui1988@gmail.com。
马君,北京海外学人中心,助理研究员。
本文受北京市科技计划项目“‘海聚工程’实施成效评估模型与指标体系研究——基于对全国科技创新中心建设影响作用的视角”(Z151100003115102)资助。