广州市科技计划项目评审指标体系构建研究

余全民，戴贵宝，张 斌，陈茂清

（1.广州市科技项目评审中心，广东广州 510095；2.广东省生产力促进中心，广东广州 510070）

自党的十八大提出创新驱动发展战略以来，创新逐渐成为热点词汇，党的十九届五中全会更是对科技创新进行专章部署，习近平总书记在两院院士大会中国科协第十次全国代表大会首次提出“坚持把科技自立自强作为国家发展的战略支撑”。科技创新的重要性不言而喻，全社会也十分重视科技创新工作，并不断加大科技投入，其中财政科技投入作为提高科技创新水平的一种关键性因素，已为当今世界所肯定。随着国家和地方巨大的科研经费投入，激发了广大科技工作者的工作热情，科技计划项目作为科研经费投入的重要手段，其申报数量也随之增大，科技计划项目立项评审工作重要性不断凸显。立项评审工作是科技项目全流程管理中不可缺失的环节，也是遴选识别高质量科技项目的重要手段，对能否有效实现科技资源的合理高效配置起到决定性作用。科技计划项目立项评审结果的科学性、合理性，在一定程度是取决于项目评审指标体系是否科学合理，构建科学合理的项目评审指标体系，从源头上把握科技计划项目立项评审质量，充分发挥科研经费使用绩效，促进科技创新的长远发展。本文以广州市科技计划项目为研究点，旨在构建合理、科学的评审指标体系，提高项目评审质量及水平。

1 文献综述

1.1 国外研究现状

基于现有文献发现，国外学者对评估指标体系的研究多集中于评估指标维度划分、评估方法以及评估模型。从评估指标维度来看，Meyer 等［1］认为评估指标应包含学术成就和专利获取情况；Dodgson等［2］则重点研究了衡量创新过程的评估指标。从评估方法来看，徐南荣等［3］从运筹学的角度对评价指标进行了研究分析；Saaty［4］则在指标体系研究中提出了层次分析法，借用层次分析法来确定相应指标权重；Banker 等［5］学者则根据相对效率评价，建立了 DEA 评估模型。上述评价方法均强调定量评价，是基于指标间的数量权重关系来研究分析的。而楚宾等［6］则强调评估活动中同行专家间定性评价的重要性。

1.2 国内研究现状

国内学者也基于不同的角度对评价指标体系进行了相应研究，一是基于定性和定量评价的角度研究，张守华等［7］通过构建层次灰色评价模型来解决科研项目评价中存在不确定、不完全的问题。周春喜［8］也从灰色系统理论出发，将其应用于科技立项评审中，基于立项依据、创新性、研究内容和方法、研究基础等构建了涵盖5 个一级指标和17 个二级指标的评审指标体系。陈骥［9］则探讨在立项评审中引入集值统计，从而降低专家主观判断、信息不精确和模糊性带来的影响。林成刚等［10］将定量评价指标从微观层面引入宏观层面，通过“项目调控因子”对定量评价进行宏观调控，对传统的定量评价方法进行了优化。二是基于不同的专题项目角度研究，王炎坤［11］等根据项目申报书内容要素、资助目的和原则，为湖北省普通高校科研项目评审构建了一套涵盖6 个评审维度的指标体系。孙娓娓等［12］也从高校角度出发，基于改进的BP 网络算法，为高校科研项目构建了更加科学合理的评价模型。李媛等［13］基于医院科研项目角度，从基本情况、科研能力、评审水平、道德修养等4 个维度构建了适用于医院科研项目评审指标体系。孙静等［14］重点研究了农业科技项目立项评价，从创新性角度构建了包含9个一级指标和35 个二级指标的评价指标体系。王萌等［15］基于全生命周期的军事软科学项目，建立了不同阶段的评价指标体系。三是基于科研项目绩效评价角度研究，王忠等［16］积极响应国家科研体制改革，坚持破“四唯”等要求，从创新质量和贡献评价导向为研究点，运用投入-产出分析法、德尔菲法，分别构建了基础研究类、技术开发类、应用示范类项目绩效评价指标体系。曹沛等［17］基于分类评价原则，探讨了新型科研管理绩效评价体系的建立。四是基于不同评价对象角度研究，王海燕等［18］通过对我国科技评价体系存在问题分析，从分类评价、科技身份证、过程管理等方面提出有效建议和措施。吴洪［19］从科技项目经费角度出发，对福建省科技项目经费评估问题进行了分析，并构建了一套切实可行的评估指标体系。高洁［20］基于知识生产模式转型视角，构建了包含知识转化可行性、研发投入、中间产出、目标达成度和满意度5 个维度的高校科技成果转化评价指标体系。郭洁等［21］基于文献、专家论证构建了包含4 个一级指标、15 个二级指标及评分标准的湖南医学科技奖评审指标体系。牛桂芹等［22］借鉴学术界已有的研究成果，分类构建了符合我国新时代科技人才评价改革要求的青年科技人才评价指标体系。贺晓宇［23］基于评审专家角度出发，构建了评审专家信用评价指标体系，并运用TOPSIS 法进行排序验证。

2 广州市科技计划项目评审指标理论框架设计

2.1 评审指标体系构建原则

评审指标作为评审科技项目质量的工具，应该有效可信，为了使评审结果能够全面、客观、准确地反映科技项目质量的实际状况，评审指标构建一般应该遵循以下原则：

一是目的性原则。通过科技计划项目评审可以获得项目信息，了解项目现状，发现问题，找出差距，以改善和提高项目质量，所以在构建过程中要坚持以科技评估目的为结果导向，满足科技评估需求。

二是可操作性原则。评审指标在选择上要满足数据易获得性、易量化、代表性等特点。

三是有效性原则。评审指标体系能够真实客观反映科技计划项目质量和评审水平。

四是动态性原则。确保评审结果能够综合反映科技计划项目质量的现状和未来趋势。

五是独立性原则。评审指标间相互独立，互不替代。

2.2 评审指标体系构建方法

本文在构建评审指标体系时主要是基于以下三种方法：一是理论分析法，是指通过对广州市科技计划项目的特点、基本构成要素、主要问题等方面进行分析和对比，综合归纳出具有代表性的指标维度。二是专家问卷调查法，是指在指标体系的理论设计下，通过向相关专家发放问卷的形式，采集专家对指标维度的意见和建议。三是实证筛选法，是指通过信度和效度、隶属度、相关度、鉴别力等实证分析方法对调查问卷进行分析，剔除不符合的指标。

2.3 评审指标体系构建流程

本文主要是基于理论构建和实证筛选来确定最终的科技项目评审指标体系，其中理论构建包含项目目标分解、指标维度划分、具体指标选择；实证筛选主要是基于隶属度、相关度、鉴别力分析，评审指标体系构建流程如图1 所示。

图1 广州市科技计划项目评审指标体系构建流程

2.4 评审指标选取

本文通过借鉴高洁［14］的研究观点，从投入产出、目标达成模式、影响因素、开放式创新四个方面着手选取评审指标维度。

2.4.1 基于“投入-产出”分析的评审指标选取

投入与产出是科技计划项目评审过程要考虑的重要问题，前期投入资源的多少会直接影响到后期产出效果。在“投入”阶段，本文主要选取“研究团队”和“研究基础”作为投入指标，考虑到在科技计划项目中，科研经费一般来源于政府资助，是固定不变的，因此不将科研经费纳入投入指标。研究团队是指依托科技计划项目，为实现某一科研目标而由相互协作的个体组建的正式群体，在科技计划项目中表现为人才、学历、职称、年龄、专业背景五方面。研究基础是指围绕某个科技计划项目而前期所做的工作或具备的条件，主要表现为承担项目、发表论著、获奖成果、科研经费、发明专利、技术平台等六个方面。在“产出”阶段，本文主要选取“项目成果”作为产出指标，包括成果应用、市场推广和项目效益。

2.4.2 基于“目标达成模式”的评审指标选取

目标达成模式是由美国心理学家泰勒提出的，它是基于事前确定的目标来选择相应的内容和方法，判断其合理性。基于“目标达成模式”，本文主要选取“绩效目标”指标，主要表现为目标设置是否全面体现专项资金属性、是否体现专项资金政策意图。

2.4.3 基于“影响因素”的评审指标选取

科技计划项目能否成功立项，主要取决于该项目的实际科研价值和贡献，主要体现在项目论证过程中，其中必要性、科学性、可行性、创新性、风险性重要论证节点。必要性主要判断项目是否能够推动广州市经济社会发展和产业升级；科学性主要判断项目是否具有科学价值，研究方法是否科学严谨，对研究现状是否了解；可行性主要是对项目申报中拟解决问题的关键技术方法、项目整体采取的技术路线以及工艺流程是否可行进行综合判断；创新性主要判断关键技术的科学性、先进性、创新性；风险性主要判断项目实施的技术、市场或管理风险以及规避措施。

2.4.4 基于“开放式创新”的评审指标选取

开放式创新主要是面向外部创新资源，对外积极寻找创新合作伙伴，从而实现优势互补，激发创新活力。在科技计划项目中，创新主体间开展合作攻关有利于降低研发成本、缩短研发周期、提高市场竞争力和创新效能。因此，基于开放式创新，本文将“合作能力”纳入评审指标体系。

2.5 评审指标体系初步构建

综上所述，本文从研究团队、研究基础、项目成果、合作能力、项目论证、绩效目标六方面构建评审指标体系一级指标，并初步确定23 项二级指标。初步构建的评审指标体系如表1 所示。

表1 广州市科技计划项目评审指标体系

3 广州市科技计划项目评审指标体系实证筛选

3.1 研究方法和问卷样本分析

3.1.1 研究方法

上述科技计划项目评审指标体系的初步构建仅仅是理论构思，还需要通过实证筛选来验证。本文对评审指标的实证筛选是基于问卷调查来进行，针对评审指标体系进行了问卷设计，包括调查对象基本信息、一级指标和二级指标的重要程度等内容，并采用李克特量表法对指标进行主观赋值评价。

3.1.2 问卷样本分析

本次调查对象为来自党政机关、企业、高校、科研机构和其他相关单位的评审专家，他们都参与过广州市科技计划项目评审工作，对科技项目评审工作非常熟悉，能够对指标的重要性做出专业的判断。本次共发放和回收有效问卷281 份。详见下表2。

表2 专家问卷样本特征（N=281）

3.2 指标体系实证筛选

3.2.1 信度和效度分析

（1）信度分析。信度分析主要是对调查问卷样本结果的可靠性、真实性判断，信度越高，表明问卷样本结果越可靠，调查对象越趋向于真实客观回答，利用问卷调查所得出的统计分析结果也更加可信。

由表3 可知，评审指标的α系数均在0.6 以上，其中研究基础、项目论证、绩效目标的α系数值均大于0.8，项目成果和合作能力的α系数值均大于0.7，总体α系数值大于0.9，表明评审指标内在一致性程度较高，结果可信。

表3 评审指标体系内部一致性检验（α 系数）

（2）效度分析。效度分析是指测量工具或手段能够准确测出所需测量事物的程度。本文主要是对评审指标进行结构效度检验，借用SPSS 统计软件中的因子分析法来实现，检验结果如表4 所示。

表4 评审指标体系调查问卷结构效度检验

由表4 可知，KMO 值为0.889，Bartlett 球形检验中的x2值为2 889.256，且显著性有效，表明问卷结构性效度较好。

3.2.2 隶属度分析

隶属度是用来刻画一个对象隶属于某种定义的程度。本文用以下数学表达式进行计算指标的隶属度：R=M/N。其中，R 表示评审指标的隶属度，N表示参与咨询的有效专家人数，M 是指认为某项指标是最理想的指标的人数。当某一项指标的隶属度R 值小于0.3，也就意味着只有30%以下的专家认为该项指标比较理想，则需将该项指标从指标体系中删除，若某一项指标的隶属度R 值大于0.3，也就意味着有70%以上的专家认为该项指标比较理想，则可以留待下一轮的筛选。据此，研究中未发现隶属度小于0.3 的指标，保留全部二级指标用于下一步的筛选。隶属度分析结果如表5 所示。

表5 评审指标隶属度分析

表5（续）

3.2.3 相关性分析

评审指标间的相关性也会影响评审结果的合理性和科学性，要通过相关性分析剔除指标体系中高度相关的指标。相关性分析主要是用来判断两个及以上变量之间存在着的相关关系，如果变量之间的相关系数R>M（M 为临界值，0

表6 评审指标相关性分析

从表6 可以看出，0.081 ≤R ≤0.682

3.2.4 鉴别力分析

评审指标鉴别力分析是衡量评审项目质量的重要指标之一，可以反映出评审指标对评审对象的区分情况。本文采用变异系数来衡量评审指标鉴别力，变异系数越大，离散程度越高，鉴别力越低。借助SPSS 统计软件，计算得出广州市科技计划项目评审指标变异系数最大值是0.254，最小值是0.118，均值0.167，中位数0.165，极差为0.136，变异系数分布结果如图2 所示。

图2 评审指标变异系数分布

由图2 可知，变异系数分布变化较为平稳，表明评审指标在一定范围内呈现稳定的状态，有很好的鉴别力。

4 结论与对策

4.1 研究结论

经过理论设计和实证筛选，广州市科技计划项目评审指标体系指标数量未发生变化。因此，本研究最终构建了由6 个一级指标和23 个二级指标组成的广州市科技计划项目评审指标体系，如表6 所示。

表6 广州市科技计划项目评审指标体系

表6（续）

4.2 对策与建议

第一，从信度分析角度出发，优化一级指标体系占比权重。α 系数评价的是量表中各题项得分间的一致性，信度越高，结果越可靠，从表3 中得知一级指标中的研究基础、项目论证、绩效目标的α系数值均大于0.8，建议评价指标体系中可适当提高研究基础、项目论证、绩效目标的指标权重。

第二，从隶属度分析角度出发，调整二级评价指标中的占比权重。隶属度越接近1，代表某项指标得到更多专家的认可，从表5 中得知各二级指标隶属度范围为0.573～0.982，建议评价指标体系中可适当提高隶属度较高的指标权重。

第三，从实际需要出发优化研究团队的成员结构。具体包括企业承担科技计划项目的负责人（主持人）应该是科学研究训练有素、研究开发经验丰富的、具有研究成果的科学研究专家，破除“唯论文、唯职称、唯学历、唯奖项”的做法；注重团队主要技术负责人的能力和信誉；从创新的实际需要出发，不应该偏重有头衔的名人引进；注重研发投入人员的知识结构等。

第四，在现有的指标体系下，可增加法律、财务等方面的指标。法律方面具体包括建立完善的制度体系，保证科研公平的制度与措施，针对申报材料真实性的相应惩罚措施等；财务方面应充分考虑主营业务规模、盈利水平、研发投入等。

第五，加强立项后的监督，预防造假。专项资金的使用必须要有阶段性的监督，从而保证经费投到真正有创新的企业。建立项目立项后的监督和指导机制，预防造假，制定相应惩罚措施，同时避免项目执行过程的偏差，以更好的验证立项项目的绩效目标。