农业科研院所科技创新评价体系的构建——以广东省农业科学院为例

杨勇福，骆 艺，黄洁容，聂新志，程俊峰，马 静，于相满，于深浩，陈琴苓

（广东省农业科学院，广东广州 510640）

1 背景和相关研究情况

随着知识经济的不断深化，科学研究在经济社会发展中的地位日趋重要，担负着国家发展的战略使命。科学技术评价是科学技术管理工作的重要组成部分，是推动国家科技事业持续健康发展，促进科学技术资源优化配置，提高科学技术管理水平的重要手段和保障［1］。国外对于科研评估有着比较系统的理论研究和丰富的实践经验。英国自1986 年开始推行RAE 大学科研评估制度，2006 年，英国政府决定对科研评估和科研经费拨款制度进行改革，建立一个以计量为基础的科研评价新系统，并于2008年开始筹备科研卓越框架（REF），2013 年开始全面替代原先的RAE 评估。REF 引入文献计量法和其他定量指标，以文献计量法分析为主要评估手段，专家评审和其他定性指标作为补充［2-3］。REF 按照学科来划分评估单元（UOA），对于不同的学科，侧重于不同的评估手段，例如在科学、工程、技术等自然学科方面，主要采用文献计量法，对于艺术、人文、社会科学等学科，则主要采用专家评审等定性指标评估法，由此构建一个高效的评估模式［4］。

国内对于农业科技创新方面的理论研究起始于20 世纪末，很多专家学者对农业科技创新体系都提出自己的见解，有力促进了我国对于农业科技创新方面评估的发展。中国农业科学院作为国家级农业科研部门，2002 年提出“国家农业科技创新体系”构想［5］，并于2014 年分析了农业科技创新能力评价指标体系的构成，整理了各种评价指标体系，涵盖定量指标和定性指标［6］。

2 评价体系的构建及验证

农业科研院所业务研究范围广，如广东省农业科学院下属15 个院属科研单位，各单位研究的内容和方向不尽相同，科研投入和产出之间没有直接的可比性，定性评估很难全面反映各单位的科研情况和创新能力。因此我们选取与公益类科研院所科技创新密切相关的典型指标，采用定量为主、结合定性的综合性评价计分标准，建立量化比较的考评指标体系。

2.1 构建的原则

科研创新能力评价的目的是通过评估比较院所科技创新能力，需找差距,分析不足，并在科研管理和科技资源配置时进行有针对性的引导，促进单位整体科研能力健康可持续地提升和发展。因此，评价体系构建和指标的选取遵循以下几个原则：

（1）指标普适性。农业科研领域范围广，农业科研院所研究的方向各不相同，如何在同一个评价体系下公平公正地反映其综合实力是一个需要认真思考和衡量的问题。在设置各类相关指标时，需要尽可能考虑各单位相关指标的领域范围、权重分值等情况，保证客观性和系统全面性。

（2）量化平衡性。尽可能采用可量化的定量分析法进行分析，例如文献分析法，对于同一类型的指标，尽可能采用公认的统计口径，在数据的采集、处理和分析方面保持一致［7］。对于不同类型的评价指标，在充分考虑所获取的难易程度、行业影响范围等客观因素后，在分值赋予方面进行可比性的量化。

（3）目标导向性。构建科研创新能力评价体系除了反映单位整体科研能力的情况外，还有一个重要的目的就是查缺补漏，利用评价体系引导各单位重视需要重点发展的学科领域，做到有的放矢，从而全面提升单位的整体科研能力。

（4）易操作性。简明扼要、操作简便，尽量避免复杂的指标结构，选取尽可能反映本单位实际科技创新活动成效的典型指标，确保可操作性［7］是构建评价体系的原则之一。

2.2 指标的设计

由于影响待评价事物的因素众多且复杂，评价指标和权重系数的确定将会直接影响综合的评价结果［8］，根据科研单位科技创新涵盖范围，评价指标体系设为两级指标，其中一级指标包括科研投入、科研产出、科技条件平台和国际科技合作。在每个一级指标下分别设有二级指标（见表1）。

表1 评价指标体系

2.3 权重的赋予

权重的设置总体原则是兼顾公平与效率，效率优先。

我们采用行业应用广泛的层次分析法（AHP）［9］对权重问题进行定性和定量相结合的多准则评价，依据广东省农业科学院多因素决策问题的特点决定科技创新评价体系中各指标的权重，完成对此类复杂问题的量化处理。

各一级指标分值权重的设置从总体层面在兼顾历史实际的情况下，把控单位重点发展的方向，起到良性引导作用。各一级指标权重分值的大小体现在二级指标及每一指标细项的分值权重上。每一指标细项分值的权重借鉴行业内常用的文献计量法及专家评审等评价方法的优点，得出如下的分值赋予原则：

（1）各一级指标分值权重。对各一级指标而言，相当于采用层次分析法中的单层次模型进行分析，首先我们将一级指标的n 个元素按照判断矩阵（见表2）进行两两比较，比较后得出重要性矩阵。

表2 一级指标之间重要性比值

重要性比值由院里组织评价体系专家依照权重的比例标度法（见表3）［10］对考评体系中的各一级指标进行重要性的赋值，然后再依照比例标度法得到不同的量化分值，避免了单纯依靠定性及个人经验来决定权重的评价方式所具有主观片面性的缺点。按照以上步骤，我们得出科技创新一级指标的分值权重（见表4）。

表3 比例标度法

表4 一级评价指标及内容

（2）评价等级赋值。不同等级水平的分值拉开差距，从分值赋予上鼓励更高水平的、不同等级获得不同的分值，从总体质量的严谨性、研究产出的原创性、科研影响的重要性和科研环境的可持续性等方面，对各评价指标进行评估。结合广东省农业科学院在不同指标细项所达到水平的实际情况，在遵守可行性和导向性的原则下，灵活设置不同等级所需要达到的标准。

（3）获得的难易程度赋值。按照对各评价指标相应的付出来赋予不同的分值，如不同类型、不同级别科技成果奖，其水平和创新性是有差异的。为了适当拉开差距，在数据统计时按倍数关系分别乘以不同的当量系数Mn，其中M 代表不同类型的评价指标，n 代表不同级别的评价指标，具体M 和n 的值需要依据所在农业科研院所的具体情况进行设置［11］。

2.4 体系的构建

每一细项的分值权重在结果计算之前进行可比性的量化，转换为可计算的分值数据。各一级指标的分值为各指标细项数量与权重乘积的累计之和，采用加权求和的办法，建立综合评价模型［12］。

（1）指标细项得分。每一细项的分值权重在结果计算之前进行可比性的量化，转换为可计算的分值数据。各一级指标的分值为各指标细项数量与权重乘积的累计之和，采用加权求和的办法，建立综合评价模型。

其中mi为每个指标细项的得分，Bi为第i 个指标细项的符合得分要求的数量，Wi为每个指标细项的权重，n 为指标细项的个数。

（2）一级指标得分及相对得分。各一级指标的得分 Mi(i=1，2，3，…，n)等于各指标细项的分值mi(i=1、2、3…n)乘以单项统计指标工作量数据ki（i=1，2，3，…，n）。

每个一级指标分数不封顶。各一级指标中得分最高单位分值为100 分，其他单位与之相比计算相对分值。

各一级指标的相对得分：

Xi(i=1，2，3，…，n)=(Mi/ MAX(Mi))*100 （3）

（3）一级指标人均得分及相对人均得分。各一级指标的人均得分Ni（i=1，2，3，…，n）为各一级指标的得分除以单位年度末在编人数P 后得到的结果。

Ni（i=1，2，3，…，n）=Mi/P （4）

单位年度末在编人数P 以考核年度12 月31 日为基准日，以各单位人力资源部审核的人数为准。

各一级指标中人均得分最高单位分值为100分，其他单位与之相比并计算相对分值。

各一级指标的相对人均得分：

Yi(i=1，2，3，…，n)=(Ni/MAX(Ni))*100 （5）

（4）单位年度科技创新相对得分和相对人均得分。单位年度科技创新相对得分X 为各一级指标的相对得分Xi之和。

X=∑Xi（i=1，2，3，…，n） （6）

单位年度科技创新相对人均得分Y 为各一级指标的相对人均得分Yi之和。

Y=∑Yi（i=1，2，3，…，n） （7）

（5）最终得分。根据效率优先，兼顾体量的原则，我们需要将总分和人均分按照一定比例求和得到最终得分S。因为算出的总分和人均分量级不一致，因此要用同一量级下的相对得分X 和相对人均得分Y 进行权重的加和。

S=X*r+Y*(1-r) （8）

r 为总分所占的权重，各院所单位可以依照自身的实际情况设置，r 值范围从0%至100%，值越小意味着总分占比越小，从而提高了人均效率所占的比重。

最终得分S 兼顾总量和人均效率，可灵活调整各自所占的权重，以适应各院所在不同时期的重点发展需求。

2.5 结果的计算及验证

评价指标体系构建后，我们以广东省农业科学院科技创新考评为例，计算出广东省农业科学院院属各单位最终得分情况及排名情况，同时也得出不同单位在相同一级指标下的得分及排名情况。如表5 中的数据结果显示，同一单位在各一级指标下的排名存在着较大的差异，反映出不同科研机构的创新能力存在较大的差异。从结果反映的差异中寻找短板和差距，从而有针对性地补强是我们做科技创新评价的目的之一。

表5 广东省农业科学院院属各单位科技创新能力评价结果

结果验证分析如下：

（1）从科研体量大小分析。A 所、C 所、E 所等经过前期较长时间的积累，在科技创新方面有不错的总量大小，而K 所、M 所和N 所等因为研究领域的限制，成立时间的长短等因素，在科研体量大小方面和排名靠前的单位存在着不小的差距。

（2）从科研效率角度分析。科研效率为科研体量除以统计人数，体现了人均科研能力。从表4 总人均得分情况来看，A 所、B 所、F 所等几个单位排名靠前，综合人均科研实力较强。从各单位总得分和总人均得分的排名情况来看，总人均得分排名比总得分排名靠后的单位有C 所、E 所、I 所和L 所等几个单位，这几个院属单位在人均科技创新效率方面还有待加强，该类单位应该充分发挥体量大小方面的优势，提升科技创新方面的效率。

（3）从产出与投入的比值分析。有些单位投入排名靠前，如A 所、C 所、D 所等，有些单位产出排名靠前，如A 所、E 所。产出投入排名落差较大的单位有C 所、D 所等，这类单位主要从事基础科学研究，在科技产出方面有着先天性的不利因素，因此产出与投入比例相对偏低，需要相关部门加强对农业基础科学研究的扶持，以提升科技成果产出方面的水平。

以广东省农业科学院院属各单位科技创新评价为例，计算得分和排名，符合广东省农业科学院院属各单位科技创新水平和效率的实际情况，验证了本文提出的农业科研院所科研评价体系的科学性和合理性。

3 讨论

3.1 科学平衡不同研究领域投入及产出量化的关系

农业科研领域广泛，各研究所研究领域千差万别，如何在一个统一的评价体系中对农业科研院所属各单位进行公平公正的考核是做好农业科研院所科研考评工作的关键点之一。这里涉及到两个方面，一是在设定考核指标时将各所研究领域所涉及到的方面从投入到产出全面的考虑进来，做到考核指标全面，比例公正；二是在设定每项指标的权重时，用定性和定量相结合的方式定义不同指标达到不同级别要求的情况下所得到的分值。

对于第一个方面，建议各农业科研院所确定具体评价指标体系时，广泛征集意见建议，综合各单位的意见建议形成一个全面、公正的考核指标体系；对于第二个方面，采用层次分析法（AHP）对一级指标权重问题进行定性和定量相结合的多准则评价，组织评价体系专家依照权重的比例标度法对考评体系中的各一级指标进行重要性的赋值，避免了单纯依靠定性及个人经验来决定权重的评价方式所具有主观片面性的缺点。同时借鉴英国REF 中评价等级的方法，从总体质量的严谨性、研究产出的原创性、科研影响的重要性和科研环境的可持续性等方面，对各指标细项进行不同等级下分值赋予的评估，为了拉开差距，体现质的优越性，在赋值时按倍数关系分别乘以不同的当量系数。

3.2 动态赋予总量与人均的关系

各单位体量大小不尽相同，如果单纯地从总量方面进行考核的话，对于体量小的研究所有失公允，体现不出我们在提出评价体系所应该遵守的公平性原则［13］。因此，结合效率优先的原则，我们在制定评价体系时兼顾了总量与人均的关系。人均得分考核期待起到提高人均效率的导向作用，以较小的投入得到最有效的产出。对于总量与人均的比值，可依照各农业科研院所的实际情况进行赋值。

3.3 充分考虑历史与现实的关系

各单位历史情况不同，在前期考评伊始，需要尊重各单位历史遗留情况。因此在评价体系中，加入进步分的概念，以期在尊重历史问题的时候，鼓励落后单位迎头赶超［14］。

S进步分=+Sn-Sn-1

Sn为单位当年最终得分，Sn-1为单位去年最终得分，进步分即为本年度得分减去上一年度得分后的增加值（只计算正分值）。

3.4 时滞效应的情况说明

对于农业科研院所来说，科技投入很可能不会立马有产出效益［15］，这也就导致了投入和产出之间的时滞效应问题，影响了某项投入得到的产出效益值的评估。如何减少时滞效应对于科技创新活动产出效益优化的影响，是我们在评价过程中需要重视的问题。评估科研机构科技创新活动投入与产出的时滞效应，常用的方法有经验法、分布滞后模型、多元回归模型等［16］，本文对时滞效应不展开阐述。为了尽量减少时滞效应带来的影响，可以依据科技创新活动投入的周期性，按周期性进行科技创新投入效益值的评估，例如评估“十二五”期间投入的效益值。

4 结论

农业科研院所科技创新评价体系涉及方方面面，且被评价单位的实际情况也多种多样，只有尽可能客观去评价农业科研院所的科技创新能力和水平。实际操作中，一方面要结合各单位科技创新工作的实际，对等级、权重等进行调整，另一方面要充分考虑到不同学科、研究领域之间的差异，对具体指标与取值标准等进行完善，以有效发挥科技创新评价体系的监督、导向、激励和反馈功能［17］。

本文在较为充分考虑了科技创新评价指标体系构建中多方面的影响因素后，参考多方面的意见建议，形成一套完整的科技创新评价体系，并以广东省农业科学院为例，例证了评价体系的科学性和合理性，抛砖引玉，期望能给其他农业科研院所科技创新评价体系的构建提供一点参考。