国家科技重大专项课题绩效管理与绩效评价指标体系初探

2014-03-02 23:50崔晓曼李建欣
数字通信世界 2014年8期
关键词:科研项目绩效评价课题

崔晓曼,李建欣

(国家无线电监测中心,北京 100037)

国家科技重大专项课题绩效管理与绩效评价指标体系初探

崔晓曼,李建欣

(国家无线电监测中心,北京 100037)

国家科技重大专项是为实现国家目标,通过核心技术突破和资源集成,在一定时限内完成的重大战略产品、关键共性技术和重大工程。本文在梳理国家科技重大专项绩效管理现状的基础上,提出了适用于国家科技重大专项绩效管理的评价方法,构建了国家科技重大专项绩效评价指标体系,结论可为国家科技重大专项课题成果的比较分析提供平台。

国家科技重大专项;绩效管理;指标体系

1 引言

一个国家的科学技术水平决定了一个国家的命运和未来,大到国土安全、国际地位的提升,小到人民生活质量的提高,都与科技进步息息相关。历史上,我国以“两弹一星”、载人航天、杂交水稻等为代表的诸多重大项目的实施,对整体提升综合国力都起到了至关重要的作用。

随着国际竞争环境和经济社会不断发展变化,为顺应新的发展形势,我国于2006年确定了建设创新型国家的战略,国务院同年发布了《国家中长期科学技术发展规划纲要(2006-2020年)》,该纲要确定了重大专项作为未来十五年的重点发展领域之一,并明确提出了要围绕国家目标,进一步突出重点,筛选出若干重大战略产品、关键共性技术或重大工程作为重大专项,充分发挥社会主义制度集中力量办大事的优势和市场机制的作用,力争取得突破,努力实现以科技发展的局部跃升带动生产力的跨越发展,并填补国家战略空白。[1]

2 绩效管理现状

科研项目的绩效评价工作始于上世纪的九十年代。经过二十余年的发展,国外多个国家在科研项目绩效评价方面的理论、方法和应用的研究均已形成了较为完善的评价程序和方法。

1993年,美国国会正式通过并由总统签署颁布了《政府绩效与结果法案》,成为了世界上第一个通过立法形式建立了对政府的绩效评价制度。自此,该法案成为了美国政府机构绩效评价的重要法律依据。[2]以该法案为基础,美国国家自然科学基金会(NSF)展开了相关的国家级科研项目的绩效评价工作。经研究,美国的国家自然科学基金项目的绩效评价体系分为四个层次,分别为:项目层、资助计划层、科学部门层和NSF整体绩效评价。据此,美国拥有了对科研项目的完善的评价机制和丰富的评价方法,使对科研项目的评价成为制度化和常态化的工作。

1998年,日本政府成立了政策考评研究会,制定了《科学技术基本法》、《科学技术基本项目》等政策,对科研项目的研究方法及经费预算都有了明确的规定。[3]2003年,日本学术振兴社作为独立的第三方机构,对日本的科研项目进行定期的绩效评价工作,针对不同类型、不同性质的项目运用自我评价或外部评价的方式开展适合项目特点、有针对性的绩效评价工作。

英国的科研项目由英国研究理事会负责项目后的评估工作。[4]其就科研项目的绩效评价工作研发的ROAME系统在众多科研项目评价中得到了广泛的应用,ROAME系统即具有合理性的阐述、明确的目标、评价、监督和评估,该系统的广泛应用是英国科研项目评价的显著特征。

上述发达国家科研项目的绩效评价机构的设置科学、健全,相关法律完善,达到了以提高对科研项目的资助效率为目标的绩效评价的目的。

就国内而言,绩效评价工作基本在国外各国科研项目绩效评价的经验基础上进行了总结和借鉴,国内科研项目的绩效评价基本参考了国外绩效评价的方式和方法,但在立法、程序和机构等方面的建立健全还亟待完善。

科学技术部于2003年颁布了《科技成果评估试点工作管理暂行规定》和《科技评估规范》,初步建立了我国科研评价体系规范,为我国的科研评价工作的逐步规范奠定了基础。科研项目分别由国家、部门和地方等不同层次的主管单位对科研项目的实施情况进行评价,但没有一个权威的、独立的、专业的第三方评价机构,对包括国家可以重大专项在内的科研项目进行统一的、规范的评价工作。因此,加强科研经费的过程监管,改进科研经费使用的绩效评价,提高科研经费的科学化水平,深化科研评价,建立健全科学技术评价制度,成为了国家“十二五”科学和技术发展规划的工作目标之一。[5]

3 国家科技重大专项绩效管理建议

随着国家科技重大专项项目的逐年开展,课题范围逐步扩大,课题数量稳中有升,一般科研项目的绩效评价方法已不能完全适应其评价的层次和范围。因此,依据国家科技重大专项“产、学、研、用”的研究主旨,需要全方位从课题的管理、资金、效益、社会性、环境性等多个方面进行绩效评价。以“新一代宽带无线移动通信网”专项为例,建议如下:

(1)建立有效的评价监督机制。目前,我国针对国家科技重大专项课题的绩效评价监督机制还不够健全。由于课题数量多,课题研究成果的质量、课题经费的使用情况在课题实施过程中的有效监督较少。这种缺乏有效评价监督的机制,导致了部分课题重申报、轻研究的结果,以致影响了国家科技重大专项课题研究水平的提高。

(2)完善评估指标设计。国家科技重大专项课题的评价注于定性分析,定量分析较少。以“新一代宽带无线移动通信网”为例,研究内容多涉及LTE及LTE-Advanced研究和产业化、无线新技术、物联网及泛在网等相关新技术领域,公益性强,现有的指标充分考虑到了课题经济社会效益,但定量分析不够,不利于全面地了解课题的完成质量。

(3)充分考虑环境影响因素。以“新一代宽带无线移动通信网”为例,课题的实施离不开对环境的依赖,尤其是LTE、泛在网等课题基于对频谱的研究。在研究过程中,由于技术研究的需要,对电磁环境有可能造成潜在的影响,在目前的评价过程中,尚未全面的考虑进去。通过增加环境影响指标的设置,可以有效地促进国家科技重大专项课题与环境的和谐发展。

(4)完善指标针对性。以“新一代宽带无线移动通信网”为例。在课题的研究过程中,由于研究目标的不同,具体可将课题分为设备研发、关键技术研发和成果报告等三种类型,针对上述三种不同类型的课题,考核指标没有显著区别。因此,在原有的评价指标体系的基础上进行综合考虑,形成一套科学、完善的综合性绩效评价体系有利于科学评判课题的完成效果。

4 国家科技重大专项课题绩效管理指标体系构建

区别于普通的科研项目,国家科技重大专项课题具有政治性强、考核指标要求高、项目资金大、成果涉及范围广的特点,对课题目标的实现、计划实施、组织管理及成本、时间、资金和风险控制等多个方面都提出了更高的要求。因此,构建科学的指标体系,要遵循一定的科学原则,使其既具有国家科技重大专项课题的普遍适用性,又能体现课题的绩效管理的价值导向。国家科技重大专项课题的绩效管理指标体系的构建应遵循以下原则:

(1)客观性原则:对国家科技重大专项课题进行绩效管理评价时,需要对其进行定量的研究分析,以保证评价的正确度。在制定绩效评价体系指标时采用定量的客观方法,依据课题的绝对标准进行客观评价,减少评审专家的个人主观判断的影响。在保证课题评价结果准确性和可靠性的同时,能够保证课题评价的客观性,尽量防止人为倾向性的现象发生。

(2)全面性原则:国家科技重大专项课题涉及范围广,课题类型多,具体可分为设备研发、关键技术研发和成果报告三大类型,因此,在绩效管理指标体系的构建时,应充分考虑到指标的多维全面性,要能够充分反映课题的总体情况。

(3)应用性原则:在国家科技重大专项课题绩效管理指标体系构建时,应全面考虑课题的实际情况,选择指标时应考虑到指标的可靠性和可采集性。保证国家科技重大专项课题绩效管理指标体系构建时,既可以满足评价分析的需求,又要考虑到实际的可操作性,保障绩效工作的顺利实施。

(4)系统性原则:国家科技重大专项课题具有规模大、且有上下游课题衔接的特点,对其评价遵循系统的原则,可以体现课题的相关关联和应用的特征。在具体的绩效评价过程中,对指标的选择,既要突出重点,又不能以偏概全,确保能对课题做系统、整体的评价分析。

(5)层次性原则:国家科技重大专项课题的绩效管理指标体系构建,应能充分反映各层次之间的隶属关系,按照层次的递阶关系,充分体现出各指标的内涵,组成层次结构分明、合理的绩效管理指标体系。

(6)动态完善性原则:科学、合理的课题绩效管理指标评价体系是一个长期考证的过程,并非一次可以完成的。保持评价指标的动态完善,可以使国家科技重大专项课题的绩效评价结果间具有一定的参考性。绩效评价体系的指标会随着时间和大环境的变化而发生一定的改变,因此,国家科技重大专项课题绩效评价指标要视具体情况动态地进行确定。

(7)注重社会效果的原则:国家科技重大专项课题不以盈利为目的,因此,其绩效管理体系指标的选取应不仅局限于课题本身的利润和销售收入,而应该选取增加社会经济效益为基础的因素。

基于以上原则,结合使用德尔菲法和层次分析法,可以构建适合国家科技重大专项课题的绩效评价指标体系。以专项三“新一代宽带无线移动通信网”为例,首先运用德尔菲法,科学构建绩效管理指标体系如表1所示,可以得到一级指标5个,二级指标19个。

表1 绩效管理指标体系

在此基础上,运用层次分析法,将定性与定量有效结合,科学直观地评价课题的完成情况。首先通过排列各项指标,构建判断矩阵;然后,以专家的经验,运用九分法比较各指标间的重要性;最后采用特征根法计算得出各级各项指标的权重。具体步骤如下:

(1)计算判断矩阵每一行的乘积Mi

(2)计算乘积Mi的几何平均值iϖ

得到,

(3)将几何平均值iϖ 归一化处理:

(4)计算判断矩阵的最大特征值并进行检验,检验判断矩阵不具有一致性时需要调整

(5)计算一致性指标

(6)查表得到相应的平均随机一致性指标

表2 1阶~15阶平均随机一致性指标表

(7)计算一致性比率

当CR<0.1时,认为判断矩阵具有一致性。

通过对专家调查问卷的收集、整理及最终的处理后,构建成判断矩阵。A为国家科技重大专项课题绩效管理指标体系的目标层的判断矩阵,包括A1,A2,A3,A4,A5共5个指标要素层,分别为A1经济社会影响评价指标、A2环境影响评价指标、A3组织评价指标、A4管理评价指标、A5财务评价指标,构建成判断矩阵如表3。

表3 一级指标判断矩阵

运用Matlab软件计算,可得到该判断矩阵的特征向量为WA=[2.9137,1.7188,0.3385,0.4911,1.2011]T,对数据进行归一化处理后,可得A1,A2,A3,A4,A5的权重分别为[0.4373,0.2579,0.0508,0.0737,0.1803],矩阵的最大特征根为5.3279,CI=0.082,CR= 0.0732,说明该矩阵具有满意的一致性,求得的权重有效。

表4 绩效管理评价指标权重

一级指标的权重确定后,可以使用同样的方法对二级指标的权重进行确定。

运用德尔菲法和层次分析法相结合的方式将判断矩阵经过归一化的处理,每个指标就可以得到较高的一致性,各个指标在整个体系中可以得到较为客观、准确的反映,各个指标的权重如表4所示:

5 结束语

绩效评价工作的目的是为了确认研究成果,改进组织模式,以提高整体研究水平。在建立健全绩效评价机制和公开透明的第三方评价机构的基础上,科学、公正的国家科技重大专项课题绩效管理有助于客观反映课题的完成效果,提高课题的完成质量和科研人员的研究水平,并可以在一定程度上维护国家科技重大专项研究氛围的健康、有序发展,促进课题研究成果从创新链条到产业链条再到价值链条的自然转化,真正达到国家科技重大专项“产、学、研、用”的研究主旨。

[1] 国家科技重大专项.专项介绍[EB/OL].http://www.nmp.gov.cn/zxjs/.

[2] 龚旭,夏文莉.美国联邦开展的基础研究绩效评估及其启示[J].科技管理,2003(2):34-37.

[3] 李维宜.日本知识产权立国战略若干问题研究[J].法制论丛,2006(3):136-140.

[4] 欧阳进良,杨云,韩军等.英国双重科研机制体系下的科研评估及其经验借鉴[J].科学学研究,2009(7):1027-1034.

[5] 国家科技部.国家“十二五”科学和技术发展规划[M],2010.

国家无线电监测中心2014年监测站综合管理会议在深圳召开

为全面贯彻落实党的十八大和十八届二中、三中全会精神,着力构建国家无线电管理智库平台,推动监测站规范化管理和差异化发展,2014年国家无线电监测中心监测站综合管理会议不久前在深圳监测站召开。中心党委书记兼副主任薛永刚出席会议并作总结讲话。

薛永刚谈了对中心整体发展的思考,分析了当前事业发展及人才队伍建设方面面临的挑战,并围绕今年中心“打基础、抓落实、促发展”的工作主线,从综合管理、业务技术、人才队伍建设、作风建设等方面对监测站工作提出了具体要求。

薛永刚说,中心要想取得长远发展,必须苦练内功,发挥自身优势,形成整体实力;要下大力气,多想办法,多渠道培养人才。他指出,中心要按照“大家庭”式的理念,将监测站管理工作纳入中心整体发展,定期研究监测站存在的问题和困难,努力使监测站规范化、科学化管理迈上新台阶。他强调,监测站的发展,领导班子是主导,站长是关键,要以制度管人、管事,发挥团队作用,在坚持做好监测业务主体工作的同时,认真做好规章制度建设、设备维护等方面的工作。

会议以问题为导向,以发展为目标,对综合管理、财务管理、人事管理、行政管理等方面的规章制度进行了宣贯,并就监测站在办公室工作、人事工作、财务工作、京外站党工团工作、监测业务工作等方面存在的问题进行了剖析,就短波、卫星、超短波监测业务进行了专题研讨。中心福建监测站、深圳监测站围绕运行维护费绩效考核、规范化管理和差异化发展做了典型发言。

本次会议将一年一度的监测站综合管理会议和监测业务工作会议合并召开,不搞开幕式,不设主席台,严格落实了中央八项规定精神,体现了务实高效原则。

中心所属9个监测站及办公室、人事处、财务处、无线电监测处的近50名代表参加了会议。(任培明)

Performance Evaluation Management of the National Science and Technology Major Project Research

Cui Xiaoman, Li Jianxin
( State Radio Monitoring Center, Beijing, 100037)

National Science and Technology Major Project is to achieve national goals, through the core technology, completed the major strategic product, the key technology and the major projects in a specified time. In this paper, based on the summary of the National Science and Technology Major Project performance management present situation, this paper proposed the evaluation method that is suit for the National Science and Technology Major Project, and construct the evaluation index system of the National Science and Technology Major Project. The conclusion can be used for compare and analysis of the National Science and Technology Major Project.

the National Science and Technology Major Project; Performance Evaluation; Indicator System

10.3969/j.issn.1672-7274.2014.08.017

G311,G322.1文献标示码:B

:1672-7274(2014)08-0064-05

崔晓曼,女,北京人,硕士,国家无线电监测中心中级工程师,主要从事国家科技重大专项的管理工作。

李建欣,女,北京人,硕士,国家无线电监测中心中级工程师,主要从事卫星频率和轨道资源的规划研究、无线电系统电磁兼容课题研究工作。

猜你喜欢
科研项目绩效评价课题
我校横向科研项目再创佳绩
航天科研项目评审工作的思考与探索实践
党的建设的永恒课题
第一次写课题
“十三五”医改的新课题
申请科研项目,不应以职称论高下
基于BSC的KPI绩效评价体系探析
非营利组织绩效评价体系的构建
论科研项目档案管理
气象部门财政支出绩效评价初探