分析人:申国柱 胡景荣 史莉桦
昆明市科技计划项目产出绩效分析
分析人:申国柱 胡景荣 史莉桦
本文结合当前昆明市科技计划项目管理的特点,在借鉴国内外科技项目绩效考评经验和调研咨询、分析研究的基础上,提出了昆明市科技计划项目产出绩效的确立和考评的具体程序。
科技项目绩效评价正逐渐从尝试阶段走向成熟推广阶段,从局部应用向整体应用,从表层应用向深层应用推进。但由于科技劳动及其成果表达形式的复杂性和无形资产的多变性,至今未形成较为公认的评价体系。
传统的评价指标体系,主要在需求、技术、效益、效率等方面得以体现,虽然这些绩效评价指标体系都有各自的优点,但各指标体系不同程度存在数据资料的采集与应用上,存在诸多的技术难点,导致大量科研资源流失和配置不当,而提高科技计划项目的绩效,实现资源优化配置,加强科技计划项目的管理,对于引导进行正确的科技资金投向,提高科技资源配置效率又具有重要现实意义,因此从数据资料容易获取度和指标容易量化的角度,建立用于科技计划项目绩效静态的指标评价体系势在必行。评价指标是评价系统总体目标的具体标志,要对科技计划项目的绩效进行评价,必须确定对各个组成要素和各种影响因素进行衡量的统一尺度,即科技计划项目绩效评价指标体系,该指标体系是评价科技计划项目绩效的基础和依据。
科技计划项目产出绩效评价是政府部门安排科技项目、调整科技投入方向、确保财政资金使用效果的手段,是政府加强财政支出管理,推动科学研究进步的有力措施,具有多重意义。其总的目的在于优化资金分配,调整科技计划和研究机构的方向,提高对科技计划的管理水平和科学研究的效率。昆明市科技计划项目产出绩效是指科技计划项目获得立项批准到应用期间,根据事先制定的阶段目标所达到的,可以予以指标度量的计划完成程度,以及所产生的对社会发展和经济进步有推动作用的预期成果。
传统的项目产出绩效大致分为人员绩效测度指标、学术绩效测度指标、社会绩效测度指标、经济绩效测度指标。
(1)人员绩效测度指标主要考虑从事地方科技计划项目人员的总量、科研人员的职别、学历和年龄。用于测度在实施科技计划项目中所体现的人才培养情况。是否形成了一支研究型队伍,科研实力是否有所增强;是否发挥了中老年学术带头人的“传帮带”的作用;是否培养了青年人的创新意识;是否改变研究队伍的年龄结构,向低龄化方向发展;是否大力支持年轻副高以上的科技人员勇挑重担等等。总之实施科技计划项目,不仅仅是出成果,还要发挥科技计划项目稳住优秀人才,引进杰出人才,培养青年人才和为地方科技创新和经济社会发展提供人才储备的作用。
(2)学术绩效主要考虑在地方科技计划项目研究过程中和项目完成实施后一段时间内所取得的科研成果,包括:论文、会议报告、论著和获奖情况。
(3)社会绩效主要考虑在科技计划项目所取得的论文被应用、会议报告引用次数、媒体采访、申请的国家专利、学科建设情况等。用于测度实施科技计划项目所取得的学术和社会价值。是否取得一批创新性的科研成果,在若干研究领域形成特色和优势,包括科技论文、报告、著作、获奖、新产品、新材料、新工艺等,以及这些科研成果是否对政府的决策起到了应有的价值,是否被其他单位(人)采用等;是否建设了一批国家级和省部级研究基地,推进了科技创新能力和水平的提高;是否建设了一批国家级和省部级重点学科,形成学科门类齐全的学科体系等。
(4)经济绩效主要考虑项目完成后一段时间取得的直接经济效益,包括新增产值、新增销售额、新增利税、出口创汇以及相关的相对指标,主要用于测度实施科技计划项目所取得的经济效益。
昆明市科技计划项目产出绩效结合昆明市科技计划项目自身的特点,分为三个主要的一级指标,即创新能力提升指标、创新驱动发展指标、创新创业人才指标。
(1)创新能力提升指标主要包括:技术创新成果、技术创新平台(经行政部门认定)、技术标准、专利、软科学(论文、论著)等。
(2)创新驱动发展指标主要包括:技术创新、科技成果运用、经济效益、生态效益、社会效益等。
(3)创新创业人才指标主要包括:科技创新创业人才、能力素质提升、创新成果奖励等。
采用因素分析、横向评价、问卷调查和询问调查的方法实施绩效评价,具体评价过程中,结合昆明市科技计划项目相关管理文件,采用查阅资料、实地勘察、问卷调查、座谈交流、查阅核发、发放征询函和专家打分评价等具体方法开展绩效评价工作。
(1)评价准备
科技行政主管部门选定纳入绩效评价范围的计划(专项),自行组织或委托科技中介机构组织,成立由技术专家、财务专家、专业评估人员组成的绩效评价工作组,选取计划(专项)中的全部或部分项目,制定评价工作方案。
(2)项目单位报送绩效材料
项目承担单位根据绩效评价工作要求报送项目绩效材料。
(3)检查和核实
绩效评价工作组检查项目单位报送的项目绩效材料,对有异议的项目到项目承担单位进行现场勘察和基础数据核实工作。
(4)综合评价
绩效评价工作组对基础资料和数据进行分析评价,确定项目评价结果,形成项目绩效评价报告报市科技局审定。
(5)评价总结
绩效评价工作组进行绩效评价工作总结,针对评价中发现的问题,提出改进措施,完善管理办法,提高项目管理水平,同时将评价工作资料整理归档备查。
绩效评价工作组综合分析计划(专项)中各项目的绩效评价情况,对各计划(专项)整体目标的实现程度、实施效果进行全面评价,形成计划(专项)整体绩效评价结果,按规定撰写计划(专项)绩效评价报告。
根据项目绩效评价结果,对达到绩效目标的项目采取通报表扬、优先支持等方式予以鼓励;对绩效差劣的项目采取通报批评、停止资金支持、限制项目申报等方式予以警示;对违反法律规定的应追究有关人员的法律责任。
科技行政主管部门根据绩效评价结果,调整完善科技计划设置,改进项目实施管理,提高项目管理水平和科技经费使用效益。绩效评价结果是确定以后年度科技计划经费预算安排的重要依据。
项目承担单位及其科技主管部门根据绩效评价结果,总结分析项目组织实施经验,加强项目组织实施工作,提高项目组织工作质量。
绩效评价的相关信息与结果将作为项目承担单位科技主管部门、承担单位和项目负责人信用评价的重要参考依据。绩效评价结果在一定范围内公布,接受社会监督。
根据昆明市科技计划项目涉及行业领域广、产出指标类型多样的特点,按照产出绩效评价的需要对科技计划项目采用统一的产出框架,对评价指标采用科学分类,使科技投入产生的效益指标实现直观的量化评价,其结果将使科技产出绩效评价具有实用价值。
(1) 昆明市科技计划项目绩效评价指标体系具有较强的操作性
昆明市科技计划项目绩效材料,由项目承担单位根据绩效评价工作要求报送,同时绩效评价工作组将严格检查项目单位报送的项目绩效材料,对有异议的项目到项目承担单位进行现场勘察和基础数据核实工作,从源头上保证了绩效数据的真实性。
昆明市科技计划项目绩效评价指标体系能准确反映项目的绩效,对各种评价指标的定义清晰、准确,能够明确地反映目标与指标间的相关关系,指标的选取既要符合系统性特点,又涵盖目前科技项目的大部分指标,能够充分反映被评价对象的整体状况。
在遵循全面系统性原则的基础上,对昆明市科技计划项目绩效评价指标进行了尽可能的简化,一是资料数据容易获得;二是绝大部分指标是直观量化的。
昆明市科技计划项目绩效评价指标体系能够分析已立项项目中期检查(评估)产出绩效、验收项目产出绩效和项目追踪产出绩效。对其他州市科技部门和县区科技部门的科技计划项目绩效管理具有推广应用价值。
(2)昆明市科技计划项目绩效评价指标体系符合深化体制改革的要求
昆明市针对过去绩效管理中存在的科技创新特点不明显、指标不统一、预期和实际产出存在差异等问题,结合政府财政绩效管理的要求,市科技局与市财政局联合出台了《昆明市科技局 昆明市财政局关于印发〈昆明市科技计划项目产出绩效指标体系〉的通知》(昆科发〔2015〕2号)。从源头上和根本上进一步保证了项目立项和管理的公平、公正、公开。
该指标体系在市级科技计划项目管理工作中全程应用,以产出绩效确定资金投入,进一步强调财政资金支出的责任和效率,提高公共服务质量、优化公共资源配置、节约公共支出成本。
(3)昆明市科技计划项目绩效指标体系形式创新
从指标层级来看,原有指标体系的层级一般只有二级,指标的层级数局限了相关指标的细化和分解,因此我们将指标层级数调整为三级。从指标的类型来看,原有指标体系区分了定性和定量指标,为了增加指标体系的直观性,我们将项目产出绩效全部以定量指标进行衡量,减少定性指标的难以判断性。通过指标体系的形式创新,为指标体系的内容创新铺平道路。昆明市科技计划项目产出绩效指标体系包括18项分类、上百项指标的绩效指标体系,将于2015年起在全市科技计划项目管理工作中全程应用。据了解,制定和应用如此翔实且具有科技创新特点的绩效指标体系,在云南省科技管理部门尚属首次。
10.3969/j.issn.1001-8972.2015.09.039