全生命周期视角的行业科技重点项目后评价指标体系研究——以技术开发类项目为例

金劲松，汪志波，邱纪青，郑路，金保锋，郑新章

1广东中烟工业有限责任公司技术中心，广东 广州 510145；2中国烟草科技信息中心，河南 郑州 450001

科技项目后评价，是指科技项目实施完成一段时间后，对项目的研究目标、实施过程、效益、作用和影响所进行的系统的、客观的综合分析和研究总结的一种方法。烟草科技项目在行业科技资源配置中占较大的份额，是行业科技自主创新的最直接载体，也是行业科技创新活动的最主要组织实施方式。项目的选题立项、组织实施及最终成果应用直接影响和推动着行业科学技术进步及经济社会效益的提高，特别是一些重点科技项目的组织管理、目标实现程度、产生影响和效益已成为行业关注的焦点。尽管烟草科技项目与其他类科技项目相比，具有明显的共性，但也有一些特殊性，即烟草科技项目是以应用研究为目标的，更注重成果的转化应用，且烟草科技项目的类别也多。进行科技项目后评价，总结和吸取项目选题立项、组织实施以及成果应用推广过程中的经验教训，通过及时有效的反馈机制，一方面为科技项目今后的改进与发展提出合理建议，促进项目成果的转化；另一方面有利于为烟草行业科技项目的决策、管理水平提高。有鉴于此，本文以烟草行业技术开发类科技重点项目为例，设计了后评价指标体系，以期为行业科技项目后评价工作的开展提供借鉴。

1 相关文献综述

在科技项目后评价领域，国内有关学者开展了初步研究。刘冰等[1]从产业链的角度，对国家技术创新项目产生的经济影响进行了后评价研究，内容涉及评价内容、时间、范围、方法、指标等。张军果等[2]从科技投入产出角度，构建了财政科技项目的绩效评估体系，并计算了科技项目的投入与科技直接产出、经济效益和社会效益等之间的投入产出比。刘云侠等[3]从社会发展科技项目特点着手，就技术指标、经济效益、环境效益、社会发展、财务指标

等评价内容研究建立了后评估指标体系。雷孝平等[4]针对科技计划项目的专利产出，设计了后评估指标体系。杨道建等[5]从人员、学术、社会和经济绩效等方面建立了科技计划项目的绩效评价指标体系。徐溪虹等[6]研究了安徽省省级自然科学基金项目后评价的特点及存在的问题，从学术成果、奖励和专利、人才培养、诱发项目等角度研究了后评价指标体系。周寄中等[7]对国家自然科学基金委员会管理科学部自1998年以来所资助的面上项目在结题后进行了后评估研究，其建立的一级评价指标分别是报告著作、学术创新、政策建议、效益水平、国际交流、人才培养等。肖人毅[8]以项目研究水平、项目研究成果及项目管理等为主要评价内容对国家自然科学基金资助项目进行了后评价研究。

通过以上文献研究分析表明，完全针对科技项目后评价的研究工作开展较少，缺乏系统性。主要问题在于：（1）科技项目的后评价过多集中、局限于对科技项目的论文、论著、专利、奖励等直接产出成果的量化评价，对国家、行业、学科发展等方面的影响和效果的评价不够；（2）忽视科技项目的中长期影响，对科技项目的评价缺乏长效跟踪机制，尤其是项目实施对承担单位的能力提升、人才培养、企业和行业技术体系建设等中长期效益的重视程度不够；（3）导向性不明显，没有充分体现评价与行业科技战略目标结合起来、体现科技政策的一致性，评价不能切实地为行业科技政策及科技战略的实现提供有效而长远的指导。（4）缺乏对科技计划项目全生命周期过程的深入研究，对科技项目的可持续性以及成果的转化、推广等环节存在比较薄弱和欠缺的地方。

2 科技项目全生命周期后评价概念模型

2.1 科技项目全生命周期的阶段划分

科技项目全生命周期一般划分为五个阶段：启动、论证、实施、验收、应用。从识别需求、产生创新构思开始，进入项目选题、研究解决方案、项目论证、立项、实施、完成、转化应用称为科技项目的全生命周期过程[10-11]，在全生命周期的每一阶段进行技术、知识、人才、资金、信息、时间、管理等资源要素的持续投入和耗用，保障项目按预期计划进行，实现预期研究目标。

（1）启动阶段

作为项目下达方的中国烟草总公司科技主管部门主要针对项目产生阶段，通过实施技术预见，了解烟草科技发展趋势，进行技术需求分析和识别，确定当年资助的重点领域和优先主题，然后编制与发布烟草科技项目申报指南。

（2）论证阶段

烟草行业各直属企业作为项目申报单位，成立项目团队，来开展具体的项目申报工作。项目团队找准技术问题，确定项目选题，设计研究方法和技术路线，及实现研究目标所需要的资源需求，撰写项目申报书，提交项目团队所在单位的科技管理部门。项目下达方组织专家构成评审主体，评审主体就项目申报书的研究内容、研究目标、研究思路、研究方法、技术路线、技术经济指标及可行性分析报告，结合项目申报单位的研究基础、技术积累，对预选项目进行筛选。

（3）实施阶段

在项目成功立项后进入项目实施阶段，项目团队对项目主要研究内容进行分解，确定各阶段主要工作任务及其优先顺序，在项目进度、人员配置、经费使用、阶段性目标设定等方面进行系统规划，按照项目的实施方案，执行研究内容，确保项目在时间、经费约束下的各阶段主要研究内容和目标的实现。同时，在研究过程中，项目组根据条件和环境变化，对项目主要研究内容、研究目标、技术经济指标、经费、人员等进行必要合理的调整。

(4)项目验收

项目负责人在规定时间内提出申请，由各直属企业科技管理部门组织专家小组进行验收和评审，对项目的主要研究内容完成情况、技术经济指标实现程度，研究目标的实现程度，项目经费使用的合理性，研究质量等进行绩效评价和整体评价，提出修改的意见和建议，以便于项目的持续改进提高。

（5）应用阶段

应用推广是项目目标最终能否实现的关键阶段，项目实施完成之后，结合评审专家意见和建议，一方面，对成果技术、知识进行结构化、体系化的梳理和凝练，另一方面，进行项目成果的配套投入，促进成果的转化、应用与推广，产生预期的效果、效益。

2.2 科技项目全生命周期的后评价概念模型

贯穿于整个项目生命周期的利益相关主体涉及项目下达、项目监督管理、研发团队和成果转化应用单位等，各类主体在项目生命周期的各个阶段轮流扮演着不同的角色，分别进行计划管理、项目实施、监督控制、配套投入等四个相对独立的活动，这些主体和活动在科技计划项目的项目启动、评审论证、项目执行、转化应用等不同阶段的作用和形式各有侧重，推动科技计划的目标实现。根据每一阶段的特点和主要任务，构建了科技项目后评价概念模型，如图1所示。

图1 科技项目全生命周期的后评价概念模型

在项目全生命周期过程中，各个主体在不同阶段发挥不同的作用。项目下达单位发挥项目下达主体的组织、引导及选择职能，提供研发经费等。在实施阶段，项目承担单位负责对项目实施过程中的研究进度、经费使用、阶段性目标、代表性成果进行监督管理，以保障科研主体的研发活动顺利推进，确保在规定的经费投入和时间范围内达到预定目标。项目团队一方面具体负责项目的研究过程，另一方面，根据内部环境（如新知识、新成果、新技术的出现、人员变动等）和外部环境（如产业政策、社会环境，阶段性创新重点领域、方向的调整等）变化的情况，适当调整项目预定目标和主要研究内容，以确保项目研究及成果的价值和意义。项目完成后，成果转化应用单位进行配套投入，使研究成果应用于生产、科研实践，发挥项目的价值，实现项目的研究目标。

3 烟草科技项目后评价指标体系的构建

3.1 烟草科技项目后评价指标体系设计原则

烟草科技项目后评价的目的和作用决定了烟草科技项目后评价的价值取向，即应能监测烟草科技项目的影响、效益、目标实现程度、转化应用、可持续现状，发现项目的选题、决策、实施过程中存在的问题，引导烟草企业完善科技项目管理、提高项目研究质量。在设计后评价指标体系时应遵循以下原则。

（1）科学性与实用性原则。是指后评价指标体要反映科技项目的本质特征和科技项目后评价的内涵，评价指标的选择要能够客观全面地反映、分析、诊断烟草科技项目全生命周期的总体情况和存在的问题。

（2）系统性与层次性原则。评价指标体系是对评价要素进行客观描述的若干子系统集成，指标要具有层次性，上层级与下层级指标具有隶属关系，同层级指标之间相对独立。

（3）完备性与精简性原则。科技项目后评价包含众多要素，涉及多个层面和维度，既要有完备性也要有精简性，通过评价对科技项目有一个整体、全面的了解和判断。

（4）激励性与导向性原则。后评价指标应该充分体现烟草行业科技发展战略、重点领域和方向的要求，具有引导行业科技项目管理工作向规范化方向发展的功能。

3.2 烟草行业技术开发类科技重点项目的特点

烟草行业技术开发类项目一般以共性技术为研究对象，目标是解决烟草行业经济发展和技术进步中出现的实际技术问题和技术需求，此类科技项目在战略、集成、规模、影响等方面具有如下特点。

（1）战略性强。烟草行业科技重点以科技活动上游和重大战略需求的研究为主，侧重于从行业全局、前瞻、长远的角度来制订计划，体现烟草行业整体的科技发展战略意图和意志。

（2）集成度高。烟草行业科技重点项目的集成特点主要表现为技术路线结构复杂、研究过程层次多、研究内容的综合性强，涉及不同的学科领域、学科跨度较大。

（3）规模较大。烟草行业科技重点项目偏重于大型计划项目，项目体量大、投入经费额大、实施周期长，参与单位多、组织管理体系复杂。

（4）影响较大。烟草行业科技重点项目一般以着力解决制约行业发展的技术瓶颈等关键问题为主，以形成具有自主知识产权的核心技术和产生重要标志性的技术成果为主要目标，项目成果应用推广对推动行业科技进步作用明显。

（5）公共品属性强。烟草行业科技重点项目一般不针对企业特定的技术需求，以共性和应用基础等行业关键节点技术创新为主，创新的外部溢出效应强，具有技术公共品和基础性物质的特点。

（6）带动性强。烟草行业科技主管部门通过引导行业创新资源向重大问题和关键科技领域聚焦，形成一系列具体的科技项目，然后带动烟草行业内各企业自主设立一系列衍生项目的研究开发，以促进行业技术体系的建设和完善。

3.3 烟草行业技术开发类科技重点项目后评价指标体系设计

烟草行业科技项目后评价指标体系，既要反映科技项目本身的资源投入、实施过程、项目产出、技术水平等要素，也要体现科技项目目标实现、影响等战略层面的作用和意义。如图2所示，从项目绩效和组织管理两个方面设计的评价指标体系模型。

针对烟草行业技术开发类项目特点，基于科技项目全生命周期后评价概念模型和后评价指标体系模型，结合后评价指标体系的设计原则，建立初步的指标体系。组织来自于行业内外中烟工业企业、科研院所的科技项目管理、技术开发和成果推广等人员进行研讨，结合专家意见和建议，最终设计了基于全生命周期的科技项目后评价指标体系，如表1所示。

图2 科技项目后评价指标体系模型

表1 科技项目后评价指标体系与指标内涵

续表1

4 烟草科技项目后评价指标的权重和定量处理

采用层次分析法来确定指标权重。具体计算过程如下[12]：按指标体系中所确定的层次结构从最高层次指标开始建立两两比较判断矩阵；将判断矩阵两两比较的重要性结果量化，给判断矩阵赋值；采用方根法计算各指标的权重，并进行一致性检验，形成每个判断矩阵各自相对的权重；与上层指标相对权重相乘，得到每个指标的绝对权重。

科技项目后评价指标体系中的定性指标，需要进行定量化处理，评价结果的统计才能够更准确。通常采用格栅获取法对定性指标进行定量化处理。格栅获取法是凯勒（kelly）1955年提出的个人结构理论（Personal Construct Theory）中一个判别思考模型。一个格栅（Grid）是由元素（Element）和属性（Attribute）组成，每一个元素都可以被属性的一极或另一极描述。一个元素的属性可以用一个线性的尺度来表述，比如，利用格栅获取法的1～5刻度的尺度，评价等级的1、2、3、4、5分别表示评价对象所列指标的优秀、良好、一般、次差、最差五个等级，评价指标体系指标一般可采用百分制，对各指标的测评分为5个等级，其中90～100分为优，75～89分为良，60～74分为中，40～59分为较差，0～39分为差。

对科技项目后评价指标体系中各指标进行定量化处理。聘请包括技术研发、项目管理、成果推广等方面的专家组成评审委员会对拟进行后评价的科技项目进行测评。其一般程序是：在调研、讨论和熟悉科技项目总体情况的基础上，每位评委根据评价指标体系给各项指标打分，然后，根据评委对各指标的打分，把专家对各指标的打分乘以对应的权重，就可计算出某一科技项目的各一级指标及最终评价得分。

[1] 刘冰,陈治亚.基于产业链理论的国家技术创新项目经济影响后评价研究[J].科学学与科学技术管理,2007,(6):67-71.

[2]张军果,任浩,谢福泉.项目后评价视角下的财政科技项目绩效评估体系研究[J].科学学与科学技术管理,2007,(2):14-19.

[3]刘云侠,樊一阳.社会发展科技项目后评估研究[J].中国科技论坛,2007,(1):30-33.

[4]雷孝平.朱东华,周春娜.科技计划项目后评估中的专利评价方法研究[J].科学学研究,2008,26(3):573-577.

[5]杨道建,赵喜仓,陈海波.科技计划项目绩效评价指标体系的构建[J].江苏大学学报:社会科学版,2007,(2):89-92.

[6]徐溪虹,龚芳,李兴国.安徽省自然科学基金项目后评价研究[J].安徽建筑工业学院学报:自然科学版,2008,16(2):69-73.

[7]周寄中,杨列勋,许治.关于国家自然科学基金管理科学部资助项目后评估的研究[J].管理评论,2007,19(3):13-19.

[8]肖人毅.基于网络分析法的国家自然科学基金资助项目后评价研究[J].中国科学基金,2008,(5):312-315.

[10]王明明,魏婷.国家科技支撑计划项目后评价研究[J].科技进步与对策,2009,26(18):97-100

[11]宋东林,付丙海,唐恒.基于全生命周期的科技计划项目过程管理评价体系构建[J].科学管理研究,2011,29(1):32-36.

[12]杜栋,庞庆华,吴炎.现代综合评价方法与案例精选[M].2版.北京:清华大学出版社,2008.