电力科技项目实施效果的柔性综合评估体系研究

史添，孙伟卿，杨舒婷，王承民，刘涌，衣涛

（1.国网山西省电力公司，山西太原 030001；2.上海理工大学光电信息与计算机工程学院，上海 200093；3.上海交通大学电子信息与电气工程学院，上海 200240；4.上海博英信息科技有限公司，上海 200240）

电力科技项目实施效果的柔性综合评估体系研究

史添1，孙伟卿2，杨舒婷3，王承民3，刘涌4，衣涛3

（1.国网山西省电力公司，山西太原 030001；2.上海理工大学光电信息与计算机工程学院，上海 200093；3.上海交通大学电子信息与电气工程学院，上海 200240；4.上海博英信息科技有限公司，上海 200240）

分析了电力科技项目的特点，建立了电力科技项目实施效果的柔性综合评估指标体系。运用该评估体系对山西省的多个科技项目进行评估。结果表明：要科学客观地评价电力科技项目，对电力科技项目进行分类是基础，并结合电力企业行业和科技项目特征，综合考虑电力企业科技项目选题原则、课题背景、立项依据、技术路线、效益价值等，从项目开发的效益、技术水平、项目适用性3个方面入手，构成电力科技项目评估指标体系；考虑到该评估指标体系必须易于被电力系统上级主管部门使用，指标应尽量简单、定义明确而规范，以期实现良好的可操作性。

电力科技项目；项目管理；柔性综合评估

目前，在建设中国特色社会主义市场经济的大背景下，国家电网公司朝着建设坚强智能电网的方向踏步前行，电力市场以及售电公司不断兴起，电力企业坚持深化改革，以技术创新、改善管理模式为驱动，不断为国家智能电网建设提供强有力的理论与技术支持。这些改革与创新，都是以电力科技项目的实施为载体的。电力科技项目立项是电网蓬勃发展的标志，是建设中国特色社会主义事业的重要组成部分。科技项目的完成与验收是科技项目实施运行中的关键。项目管理中最重要的一个环节是对项目整体实施效果进行评估，而项目评估按照评估目的分为项目前评估与项目后评估，科技项目后评估广泛应用于各领域的项目实践与应用。

项目后评估[1]是指对已经完成项目（或规划）的立项目的、执行过程、项目效益、作用和影响进行系统的分析与客观的评价。国外项目后评估的研究起步较早，项目后评估早在20世纪30年代开始应用于金融行业和建筑行业，并逐渐形成了完善的制度以及科学合理的评价体系，项目管理者能够通过后评估评价体系准确地分析项目中的创新点与不足。后评估也是对项目前评估的检验，通过后评估检验判断项目成果是否与预期的标准相吻合，分析项目管理与实行中的优点与不足，针对建设项目管理的失败教训，认真总结寻找失利的原因，提出相应的补救与改进措施，并为日后的项目工作总结经验和教训[2-3]。

科技项目后评估工作在国外备受关注，历经几十年的发展与补充，美国、法国、德国、英国、日本、加拿大、韩国等国家的项目评估体系相当完善，并将建立的科技项目评估体系制度化、规范化。由于我国在项目评估方面起步较晚，该研究仍处于初级阶段。但近年来，由于我国对于科技项目评估的重视，经过多年的迅速发展，克服研究起步晚、体系不完善的短板，我国电力科技项目评估方面也取得了较大的研究成果，但与国际水准仍有一定的差距。

文献[4-9]论述了在电力行业中应用项目后评估的重要性和必要性，阐明了在具体电网中如何合理评估电力科技项目，并对科技项目的评估内容、评估方法、评估标准和评估原则等归纳总结。文献[10]建立起1套科技项目评估体系，并将其应用于实际的电力科技项目，根据得到的评估结果，针对项目实施中的优缺点提出了一系列的建议和措施。文献[11]针对云南电网公司建立了其电力科技项目评估体系。

本文在现有研究基础上，建立了更加完善的电力科技项目实施效果的柔性综合评估体系，并探讨了电力科技项目的特点以及这些特点对评估体系的影响，研究更加客观公正的评估体系。

1 电力科技项目的特点

项目评估指标体系应结合该项目特点，本文通过对电力科技项目特点进行研究总结，以期为指标体系的建立奠定基础。

电力科技项目普遍存在独特性，科技项目的独特性必然造成项目评估具有独特性。就电力科技项目评估的特点而言，其主要特性如下。

1.1 项目评价指标多

电力科技项目与工程建设项目不同的是，在电力科技项目中，电力企业运行是否合乎运行相关章程的规定，与2方面有关，一方面，是各种运行技术指标制定的合理性；另一方面，与预期完成后得到的运行指标有效性相关。因此，指标体系的合理性、科学性是进行项目评估的前提条件，在分析行业特点的基础上，建立1套符合行业技术标准的指标体系是必要的，这对电力科技项目的先进性和经济效益提出了明确的要求，从而保证电网企业持续发展的需求。

1.2 项目评价对电力系统依赖性强

电力系统运行的项目在电力科技项目中占多数，科技项目评价具有系统性，其系统性包含2个层面，一是从项目本身而言，电力系统是当今复杂系统之一，项目本身具有较强的系统性；二是从项目所造成的影响，项目完成后对提高电力系统安全性、稳定性、经济性的影响。一般而言，电力科技项目从设计到运行，本身就是一个系统工程，项目的实施是一个从完整的系统转化为生产力的过程。

为了实现电网的正常运行，并满足行业技术要求，电力科技项目由于涉及电源、电网、负荷、硬件、软件等方方面面，系统性特点十分突出，不但要考虑设备体系对于系统运行的影响，还要考虑设备自身功能。评价项目成功的重要因素包括项目的可持续性、可拓展性以及对后续的发展影响。

1.3 环保指标要求严

此外，电力企业对环保的重视程度较一般的工程建设项目更高。近年来环境恶化、资源枯竭，任何以牺牲环境为代价的项目都是不允许的，环境保护在项目申报过程中具有一票否决权，由此可见，环保在项目的申报过程中所处的地位。

2 科技项目后评估的柔性综合模型

评判一个科技项目做得好不好，好到什么程度或者不好到什么程度，需要建立科技项目后评估模型。科技项目后评估模型是一个决策模型，决定决策目标的准则分为1，2，…，n种，每一种决策准则下会有一些子准则1，2，…，m，每个子准则下还会有l种影响因子，其层次结构如图1所示。

图1 科技项目评估层次结构Fig.1 Hierarchy of science and technology project assessment

本文基于层次分析法的基本原理，通过分解、判断建立了电力科技项目后评估模型。以项目完成总满意度M为目标函数：

式（1）～式（3）中：xi为准则i的实现程度；ωi为准则i的权重；yj为子准则j的实现程度；αj为子准则j的权重；zk为影响因子k的影响效果；βk为影响因子k的权重。

在该评估模型中，既考虑了各种准则、子准则及其影响因子，又通过赋予权重的方式，使得各影响因素的重要性可以根据实际情况进行灵活调整。以影响因子k影响效果zk的权重βk为例，在实际评估中，其并不是一个固定不变的值，而是可以根据评估侧重点的不同人为设定，在一定范围内取值，即：

因此，科技项目后评估模型也称为柔性综合评估模型，该模型兼顾项目评估的全面性（刚性的）和评估准则的可变性（柔性的），具有很好的灵活性。

3 权重确定

电力科技项目综合效果评估体系的建立，本着定性与定量相结合的原则，坚持评估工作的客观性和公正性，全面完善地反映项目各个不同的方面，即评估指标。为了量化项目评估指标，需要给每个指标设定相应的等级和分数，每个指标的每个等级对应一个具体的分数，将所有的指标分数相加就可以得到项目的综合效果评估分数。

在综合考虑电力科技类项目的目的、过程、效益、作用和影响情况下，从科技项目的实施过程、技术标准、创新成果、经济效益4方面将电力科技项目评估指标分为4个一级指标，这4个一级指标涵盖面广，为了精确量化电力科技类项目评估，在每个一级指标下分别设立相应的二级评估指标和评分标准。下面分别简单介绍相应的一级、二级指标及评分标准。

3.1 过程评价

在过程评价这个一级指标下，又分为立项决策、过程管理、经费使用3个二级指标。

3.1.1 立项决策

立项决策总分为4分，根据立项依据的充分程度，应用科学原理准确性，研究目标合理性，技术路线可行性，技术能力与研究基础是否有保障这些方面来为立项决策评分，立项依据的充分程度越高，应用的科学原理准确性越高，研究目标合理性越高，技术路线可行性越高，技术能力与研究基础有保障，则立项决策的分数越高。综合考虑立项决策的这几方面内容，公正合理的评判立项决策分数。

3.1.2 过程管理

过程管理总分8分，分为2个部分，每个部分各4分。第一部分：按项目进度计划执行，如期完成阶段目标的得4分。第二部分：按项目实施效果评分，实施效果好者评分高。

3.1.3 经费使用

经费使用总分3分，按经费的合理使用程度评分。3.2 技术评价

在技术评价这个一级指标下，有技术先进性和创新性、难度和复杂性、实用性、市场价值及应用推广情况4个二级指标。

3.2.1 技术先进性和创新性

技术先进性和创新性的评估内容包括研究技术、方法的科学性和先进性，成果技术指标的先进性和成果水平；是否提出了新方法、新工艺，是否对原有技术或方法有新的突破或深化。总分8分，按3个等级划分，一等6～8分，二等3～5分，三等1～2分。

3.2.2 难度和复杂性

难度和复杂性的评估内容包括研究方法和研究对象所涉领域的广度，是否有多学科融入、边缘科学应用；研究的深度和难度。总分8分按3个等级划分，一等6～8分，二等3～5分，三等1～2分。

3.2.3 实用性

实用性的评估内容包括技术原理在实践中的成熟程度、采用技术的可靠性、生产应用中的实用性，与国内科技水平相配套的程度。总分8分，按3个等级划分，一等6～8分，二等3～5分，三等1～2分。

3.2.4 市场价值及应用推广情况

市场价值及应用推广情况的评估内容包括符合社会总体发展规划的需求重点、热点和难点；采用该技术可接受与易掌握的程度；形成产业化时与其他要素的整合配套程度。总分6分，按3个等级划分，一等4～6分，二等2～3分，三等1分。

3.3 成果评价

在成果评价这个一级指标下，有论文或专著、科技成果奖励、知识产权、成果水平4个二级评价指标。

3.3.1 论文或专著

三大国际检索系统收录的国际期刊或会议录上发表论文，每篇4分；中文核心期刊上发表论文，每篇1分；专著每部4分；其他期刊或会议上发表的论文，每篇0.5分。论文或专著累计不超过6分。

3.3.2 科技成果奖励

省、部级和国网公司奖励一等奖20分、二等奖10分、三等奖5分，省公司级奖励一等奖10分、二等奖5分、三等奖3分。重复获奖以最高奖计分。

3.3.3 知识产权

发明专利每项4分，实用新型、外观每项2分，软件著作权每项2分。累计不超过8分。

3.3.4 成果水平

按省公司组织的项目评审或省科技厅组织的成果鉴定给出的成果的先进程度评定，国际领先5分、国际先进4分、国内领先3分、国内先进2分。

3.4 效益评价

在效益评价这个一级指标下，有直接效益、间接效益、社会效益3个二级指标。

1）直接效益。直接效益的评估内容包括：增加了公司的经济收入，降低了公司经营成本，增加供电量、降低网损、提高市场占有率、提高生产与管理效率。总分10分，按4个等级划分，一等7～10分，二等4～6分，三等2～4分，四等1分。

2）间接效益。间接效益的评估内容包括对国家宏观决策和有关部门的决策产生重要影响；项目具有实用化、产业化的前景；形成了技术储备，有利于公司相关领域其他项目的开展；增加了对社会的贡献；提高了公司的知名度和美誉度；促进了国际交流合作；有利于企业文化的培育和发展。总分10分，按4个等级划分，一等7～10分，二等4～6分，三等2～4分，四等1分。

3）社会效益。社会效益的评估内容包括人才培养，提高企业竞争力、研发能力、提高人身和设备安全促进了电网的安全和可靠运行；改善了电网的环境影响；促进了公司生产经营决策的科学化；形成新的生产力、生产技术、产品和管理办法等方面。总分5分，按4个等级划分，一等4～5分，二等3～4分，三等2～3分，四等1分。

4 案例分析

根据山西省电力公司所提供的2009—2011年135个项目自评估报告、专家评分统计表等资料，利用本文所建立的电力科技项目实施效果的柔性综合评估体系，对这135个项目进行评分。项目综合效果评估的结论分为4个等级，即优、良、中、差。项目综合效果评估总评分大于或等于85分的为优，大于或等于75分、低于85分的为良，大于或等于60分、低于75分的为中，低于60分的为差。2009—2011年135个项目综合评估的统计结果如表1所示。

表1 2009—2011年135个项目综合评估的统计结果Tab.1 Statistical result of 135 projects from 2009 to 2011

根据表1统计结果，各评估等级项目数量分布如图2所示。

图2 山西省2009—2011年科技项目后评估结果分布图Fig.2 Distribution of science and technology projects of Shanxi province from 2009 to 2011

由图2可知，运用本文所建立的电力科技项目综合效果评估体系，山西省科技项目综合效果评估为优、良、中的项目各占总数的13%、43%、44%，这135个项目中没有总评估为差的项目。此评估结果，对于评为“优”类的项目比例合适，但对于评为“良”、“中”类的项目比例相当，不大符合统计学规律。经分析，造成这一结果的原因主要有以下几个方面：

1）这135个项目的项目评估报告的评估指标不够细致，没有办法对不同类别的科技项目进行较合适的项目综合评估。

2）原先给出的评估指标分值不合适，不能较好地反映不同类别科技项目的完成效果，因此需进行一定的优化调整。

5 结论

电力科技项目有它自身的特点，如果完全照搬利用科技项目综合效果评估指标对电力科技项目进行评估，那么势必会忽视电力科技项目的部分因素，导致不能完善地评价电力科技项目，这既是对科技项目承担方的不负责任，也不利于项目供给方对项目进行验收。本文仔细分析电力科技项目的特点，根据电力科技项目的特点研究适合电力科技项目的综合效果评估体系，针对山西省2009—2011年间的135个项目在原有的分析统计的基础上，按照本文所建立的评估体系对这些项目进行评估，发现评估结果仍然不符合统计规律，总结出现这种情况的原因。

如果想要科学客观地评价电力科技项目，对电力科技项目进行分类是基础；并结合电力企业行业和科技项目特征，综合考虑电力企业科技项目选题原则、课题背景、立项依据、技术路线、效益价值等，从项目开发的效益、技术水平、项目适用性3个方面入手，构成电力科技项目评估指标体系。考虑到该评估指标体系必须易于被电力系统上级主管部门使用，指标应尽量简单、定义明确而规范，以期实现良好的可操作性。

[1]张三力.项目后评价[M].北京：清华大学出版社，2000. [2]刘雪坷.浅谈建设项目后评价[J].有色冶金设计与研究，2003，24（2）：46-47. LIU Xueke.A discussion on post-evaluation of project construction[J].NonferrousMetals Engineering&Research，2003，24（2）：46-47（in Chinese）.

[3] 郭红.项目后评价的意义 [J].山东经济战略研究，2001（8）：54. GUO Hong.Significance of project post-evaluation[J]. Shandong Economic Strategy Research，2001（8）：54（in Chinese）.

[4] 曾奕.科研项目后评估在电力技术研发项目中的应用[J].科技风，2009（22）：245. ZENG Yi.Application of project post-evaluation in electrical research and development projects[J].Technology Wind，2009（22）：245（in Chinese）.

[5] 柴中华.电力项目后评估理论方法及应用研究[D].南京：河海大学，2007.

[6] 杨霄.电网建设项目后评估浅析[J].管理观察，2009（14）：213-214. YANG Xiao.A discussion on project post-evaluation of grid construction projects[J].Management Observer，2009（14）：213-214（in Chinese）.

[7]匡平，郭壮志.浅谈电力建设项目的后评价[J].湖南电力，2004，24（3）：39-41. KUANG Ping，GUO Zhuangzhi.On the evaluation of the post-construction in electric power industry[J].Hunan Electric Power，2004，24（3）：39-41（in Chinese）.

[8]王广庆，孙红星.秦皇岛农村电网建设与改造项目后评价研究[J].农村电气化，2003（3）：12-14. WANG Guangqing，SUN Hongxing.Research on the project post-evaluation of Qinhuangdao rural grid construction and upgrading[J].Rural Electrification，2003（3）：12-14（in Chinese）.

[9]吴淑芳.输变电项目后评估体系研究[D].昆明：昆明理工大学，2007.

[10]丁宝奎，张力晨.电力企业科技项目后评估指标体系与例证分析[J].科学学与科学技术管理，2007（10）：197-198. DING Baokui，ZHANG Lichen.Post-evaluation index system and case analysis of electric research projects[J]. Science of Science and Management of S.&T.，2007（10）：197-198（in Chinese）.

[11]张晓春.云南电网公司科技项目后评估指标体系建立及应用探索[J].云南科技管理，2010（3）：12-14. ZHANG Xiaochun.The construction and application of project post-evaluation index system in Yunnan Power Grid projects[J].Yunnan Science and Technology Management，2010（3）：12-14（in Chinese）.

Research on Flexible Com prehensive Assessment System of Im p lementation Effectsof Electric Science and Technology Projects

SHITian1，SUNWeiqing2，YANG Shuting3，WANG Chengmin3，LIU Yong4，YITao3
（1.State Grid Shanxi Electric Power Company，Taiyuan 030001，Shanxi，China；2.Deptof Optical-Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai200093，China；3.Deptof Electronic Information and Electrical Engineering，Shanghai Jiaotong University，Shanghai200240，China；4.Shanghai Proinvent Information Technology Co.，Ltd.，Shanghai200240，China）

This paper first analyzes the characteristics of electric science and technology projects.And according to these characteristics，a flexible comprehensive assessment index system for electric science and technology projects is established. Furthermore，multiple projects in Shanxi Province are assessed using the established assessment system.Finally，the paper summarizes the problems of previous assessment systems and prospects the development trend of future assessment for science and technology projects.

electric science and technology project；project management；flexible comprehensive assessment

2016-05-12。

史 添（1979—），男，硕士，高级工程师，主要研究方向电网规划；

（编辑 董小兵）

国家自然科学基金项目资助（51177099）。

Project Supported by National Nature Science Foundation of China（51177099）.

1674-3814（2017）02-0044-05

TM-9

A

孙伟卿（1985—），男，博士，讲师，研究方向为电力系统优化。