项目后评价精量化与客观化应用研究——以国网电力技改项目为例

郭亚楠 罗拓 郭兴昕 魏超

(1.清华大学深圳国际研究生院，广东 深圳 518055；2.国网江苏省电力有限公司电力科学研究院，江苏 南京 211100)

0 引言

随着电力行业的迅速发展，国家对电力技改项目的投入力度逐年加大，电力技改项目的研究、管理和评价工作也愈加受到重视。构建精量化、客观化的项目后评价指标体系，基于已建立的评价指标体系设计和开发一套项目后评价软件系统，对电力技改项目进行科学量化、客观专业的后评价，对于提高电力技改项目决策和管理水平具有重要的实践意义[1]。

1 项目后评价中的问题与需求

2018年，国家电网有限公司(以下简称“国网”)发布《国家电网生产技术改造项目后评价报告深度规定》(以下简称《深度规定》)，提出了生产技改项目(以下简称“技改项目”)后评价的指标体系和评价要求[2]。《深度规定》的出台为国网生产技改项目后评价提供了执行标准，是电力系统开展技改项目后评价的纲领性文件，需要在全行业中贯彻执行。然而，在按照《深度规定》要求对技改项目进行后评价的过程中发现一些需要进一步厘清和探讨的问题。

1.1 导向性问题

《深度规定》是面向全行业技改项目普遍适用的标准文件，评价指标体系涵盖技改项目全生命周期的各个方面，指标权重分布相对均衡。对于科研人员在项目后评价工作中重点关注的一些指标，相应的指标权重较低，个别指标影响力和适用度较低，都需要根据客观实际做出必要调整，以重点突出、简洁高效、易于操作作为项目后评价导向[3]。例如，针对科研人员普遍关注的“项目完成后的运行绩效”的指标，应通过科学分析，提高其在整个后评价体系中的指标权重。

1.2 客观化问题

国网对于技改项目的后评价规定虽然采取了定性与定量相结合的方法，但大多数情况下仍依靠定性评价作为支撑，这必然会带来项目后评价结果中主观因素影响较大的问题[4]。如何减少项目后评价中的主观性影响，增强项目后评价的客观性和科学性，关键在于筛选和建立一套适合电力技改项目的后评价指标体系，提高可量化、可计算指标的权重，降低含有主观性评测因素指标的权重，提升电力技改项目后评价的科学性和客观性[5]。

1.3 精量化问题

实现项目后评价的精量化，关键是指标体系中各项指标能够数量化、公式化。各项指标以翔实的数据来源和科学的公式技术作为支撑，满足统计分析原理的数字化、规范化要求，能够实现项目全生命周期精量化评价，并具有可操作性[6]。

2 项目后评价指标体系的构建与设计

电力技改项目作为国网电力科研单位的项目主体，主要指电力科研单位利用电力行业相对成熟的技术，对现有实验室、试验系统或平台进行升级改造的项目。因此，对于技改项目的后评价，应聚焦于项目投入运行后完成试验、检测任务、支持重大工程项目等方面的运营效益评价。

依据电力技改项目的特点及后评价的实际需求，将项目后评价工作以项目投入运行的时间作为时间节点，划分为项目建设过程评价和项目运营绩效评价。该项目后评价指标体系总分100分，项目建设阶段占比25%；项目运行阶段占比75%。该项目后评价指标体系评分标准主要适用于电力科研单位技术改造类项目的后评价工作。该评价体系将项目后评价分为项目建设过程和项目运营绩效两个阶段进行综合评价，总分100分，项目后评价总分90分以上为优秀，80分以上为良好，70分以上为合格，60分以上为基本合格，60分以下为不合格[2]。

依据以上原则与思路，采用逻辑框架法、层次分析法、对比法等项目后评价方法[4]，以“易获取、可量化、应用广、影响大”为标准对电力技改项目后评价指标按标量化和按需细化，构建出一套精量化与客观化的电力技改项目后评价指标体系(以下简称“后评价指标体系”)，并编制项目后评价指标体系评分标准[1]。

后评价指标体系共分为三级指标：一级指标2项，分别是项目建设过程评价子体系和项目运营绩效评价子体系。二级指标10项，其中项目建设过程评价子体系包含4项二级指标，分别是进度评价、合规评价、偏差评价和安全评价。其中，进度评价包含2项三级指标，分别是过程进度评价和总进度评价；偏差评价包含2项三级指标，分别是预决算偏差评价和设备资产偏差评价。项目运营绩效评价子体系包含6项二级指标，分别是运行效能评价、运行指标评价、运营效益评价、发展支撑评价、运行成本评价和系统功能评价。其中，运行效能评价包含3项三级指标，分别是设备使用效率评价、设备试验能力评价、设备完成任务重要性评价；运行质效评价包含3项三级指标，分别是运行故障评价、运行稳定性评价、安全防范评价评价；运营效益评价包含2项三级指标，分别是试验能力同比增长评价、设备使用频率同比增长效益评价；发展支撑评价包含4项三级指标，分别是重大项目支撑评价、电力行业标准支持评价、企业品牌效益评价、新技术应用评价；运行成本评价包含2项三级指标，分别是年度运行成本效益评价、运行成本同比增长率评价；系统功能评价包含3项三级指标，分别是系统用户覆盖范围评价、系统共享性和可扩展性评价、系统易操作性与易安装性评价。电力技改项目后评价指标体系结构如图1所示。

图1 电力技改项目后评价指标体系结构图

3 电力技改项目后评价客观化、精量化应用实现路径与方式

为充分体现项目后评价的精量化和客观化，指标体系的打分方式采用条件判断法和计算公式推导法。这两种定量分析方法的运用，大大提升了项目后评价指标体系中各项指标评分的科学性和准确性，降低了定性评价带来主观性和不确定性[7]。

各三级指标的研判和打分采用两种定量化评价方式，分别是条件判断评价方式和计算公式推导评价方式。

3.1 条件判断评价方式

采用条件判断评价方式打分是根据项目后评价指标体系各三级指标所设置的若干项条件和标准，判断待评价项目符合该三级指标的其中一项条件，得到相应的得分。

3.1.1 在项目建设过程评价子体系中的应用

在项目建设过程评价子体系中，二级指标“进度评价”“合规评价”“偏差评价”“安全评价”均采用条件判断评价方式进行打分。例如，二级指标“偏差评价”下的三级指标“设备资产偏差评价”采用条件判断评价方式进行打分：通过对比《项目初步设计报告》中的主要设备材料清册，《项目物资和服务验收报告》中的物资验收单信息、施工图设备材料信息、验收报告设备材料信息是否一致，评估项目建设过程中设备资产的偏差性。

评分标准如下：

(1)项目初步设计的设备资产值与可研批复的设备资产值一致，得1分；不一致，得0分。

(2)项目招标方案及中标结果的设备资产与初设批复的设备资产值一致，得1分；不一致，得0分。

(3)项目实施方案的设备资产值与初步批复的设备资产值一致，得1分；不一致，得0分。

(4)项目验收结果的设备资产值与实施方案的设备资产值一致，得1分；不一致，得0分。

3.1.2 在项目运营绩效评价子体系中的应用

在项目运营绩效评价子体系中的二级指标“发展支撑评价”“系统功能评价”均采用条件判断的评价方式进行打分。

(1)发展支撑评价。二级指标“发展支撑评价”下设置了4项三级指标，都是通过条件判断的评价方式进行打分：项目发展支撑效益是对项目有关重大项目支撑、行业标准支持、科研获奖效益、新技术应用效益等多方面的发展支撑效益评价。该二级指标模块采用并列评分、总分限定的方式进行打分，即项目在一个方面获得较高支撑效益即可得满分，各项加和总分最高为10分。

(2)重大电力项目支撑效益评价。项目支撑国家重大专项项目，得10分；项目支撑国网重点工程及指南项目，得7分；项目支撑省网重点工程及指南项目，得5分。

(3)电力行业标准支持效益评价。项目支持了国际/国家标准编制工作，得10分；项目支持了国网标准编制工作，得7分；项目支持了省网标准编制工作，得5分；项目支持了机构标准编制工作，得3分；项目支撑了其他标准编制，得1分，项目未支撑标准编制，得0分。

(4)企业品牌支撑效益评价。项目相关新闻在国家级媒体发布，得5分；在省部级媒体发布，得3分；在地市级媒体发布，得2分；在其他媒体发布，得1分；未在媒体发布，得0分。

(5)新技术应用评价。项目应用了《公司年度重点科技成果和新技术目录》等相关文件中的技术成果1项，得5分，最高得10分。

3.2 计算公式推导评价方式

采用计算公式推导评价方式是根据项目后评价指标所要求获取的项目数据值(一般保留到小数点后两位)代入指标计算公式，所得出的指标值再代入评分计算公式，最终得出相应指标的分数(一般保留到小数点后两位)。

3.2.1 在项目建设工程子体系中的应用

在项目建设工程子体系中的二级指标“偏差评价”中的第二项三级指标“预决算偏差评价”采用了计算公式推导评价方式。通过查验和统计待评价项目的总预算A和总决算B，利用计算公式(1)计算两者之间的偏差率α，再将偏差率α代入评分计算公式(2)，得出分数x。

计算公式如下

α=(B-A)/A

(1)

评分公式如下

x=5，0≤α<10%

x=5-10α，10%<α<50%

(2)

x=0，α≥50%或α<0

3.2.2 在项目运营绩效评价子体系中的应用

在项目运营绩效评价子体系中的二级指标“运行效能评价”“运行质效评价”“运行效益评价”“运行成本评价”下，均采用了计算公式推导评价方式进行打分。

(1)运行效能评价。二级指标“运行效能评价”下设置了3项三级指标，均采用计算公式推导评价方式进行打分。

1)设备/系统使用效率评价。通过监测项目所在实验室的设备/系统投运后一年内的使用时长(天数)Z，统计该设备/系统实施技改前一年内的运行时长(天数)X，利用式(3)计算设备/系统使用效率提升比率η，再将η代入评分计算公式(4)，得出分数a。

计算公式如下

η=|(Z-X)|/X

(3)

评分公式如下

Z>X，a=5，η≥10%

a=50η，0<η<10%

(4)

Z≤X，a=0

2)设备/系统实验能力评价。通过查验和统计设备/系统试验/检测/故障分析/日常运行报告数量，对比设备/系统完成检测量或实验任务数量C与项目可研阶段设定的计划完成任务量D，利用计算公式(5)计算偏差率β，再将β代入评分计算公式(6)，得出分数y。

计算公式如下

β=|(C-D)|/D

(5)

评分公式如下

C>D，y=5+10β，0<β<50%，y=10，β≥50%

C=D，y=5

(6)

C

y=0，β≥50%

3)设备/系统实验重要性评价。通过查验设备/系统试验/检测/故障分析/日常运行报告，统计和评价设备/系统完成检测或实验任务的级别和重要程度，查验设备/系统试验/检测/故障分析/日常运行报告，统计完成国网下达数量、完成省网下达任务数量、完成电科院下达任务数量，计算完成任务总数。评价设备/系统完成实验任务的重要性。

完成国网下达任务数占总完成任务数比例≥10%，得5分；完成省网任务数占总完成任务数比例≥20%，得3分；完成电科院任务数占总完成任务数比例≥50%，得2分。

(2)运营效益评价。二级指标“运营效益评价”下设置了2项三级指标，也采用计算公式推导评价方式进行打分。

1)年度完成任务同比增长率评价。通过对比本年度项目涉及的设备/系统完成检测量或实验任务数量C与上一年度检测量或实验任务数量G，利用计算公式(7)计算同比增长率ε，再将ε代入评分计算公式(8)，得出分数r。

计算公式如下

ε=(C-G)/G

(7)

评分公式如下

C≥G，r=5(ε≥50%)

r=10ω(0≤ε<50%)

(8)

C

2)年度使用频次同比增长率评价。通过对比本年度项目涉及的设备/系统使用频次L和上一年度使用频次M，利用计算公式(9)计算同比增长率δ，再将δ代入评分计算公式(10)，得出分数k。

计算公式如下

δ=(L-M)/M

(9)

评分公式如下

L≥M，k=5(ε≥50%)

(10)

k=10ω(0≤ε<50%)

L

(3)运行成本评价。二级指标“运行成本评价”下设置了2项三级指标，也采用计算公式推导评价方式进行打分。

1)年度运行成本效益评价。通过统计项目年运行一年的运维费用总和I、项目资产原值J，利用公式(11)计算两者之间的偏差率γ，再将γ代入评分计算公式(12)，得出分数s。

计算公式如下

γ=I/J

(11)

评分公式如下

s=5，γ≤5%

(12)

s=10-100γ，5%<γ<10%

s=0，γ≥10%

2)运行成本同比增长率评价(5分)。通过统计项目年度总运维费用I、项目实施技改前一年总运维费用K，利用公式(13)计算同比增长率ω，再将ω代入评分计算公式(14)，得出分数t。

计算公式如下

ω=(I-K)/K

(13)

评分公式如下

t=5，ω≤20%

(14)

t=6-10ω，20%<ω<50%

t=0，ω≥50%

3.3 小结

采用上述两种定量化评价方式，项目后评价各级指标的评分更加科学、客观，避免了定性评价带来的主观性和不准确性，充分满足了项目后评价的精量化与客观化要求。

4 电力技改项目后评价软件系统开发与应用

4.1 电力技项目后评价软件系统的设计开发

实现项目后评价自动化、智能化是未来的发展趋势。为提高电力技改项目的评价效率和管理水平，切实考量和评价电力技改项目的投入产出效益，充分总结项目建设及运行过程中的经验教训，根据已建立的项目后评价指标体系，设计和开发一套项目后评价软件系统，目标是实现对项目全生命周期文件和材料中的文字、图像等信息进行自动化提取、识别、判断和评价等功能；通过软件开发和应用场景测试，实现项目实施过程合规性、项目成果效益性的全方位智能化评价，为电力科研单位的项目投资决策和战略发展规划提供有力支持。

基于电力技改项目后评价指标体系及评分标准，设计和开发了电力技改项目后评价软件系统。该系统作为国网项目精益量化全景项目管理系统的子系统，与国网项目精益量化全景项目管理系统架构和数据库相统一，基于“浏览器-服务器”模式建设，充分利用国网现有的网络硬件和软件支持环境，遵照统一的技术接口规范和标准。系统分为项目后评价、后评价结果查询、后评价指标管理、管理员权限四大功能模块，其系统整体架构如图2所示。

图2 电力技改项目后评价软件系统整体架构图

4.2 电力技改项目后评价软件系统的实证应用

项目后评价软件系统一般由科研人员和管理员操作和使用。科研人员在管理员授权后登录项目后评价软件系统，可以进入“项目后评价”“后评价结果查询”和“后评价指标管理”三个功能模块进行操作和使用。管理员可以新增和修改科研人员登录和使用系统的权限。

科研人员进入“项目后评价”功能模块，输入项目名称或项目编号等项目信息，搜索并调取待评价项目的基本信息。按照系统中有关各项评价指标的输入数据信息要求，采用自动导入、直接上传和手动输入等多种方式，输入项目建设过程和项目运行绩效的对应评价数据信息，进行项目后评价分析和评分。项目后评价软件系统自动分析和计算待评价项目的各级指标得分，并计算得出项目后评价总分。科研人员进入“后评价结果查询”功能模块，可以查阅已评价项目的结果详情，并对多个已评价项目的结果进行比较分析；进入“后评价指标管理”功能模块，可以查看项目后评价各级指标和评分规则，并且可以进行新增、修改、删除等操作。

5 结语

目前，国网对电力技改项目的评价方法虽然采取了定性与定量相结合的方法，但多数情况下仍需要有定性评价作为支撑。建立精量化与客观化项目后评价指标体系，对各级评价指标的评分标准进行定量化设置，尽量降低定性评价权重，有效克服了以定性评价为主的传统项目后评价方法所带来的主观性和局限性，提升了电力技改项目后评价的科学性、客观性和实操性。

此外，以精量化与客观化项目后评价指标体系为基础开发的项目后评价软件系统，对电力科研单位技改项目进行实证分析和评价打分，可以更加科学地对项目的建设和运行结果进行评价，尤其是对于项目投运后的运行效能、运营质效、支撑效益、运行成本及系统功能等运营绩效指标的评价更加细致、精准，评价结果可以更加真实地反映项目存在的问题，提出切实可行的改进意见，有助于提高项目全生命周期管理的效率和水平，为电力科研单位的项目投资决策和战略发展规划提供参考。