修购专项资金项目后评价指标体系的构建

陈力，盛福深

（1.北京交通大学 基建与规划处，北京 100044；2.海军工程大学 勤务学院，天津 300450）

修购专项资金项目后评价指标体系的构建

陈力1，盛福深2

（1.北京交通大学 基建与规划处，北京 100044；2.海军工程大学 勤务学院，天津 300450）

基于建设项目后评价的要求和后评价指标体系构建的原则，针对修购专项资金项目的特点和专项支出绩效报告的要求，开展对既有公共建筑改造项目全寿命周期的分析，借鉴国内外的研究成果，改进了 Delphi法（专家规定程序调查法），探索了适用于修购专项资金项目后评价指标体系构建的研究方案。文章以高校图书馆大修及节能改造工程为实例，将研究方案应用于该工程项目后评价指标体系的构建，包括专家组的组建、调查问卷的设计和编制、征询信息的处理、后评价指标库的形成和后评价指标体系的构建，最终形成了具有 40个第三层次指标的后评价指标库，构建了具有5个第一层次、20个第二层次的多层次后评价指标体系。评价结果表明，该指标体系符合修购专项资金项目特点，涵盖专项支出绩效报告要求的全部内容，便于进行定性与定量相结合的项目后评价。

修购专项资金项目；后评价指标体系；Delphi法

0 引言

教育部和财政部为解决中央高校普遍面临的经费问题，在“十二五”期间拟集中资金优先重点支持修购专项资金项目。此类项目涉及内容繁多，主要包括完善安防、消防、防雷设施；修缮存在安全隐患的教室、学生宿舍、食堂、图书馆、体育馆等房屋建筑物及校园艺术演出场地；改造完善地下管网综合设施；购置相关设备；抢救性维修标志性建筑、古旧建筑；电力增容及供暖锅炉改造；校园信息化建设等综合性、系统性项目；适当兼顾学校教学实验室改造、教学实验室设备购置等教学条件提升项目［1］。后评价指标体系是项目的主要考察内容，后评价指标体系的构建是进行项目后评价的重要基础［2］，对于专项资金的合理使用及风险控制具有重要意义。通过由所研究的对象和目标中科学地选取一些能够客观地反映目标对象的整体或部分特征的参数作为依据，在工程项目竣工投入使用后的一定时期内，对前期工作、施工过程、效益、作用和影响进行全面的跟踪、调查、分析，对工程项目做出客观、系统的评估，并按照一定的层次结构共同构成的一个系统。后评价指标体系的构建应遵循综合性、集成性、整体性、适用性、既有性等原则［3］。

目前，针对建设项目后评价指标体系的构建，学者们进行了广泛的研究。王华提出国内外对建设项目构建后评价指标体系的方法主要有对比分类法、逻辑框架法、Delphi法、层次分析法等［2］。王清勤等采用Delphi法构建了既有公共建筑节能改造工程的评价指标体系，由围护结构、通风与空调、设备运营与管理、环境影响、经济效益、采暖改造构成［4］。朱学明等针对新建公共建筑构建了后评价指标体系，由项目决策过程、实施过程、经济效益、可持续性、环境和社会效益构成［5］。蒋宏等针对高校新建工程构建了后评价指标体系，由社会微观影响、社会宏观影响、经济影响、环境影响构成［6］。尤荻等针对图书馆建设项目构建了社会效益后评价体系，由硬件和软件、公共服务提供和用户满意度、信息和基础设施可持续性构成［7］。张华栋等针对老旧房屋改造项目构建了社会经济效益后评价体系，由经济净现值、经济内部收益率、经济效益费用比构成［8］。郭振胜针对高校基建项目的项目管理后评价进行了研究，评价体系由项目设计、施工管理、社会经济、环境评价构成［9］。刘丹平等针对高校基建项目的后评价进行了研究，评价体系由立项决策、勘察设计、施工管理、竣工验收、使用运行、社会效益、经济效益构成［10］。上述文献中的研究对象均为非营利性建设项目，对修购专项资金项目后评价体系的构建具有重要的指导意义和参考价值，但是在项目的投资目的、资金来源、资金额度、工期要求、施工复杂性等方面与修购专项资金项目之间存在差异，故其研究方案和研究成果不能直接应用于本项目的后评价。

文章分析了修购专项资金项目绩效报告的内容要求，借鉴上述文献中的研究方法和成果，采用改进后的Delphi法，建立关于图书馆大修及节能改造项目的研究方案和后评价指标体系，为项目高质量完成专项支出绩效报告奠定基础，探索出一种针对修购专项资金项目中既有公共建筑改造工程类项目构建后评价指标体系的研究方案。

1 研究方案的确定

根据后评价指标体系的构建原则，首先从适用性、既有性原则出发，分析研究对象的特点和要求、明确研究思路，然后按照综合性、集成性、整体性原则的要求，选择研究方法，并确定研究方案。

1.1 研究思路

修购专项资金项目的目的是解决中央高校普遍面临的资金紧张问题，其特点是资金额度有限、规定的资金完成周期短、大修工程施工条件复杂、预期社会效益大等。修购专项资金项目后评估的主要任务是高质量完成专项支出绩效报告。为此，修购专项资金项目后评估指标体系的构建应针对专项资金项目申报书和专项支出绩效报告的要求。

（1）专项资金项目申报书包括实施主要内容、进度计划、预期社会效益和经济效益、预算等内容。

（2）专项支出绩效报告包括年度预期总目标及阶段性目标、项目基本性质、用途、主要内容及涉及范围，项目资金使用和管理情况，项目组织实施情况，项目的经济性、效率性、有效性和可持续性，项目的后续工作计划等内容。

文章基于项目全寿命周期的 5个阶段［2］（立项决策、设计、施工过程、竣工验收、投入使用）来筛选后评价指标，形成后评价指标库；针对专项支出绩效报告的要求，将后评价指标按照实施过程、社会效益、环境影响、经济效益、可持续性进行分类，从而确定评价指标的各层次，并构建多层次的后评价指标体系。

1.2 研究方法

Delphi法主要是由调查者拟定调查表，按照既定程序以函件的方式分别向专家组成员进行征询，专家组成员以匿名的方式（函件）背对背提交意见，经过几次反复征询和反馈，专家组成员的意见逐步趋于集中，最后获得具有很高准确率的集体判断结果［3］。

利用 Delphi法可以充分发挥每一位专家的作用，避免权威人士的意见影响他人；但专家之间缺少思想的沟通交流，观点可能存在一定的主观片面性；容易忽视少数人的意见而导致预测的结果偏离实际；存在组织者主观影响等。

为了改善上述问题，应对 Delphi法进行如下的改进：

（1）聘请的专家不仅应该具有专业性、代表性，还必须与组织者有长期良好的合作关系，从而保证研究过程中积极、主动、富有责任心，以保证资金和人力投入较小的情况下，高效地获得准确的征询结果；

（2）专家在完成每一轮调查问卷过程中，对评价指标的含义进行补充，对评价指标的设置建议和说明，以保证专家准确、充分地表达思想；

（3）回收问卷后，组织者对问卷信息进行信息汇总、统计、整理，并在下一轮调查问卷中，将这些信息完全提供给专家，以保证专家之间良好的思想沟通交流，避免组织者的主观影响。

通过这样的改进，既达到使决策结果准确、全面的目的，又形成了专家之间良好的思想沟通交流，保证评价指标体系的客观性。

1.3 研究方案

根据上述改进Delphi法的思想，针对修购专项资金项目中既有公共建筑改造工程类项目，确定其后评价指标体系构建的研究方案，如图1所示。

图1 修购专项资金项目后评价指标体系构建的研究方案图

2 评价指标体系的构建

构建评价指标体系的过程包括：前期资料的准备、专家组的组建、调查问卷的编制、征询和信息汇总、评价指标体系的构建。

2.1 前期资料的准备

修购专项资金项目后评价的前期资料主要包括两部分。

（1）指导性资料 专项资金项目申报书和专项支出绩效报告。

（2）辅助性资料 设计、招投标、工程管理、竣工验收、审计结算、竣工后运行情况统计和使用单位满意度调查等方面的资料。

2.2 专家组的组建

根据修购专项资金项目资金额度有限、全寿命周期短的特点，选择专家时应侧重其对同类工程后评价的针对性、专业性、责任心等，以保证调查问卷和征询过程的科学性、客观性、适用性以及100%的回收率。据此，在实际操作中，专家人数不宜太多，但应具有长期的修购专项资金项目工程管理经验或高校后勤运行管理经验，并与项目后评估的组织者保持良好的合作关系。

2.3 调查问卷的设计和编制

调查问卷的设计和编制是研究的关键，决定改进 Delphi法的应用效果。

文章将调查问卷设计成3个部分，即

（1）问卷说明 包括本项目构建后评价指标体系的目的和意义、前期资料、填写方法、提交期限等，供专家参考以全面了解项目的情况和答卷要求。

（2）问卷调查表 包括评价指标筛选部分和专家建议部分，供专家勾选评价指标的重要度、发表个人建议、进行补充说明。

（3）附件 是将专家对后评价指标的说明和建议进行信息汇总、统计、整理所形成的说明和反馈资料，供专家参考以便形成专家之间的良好沟通。

将调查问卷的编制程序设计成2个阶段，即

（1）在专家组中选择几位专家代表，背对背分别对指导性资料的要求进行拆分和细化，对辅助性资料进行分析，匿名提出一定数量的待选后评价指标，并对所提出的指标给出详细说明。

（2）组织者按照项目全寿命周期的5个阶段，将专家代表提出的待选后评价指标进行简单汇总形成评价指标筛选部分，将待选后评价指标的详细说明进行整理形成附件。

2.4 征询和信息处理

征询和信息处理是研究的重点和难点，决定改进 Delphi法的执行准确性。

将调查问卷以函件的方式分别发给专家组全部成员进行征询，专家组成员背对背以匿名的方式逐一填表评价各指标的重要度并提出个人建议，按期返回问卷。对回收的调查问卷进行信息汇总、统计和整理。

（1）汇总 对每个指标在各评价等级的专家评价进行求和；

（2）统计 对每个指标计算评价得分的均值和方差，由式（1）、（2）表示为

式中：m为参加指标评分的专家数；aij为第 i专家对j指标的评分。其中，均值反应了多数专家的意见趋向，均值接近的等级是多数专家的意见趋向的等级；方差的大小反应了专家意见一致的程度，方差越大说明专家意见越分散，方差越小则说明专家意见越集中。

（3）整理 对于符合删除条件的指标，在调查问卷的三个部分中删除其相关信息。对于保留的指标，建立信息汇总表（在信息汇总表中，填入专家评价评价结果、均值和方差的计算结果，标注专家有建议的指标）、完善附件（将专家对评价指标的补充说明添加到附件、将专家关于增加评价指标的建议及理由添加到附件）。

（4）进行多轮征询 将新的调查表和信息汇总表一并发给专家组全部成员，请各位专家参考其中信息并进行下一轮评价。重复进行上述过程，直到所有评价指标打分结果均达到要求的集中程度，最终确定全部评价指标并形成评价指标库。

2.5 后评价指标体系的构建

首先分析专项支出绩效报告的要求。在专项支出绩效报告中将项目的后评价分为5个方面，即

（1）项目概况 包括项目的基本情况、年度预期总目标及阶段性目标；

（2）项目资金使用及管理情况 包括资金安排落实、总投入、资金实际使用、资金管理（管理制度、办法的制订及执行情况）；

（3）项目组织实施情况 包括组织（招投标、调整、验收等）、管理（管理制度建设、日常检查监督管理等）；

（4）项目绩效情况 包括经济性、效率性、有效性和可持续性等方面；

（5）项目的后续工作计划

将此作为指导思想，借鉴文献［6］、［9］和［10］中关于高校基础建设项目的后评价指标体系构建的思路，确定后评价体系的第一层次按照实施过程、社会效益、经济效益、环境影响、可持续性进行分类。

然后利用文献［4］、［5］、［7］中关于既有公共建筑改造项目和高校基础建设项目后评价指标体系归类方法和思路，将评价指标库中指标作为第三层次指标，分类归纳形成与第一层次相对应的第二层次指标。确定评价指标的各层次，构建多层次后评价指标体系。

3 实例应用

以高校图书馆大修改造项目作为修购专项资金项目中既有公共建筑改造类项目的实例，应用上述理论和研究方案构建后评价指标体系。

按照2.1准备项目的前期资料，编写问卷说明。聘请15位专家组成专家组，其中 10位是来自其他高校的修购专项资金项目工程管理人员（均参与同类项目工程管理或担任过同类项目工程负责人）、5位是学校后勤管理人员（均从事现岗位工作超过5年且参与该图书馆日常运行管理工作）。

选择专家组中担任过同类项目工程负责人的5位专家作为专家代表，每人匿名提出不少于 20项的后评价指标并对指标给出详细说明，进行汇总得到共56个初步评价指标，形成调查问卷表的评价指标筛选部分（见表1）和附件（见表3），专家建议部分见表2。表1中以 A～E分级表示各指标的重要度，分别对应非常重要、很重要、重要、可考虑、不重要5个评价等级。

表1 图书馆大修及节能改造工程后评价项目调查问卷—调查问卷表（评价指标筛选部分）

表2 图书馆大修及节能改造工程后评价项目调查问卷—调查问卷表（专家建议部分）

表3 图书馆大修及节能改造项目后评价评价指标信息汇总表

将调查问卷以函件的方式分别发给 15位专家进行征询。各位专家按照问卷说明，参考前期资料，背对背以匿名的方式对调查问卷的筛选部分各指标的重要度进行勾选，给出个人建议，按期返回问卷。以某一位专家为例，其勾选情况见表 1，个人建议见 表2。

图2 高校图书馆大修节能改造工程后评价指标体系图

对第一轮回收的调查问卷进行信息汇总、统计，即形成第一轮调查结果的信息汇总表，并对附件进行补充。

（1）信息汇总表 表4中，对应每个指标，在A ～E列填入相应的专家评分总和，在均值和方差填入计算结果，在专家建议列标注“*”提示在附件中该指标有专家建议。

（2）附件 将专家对原有评价指标的补充说明（见表1中实例）添加到附件中相应部分，并在信息汇总表中专家建议列标注“*”；将专家建议增加的评价指标的名称和理由、详细说明（见表 2中实例）分别添加到指标筛选部分和附件中相应位置。

再对信息汇总、统计结果进行分析、整理。

（1）对于均值＜3且方差＜1的指标，说明大部分专家认为不重要，在表1～4中删除相关内容，例如“决策过程和程序”；

（2）对于均值＞3且方差＜1的指标，说明大部分专家认为重要，保留在表 1～4中，在后续征询过程中，专家无需勾选只进行补充说明，例如“资金来源”；

（3）对于方差 ＞1的指标，说明专家评价意见比较分散，需要进行下一轮调查，例如“立项依据”。

形成新的调查问卷筛选部分、附件和信息汇总表（见表3）。

将新的调查问卷和信息汇总表一并发给 15位专家，请各位专家参考信息汇总情况，进行第二轮打分。重复进行上述过程到第三轮后，评价指标的征询结果均达到要求的集中程度，评价指标数量最终确定为40个，形成评价指标库。

根据专项支出绩效报告要求构建多层次的后评价指标体系，见图 2。将后评价指标体系分为 3个层次，第一层次有5个：实施过程、社会效益、经济效益、环境影响、可持续性等 5个方面指标，第二层次有20个，第三层次评价指标为40个。

文章构建的后评价指标体系的具有以下几方面的作用和特点：

（1）评价指标来源于项目的全寿命周期，涵盖实施过程、社会效益、经济效益、环境影响、可持续性5个方面，因此，满足综合性、集成性、整体性的原则；

（2）很多评价指标提炼于修购专项资金项目项支出绩效报告要求，因此，具有针对性强，满足适用性、既有性的原则；

（3）对评价指标设置了补充说明，为后续采用定量与定性结合的方法进行项目的后评价奠定基础；

（4）补充说明保留了征询过程中专家组的全部思想，为后续采用主观、客观相结合的方法进行每个指标的量化评价奠定基础。

（5）各评价指标的均值在后续项目后评价过程中将作为确定各评价指标权重的主要参考信息。

基于此后评价指标体系，对第三层次指标进行了数据采集、处理和量化赋值，采用成功度模糊综合评价法对本项目进行了后评价，所得到本项目的模糊综合评价结果由式（3）表示为

B＝X×R＝（0.79，0.15，0.06，0.00） （3）

根据最大隶属度原则确定了本项目成功度隶属等级为 A，并对评价结果进行了有效性验证，验证结果表明本项目综合成功度隶属等级的有效性为A。

4 结语

文章采用改进的Dephi法，分析了修购专项资金项目的特点，针对专项资金项目申报书和专项支出绩效报告的要求，借鉴前人所提供的研究方法和评价指标体系，主要做到了确定适合修购专项资金项目的后评价指标体系构建的研究方案；组织前期资料、组建专家组、设计调查问卷和征询过程；进行三轮调查问卷的发出、回收，以及问卷信息的汇总、统计、整理，最终形成由40个后评价指标构成的后评价指标库。构建了 5个第一层次指标（实施过程、社会效益、经济效益、环境影响、可持续性）和20个第二层次指标（设计、成本、工程质量等）的后评价指标体系。利用这一体系对某高校图书馆大修及节能改造工程进行了后评价，效果显著。

［1］ 财政部教科文司，教育部财务司.关于开展中央高校修购专项资金2012—2015年项目申报工作的通知［Z］.财教便函〔2011〕253号，2011.

［2］ 王华.建设项目评估［M］.北京：北京大学出版社，2008.

［3］ 陈志伟.项目后评价指标体系的构建原则与指标选取研究［J］.中国化工贸易，2015，7（31）：65－66.

［4］ 王清勤，何维达.既有公共建筑节能改造评价指标体系构建的探讨［J］.建筑节能，2011，39（4）：73－76.

［5］ 朱学明，李飞鹏.天津西站景观工程项目后评价指标体系研究［J］.天津城市建设学院学报，2012，18（2）：140－143.

［6］ 蒋宏，刘宇涛，胡昊.高校新校区建设项目影响后评价指标体系的构建与应用［J］.建筑经济，2010（1）：41－44.

［7］ 尤荻，梁双陆.公共图书馆建设项目社会效益后评价体系研究［J］.图书馆，2015（10）：102－105.

［8］ 张华栋，左中杰，李芳，等.老旧房屋改造的社会经济效益评价体系［J］.建筑结构，2012（42）：472－475.

［9］ 郭振胜.基于 AHP的高校基建项目管理后评价研究［J］.黑龙江大学工程学报，2015，6（2）：30－33，41.

［10］刘丹平，王建青，杨志明.高校基本建设项目后评估层次分析模型［J］.中国管理科学，2005，13（Z1）：98－102.

［11］何应时.项目后评价指标体系与量化评价体系研究［J］.中国工程咨询，2013（1）：44－49.

［12］吴昌龙.电网建设项目后评价指标体系研究［J］.城市建设理论研究（电子版），2015，5（29）：2175－2176.

［13］王庆，库亚荣，蒋燕，等.建设工程项目后评价研究［J］.科技和产业，2010，10（8）：65－66，116.

［14］王天怡，张秀媛.既有居住区交通改造评价指标体系研究［J］.交通信息与安全，2010，28（5）：31－33.

［15］韩中庚.数学建模方法及其应用（第2版）［M］.北京：高等教育出版社，2009.

Post-evaluation index system construction of special funds projects for the maintenance and procurement

Chen Li1，Sheng Fushen2
（1.Construction and Planning Office，Beijing Jiaotong University，Beijing 100044，China；2.Logistics College，Naval University of Engineering，Tianjin 300450，China）

Based on the requirements of post-evaluation of construction projects and the principles of construction of the post-evaluation index system，targeting at the characteristics of the special funds projects for the maintenance and procurement and the requirements of special expenditure performance report，carrying out analysis on the whole life cycle of existing public buildings renovation project，referring to domestic and foreign research achievement，improvements were made on Delphi method，and the research program for the post-evaluation index system of special funds projects for the maintenance and procurement was explored.This paper took the university library overhaul and energy-saving renovation project as an example，applied the research program to the construction of the post-evaluation index system of the project，including the formation of the expert group，the design and preparation of the survey questionnaire，the processing of consulting information，the formation of the post-evaluation index database，and the construction of the post-evaluation index system，finally the post-evaluation index database with 40 third level indexes was formulated and the multi-level postevaluation index system with 5 first level indexes and 20 second level indexes was constructed.The results show that the index system is in accordance with the characteristics of the special funds projectsfor the maintenance and procurement，covering all the contents of the requirements of special expenditure performance report，and conducive to the qualitative and quantitative analysis of the postevaluation of the project.

special funds projects for the maintenance and procurement；post-evaluation index system；Delphi method

TU242.3

A

1673－7644（2016）05－0483－08

2016－07－03

陈力（1969－），女（满），讲师，硕士，主要从事高等院校工程管理等方面的研究.E-mail：chenli＠bjtu.edu.cn