马如停, 徐石海, 李 琰
(暨南大学实验室与设备管理处,广州510632)
建设世界一流大学和一流学科,是党中央、国务院作出的重大战略决策,实现我国从高等教育大国向高等教育强国的历史性跨越。一流实验室建设和管理水平是一流大学和一流学科建设的必然要求,实验室建设项目绩效评价直接反映建设质量和建设的内涵水平。2018 年9 月,教育部在上海召开“双一流”建设现场推进会,着力推进“双一流”加快特色、高质量建设。在加快建设的背景下具有高质量、特色建设,绩效评价的检查和监督机制不可缺少,建立“双一流”实验室建设项目绩效评价体系,开展实验室建设项目绩效评价,是推进高校科研管理和评价机制改革,产出引领性原创性成果,提升科研创新水平的重要管理手段[1-2]。
目前,高校实验室建设项目绩效评价工作多以专家评价法为主,而在绩效评价方法理论性和系统性研究不够,绩效评价体系建设,特别是评价指标体系的建立和权重的设定缺乏科学性和理论支撑,在实际操作中专家评议打分的主观性影响较大。高校实验室建设项目绩效评价需要对现行绩效评价方法不断改进,继续探索更为适合的高校实验室建设项目绩效评价体系和方法[3-7]。高校实验室建设经费来源各异、管理体制多头、功能和服务对象差异较大,绩效评价应采用系统分析的思想,依据实验室教学、科研或者公共服务的功能分类,采用层次分析法构建评价指标体系对实验室建设绩效进行评估。
实验室建设绩效评价是对实验室投入、产出结果的综合评估,实验室建设绩效评价是一项系统工程,需要在系统分析下,针对不同投资规模和不同学校、不同学科,采用合适的方法构建科学合理的评价指标体系。评价方法有模糊综合评价法、TOPSIS 评价法、层次分析法、专家评价法。在实验室建设绩效评价的实践方面,美国等西方国家在20 世纪90 年代开展了政府与高校等公共服务部门绩效评价的研究并实施。1993年美国颁布的《政府绩效与结果法》规定,“每个机构都应提交年度绩效计划和报告”,据此,联邦政府公共服务部门每年需编制绩效计划,并依据绩效评价结果撰写绩效评价总结报告。美国国家实验室隶属不同部门,管理体制不一致,绩效评价方法也不尽相同[8-9]。此外,不少国家针对高校教师的教学工作逐步实施绩效评价,但在高校实验室建设绩效评价体系构建与实施尚缺乏实施性强、适用性广、较为系统研究。
我国财政部在2005 年编制《中央部门预算支出绩效考评管理办法(试行)》(财预〔2005〕86 号),开始了中央级预算的绩效考评工作,在2009 年和2011 年进行了两次修订,并在2015 年开展了重点支出项目绩效评价的结果应用,在预算支出绩效评价和结果应用方面做了有益的尝试。各地区、各预算部门也结合实际制定了具体的管理办法和实施细则,在绩效评价方法上主要采用专家评价法。专家评价法是在定量和定性分析的基础上,以打分、专项评议等方式做出评价,专家的评价意见与打分结果是决定实验室建设项目绩效水平的关键因素,专家的评价意见与打分结果所依据的指标体系欠缺科学论证与理论支持,由于专家知识背景和价值观念的差异,对项目绩效目标的理解也不同,对建设项目的绩效评价意见存在较大差异,绩效评价结果易出现偏差较大的情况。因此专家评价法的评价结果的客观性和准确性仍有待改进[10]。
层次分析法(The analytic hierarchy process)简称AHP,是系统评价方法中的一种主要方法,由美国运筹学家托马斯·塞蒂(T.L.saaty)于20 世纪70 年代中期提出。层次分析法综合了人们的主观判断,通过定性分析和定量分析相结合,将复杂问题分解为若干层次和若干影响要素,依据问题的性质及所要达到的目标分解为各个组成要素,并将这些要素按隶属关系和关联程度分组形成有序的阶梯层次结构。经过征询专家意见、调研实践,将各影响要素两两比较确定重要程度比值,通过计算判断矩阵特征向量,求得各层次的影响要素对上一层次某要素的优先权重,最后用加权和的方法递阶归并各影响要素对总目标的最终权重,进而建立评价指标体系和权重。层次分析法作为一种常用的系统评价方法,具有思路清晰、定性分析与定量判断相结合、客观性和系统性强的优点,适用于实验室建设项目绩效评价[11-15]。
高校实验室建设项目绩效评价要素包括:实验室建设项目总体定位和建设目标、实验室建设项目管理、实验室建设项目验收、实验室建设项目综合效益、实验室建设项目特色等。
(1)项目总体定位和建设目标。实验室建设总体定位和建设目标是项目的立项依据和项目绩效目标的依据,实验室建设项目需服务于学校的总体发展目标,符合实验室建设规划,满足教学和科研需要,支撑学科建设需要,项目立项时须有基本目标、近期目标、中长期目标等。
(2)项目管理。实验室建设管理包括项目组织管理机构、项目实施方案、实验设备管理、实验室经费管理、实验室环境管理、实验人员管理等制度和机制,项目管理制度和运行机制是项目实现建设目标、发挥建设效益的制度保证。
(3)项目验收。项目验收反映项目建设内容的完成情况、项目建设资金使用情况等,包括项目完成情况、项目完成质量、资金执行情况、仪器设备管理到位情况、实验室环境建设情况、相关验收情况(结论)等。
(4)项目综合效益。项目综合效益是建设项目的产出结果,体现为是否满足实验教学需要,完成实验教学任务;是否改革和更新实验教学内容和教学方法,推进实验教学改革;是否支持科研任务的完成,支撑学科建设;完成的人才培养数量和质量情况;贵重仪器的使用率和共享情况;实验室开放和产生的社会效益情况。项目综合效益是实验室建设绩效评价的重要因素。
(5)项目特色。实验室建设项目特色体现为实验室管理的创新、技术的独特和科研的突破。是实验室建设绩效评价的特别加分要素。
依据绩效考评管理办法,经多方调研、专家论证,建立实验室建设项目绩效评价层次分析模型(见图1),评价模型分为三层:目标层,即实验室建设项目综合绩效;准则层,即项目绩效评价要素,包括立项与管理(实验室建设目标定位和总体思路、项目管理制度)、建设与完成(项目验收报告)、效益与特色(项目综合效益、特色);指标层,即项目绩效评价指标,包括实验室目标定位等15 项指标。
图1 实验室建设项目绩效评价层次分析模型
考察准则层各影响要素和指标层各观测指标对目标层的影响程度,用成对比较法和1—9 比较尺度构造成对比较阵。层次分析法1-9 比较尺度的含义见表1。
表1 层次分析法1-9 比较尺度
通过计算最大特征值和一致性指标,检验一致性,获得各层权向量,从而确定各指标层权重和分值,见表2 ~5;并确定各指标层间权重及权值,见表6。
表2 目标层判断矩阵和因素权重
表3 准则层影响要素及权重——C1 要素
表4 准则层影响要素及权重——C2 要素
表5 准则层影响要素及权重——C3 要素
表6 各指标层间权重及权值
实验室建设绩效评价工作需建立合理的组织管理架构,制定科学的绩效评价指标体系,同时需要实验室建设单位准备评估材料、协助专家实地核查项目情况,实验室建设项目绩效评价工作流程图,见图2。该工作流程应用于2015 ~2018 年中央高校改善基本办学条件专项实验室建设项目绩效评价实践。
图2 实验室建设项目绩效评价工作流程图
我校自2013 年启动实验室建设项目库的构建,以实验室建设规划为指导,项目预算阶段突出绩效导向;项目执行阶段加强绩效监控;项目完成以后全面开展绩效评价。并从2015 年开始使用基于AHP的高校实验室绩效评价模型实施评价,将绩效评价结果应用于后续实验室建设项目。历经4 个年度的实验室建设项目绩效评价实践,已经建立了一套完整的基于AHP的高校实验室绩效评价体系,实验室建设项目申报和完成质量明显提升,实验室建设综合效益显现:①实验教学满足度和实验教学改革。实验课程体系获得重构,实验规模效益也有所增加,新的实验内容的加入使综合性及设计性实验所占比重提高,新平台和新设备的引入使得实验教学手段和教学方法得到提升,教师参与教研教改项目积极性和成果大大提高。例如药学实验中心、医学实验中心等单位综合性、设计性实验项目超过70%;媒体实验教学中心利用中心资源与业界合作率先在国内高校创立了“专业训练营”的教学模式,让学生从实训到实战,全面提高实践技能,等;②实验教学效果和人才培养。教学实验室条件的提升,学生参与课程实验的机会和学时数大大增加,参与创新工程项目、各类竞赛等的积极性越来越高,获得的成果也越来越好。体现了良好的教学和科研效果。例如理工学院本科生以第一作者发表学术论文《WO3 Nanoflowers with Excellent Pseudo-capacitive Performance and the Capacitance Contribution Analysis》,期刊影响因子达8.262,生科院多名本科生被美国知名大学全额奖学金录取攻读博士学位,化学与材料学院本科生获得第五、六届广东省材料创新大赛高分子赛区一等奖等;③实验室建设特色。我校显微形态实验室实现无显微镜的全电子化切片教学,自主设计研发的第二代显微形态互动教学系统已获4 项国家发明专利技术,在全国高校属首创。
运用层次分析法对高校实验室建设项目绩效评价体系进行优化设计,建立基于AHP的高校实验室建设绩效评价模型,可以提高评价结果的客观性及准确度。在提升实验室建设项目质量,发挥实验室建设项目的综合效益上有重大作用,对完善高校实验室建设项目绩效评价指标体系具有很强的借鉴意义。