基于可持续发展理念和AHP的高校绩效评价研究

2011-04-26 07:21姜彤彤
财务与金融 2011年4期
关键词:一致性绩效评价指标体系

姜彤彤

二战之后,随着新公共管理运动的兴起,以公共责任和顾客至上为基石的政府及非营利组织绩效评价/评估在全世界范围内推广开来,其目的是用更少的资源办更多的事情,在高等教育领域也不外如此。本文基于可持续发展理念选择和计算高校绩效评价指标,并应用经典的层次分析法确定权重,在此基础上对教育部直属财经类高校绩效进行综合评价和分析,以期对高校的各类“利益相关者”提供有益的信息。

一、基于可持续发展理念的高校绩效评价指标体系

可持续发展(Sustainable Development)是上世纪八十年代提出的一个全新概念。近年来,可持续发展的理念得到了世界范围内的广泛认可。高等教育领域的可持续发展,与社会经济的可持续发展涵义并不相同,主要是高校的教学、科研“产品”不仅在数量上能够满足目前的社会需求,还应该有长期的为整个社会服务的能力。某高校每年毕业10000名各类学生,这些学生中的90%找到了工作,我们只能说该高校在教学方面完成了任务;只有这些学生在后续的职业生涯中有持续的竞争力,涌现出很多各行各界的杰出人才才能肯定该高校的可持续发展能力。

在参考相关文献研究成果基础上,结合我国高等教育发展的实际情况,构建了包括教学、科研和社会服务、资源、声誉和可持续发展能力四个方面的高校绩效评价指标体系(见表1)。教学、科研和社会服务是高等教育的三大基本功能,在评价高校绩效时必须考虑在内,这也是国内外相关文献的通用做法。资源指标指生均占有的教育资源,是从生均教育投入的角度计算的,大多数学者认为其与高校产出息息相关,因此在评价高校绩效也要纳入其中。上述指标都可以通过年鉴或者其他统计资料直接取得数据。

声誉和可持续发展能力指标是为了衡量高校是否可持续发展而加入到指标体系中的。包括社会声誉、杰出校友和影响力、杰出员工和影响力、毕业生长期竞争力等四个二级指标。社会声誉及关注度一般结合高校在各大大学排名系统中的位置、网站访问次数、高考招生分数段、百度谷歌等搜索引擎关键词搜索数量进行评价;杰出校友和影响力可通过某高校毕业生中有社会影响和杰出贡献的校友判断,比如袁隆平1953年毕业于西南农大,他就是西南农大的杰出校友。某高校中杰出校友数量和质量越高,这所学校在这方面就越有竞争力、越具备可持续发展的能力;杰出员工和影响力指高校员工中能够有一定崇高声望的科学家及其社会影响,应结合高校中院士、博导及获得过国际奖项的员工及科研团队数量判断。这些杰出人才的存在会形成一种科学研究的集聚效应,有助于高校不断地产出创新性的成果;毕业生长期竞争力可通过分析猎头市场上高校毕业生的竞争能力分析,比如四大会计师事务所、著名的跨国公司这些有风向标指向的公司中不同大学毕业生的数量和职位层次,他们的职业发展趋势等。

表1 基于可持续发展理念的高校绩效评价指标体系

二、应用层次分析法确定高校绩效评价指标权重

层次分析法(Analytic Hierarchy Process,简称AHP)是由美国匹兹堡大学教授T.L.Satty在上世纪70年代中期提出的。近年来逐渐成为一种常见的层次权重决策分析方法,因其可将定性分析和定量分析相结合,所以广泛用于生产决策、交通运输、科研选题、产业结构、医疗、农业、经济、安全等领域。在高等教育方面,层次分析法主要用于高校教师绩效考核和教学质量评价中,本文基于层次分析法计算所有二级指标B11-B44权重。

层次分析法的核心观点是通过分析复杂系统的有关要素及其相互关系,将系统简化为有序的多层次递阶结构。在每一层次,按其上一层的某一准则或要素,对该层要素进行两两比较确定每一要素的相对重要性,每一层次都计算后确定多层次要素对于总体目标的组合权重。其基本步骤如下:

1、明确问题并建立层次结构

对所要解决的问题进行分类,构造一个各因素之间相互联结的递阶层次结构。处于最上面的层次是要实现的最终目标,中间层的元素是准则层和子准则层,最低层称为方案层。以高校绩效综合评价指标体系为例,目标层是高校绩效A,准则层是教学B1、科研和社会服务B2、资源B3、声誉和可持续发展能力B4,下面还有若干子准则层和方案层,如图1所示。图中详细列出了指标B4下的子准则层及方案层,在指标数据能够直接取得或者通过某种方式计算时,只需利用AHP计算指标的权重,无须对方案层的重要性加以对比。如果原始数据难以取得,可通过对比不同高校相对于子准则层的重要程度进行选择和判断。

2、构造两两比较判断矩阵

对同一层次中各因素的相对重要性用矩阵形式给出对比,两两比较后构造判断矩阵。比如对于高校绩效A来说,指标B1-B4的相对重要性程度两两判断比较得到如表2所示的矩阵A。矩阵中的bij常用1,3,5等数字来表示,称为标度,其含义如表3所示。当i=j时,两指标同等重要,所以矩阵对角线上的数字b11-b44都为1;b13=3表示教学B1比资源B3稍微重要,其他指标含义可以根据表3自行解释。还可以推导出,对任意的bji=1/bij,两者构成倒数关系。

判断矩阵中的指标数值可根据资料数据、专家和学者意见、系统分析综合衡量后得出,本文中所有判断矩阵都是咨询相关多名专家后的综合结果。

表2 判断矩阵A

表3 标度取值及含义

3、层次单排序和一致性检验

根据判断矩阵A,通过Yaahp软件或者Excel可 以 计 算 出 B1、B2、B3、B4的 相 对 权 重 为 0.3507、0.3507、0.1093、0.1893,一般用权向量 w表示。权向量的计算方法主要有和积法、幂法和方根法等。根据计算结果可见,人的思维中相对重要的因素权重较高,反之权重较低。比如,矩阵A的第一行显示指标B1相对于其他指标更为重要一点,计算出来的权重就相对较高。因层次分析法中的判断矩阵是根据人的思维分析得出,可能出现A重要于B,B重要于C,C又重要于A的矛盾现象。为了保证应用AHP得到的结论合情合理,还需要检验判断矩阵的一致性。

根据矩阵理论,人的思维完全一致性条件下构造的判断矩阵有唯一非零的、也是最大的特征根λmax=n,可以根据特征根的大小对矩阵进行一致性判断。一般将一致性指标定义为:

其中n是判断矩阵A中的因素个数,λmax是根据Aw=λw计算出的特征根。CI值越大,表明判断矩阵偏离完全一致性程度越高,CI值越小,表明判断矩阵越接近于完全一致性——人的思维并没有出现互相矛盾的判断结果。为衡量CI的大小,引入随机一致性指标RI,Satty计算出的RI的取值如表4所示。当CR=CI/RI﹤0.1时,可以判断矩阵的一致性程度较佳,否则需要重新调整矩阵。

表4 RI取值

经过计算,矩阵A的一致性检验结果如下:λmax=4.0104,CI=0.0035,CR=0.0038﹤0.1,通过检验。

对于二级判断矩阵,表5-表8列出了计算结果。结果显示了对B1-B4的二级指标而言,下属各三级指标的相对重要程度及权重,其中的总目标权重是本文下一部分计算的结果。

表5 判断矩阵B1及权重

表6 判断矩阵B2及权重

表7 判断矩阵B3及权重

表8 判断矩阵B4及权重

4、层次总排序和一致性检验

利用同一层次中所有层次单排序的结果,可以计算针对上一层次而言本层次所有因素相对重要性的权值。这种层次总排序需要从上到下逐层进行。比如表5中指标B11对A的总目标权重等于B11对B1的权重0.3829与B1对A的权重0.3507的乘积,其他总目标权重的计算方法完全相同,都是个别权重的加权平均数。计算结果见表5-表8的最后一列。

层次总排序也要计算一致性指标CR,是B1-B4计算出的CI的加权平均数/RI的加权平均数。经过计算CR=0.0059﹤0.1,通过一致性检验。

三、基于教育部直属财经类高校数据的实证研究

本文选择教育直属财经类高校进行实证研究,包括上海财经大学、中央财经大学、对外经贸大学、中南财经政法大学和西南财经大学。基本步骤如下:

1、定量指标计算

指标B11-B34可以通过《中国教育经费统计年鉴2008》和《教育部直属高校2008年基本情况统计资料汇编》取得数据。计算时,所有的生均指标都是按照当量学生数计算的,当量学生数=本专科生数+研究生×2+外国留学生数×3+成人高等教育学生数×0.2;师生比=专任教师数/当量学生数;计算方法上,指标B13是按照获取的原始区间数据的上下限均值计算的;指标B21-B26是根据自然科学和社会科学领域的数字汇总计算的。

2、定性指标取得

显而易见,指标B41-B44无法通过统计资料直接取得数据,可通过以下方法给出:⑴当评价对象数目较少时,选择AHP对比不同方案相对各指标的重要程度,以计算出的权重作为原始数据。根据图1中声誉和可持续发展能力评价层次结构,由评判专家结合不同高校实际情况,构造出各高校对指标B41-B44的两两比较判断矩阵共4个(限于篇幅未列出)。结合判断矩阵,计算出方案层相对重要性结果如表9所示,并通过了一致性检验。分析如下:中央财经大学在B41指标上的权重为0.3185,是这一指标上最高的,这说明中央财大在社会声誉和关注度上高于其他四所高校,可以将权重作为这一项的得分输入到模型中;⑵当方案即评价对象数据较多时,AHP法应用较困难,因为人的思维对多个因素进行比较时容易出错,可由专家直接打分或根据模糊综合评价法计算。

表9 基于AHP计算的定性指标数值

3、实证结果与分析

本文建立的指标体系既有定量指标又有定性指标,有绝对指标(数额)和相对指标(比率)。为了能够在指标间建立起统一的计算、比较准则,需要将所有的指标进行转化和无量纲化处理,使指标转变为与权重表达相同的以百分数表示的无量纲的相对指标。选择极值法对所有原始数据进行标准化处理,经过转化后的B11-B44数据、对应权重及综合得分如表10所示。

需要说明的是,因为被评价的5所高校都是财经类高校,所以在指标B26技术转让实际收入一项都为0,但因为技术转让是高校社会服务功能的重要指征,大多数理工、综合、农医类高校都可通过该指标反映其科技转化为实际生产力的服务能力,所以在建立指标体系是不可或缺的。

表10 标准化后的原始数据和权重、排序

从表中可以看出,上海财经大学的绩效得分是最高的,中央财经大学、对外经贸大学次之,中南财经政法大学和西南财经大学最低。但排名前几位的高校得分差距并不太大,因为这些高校都是我国的重点高校,在物力资源、教师素质和学生质量方面都没有实质性差距。排名较低的高校可根据每一项得分的数值分析查找到底是什么原因影响了高校的绩效,做到有的放矢,有针对性改进管理和制定绩效提升策略。

高校绩效评价模型是一个多层次、多指标的复杂系统。要科学的评价高校绩效,首先要保证评价指标体系的科学性,本文在可持续发展理念的指导下建立二级评价指标体系,将高校的社会声誉、员工和校友的影响力、毕业生竞争力等考虑在内,可以综合反映高校的现状和可持续发展能力;其次,通过AHP计算各指标体系权重,为确定类似指标体系权重提供了一种很好的解决途径。还对于指标体系中的定性数据利用AHP法计算其相对重要性,并作为原始数据输入系统;最后,加权平均得出高校绩效得分并进行分析。尽管本文只对少量高校进行实证研究,但实际上这种评价模型是具有广泛适用性,可用于各级各类高校的评价或者评估活动中。

[1]于留成,李爱民.大学文化建构与高校可持续发展[J].中国高教研究.2004,(4):18-20

[2]张晓秋,李华,蒋华林.部属高校人才培养效率综合评价与影响因素分析[J].高等工程教育研究.2009,(3):132-137

[3]张庆文,马苓.大学绩效评估指标系统的信度与效度分析[J].河北大学学报(哲学社会科学版),2009,(3):88-92

[4]张亚伟,汪安佑.基于综合定量指标法的高校绩效评价[J].国家教育行政学院学报,2009,(6):49-53

[5]应望江,李泉英.高校绩效评价指标体系设计及应用研究[J].国家教育行政学院学报,2010,(2):45-50

[6]常建娥,蒋太立.层次分析法确定权重的研究[J].武汉理工大学学报信息与管理工程版,2007,(1):153-156

[7]彭国甫,李树丞,盛明科.应用层次分析法确定政府绩效评估指标权重研究[J].中国软科学,2004,(6):136-139

猜你喜欢
一致性绩效评价指标体系
关注减污降碳协同的一致性和整体性
注重教、学、评一致性 提高一轮复习效率
IOl-master 700和Pentacam测量Kappa角一致性分析
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
基于BSC的KPI绩效评价体系探析
非营利组织绩效评价体系的构建
基于事件触发的多智能体输入饱和一致性控制
气象部门财政支出绩效评价初探
测土配方施肥指标体系建立中‘3414