高校学科建设成员绩效评估方法及应用

2019-11-08 09:14武慧君高良敏崔红标杨金香
关键词:科研课题一致性权重

武慧君, 杨 涛,高良敏,崔红标, 杨金香

(安徽理工大学 地球与环境学院,安徽 淮南 232001)

学科建设是高校综合发展的生命线,是教学、科研和服务社会的重要支撑,是衡量一所高校水平高低的重要标准[1- 2]。而学科建设成员在学科建设中起到关键作用,学科建设成员工作质量的高低直接关系到学科建设的效率。如何确保学科建设成员提高学科建设的效率,其绩效评估又是一大关键。学科建设成员的绩效评价作为检验学科发展的有效手段,具有导向、鉴定、改进、激励和管理的功能[3]。而高校学科建设成员绩效评价方法是学科建设成员绩效评价的重要内容,是开展学科建设评价的依据和基础[1]。因此,建立一个科学的高校学科建设成员绩效考核评估方法,对于提高学科建设水平、提高学科核心竞争力具有重要意义。

目前绩效评价的方法有多种,主要包括两类,一类是客观赋权法,即根据各指标间的相关关系或各项指标值的变异程度来确定权数,如主成分分析法[4]、因子分析法[5]、数据包络分析法[6]等;一类是主观赋权法如德尔菲法[7]、综合评分法[8]、层次分析法[8- 9]等。相对于国外相关研究,国内研究起步较晚,且多是针对高校工作人员绩效考核或学科建设评估,目前尚无公认的学科建设评估指标体系和评价方法,且对以学科建设为背景,在学科建设中起主导作用的学科成员绩效评估较少。层次分析法(Analytical Hierarchy Process,AHP)是将与决策问题有关的元素分解成目标、准则、方案等层次,在此基础之上进行定性和定量分析的决策方法。该方法目前多被应用在高校教师考核[10-12]和企业绩效考核中[13-15],而专门在学科建设尤其是学科建设的基本组成——学科成员中的应用不多。

一、基于AHP的学科建设成员绩效评估模型构建

(一)绩效评估指标分层结构构建

首先,绩效评估指标选择参考一些如高校年度综合考核办法、职称评定文件、学科带头人考核要求以及其他学校和院系相关学科建设和教师工作规定和管理办法等,结合文献资料查阅和专家咨询,根据AHP法建立学科建设成员量化考核指标的递阶层次结构,如图1,即将考核指标分别分为目标层I1、准则层I2和准则层I3和准则层I4,同时确定各层指标。如I1为学科成员考核绩效;I2分为教育教学、科研科技、思想政治等;I3中对应I2中的教育教学指标分为教学工作量、教育教学研究项目、教材编写、教研论文等指标,I3中对应I2中的科研科技指标分为科研课题、学术论文、学术著作等指标, I3中对应I2中的思想政治指标分为政治认识和活动表现、师德品质、工作态度和表现、遵纪守法等指标。

图1 学科建设成员绩效评估体系

(二)绩效评估指标比较判断矩阵构建

对各指标层下一级的各指标两两比较其重要性,分层建立两两比较判断矩阵。如I2 层各指标(共3个)相对于I1层即I1-I2判断矩阵、I3层(各指标分别为14、10和4个)相对于I2层即I2-I3判断矩阵、I4层各指标(为N个)相对于I3层即I3-I4判断矩阵,并计算出各个矩阵的最大特征根λmax及其对应的特征向量。并根据平均一致性指标进行判断矩阵一致性检验和调整,从而确定不同准则层下各准则层指标的权重。

判断矩阵中元素的赋值依据1-9标度法,根据专家意见,对两两因素之间进行比较并打分。判断矩阵中元素的赋值标准具体说明见表1。

表1 相对重要性标度及其描述

基于构建的学科建设成员绩效考核体系,邀请了相关专家、高校教师,并查阅相关文献及自身判断,对该考核指标体系中各层指标进行两两比较,分别得到了不同的判断矩阵,如表2至表5所示。

表2 判断矩阵I1-I2

表3 判断矩阵I2a-I3a

表4 判断矩阵I2b-I3b

表5 判断矩阵I2c-I3c

(三)权重确定及一致性检验

1. 矩阵权重计算。由于直接用定义计算矩阵的特征根和特征向量相当困难,成对比较阵构造完成后,可以利用和积法或方根法来近似计算所构造的成对比较阵的最大特征根和对应权向量。在高校学科建设成员绩效评估模型中使用和积法进行计算,步骤如下:

将判断矩阵A的每一列归一化:

(1)

对按列归一化的判断矩阵,再按行求和:

(2)

(3)

则w=[w1,w2,w3,…,wn]T即为所求的特征向量。

计算判断矩阵的最大特征根:

(4)

(Aw)i表示向量Aw的第i个元素。

如此所得的w=[w1,w2,w3,…,wn]T即为矩阵A特征向量的近似值。在评估模型中把它作为属于同一个上级指标的n个同级指标的权重。

2. 矩阵权重一致性检验。为使判断矩阵具有一致性,需对其偏差进行一致性检验。本文用随机一致性比值来加以检验。检验公式为:

(5)

其中,CR表示一致性比值,CI表示一致性指标,RI表示平均随机一致性指标。其中

(6)

其中,n为矩阵的阶数。

根据表6,当CR≤0.10时,判断矩阵具有满意的一致性,否则需要重新调整判断矩阵。在做一致性检验时, 应一层一层自上而下计算, 直到求出最底层所有指标的权重。

表6 平均一致性指标

根据各目标层权重计算,并进行总体一致性验证得到各评估指标的权重,如下。

(1)I1-I2层判断矩阵。由公式1,2和3求得该矩阵的权重WI1-I2=(0.43,0.43,0.14)。

由公式4得出最大特征根λmax(I1-I2)=3.0。对λmax(I1-I2)进行一致性检验得该判断矩阵具有满意的一致性。可见判断矩阵I1-I2的相容性良好,因而所得的因素权重也是令人满意的。其中教育教学和科研科技在学科建设成员绩效考核中占有同等重要的地位,且两者相比思想政治在绩效考核中的重要性均显著较高。这也是与很多高校既重视教学又重视科研,两者齐抓并进的要求是相符的。

(2)I2a-I3a层判断矩阵。对于I2a-I3a 矩阵,同理可以求得其CI和CR值。可见该判断矩阵通过一致性检验,且该矩阵对应的各指标权重WI2a-I3a=(0.17,0.11,0.07,0.04,0.10,0.06,0.05,0.07,0.04,0.03,0.04,0.03,0.02,0.17)。最大特征根λmax(I2a-I3a)=14.18,其亦满足一致性检验。可见判断矩阵I2a-I3a的相容性良好,因而所得的因素权重也是令人满意的。其中教学工作量和教学处分两大指标在教师教育教学考核中所占比重最大,对绩效考核结果有重要影响,这是因为一方面对学生的授课是教学之本,是培养学生的重要途径,另一方面高校对授课人员的教学行为要求较高,除了奖励手段激励,还需要惩罚手段自律,这些都是必不可少的。其次为教学效果和在研教研项目,而指导青年老师、指导学生项目和指导学生学科竞赛对该层指标考核贡献比重较小。

(3)I2b-I3b层判断矩阵。同理,I2b-I3b层判断矩阵通过一致性检验,且该矩阵对应的各指标权重WI2b-I3b=(0.21,0.13,0.05,0.21,0.08,0.07,0.05,0.03,0.11,0.07)。最大特征根λmax(I2b-I3b)=10.92。对λmax(I2b-I3b)进行一致性检验,并得出该判断矩阵的相容性良好,因而所得的因素权重也是令人满意的。可以看出,科研课题在科研科技相关考核中被赋予较高权重,而随之的科研课题经费在对学科建设成员科研科技方面贡献考核时也占有主要分量。因为课题及其科研经费是科研成果产出的重要支撑。实际上,国家、地方和高校本身对科研人员都提供了多个科研项目类型申请,并鼓励科研人员积极申请课题。

(4)I2c-I3c层判断矩阵。同理,I2c-I3c层判断矩阵通过一致性检验,且该矩阵对应的各指标权重WI2b-I3b=(0.14,0.38,0.38,0.09)。最大特征根λmax(I2c-I3c)=4.02亦通过一致性检验,可见判断矩阵I2c-I3c的相容性良好,因而所得的因素权重也是令人满意的。并且师德品质和工作态度及表现两个指标在该层考核中均占有主导地位。毕竟,师德品质为教师包括学科成员的基本职业道德,是教师在从事教育活动中必须遵守的道德规范和行为准则;而工作态度及表现直接关系到工作的质量、个人的提升及学科的发展。

(四)评估核算方法构建

根据加乘法则, 建立学科建设成员绩效考核的数学模型, 如下式:

(7)

其中,S为总评分,n为评价指标的个数,wi为第i个评价指标的权重,fi为各学科第i个指标的得分。

二、基于AHP的高校教师绩效考核体系应用

运用构建的学科建设成员绩效评估模型,对某高校某学科14个学科建设成员的教学科研等方面的绩效进行评估。根据搜集的资料,该学科建设成员成绩主要涵盖教学和科研两方面,其中教学主要为教学工作量,科研主要包括科研课题、科研奖励、学术论文、学术著作、专利和学术交流等。其中需要说明的是由于该学科建设成员思想政治表现均较好且差异不大,因此在此次考核中未予以考虑。以2015年为考核年,通过调查分析,得该学科建设成员的工作量,如表7所示。根据所在高校相关考核及评聘办法,结合专家及本学科成员意见,先将这几类指标予以赋值,如表8。

表7 某学科建设成员2015年工作量基本情况

表8 学科建设成员绩效评估指标赋值标准(分)

注:a. 分值均为第一作者或第一完成人对应分值。

b. 科研课题一类指以“国家自然科学基金重点项目”“国家社科基金重点项目”为标杆的科研课题,二类指以“国家自然科学基金项目”“国家社科基金项目”为标杆的科研课题,三类指以“省自然科学基金项目”“教育部人文社会科学研究项目”为标杆的科研课题,四类指以“省教育厅自然科学研究项目”“安徽省教育厅人文社会科学研究项目”为标杆的科研课题。

c. 学术论文一类指发表在科学引文索引、社会科学引文索引、工程索引、艺术人文引文索引、医学文献联机数据库和新华文摘(全文)等期刊上的论文,二类指发表在中国科学引文数据库和中文社会科学引文索引等上的论文,三类指发表在中文核心期刊要目总览、中国科学引文数据库(扩展版)和中文社会科学引文索引(扩展版)等上的论文。

将学科建设成员绩效按以上赋值标准赋以分值,结合1.3各层指标确定的权重,得出各成员各个指标对应的最终分值,见表9所示。

表9 某学科建设成员2015年工作考核指标实际汇总得分

由表9所示,从学科建设成员来看:成员14考核得分最高,虽然教学方面由于该成员当年外出进修无教学工作量,而其科研课题和学术论文贡献较为突出,因此学科建设贡献明显;另外成员1和成员12得分也仅次其后,主要因为成员1教学工作量尤其研究生课时量较多,且科研层面的几个主要指标贡献都较为均衡且较高,另外成员12当年的科研课题和论文贡献亦较为突出,因此导致两位成员在绩效考核中取得较好成绩;而成员4和成员7考核分值最低,源于两位成员的科研方面包括课题立项和学术论文发表均无成绩,因此需要在此方面进一步加强和提升。而从各指标来看,对学科成员考核总成绩贡献较为突出的依次为学术论文、教学工作量、科研课题和科研课题经费,而教学效果和专利贡献不明显。主要由于该学科属于省级重点学科,且是该校最早获批博士学位授权点和博士后科研流动站的学科,这几年随着人才引进力度加强和人员工作水平的提升,加之学校对教学和科研均愈发重视,因此该学科在教学和科研方面均给予更高重视,并采取多种措施激励学科成员的工作能力和水平,因此在学科建设方面也取得了较为明显的进步。

三、结论

基于AHP法构建了学科建设成员绩效评估模型,并确定了评估指标体系各指标的权重,发现在教学课科研同等重视的情况下,教育教学中的教学工作量和教学处分,科研科技中的科研课题及科研课题经费,思想政治表现中的师德品质和工作态度及表现等指标在所对应的该层考核中占有主导地位。并将此模型应用于某高校某学科的学科建设成员的绩效评估,为学科建设成员绩效考核提供了依据。

可见,AHP法在高校学科建设成员绩效评估中将主观评价与定量评价方法结合,注重相对指标的应用,克服了传统方法的诸多不足,且操作简便效率高,易于推广。然而,其在高校的实际应用尚处于探索阶段,还有许多需要改进的地方。如应尽量增加可以直接量化和具有专家意见和群众基础的指标权重,提高主观判断的精确性;另外,应针对不同的评估对象按照其相应的学科背景使用不同的评价标准,如人文类的学科成员在科研科技类指标上的分值可能会小于理工类的学科成员等。

猜你喜欢
科研课题一致性权重
关注减污降碳协同的一致性和整体性
我校开展科研课题申报与科研能力提升培训
注重教、学、评一致性 提高一轮复习效率
IOl-master 700和Pentacam测量Kappa角一致性分析
权重常思“浮名轻”
Clinical efficacy of acupuncture in treatment of chronic urticaria and its effects on the content of IgE and the imbalance of Th1/Th2 cell function
为党督政勤履职 代民行权重担当
Clinical observation on electroacupuncture at four sacral points for overactive bladder syndrome
科研课题质量风险管理案例分析
基于事件触发的多智能体输入饱和一致性控制