基于物元模型的学科建设绩效评价方法

田劲松

(安徽农业大学 理学院，合肥 230036)

本科教学评估是评价、监督、保障和提高教学质量的重要举措，是高等教育质量保障体系的重要组成部分。科学合理的绩效评价具有导向、鉴定、改进、激励、管理的功能。尽管各类高校对学科建设的要求有所不同，但学科建设的内容应是基本一致的，学科建设绩效评估指标体系应该是一个有机的整体。目前，在学科评估方面，世界各国相关机构做了大量的实践工作和探索，在评估方法的研究方面也取得了诸多成绩，如层次分析法(AHP)、模糊综合评价法、集对分析法(SPA)、灰度模糊评估法等评估方法都已应用到学科建设绩效评价中，各指标权重一般以评估过程中向各学科同行专家进行问卷调查确定[1]。这些评价方法都存在人为设定指标权重和主观片面性对评价结果的影响问题。因此，寻找一种较为客观的、合适的学科建设绩效评价方法，较为客观、公正地评价高校学科建设的实际情况和促进学科发展具有非常重要的意义。

根据教育部学位与研究生教育发展中心颁布的全国第四轮学科评估(学位中心〔2016〕42号)文件中的指标体系，本研究利用可拓学中物元分析理论，将学科建设综合绩效的等级、评价指标作为物元，确定综合绩效的经典域、节域和评判物元，应用物元和关联函数建立物元评判模型。科学合理评价学科建设综合绩效，为进一步推动学科建设绩效评估方法提供技术支撑，旨在对学科建设项目投入的绩效及其所达到的目标、效果、效率进行系统、客观、科学的评价，为更加科学、有效地配置学科建设资源提供科学的依据。

一、评价指标体系

评价指标体系直接影响到评估结果的科学性和合理性，进而影响着研究目标的实现。根据教育部学位与研究生教育发展中心颁布的全国第四轮学科评估(学位中心〔2016〕42号)文件，结合测绘学科建设项目的目标，遵循完备性、科学性、系统性、独立性、可行性等原则，选取文件中的三级指标，研究指标间的因果关系，运用物元模型发现指标间的结构关系。第四轮学科评估指标体系是按照当前学科建设和研究生教育综合改革精神新要求，坚持质量、成效、特色、分类导向，采用主观评价与客观评价相结合的方法，在保持第三轮学科评价指标体系框架基本不变的基础上，共设三级指标。一级指标包含“师资队伍与资源”“人才培养质量”“科学研究水平”和“社会服务与学科声誉”四个方面，分人文、社科、理工、农学、医学、管理、艺术、建筑和体育等九大类。指标体系把人才培养质量放在首位，改变以往单一的“以学术头衔评价学术水平”的师资队伍评价方法，进一步强调学科产出与成效，在自然科学学科建立更科学的“中国版ESI高被引论文”指标，增设社会服务贡献指标，鼓励学科交叉合作，进一步体现学科特色。学位中心〔2016〕42号文件列举的理学、工学门类(不含统计学学科)指标体系(节选)如表1所示。

表1 第四轮全国学科建设绩效评估指标体系节选[2](理学、工学门类，不含统计学学科)

二、评价模型

可拓工程的理论基础是可拓论，可拓工程的方法基础是可拓方法[3]。可拓论是拓展分析原理、共轭分析原理、可拓变换、可拓集、关联函数等内容的总称，可拓方法主要有拓展分析法、可拓变换法、可拓集法、优度评价法和可拓思维模式等[4]。

(一)经典域物元

(1)

(二)节域物元

根据评价等级，对每个评价等级赋予等级范围值，建立节域物元模型为：

(2)

很显然,节域量值Xpi(i=1,2,…,n)与经典域量值vmji(i=1,2,…n)的关系为：vmji⊂xpi.

(三)待评物元模型

根据各项指标的效益值，建立待评物元模型为：

(3)

(四)关联函数模型

在模糊数学中，用隶属函数来表征论域中的元素具有某种性质的程度，取值范围为[0,1]。在可拓数学中，用关联函数来描述论域中的元素具有某种性质的归属程度，取值范围在(-∞，+∞)。为了描述类内事物的区别，在建立关联函数前，要计算点(实际绩效值)与区间(经典域和节域)的“距离”。建立关联函数后，使得问题关联度的计算不必依靠主观判断和统计，而是根据对事物关于某个特征的经典域vmji和节域xpi的范围来确定，摆脱了主观判断造成的误差。根据可拓学理论，由于vmji⊂xpi，且没有公共端点，所以定义关联函数为：

(4)

Kj(xi)=max(Kji(xi,vmji))，

式中：Kj(xi)——标准等级与评价指标所对应的标准等级关联度值；amji，bmji——经典域的下限和上限。

关联度值的含义为：若Kj(xi)<-1，说明指标不符合标准，且不具备转换为符合标准要求的条件。值越小，离该标准要求就越远，绩效差。若-1≤Kj(xi)<0，说明指标不符合标准，但具备转换为符合标准的条件。若0≤Kj(xi)≤1，说明指标符合标准，值越大，表示越接近该标准。若Kj(xi)>1，说明指标超过标准要求，值越大，指标效果越好，绩效越好[5-6]。

(五)指标权重模型

在学科建设评估过程中，权重具有衡量不同指标间差异的作用。本文采用绩效值结合关联度值的方法计算权重，表示指标符合要求的程度。绩效值xi所处的等级j越大，表明该指标对经济效益的影响和限制越大就赋予更大的权值，反之，绩效值xi所处的等级j越小，表明该指标对效益的影响和限制越小，应赋予更小的权值，并对各指标对应的权重进行归一化处理[7-8]。计算模型分别为模型(5)、模型(6)和模型(7)：

(5)

(6)

(7)

式中：i——指标数；j——绩效值所处等级；m——等级级别数；qi——指标权重；wi——归一化权重。

(六)待评物元综合关联度模型

将关联度值Kj(xi)进行加权处理，得到加权关联度值。将加权关联度值进行比较，数值越大的表示越接近该标准等级。将加权关联度值进行规范化处理，得到综合关联度值并计算综合绩效等级值，计算模型分别为模型(8)和模型(9)[7-8]。

(8)

(9)

三、验证分析

现运用以上介绍的学科建设绩效评估指标体系和学科建设绩效评价模型，对某高等院校测绘学科建设综合绩效进行评价，具体过程如下：

(一)等级标准值设计

确定学科建设综合绩效评价的经典域、节域和绩效模拟值。为了计算和评价方便，建立三个评价等级，分别为“1级良好”“2级一般”和“3级较差”(注：评价等级也可以设计为优秀、良好、合格和不合格等，本文是为了验证评价模型的可行性和合理性，所以只设计以上三个等级，等级级别数的多少仅与计算量有关)。每个等级分别对应4项评价指标(师资队伍与资源(A)、人才培养质量(B)、科学研究水平(C)、社会服务与学科声誉(D))，即形成3个评价等级物元，每个物元中含有4项指标，如表2所示。

表2 物元、特征和量值表

根据表2中的等级标准值和绩效值，建立经典域、节域和待评物元如下：

同理，可以建立Mm2=(Om2，ci，vm2i)和Mm3=(Om3，ci，vm3i)，Mm1、Mm2、Mm3为经典域。根据评价模型，下面建立节域Mp和待评物元Mq。

(二)指标权重

在确定学科建设综合绩效评价的经典域、节域和待评物元后，按前面介绍的权重计算模型得到各指标的权重，如表3所示。

表3 一级指标和二级指标权重

(三)单项绩效等级属于程度

在模糊数学中，用隶属函数来表征论域中的元素具有某种性质的程度，取值范围为[0,1]。在可拓学中，用关联函数来描述论域中的元素具有某种性质的归属程度，取值范围在(-∞，+∞)。结合绩效值xi到经典域vmji和节域xpi的距计算单项绩效的关联度值即为等级属于程度，计算结果如表4所示。从表4可知，该高校测绘学科建设的单项绩效的属于程度分别为：

kA(x1,vmA1)=(-0.614，0.772，-0.110)

kB(x2,vmB2)=(0.569，-1.138，-0.448)

kC(x3,vmC3)=(-1.307，-0.614，0.088)

kD(x4,vmD4)=(-1.692，-1.384，0.175)

根据关联度值计算模型的含义，取Kj(xi)=max(kj(xi,vmji))，式中，j=A、B、C、D，i=1、2、3、4。若Kj(xi)<-1，说明指标不符合标准，且不具备转换为符合标准要求的条件。值越小，离该标准要求就越远。若-1≤Kj(xi)<0，说明指标不符合标准，但具备转换为符合标准的条件。若0≤Kj(xi)≤1，说明指标符合标准，值越大，表示越接近该标准。若Kj(xi)>1，说明指标超过标准要求，值越大，指标效果越好。因此，可以分别判定该高校的师资队伍与资源建设绩效等级为“一般”，人才培养质量绩效等级为“良好”，科学研究水平绩效为“较差”，社会服务和学科声誉绩效等级为“较差”。

表4 评价指标关于各等级的属于程度

(四)综合绩效等级值和属于程度

通过计算可求得综合绩效评价指标等级的综合关联度值。将待评物元综合关联度值进行比较，数值越大的表示越接近该标准等级。利用等级评定的方法，计算学科建设绩效各评价指标综合后的综合绩效等级，计算结果如表5所示。

表5 加权关联度值、综合关联度值和等级值计算

从表5可知，该高校测绘学科建设综合绩效等级值为3.354，此等级值大于3级(较差)，判定综合绩效为“3级较差”等级。

综合以上分析和计算，该高校的测绘学科建设绩效评价结果为：单项指标对应的绩效分别为师资队伍与资源建设绩效等级为“一般”，人才培养质量绩效等级为“良好”，科学研究水平绩效为“较差”，社会服务和学科声誉绩效等级为“较差”，判定该学科建设综合绩效为“较差”。

四、结语

本文参照第四轮学科建设评估指标体系，在研究可拓学物元分析理论基本思想和方法的基础上，构建了学科建设综合绩效评价模型。该评价方法的优势在于将众多不在标准值范围内的实际评价指标向标准值拓展，关联函数确定了正域、负域和零界，关联函数取值在(-∞，+∞)，因此能更精细地反映一个对象所处的状态，这为我们量化评价对象带来方便，也是传统的模糊综合评判法、层次分析法所不具备的。基于物元模型的评价方法能较准确评价学科建设综合绩效情况，一定程度上提高了评价的精度，为定量分析和评价高校学科建设综合绩效提供了一种新的思路。

参考文献：

[1] 程永波，方志耕，刘思峰，等.高校学科建设项目绩效评价指标体系研究[J].科技进步与对策，2008，25(9):180.

[2] 教育部学位与研究生教育发展中心.第四轮学科评估指标体系及有关说明(学位中心〔2016〕42号)[A]，2016-04-22.

[3] 李正，王军，白中科，等.基于物元评判模型的土地整理综合效益评价方法研究[J].水土保持通报，2010,30(6)：190.

[4] 赵燕伟，苏南.可拓设计[M].北京：科学出版社,2010:14-18.

[5] 蔡文，杨春燕，陈文伟，等.可拓集与可拓数据挖掘[M].北京：科学出版社,2008:22-81.

[6] 杨春燕，蔡文.可拓工程[M].北京：科学出版社,2008:82-96.

[7] 田劲松，过家春，刘琳,等.基于物元模型的土地整理经济效益评价[J].水土保持通报，2012，32(5)：107.

[8] 田劲松，过家春.基于可拓学的高校教师教学质量评价[J].现代远程教育研究，2012，(5)：85.

[9] 朱从书，高校教师教学质量学生评估模型的实证研究[J].长江大学学报(社会科学版)，2009，32(4)：96.

[10] 杨珍，牟占军.基于层次分析法的高校教师教学质量评价研究[J].内蒙古工业大学学报(社会科学版)，2010，19(1)：111.