王 华
(闽江师范高等专科学校 计算机系,福建 福州 350108)
评价是一项认识某个事物的活动,它常常涉及到多个因素或多个指标[1]。因此,通常也称之为在多因素、多指标下的综合判断。一直以来,众多专家、学者在许多领域对评价方法做了大量研究,各种评价方法相继产生,取得了诸多卓有成效的研究成果。从评价与所使用信息特征的关系角度来看,可把目前的评价方法划分为基于数据的分析、基于专家知识的评价、基于模型的评价及基于多种因素的综合评价三种[2]。本文从现代综合评价角度进行研究。综合分析相关国内外文献,可得知综合评价方法主要划分为专家评价方法、运筹学与其它数学方法、基于统计和经济的方法和新型评价方法(如人工神经网络评方法等)四种[3]。专家评价法是较早出现的一种被广泛应用的评价方法,它以定量与定性为基础,对评价对象做出打分形式的定量评价,该方法操作简单、直观性强,但是它的准确程度主要取决于专家的阅历经验,主观性很强,因此难以保证评价结果的客观性和准确性[4]。1973年,美国学者Saaty既充分吸引定性分析的结果,又借助于客观的精准计算和推演手段,提出了著名的层次分析法,该方法的评判决策过程具有极强的逻辑判断条理性和科学性。但是层次分析法也存在评价中的随机性、评价专家的主观性等不足[5]。1965年,美国加利福尼亚大学的控制论专家查德提出一种运用精确的数学方法解决模糊问题的方法,该方法能够将一些边界不清、不易定量的因素进行可定量化,较好地解决了判断的模糊性和不确定性问题,且能够克服传统数学方法单一性的缺陷[6]。针对多输入多输出的有效性评价,美国Charnes和Coope 等人提出数据包络分析方法,它是处理多目标决策问题的好方法。但是数据包络分析法也存在因其只能表明评价单元的相对发展指标,故无法表达实际发展水平的不足[7]。后来,众专家针对有限方案多目标决策分析、评价指标少等问题,提出逼近于理解、主成分分析、费用效益等方法,也被大量应用于一些领域的评价实例中[8]。近些年来,一些新型评价方法得到了快速发展,其中人工神经网络评价方法是新型评价方法的典型代表,它可充分利用先验性知识积累,使得评价结果与实际值的误差最小,被广泛应用于银行贷款项目评价、城市发展综合水平的评价等。人工神经网络评价方法需要大量的数据作为该方法的训练样本,它只有得到充分训练学习之后,其评价结果才有保障[9]。
总之,每种方法均有其自身的缺陷和应用局限性。因此,在实际评价过程中,通常是混合运用多种方法,取长补短。基于此种思想,本文提出一种基于层次分析法和模糊综合评判法集成方法,利用层次分析法规范思维过程,发挥定性因素在评价中的作用,减少主观上的随意性;然后再利用模糊综合评判方法,解决评价中的模糊性和不确定性问题。
在评价指标的权重值设置中,我们通过使用层次分析法对比分析指标之间两两重要性,得到各评价指标的权重比值,构建两两对比比较矩阵;然后再对比较矩阵中的每一行元素做乘积运算,并对乘积运算结果做归一化处理,即可得各指标权重。在两两比较矩阵进行构建的过程中,使用萨蒂所提出的1-9标度法进行确定,1-9标度法的矩阵表达的权重比值均与1-9中的数字相对应,如标度1表示两个比较指标具有相同重要性,3表示前者比后者稍重要,倒数正好相反,其它数字代表的含义以此类推,具体如表1所示。
表1 萨蒂两两比较矩阵元素标度值的含义
在对比设置指标间的权重比值时,可依据专家的评估结果和建议,结合评价主体的要求和评价目标,最终形成的评价指标的比较矩阵如式(1)所示。
(1)
其中A为比较矩阵,ann是i要素与j要素重要性比较结果,且有如下关系:
aji=1/aij
模糊综合评价法是一种常用的评价方法,该方法建立在隶属度理论基础上,可对影响评价对象的关键因素进行综合分析,适合于多层次、多因素复杂问题的评价。高校实验室绩效评价较为复杂,建立的指标体系结构也相对复杂,指标较多。因此,适合运用模糊综合评价法,构建模糊综合评价法模型,具体步骤如下:
(1)确定各级评价因素论域
根据评价因素论域相关因素,建立起评价指标集合,如X={X1,X2,…,Xn}。其中:X1,X2,…,Xn分别代表第1,2,…,n个评价指标。这步操作的目的是旨在建立评价指标集合。
(2)确定评价等级
可把绩效评价等级命名为评价集V。它的表达式为V={V1,V2,…,Vn},一般情况下,评价等级不宜超过七个,也不能太少,且可以用适当的文字对评价对象进行描述,如V={优,良,中,差}。接下来确定评价集V中“优,良,中,差”所对应的分值,可表示为:E={E1,E2,…,Em} ,其中E1,E2,…,Em代表第1,2,…,m个评价等级的分值。
(3)确定评价指标的模糊权重向量
W表达为X论域中各元素对被评价对象的隶属关系,由被评价对象的重要性不同,可采用模糊方法对X中元素赋予不同的权重。因此,W可以表示为X上的一个模糊子集,其表示为:
(4)建立模糊评价矩阵
建立模糊评价矩阵R,并使用模糊评价矩阵R刻画X与V的隶属关系,矩阵中的元素被表达为评价指标项的评价等级值,具体表现形式如式(2)所示。
(2)
式中:元素Rnm表示为X中元素Xn对应评价等级Vm的隶属关系,它构成了模糊综合评价的基础。
(5)计算评价分数
首先计算出评价指标层上的模糊综合评价结果向量:B=W*R,该向量代表了每一个评价等级的隶属度,接着计算评价对象的综合得分N,其计算公式为:N=BET,这里的E为评价等级的分值。
为了进一步诠释本文提出的方法思想和应用过程,本节以某校实验设备使用效益评价作为实例,详细说明该校的实验设备使用效率评价权重向量构建、模糊综合评价的操作过程。
根据专家的指导意见,结合该校的实验设备使用效益评价要求和宗旨,选取实验设备管理、用户满意度、服务收入、功能利用与开发、投入与维护成本、科研成果、人才培养、使用机时8个评价指标,由10位专家以自己的经验对八个评价指标之间的两两重要性给出了对比值,并由此构建评价指标集的两两对比矩阵A如下:
运用上述所提的方法,经过对矩阵A做乘积运算及归一化处理后,可得到8个指标的综合权重向量为:W=(0.037,0.141,0.074,0.114,0.104,0.079,0.212,0.239)。
模糊综合评价就是对各类指标的进行单因素的评价,根据前文可知,同样,也是由专家们对该校实验设备使用效益的8个指标按5个等级进行判定,归整专家们打出的各风险指标得分结果占比情况如表2所示。
表2 专家打分结果占比情况
由表2可生成各指标的模糊评价矩阵R为:
进而可计算八个指标项的综合评价向量,结果为:
B=W*R=(0.0882,0.1911,0.5519,0.1059,0.0629)
最后,现有评语集等级向量E=[20,40,60,80,100],把它做转置处理后,再乘以综合评价向量B,具体计算公式及综合评价成绩为:
为验证本文提出的方法的优势,我们选取某校2014年至2017年期间实验设备使用效益原始数据作为本方法与其它方法做对比的实验数据,这里采用BP神经网络和数据包络分析作为同本方法的实验对比方法。实验的硬件平台:AMD AthlonTMⅡ X4 640 Processor,主频为2.8GHZ,8GB内存。软件平台:Microsoft Windows XP SP3以及Matlab2016b。经过一系列的数据预处理、评价模型建立、评价预测等处理步骤,最终得到的某校四个年度的实验设备使用效益总成绩如表3所示。
表3 某校四个年度的实验设备使用效益评价成绩对比表
图1三种评价方法的实验结果对比图
由表3数据绘制的各评价方法的实验结果对比效果如图1所示。由图1的曲线走向可知本文方法得到的某校实验设备使用效益评价成绩曲线处于较为平稳状态,客观地表述了近几年来某校的实验设备使用效益呈平稳且小有进步的趋势,而BP神经网络与数据包络分析方法得到的评价成绩均有较大波动情况,这可能是由于实验数据扰动性大、实验数据量少等因素造成的。
本文融合了层次分析法和模糊综合评价方法各自的优点,构建了一套面向高校实验设备使用评价体系,籍此可进一步规范评价中的定量思维过程,发挥定性因素在评价中的作用,减少评价人员的主观随意性,较好地解决了评价中的模糊性和不确定性问题。实际应用结果表明该校在运用新评价方法后,其在实验设备使用效益的评价更加客观、合理。此外,本文提出的评价方法,在教学效果、实验室绩效等诸多领域亦有一定的借鉴意义。