谢新连,唐 磊,赵家保
(大连海事大学交通运输管理学院,辽宁大连 116026)
我国正经历着由应试教育向素质教育转变的重大历史时期,学习成绩是考核学生的重要内容,但不再是唯一标准,更不是高校培养学生的唯一目标。由“考试到评价”已经成为世界教育发达国家教育考试改革的共同发展趋势。[1]建立一套符合国家教育方针与时代发展需求、科学完善的大学生综合素质测评方法是实现这种转变的基础。
现阶段,我国绝大多数高校都根据教育部颁发的《普通高等学校学生管理规定》与《大学生行为准则》,并结合学校自身的培养目标建立了大学生综合素质测评体系。作为管理和指导学生的手段,这种对学生综合素质的考评在推进学生全面发展的教育过程中发挥着重要的作用。但是,由于对大学生综合素质内涵理解上的差异以及缺乏科学规范的技术指导,现有的评价体系在评价指标、评价方法和实际操作上还存在一些问题。
通过收集和比较不同高校的学生综合素质评价方法发现,虽然不同学校设置指标的具体名称和划分类别不同,但本质上都是从德、智、体、拓展素质(发展素质或实践能力)等几个方面对学生进行综合评价。拓展素质是高校响应国家推动素质教育,培养全面发展人才的指导方针而设立的考核学生科研水平、实践能力及其所掌握的基本技能的指标。这样综合德育、智育、身心、拓展素质构成了比较明确的一级指标结构。但是具体的二级、三级指标的设置差异较大,考察内容宽泛,而且有时过于笼统空洞,很难反映出上级指标的考核要点。例如,许多高校在德育素质下设政治表现和思想道德品质两个子指标,但是这两方面仍然是非常宽泛的概念。还有些具体指标界定不清,难于根据指标的规定内容对学生作出准确的判断。例如,对定性指标,常常会设置若干评价等级,但是却没有针对各个等级给出明确的区分标准,导致评级结果具有很大的任意性和不确定性。
学生综合素质内涵的复杂构成导致测评指标具有多种属性,既涉及定性指标又涉及定量指标。据调查,以往在大学生综合素质评价体系中最常使用的多指标合成方法是加权求和、加权平均等常规数学方法,也有个别应用灰色关联度分析和多元统计分析等方法。这些方法使用简便而且易于理解,所以应用比较广泛。但是上述方法都属于定量分析方法,在评价过程中需要将所有定性指标先转化为定量指标,才能合成计算;或者必须将实际问题简化成满足这些条件的问题,才能求解。使用简单的定量分析方法虽然满足了指标合成的便利性,但是对定性指标的量化处理,可能使问题偏离实际。
学生综合素质测评过程还具有另外一个显著特点,就是初始评价数据中既有精确的数据,如文化课的考试成绩,又有模糊的、缺失的信息,定性指标的评定过程经常发生这种情况。例如,当学生数较多时,评价者难免不能对其中部分学生的“道德品质”给出准确的判断,只能给出大致的评价,即在一定置信度水平下的评价等级;或是当有多个评价人员共同评价某个学生时,也可能存在部分调查表丢失或是部分人员就个别项目无法作出判断的情形。针对评价对象和评语所具有的模糊性,可以应用模糊数学方法使评价更加客观。但目前模糊评价方法仅用于确定隶属度和合成计算相同结构的定性指标,还没有直接用于描述初始评价信息的模糊或不确定评价程度。因此,现有的评价方法要求评价者必须给出确定的评价,不能适应评价初始数据的多样性。
在应用传统的数学方法、统计方法或是模糊数学方法进行指标合成时,要求评价指标具有相同层次结构,使得指标体系的结构过于单一,形式过于呆板,缺乏对不同评价问题需要具有不同层次结构的适应性和灵活性。
由于上述4个问题的存在,使初始评价值的选取和计算分析过程具有很大的随意性。不同的做法有可能导致评价结果具有较大的差异,使评价结果缺乏一致性、评价过程缺乏规范性和透明性,降低了大学生综合素质评价结果的可信度,难以在实践中推广。[2]
综合来看,现有的大学生综合素质测评体系有三个方面的问题亟待解决:一是指标设置的理论完整性与实践操作性之间的差距;二是指标属性、内涵的多样性与指标体系结构形式的单一化之间的矛盾;三是评价过程中准确数据与模糊信息并存的复杂局面。依托国家的教育方针,结合社会、企业的人才需求,合理定位高校学生应该具备的素质与能力,并选择客观的、先进的评价技术是解决上述问题的根本途径。
本文构建的大学生综合素质评价指标体系包括德育素质、智育素质、身心素质和拓展素质四个一级指标。结合每个层面考察的要点,为每个一级指标设定了更加具体和便于考核的下级指标和基本指标,构成如图1所示的评价指标层次结构。
各个指标的权重可以根据评价目的、指导思想和时代特点使用文献[3]中论及的各种方法,包括:直接法(Direct)、技巧法(Smart)、迂回法(Swing)、精确法(Smarter)和互比法(AHP or Pairwise Comparison)等方法来确定。为了便于说明问题,本文权衡多个专家的意见后得出一套规范化权重,标注在图1中每个指标的左侧。
为了规范评价过程,便于评价者作出清楚的判断,需要详细定义每个指标的评价内容、评价等级。以定性指标“集体观念”为例。若将“集体观念”指标定义为优、良、中、较差、差五个等级,则需要对每个等级的含义作出明确界定。
优:热爱集体,关心集体,将集体荣誉置于个人利益之上,为集体作出过突出贡献。
良:热爱集体,关心集体,为集体作出过较大贡献。
中:热爱集体,关心集体,愿意并能够为集体利益作出贡献。
较差:集体观念比较淡漠,平时表现出个人利益高于集体利益的言行,但没有做过伤害集体利益的事。
差:没有集体观念,个人利益高于集体利益的言行明显,甚至为个人得失伤害过集体利益。
对于定量指标,要给出统一的、详细的计算办法,如设置定量指标“课程综合成绩”评价学生的学习情况。“课程综合成绩”是根据考评期的时间长度以一个学期、一个学年或整个大学学习期间各门课程考试结果为依据计算出的平均成绩,因每门课程的学分反映了其重要程度,可以以此作为其初始权重(再做规范化处理)。通常采用的百分制、五级分制考试成绩可以直接作为基本指标的初始评价值,省去某些学校采用的“平均学分绩点”的中间计算过程。计算时,可以根据学校对各类课程的重视程度选择只计及必修课和限选课,而不计及任选课。
图1 大学生综合素质测评指标体系
图1所示的指标体系具有结构适应性强的特点,例如,可以在“课程综合成绩”和各门具体课程(基本指标)之间设置一层课程类别指标,如数学课类、政治理论课类或是基础课类、专业课类等,以便分门别类评价学生的学习情况。
具有上述基本性质和结构特征的指标体系,可以用20世纪90年代开发的一种不确定性评价方法——证据推理法(ERA)实现基本指标的合成计算[4-7]。鉴于ERA指标合成计算过程比较复杂,可以将其编成程序,如使用基于ERA原理开发的IDS软件进行指标合成运算。
指标合成计算过程中需要对如下几个可能遇到的问题作出适当处理,以便使评价结果更加客观,且能够直接用于学生之间的互相比较、排序。
评价者针对定性基本指标给出的评价往往具有不确定性或模糊性,可以采用如下方法客观地描述初始评价值的真实状况。
对某一属性的评价可以是评价集合H中的任何一个等级或几个等级的组合,并且对于评价等级具有一定的置信度(属于置信度集合B)。从集合的角度来看,可以表示为:S={(Hn,βn),n=1,…,N}。
H代表对某一指标的全部评价等级所组成的集合,Hn表示其中的第n个评价等级,N表示评价等级数。例如,当N=5时,H={H1(极差),H2(差),H3(一般),H4(好),H5(极好)}。βn表示第n个评价等级对应的置信度,且有βn≤1≤1和βH=1。其中,βH定义为评价的不确定置信度。
这样,就允许评价者对每个定性指标作出具有置信度结构的等级形式的评判,也可以只以简单的向量形式表示出置信度,如某个评价者给出的政治表现指标的置信度向量为(0.6,0.3,0),表示他支持该指标被评为“好”的置信度为0.6,“中”的置信度为0.3,另外还有0.1的不确定性。评价过程中出现的指标的不确定性将被如实的反映在最终的评价结果中,这也是证据推理法的优点之一。
对于定性基本指标,当由多个评价者的评价共同构造置信度集合时,可以使用“如果…那么…”(IF-THEN)形式的模糊规则确定其隶属度,让每个评价者对指标作出具有单一等级的判断。假设评价者人数之和(评价来源总数)为Qi,由下式计算其评价值在n个评价等级上的分布。
IF在总数为Qi的评价中有qn,i个评价者评价某个指标的等级为Hn;
THEN这个指标确定为Hn等级的置信度为或表示为(Hn
没能作出准确判断的,或是评价信息缺失的,可以作为该指标的不确定置信度,此时的计算公式为βH=
同样,以这种方式可以为每个定性指标都构造一个多人评价的置信度集合。
理论上,评价对象顶层的评价结果可以通过一个带有置信度水平的等级评价集合{(Hn,βn),n=1,……,N}来表示。但是在实践过程中,当由多个评价对象组成的评价集合里有多于一个βn不等于0时,就不能通过直观地观察(Hn,βn)来清楚地判断多个评价对象中哪个评价结果更好。为此,构造一个效用函数u(x)作为评价排序的辅助措施,用来将每个评价对象的N个评价等级合成为一个函数值。
定义 Tj为第 j个被评价对象或学生;假设u(Hn)是等级Hn的效用函数,有u(Hn+1)>u(Hn),如果Hn+1优于Hn。
如果 βH≠ 0,那么则有一个置信区间βn,(βn+ βH[]),代表Tj被评价为Hn的可能性。因此,对Tj的评价定义一个效用函数区间[umin(Tj),umax(Tj)]。这里,有:
可以根据平均期望效用uavg(Tj)值来产生评价对象或学生排名。
应用前文建立的大学生综合素质测评指标体系,可以对一个班级、一个专业、一个年级的学生进行一个学期或一个学年等的评价。为说明问题、简少数据量,本节从一个32人的班级中抽取5名典型学生进行综合素质评估。利用基于证据推理法开发的IDS软件,可以方便地建立评价模型(图2)。
图2 大学生综合素质评价的层次结构模型
这5名学生的初始评价信息见表1。图3是使用IDS软件得出的关于这5名同学综合素质的评估结果。
图3 综合素质测评结果
从图3中可以看出,在这5名学生当中,A同学的综合素质最好,B同学和C同学的综合素质稍差于A同学,而且二者的结果比较相近,D同学和E同学排在最后。进一步分析他们的初始评价信息会发现,A同学在德育、智育等四个方面都表现突出,发展全面,因而形成了良好的综合素质。
B同学和C同学是两类比较典型的案例,见图4。B同学代表了许多学习成绩优异,但对于自身德育、身心、拓展素质缺少关注和培养的学生,因此在这些方面表现平庸或存在明显的缺陷,如社会实践经验和能力的匮乏。C同学则代表了学习成绩中等,但具备良好的德育和拓展素质的学生。他们擅长与人交往,适应性强,富有领导才能,可以在社团活动、社会实践等第一课堂之外的活动中实现自身价值的最大化,受到瞩目与赞扬。
图4 各一级指标排序结果
这两类同学在高校中比较常见,表现出当代大学生素质发展不均衡的现象。从现在的评价结果来看,B同学的综合素质要优于C同学,这主要是因为目前国家的教育方针仍然将智育教育放在首位,而且远胜于其他方面的教育工作。这种政策导向也体现在学校的指标体系当中,智育指标相对于其他三个一级指标具有更高的权重。如果为德育、智育、身心、拓展素质设置相等的权重,即同样重视学生在这四个方面的发展,评价结果将有所不同,见图5。从图5可见,改变权重后C同学的综合素质评价结果明显上升。
图5 调整权重后的评价结果
D同学和E同学代表了在各个方面都表现平庸或是落后的学生,这两类学生的综合素质亟待加强。学校对于这部分学生应给予充分的重视,将教育、督导、奖惩等多种手段相结合,制定具有针对性的培养方案,指导和辅助他们提高自身的综合素质。
图3中的灰色部分表示评价结果的不确定性,这主要是由部分初始评价信息的缺失造成的。由图3可以清楚地看出,这种不确定性并未影响最终排序的准确性与一致性。
表1 初始评价信息
基于综合素质科学内涵的本质要求,在调查分析高校考评学生现行做法的基础上,利用决策科学最新发展成果,建立了大学生综合素质测评指标体系和测评方法。该方法除了能够将定量指标与定性指标科学结合、统一考虑外,还具有如下特点:
(1)允许评价者给出具有模糊性或具有一定置信度的初始评价值,使评价结果更加客观;
(2)允许评价指标体系的结构灵活变化,不同学校能够根据自身特点和不同要求设计评价指标体系,评价方法的适用性强;
(3)借助现代决策科学技术和计算方法方便、规范地进行指标合成计算;
(4)评价结果不仅给出总体评价,而且能够给出不同学生在各个主要方面的差异,有助于分析改进方向;
(5)评价结果具有客观性、透明性、一致性和可靠性。
通过案例分析,验证了新设计的测评体系的有效性和实用性。这种新方法可以作为高校学生综合素质评价工具,为培养学生提供评价依据。
[1]戴家干.由考试到评价:创新型人才选配制度的内在要求[J].中国高等教育,2010(20) .
[2]潘玉驹,何 毅,陈文远.高校学生综合素质评价结果的处理机制研究[J].发展教育研究,2011(20).
[3]MUSTAJOKI J,H.m.l.inen R P and Marttunen M.Participatory multi-criteria decision analysis with Web-HIPRE:A case of Lake Regulation Policy[EB/OL].(2003-10-28)http://www.sal.hut.fi/Publications/pdf-files/mmusb.pdf(Visited on 28/Oct./2003).
[4]YANG JB,Singh M G.An evidential reasoning approach for multiple attribute decision making with uncertainty[J].IEEE Transactions on Systems,Man,and Cybernetics,1994(1).
[5]YANG J B.Rule and utility based evidential reasoning approach for multiple attribute decision analysis under uncertainty[J].European Journal of Operation Research,2001(1).
[6]YANG JB,XU D L.On evidential reasoning algorithms for multi-attribute decision analysis under uncertainty[J].IEEE Transactions on Systems,Man,and Cybernetics-Part A:Systems and Humans,2002(3).
[7]XIE X L,YANG J B,XU D L,et al.Uncertainty and preferencemodeling formultiple criteria vehicle evaluation[J].International Journal of Computational Intelligence Systems,2010(6) .