高职人才培养水平评估的元评估研究

范辉君

（南通航运职业技术学院，江苏 南通226010）

高职人才培养水平评估的元评估研究

范辉君

（南通航运职业技术学院，江苏 南通226010）

文章从元评估的起源入手，介绍了元评估的定义和目的。通过分析高职人才培养水平评估中可能存在的问题，进而引出进行高职人才培养水平评估元评估的必要性和可行性。在此基础上，提出进行元评估的方法。

元评估；高职教育；人才培养

1 元评估理论

1.1 元评估的起源

教育教学评估活动源远流长。据教育教学评价专家考证，我国隋朝开始的科举制度是正式、系统的教育教学评估活动的起源。最早具有教育教学评估色彩的活动是在我国西周开始的对进士的辩论考核，这项考核已经带有浓厚的人才质量评估色彩。

早期的评估活动还只是零星进行的。作为一门科学而进入人们视野的现代教育教学评估活动形成于美国。从19世纪初起源，到现在已有二百余年的历史。在现代教育教学评估发展历程中，共经历了起源、形成、发展和成熟四个阶段。起源阶段（19世纪初到20世纪30年代），美国出现了教育测量和心理测量方法，并采用科学量化的成绩考核方法来确定个体具有的知识、能力和理解水平。形成阶段 （20世纪30至50年代），出现了对教育测验批判，并开始了“八年研究”的教育实验。这一时期泰勒（Tyler,R.W.）提出了新的教育教学评价概念。发展阶段（20世纪50年代末至70年代初），美国颁布了新的教育法，评价理论和技术有了长足的发展，使其成为一门系统的学科。成熟阶段（20世纪70年代初至今），评价的领域更加明确，评价成为一门独特专业，日臻完善。

随着评估在教育教学各个领域得到广泛运用并产生不同的影响，人们在实践中深切认识到评估的成效在很大程度上取决于评估自身的质量。因此，对评估本身进行评估，成为教育界日益关注的问题。在这个大背景下，元评估应运而生。元评估最早诞生于美国，以斯塔弗尔比姆为主席的美国教育评价标准联合委员会，在美国西密执安大学的评价研究中心开始对教育评估的专业标准进行研究。

1.2 国外对元评估的定义

元，在英文中是meta，其意思是“超越，在……之后”，通常作为前缀来使用。如meta-theory（元理论），是以某一理论或某类理论为研究对象的一种理论；meta-language（元语言），指用以分析或描写被观察语言或客体语言的语言或符号系统。从上面的定义上看，将“元”放在某学科名称之前可以构成一门与原学科有关联的新学科，此新学科对原学科的本源、性质等进行阐释。

“元评估”（meta-evaluation），最早产生于美国。20世纪60年代末，美国教育学家斯克里文（Scriven,M.）在《教育产出报告》中最早提出元评估的概念。他在文章中认为，元评估就是“第二级评估”（second-order evaluation），他将元评估定义为“对于评估、评估系统或评估机制的评估”。从这个定义可以看出，元评估就是对原评估的评估。在此基础上，众多学者对元评估进行了不同深度和广度的研究。Cook.T.D于1974年提出了“次级评估”一词，并将次级评估定义为：（1）检查、反思某次评估的资料、过程、方法等从而重新评估该评估的设计与潜在政策之间的相关度；（2）通过评估现有资料或基础研究来判断当前政策或措施的得失及未来政策的可行性。

Nilsson和Hogben在1983年对元评估也做了研究，认为元评估不仅包括对特定评估本身的评估，也包括对评估本身的实践和功能的评估。1988年，Schwandt和Halpern提出“假定一次成功的评估需要技术质量的保证、调整偏差的能力以及对整个评估过程的形成性审核，而元评估就是对整个评估活动的评估”的理论。Aspinwall、Simkins和 wilkinson等人于1992年强调元评估是凭借规范、系统的程序来评估一项评估过程是否具有价值、结论是否有意义等。Stufflebeam于2001年对元评估进行了定义，他认为元评估是一项获得、描述及运用描述性信息和判断性信息的过程。

1.3 元评估的目的

随着高等教育的普及，高等教育已经从精英教育逐步走向大众教育。人们对高等教育的关注度不断提升，政府对高校的投入逐步增加，民间资本也开始逐步加入到对高等教育的投资领域。如何考察高等教育的教学成果已经摆在人们面前。因此，对高校的教学水平的评估工作已于前些年展开。从评估结果上看，众多高校的建设取得了很大的进步，教育教学水平获得很大提升，所培养学生的综合素质高、自身能力强，在企事业单位能够很快胜任岗位，并且部分学生在较短时间内进入管理岗位。教育评估通常是对教育教学效果做出评价、区分等级、鉴定合格、提供反馈及改进意见，以提高教育教学活动的水平和质量。高等教育元评估作为对原有教育评估的再评估、再判断过程，其目的是对教育评估活动做出价值判断，找出评估过程中的优缺点，从而保障教育评估活动具有较高的可信度和精准度。Cook和Straw提出元评估的两个主要目的，其一是对评估细听的评估；其二是对评估研究的评估。这个论断不但包含了以往对元评估的认识，而且将元评估的重点移到实施评估的组织、管理、运作以及对评估结果所产生的影响上来，是对原有认识的扩充和升华。

2 高职人才培养水平评估的元评估之必要性和可行性

2.1 高职人才培养水平评估存在的问题

开展高职人才培养水平评估的元评估工作是提升高职院校人才培养水平评估工作的有效措施之一。这一方面可以规范和指导高职人才培养水平评估工作；另一方面可以指导高职院校更好得开展自评，在工作中及时发现问题和不足，及时进行改进，形成优良的学风和教风。但是，从目前的实践看，评估工作还存在着一些问题。

第一，在实际工作中，评估结论即为高职院校人才培养水平的最终结论，被评估院校只能被动接受这个结论，即便存在疑义，但由于所处地位和身份的关系一般都无法提出质疑，使得评估结果的可信度受到质疑。

第二，参加高职人才培养水平评估工作的专家来自各部门、各专业、各高校，本身具备较高的教育教学和管理水平，评估过程能够按照既定的标准和方法进行，对得出的评估结果充满自信，不希望也不愿意其他人评估自己完成的评估工作。

第三，元评估制度的缺失。评估工作一方面可以维护教学活动的正常运行，有效地保证教学质量；另一方面可以促进教学管理水平的提高。但从实践上看，目前的评估工作以教育行政管理部门为主导制定评估指标体系，并且派出专家参与评估活动。但是被评估院校有着不同的地域特色、行业特色以及不同的教育教学特点，院校缺乏主动权，评价指标体系不一定适合所有参评院校。参评院校只能因为评估而评估，评估结果对被评估院校的指导性不强。

第四，指标体系的可操作性。在高职高专院校人才培养工作水平评估指标体系中，共有一级指标7项，二级指标15项，其中重要的二级指标8项，观测点36个，并且对于每个二级指标下的观测点均赋予相应的权重。对于这些观测点，部分可以直接用数字说明，例如学生与教师的比例、专任教师结构、学费收入用于教学经费的比例等；部分观测点可以直接用相关资料支持，例如专业设置、教学计划、教学规章制度的建设与执行等；部分观测点只能依赖评估专家的主观判断，例如学校定位与发展规划、教育思想观念、教学中心地位等。对这些观测点在进行评估时，更多的是凭借专家对这些观测点的认识来打分，主观色彩较浓，往往不同的专家对同一个观测点会有不同的理解，所得出的结论有可能出现较大的偏差，会对评估的最终结果产生影响。

第五，指标体系中给出的观测点权重。评估的指标体系设计得很全面，并且对于每一个二级指标下的各个观测点赋予了不同的权重值。这给评估活动带来较大的便利，评估专家可以依据权重和打分情况计算每个二级指标的分值。但仔细考量，发现存在一些问题。比如，这些权重值的得出是通过什么方法得到的，其可信度如何；每一项一级指标下都有若干项二级指标，这些二级指标却没有给出相应的权重值，则无法计算各个一级指标的分值。

2.2 高职人才培养水平评估的元评估的必要性

通过以上对高职人才培养水平评估的分析，笔者认为，该评估在一定程度上具备科学性和可操作性的。但从元评估的角度来反观高职人才培养水平评估，这项评估工作还存在着一些缺陷。因此，对高职人才培养水平评估进行元评估是必要的。

2.2.1 元评估是完善高职人才培养水平评估的需要

在高职人才培养水平评估的评价指标体系中，评估方案是否科学、指标体系的指标设置是否合理、评估过程是否公开透明、评估结果是否公正及是否具有可比性，这些问题会随着时间的推移逐步被人们发现并提出。而元评估就是站在原评估的基础上的评估，是比原评估看得远、看得深、看得透的一种评估模式。通过原评估基础上的元评估，一方面可以充实和支撑原评估，另一方面可以及时发现原评估过程中存在的不足和缺陷，及时纠正，使得评估结果更具说服力和更经得起考验。

2.2.2 元评估是被评估院校的多样性和复杂性的必然要求

从国家层面上看，被评估院校分布在经济发达地区、欠发达地区和较不发达地区，院校在自身的发展上存在着较大的差异。即使在同一区域，由于众多高职院校往往依托某个行业办学，具有鲜明的行业特点和特色。基于此，众多院校是否适用同一个评估方案、方法和体系，则值得商榷。

2.2.3 元评估是提高高职人才培养水平评估的信度和效度的有效途径

高职院校人才培养水平评估的结果如何，将直接影响该院校教育教学发展和改革进程，将直接影响教育行政部门的决策和对院校的投入，将直接影响考生报考和毕业生就业，对院校的影响是长期和深远的。从各个方面审视评估活动，及时发现评估环节的不足，提出改进意见和措施，不断完善评估体系和方法，使得评估结果能够更好更全面地反映被评估院校的真实情况，使得评估能够更好地促进高职院校教育教学活动开展，推动教育改革，提高学生综合素质，培养德才兼备的优秀人才。

2.3 高职人才培养水平评估的元评估的可行性

元评估的基础是评估，可以说，没有评估就没有元评估。近几年来，在高等教育界已经基本完成了本科高等院校的教学评估和高职人才培养水平评估工作。伴随着较大范围评估工作的开展，高等教育界也着手进行了大量且扎实的教学评估理论与实践的探索，并积累了一定的成果，为元评估体系的建立打下了一定的理论和实践基础。

2.3.1 理论的可行性分析

专业研究队伍的不断壮大。第一轮本科和高职评估工作已结束，取到了很好的效果，吸引了众多高等教育界的专家学者加入到对评估工作的元评估研究中来，客观上促进了元评估理论和实践的研究。

出现了大量的翻译成果。元评估最早出现在欧美国家，经过几十年的发展，理论研究和实证研究都取得了大量的成果，有众多的著作和论文问世。国内的高等教育学者翻译并引进了大量的著作和论文，国内专家学者对元评估有了充分的认识，并全面了解和掌握了国外高等教育评估的元评估的理论和实践的发展轨迹，有利于国内学者展开相关的研究。

国内研究成果。通过引进、消化和吸收过程，国内高等教育界的众多专家和学者已经意识到元评估工作的重要性，纷纷结合国内高等教育大环境开展各个层次的教育元评估的研究。通过中国知网检索关键词为“高等教育and元评估”的文献，可发现知网共收录33篇论文，其中优秀硕士论文4篇，优秀博士论文1篇。

2.3.2 实践的可行性分析

积累了丰富的评估经验。第一轮本科院校和高职院校的评估工作已经结束，大量的专家和学者参与到整个评估工作。从制度设计、方法确定、评估指标体系的设计与完善以及实地评估工作的开展等一系列过程中，他们能够充分认识到当前评估工作的优势和存在的不足。因此，在进行元评估时的体系设计、方法选择时，这些专家和学者可以有针对性地展开工作，充分发挥主观能动性，切实提高元评估的质量。

3 高职人才培养水平评估的元评估方法

元评估作为评估的一种表现形式，其本质仍然是评估，通常所使用的教育评估方法在元评估时依然有借鉴和参考价值，可以有针对性和选择性地移植到元评估中。比如，在信息搜集时的观察法、问卷法、访谈法，信息处理过程中采用的相关程度、统计推理、集中趋势、综合评判的方法、相对评估和绝对评估的方法、形成性评估与终结性评估的方法等。

3.1 经验总结法

在对原评估活动进行元评估时，首先可以对原评估活动的整个过程进行经验总结，全面客观地看待原评估活动，实事求是开展元评估工作。其次，在对整个评估过程中总结经验的基础上还应该注重分析正反两个方面的经验，对两者进行全面而深入的分析和概括。

3.2 内容分析法

内容分析法是对原评估中涉及到的原始及佐证材料的内容及有效性进行核实，依据评估的目的和要求进行分析、研究和判断。内容分析法通常可以运用于评估原评估方案、原评估的评价指标体系、原评估的过程以及原评估的结论。在运用内容分析法的过程中，可以结合定性及定量的方法，以提高元评估的准确度。

3.3 调查分析法

没有调查分析就没有发言权。评估结果是否有效、是否能够被被评估对象及评估结果使用者接受，则需要进行调查分析。调查分析法可以分为调查和分析两个部分。将评估结果设计成问卷调查的形式向相关人员发放，回收后进行统计分析，可以得出评估结果是否被被评估对象和评估结果使用者接受以及接受的程度。当评估结果被大多数评估结果使用者接受时，一方面表明该评估效果良好；另一方面可以根据评估结果对评估对象进行分析，发扬长处、弥补不足。当评估结果不能被大多数评估结果使用者接受时，则应当通过访谈或座谈的形式，分析原评估体系、方法、评估人，找出问题所在，然后有针对性地提出改进措施。

3.4 信度分析法

在社会调查的理论中，信度一般都被定义为使用一定的方法和手段取得的调查结果的可靠性与一致性（或无矛盾性），即测量工具能否稳定地测量到它要测量的事项的程度，也就是说信度是指测量的稳定性与一致性而言的。在评估过程中，众多外界因素都会干扰评估的结果。因此，在元评估中应当借鉴信度分析法对影响评估结果的因素进行评价与分析，有效提高元评估的可靠性和稳定性。

3.5 效度分析法

效度亦称有效性，是指测验对所预测量的东西能确实地测量到什么程度的度量，它表示了测验结果的真实性和准确性。评估的效度是指评估结果的有效性或准确性，即评估对其所要评判的特性准确评估的程度。在进行元评估过程中，依据元评估对象的不同，可以有针对性地选择内容分析、经验总结等定性定量方法，对评价指标体系的内容效度和结构效度等进行效度分析，从而提高元评估的准确度和可靠度。

4 结语

伴随着高等教育评估工作的不断深入和细化，元评估工作已逐渐被高等教育学术界所认同。通过对元评估的研究可以更好地指导评估工作的展开，更加清晰、准确地了解当前高等教育的现状，从而更好地指导高等教育事业的发展。

[1]王利明，等.高等职业教育教学评价理论、评价体系与评价技术[M].北京：中国轻工业出版社，2011.

[2]蒋永福，等.东西方哲学大辞典[M].南昌：江西人民出版社，2000：937.

[3]元语言-社会科学新辞典[EB/OL].http://gongjushu.cnki.net/refbook/detail.aspx QUERYID=30&CURREC=1&RECID=R2006100030003080，2011-10-13.

[4]Scriven,M.S.An introduction to meta-evaluation[J].Educational Products Reprot,1969，（2）：36-38.

[5]Cook,T.D.The Potential and Limitations of Secondary Evaluation[A].In M.V.Apple,M.J.Subkoviak,&H.S.Lufler,Jr.(Eds.).Educational Evaluation:Analysis and Responsibility(155-235),Berkeley[M].CA:Mr Cutrhan，1974.

[6]严芳.教育元评估的理论与实践研究[D].上海：华东师范大学，2010.

[7]Cook,T.D.,&Straw,R.B.Meta-evaluation.In H.J.Walberg&G.D.Haertel(Eds.)[A].TheInternationalEncyclopediaofEducationalEvaluation(58-61)[M].NewYork:Pergamon，1990.

[8]中国知识资源总库[EB/OL].http://dlib.edu.cnki.net/kns50/scdbsearch/cdbindex.aspx，2011-11-03.

[9]侯文光.试论教育评价元评价[J].教育理论与实践，1998，（4）：24.

[10]秦伟，吴军.社会科学研究方法[M].成都：四川人民出版社，2000：78.

[11]锡胡尔，杨平川．大学生心理健康指南[M]．呼和浩特：远方出版社，2002：47.

[12]吴刚．现代教育评估基础[M]．上海：学林出版社，2004：227.

[13]曼纽卡·卡斯特.网络社会的崛起[M].夏铸九，译.北京:社会科学文献出版社，2001：1，22.

[14]曼纽卡·卡斯特.认同的力量[M].夏铸九，译.北京:社会科学文献出版社，2003：403.

[15]肖峰.人的数字化发展与人学新课题[J].江西社会科学，2004,（2）：13-18.

[16]保罗·莱文森.思想无羁[M].南京：南京大学出版社，2003：119-120.

G710

A

1674－5787（2012）01－0020－04

2011-11-16

范辉君（1980—），女，江苏南通人，管理学硕士，助理研究员，南通航运职业技术学院教务处，主要从事教育管理的研究。

责任编辑 周丁力