硕士研究生学习成果评价的实证研究—基于IEO模型的分析结果

汪雅霜　康　敏（.南京大学，江苏南京0093；.厦门大学，福建厦门36005）



硕士研究生学习成果评价的实证研究—基于IEO模型的分析结果

汪雅霜1康敏2
（1.南京大学，江苏南京210093；2.厦门大学，福建厦门361005）

摘要：开展学习成果评价已成为国际研究生教育质量保障的最新发展趋势。对某研究型大学三年级学术型硕士研究生开展学习成果评价调查，以IEO模型为理论框架来对数据进行分析发现：硕士研究生有较高的学习成果评价；硕士研究生学习成果评价存在学科差异；本科学习经历影响硕士研究生学习成果评价；院校支持力度对硕士研究生学习成果评价的影响较大。为此，应构建研究生学习成果导向的教育评价机制、关注硕士研究生培养过程中共性与个性问题、加大硕士研究生培养过程中课程与教学支持力度。

关键词：硕士研究生；学习成果评价；科研能力；通用能力；IEO模型

伴随着我国研究生招生规模的不断扩大，研究生教育质量问题也引起了政府的高度重视和社会的广泛关注。转型期研究生教育的发展与质量的提升必然要站在国际的高度来了解国际研究生教育评价的最新动态。纵观近年来国外研究生教育质量保障体系的建设情况，关注研究生的学习与发展、开展研究生学习成果评价（Learning Outcomes Assessment）已经成为新的发展趋势。[1]学生学习成果评价因其“注重学生学习增值、强调教育成效证据”而备受世界各国关注。因此，本研究在借鉴国内外已有研究成果的基础上，专门针对硕士研究生的学习成果来开展研究，尝试建立硕士研究生学习成果影响因素模型，为硕士研究生教育质量评价提供新的视角和方法参考。

一、文献回顾

（一）国外研究

发达国家对研究生学习成果评价主要通过科研体验调查的方式来开展。澳大利亚于1999年开始实施研究生科研体验调查。澳大利亚科研体验调查问卷主要包括七个方面：导师指导、科研氛围、能力发展、科研条件、论文评审、目标和期望、整体满意度情况等方面。[2]英国在2007年正式启动研究生科研体验调查。英国研究生科研体验调查主要包括导师指导、学习资源、科研氛围、学业成就与评价、学术责任、科研能力、职业发展以及整体经历评价等几个方面。[3]通过对英、澳两国科研调查结果进行分析发现两国研究生对导师指导有较高的评价，但对科研氛围的评价相对较低。加拿大研究生科研体验调查开始于2007年，调查内容包括整体评价、整体满意度、教学质量、发表机会、科研训练、论文指导、院校资源等方面。2013年调查结果表明65.7%的研究生认为自己有非常好的科研体验。[4]明尼苏达大学于2014年领衔开发的美国研究型大学研究生科研体验调查包括社会化发展、学习氛围、教学经历、导师指导、其他院校支持、职业规划与变化、学位论文进展、科研经历、财务资助、学业困难、学位完成情况、能力发展以及整体满意度等方面。2014年预调查结果表明研究生修读年限与其满意度成反比。[5]

（二）国内研究

我国虽然没有直接以“研究生科研体验”或“研究生学习成果评价”命名的调查，但学者就博士生培养质量、研究生创新能力和科研能力以及研究生教育满意度等方面进行了相关研究。北京大学等高校的学者对博士生、研究生教育负责人以及博士生导师开展了大规模博士生培养质量调查。结果表明：80%以上的博士生导师和研究生负责人认为近年来博士培养质量的总体发展趋势是“持平”或“提高”的。[6]清华大学的学者基于三次研究生教育质量调查数据对我国研究生创新能力进行了分析，发现我国研究生参与创新研究机会少、创新意识有待提升、有影响的创新成果少。[7]中国矿业大学的学者运用多元线性回归来分析研究生科研能力的影响因素，认为学生的严谨性人格、主动性人格、师徒指导关系、导师的学术地位对研究生科研能力有显著影响。[8]北京理工大学等高校的学者从2012年开始对研究生教育满意度进行追踪调查。2015年调查结果显示研究生对研究生教育的总体满意率达到了71.7%，比2014年提高了5.3个百分点。[9]

通过对国内外相关研究进行分析可知，研究生学习成果主要由能力发展、满意度等指标来进行评价。调查在关注研究生学习成果的同时，还对学习成果的影响因素（比如导师指导、课程教学、科研环境等）进行了分析。但目前国内学者对研究生学习成果的评价主要侧重于科研能力，对通用能力的关注较少，对影响因素的分析缺少相应的理论基础和分析框架。本研究以亚历山大·阿斯汀的“输入—环境—产出”模型（以下简称IEO模型）为分析框架，来对硕士研究学习成果的现状以及影响因素进行评价，并提出相关的政策建议。

二、研究设计

（一）核心概念

埃利奥特·W·艾斯纳最早对学习成果进行定义，指出学习成果是以某种形式参与之后获得的有意或无意的结果。[10]在国外众多关于“学习成果”的定义中以亚历山大·阿斯汀的定义最具代表性。阿斯汀认为高等教育的学习成果按类型可以划分为认知性成果和情感性成果，其中认知性学习成果包括通识教育的知识和技能、专业教育的知识和技能。情感性成果包括学生满意度等指标。[11]在借鉴该定义的基础上，本研究中的学习成果主要指认知性成果，包括科研能力（专业教育学习成果）和通用能力（通识教育学习成果）。

（二）分析框架

根据阿斯汀建构的IEO模型可知，学生个体特征及入学前经历是影响学生学习成果的“输入”变量；[12]院校组织特征、培养计划、政策、文化等院校内部环境和学生投入度构成重要的“环境”变量，共同影响学生的学习成果。[13]本研究选择体现个体特征的性别和学科变量，体现入学前经历的本科院校类型变量，作为影响硕士研究生学习成果的“输入”变量。“环境”变量为影响研究生学习成果的院校内部环境，称为院校支持力度，包括学习环境支持力度和课程与教学支持力度。学习环境支持力度包括图书资料丰富度、自习室和实验室等实践条件、科研机会、奖学金及评优制度等。课程与教学支持力度包括教师教学方式、教师教学内容、学校课程设置、教学评价方式以及导师指导等方面。整体研究框架见图1。

（三）测量工具

国际研究生学习成果评价主要使用调查问卷来收集数据。相比于标准化评价工具，自陈式调查问卷易于开发和管理、所需经费较少，是研究生学习成果评价中使用最广泛的一种方式。因此，本研究也主要使用问卷调查的方式来对研究生学习成果进行评价。

图1　硕士研究生学习成果评价研究框架

《研究生学习成果评价调查问卷》采用李克特7点计分法。调查问卷的结构效度使用探索性因子来对其进行检验。通过因子分析可知，KMO值为0.930，Bartlett's球形检验卡方值为3846.532，p＜.001，达到显著，认为数据适合进行因子分析。因子提取采用主成分分析法，旋转因子负荷矩阵使用极大方差法（Varimax）求出。因子的提取标准为特征值大于1，项目的选取标准为因子负荷大于0.45。

因子分析结果表明（见表1）可提取两个因子，累积贡献率为67%，方差解释率较高，两因子分别为科研能力（F1）和通用能力（F2）。科研能力因子具体包括文献查找能力、文献研究能力、撰写学术论文能力、问题发现能力、实践操作能力、研究设计能力以及统计分析能力等方面。通用能力因子具体包括换位思考能力、抗挫折能力、做事情的耐力、独立完成任务能力、求真务实能力、团队合作能力等方面。

因子分析结束后，使用内部一致性系数（Cronbach's α系数）来考察各因子的信度。调查问卷的Cronbach's α系数值为0.954，其中科研能力因子和通用能力因子的Cronbach's α的系数值分别为0.916和0.913，说明问卷具有较好的信度。

（四）研究数据

以N研究型大学三年级学术型硕士研究生为调查对象，问卷共发放405份，回收问卷391份，有效问卷388份，有效回收率为95.80%。其中，女生占46%，男生占54%；文科研究生占40.5%，理科研究生占24.5%，工科研究生占35.1%；本科院校来源于“985工程”院校的研究生占37.6%，来源于“211工程”院校的研究生占22.7%，来源于普通院校的研究生占39.7%。

表1　因子负荷旋转矩阵

三、实证分析

（一）硕士研究生学习成果现状评价

表2　硕士研究生学习成果评价总体情况

通过表2可以看出，硕士研究生对通用能力的评价较高，对科研能力的评价相对较低。硕士研究生学习成果评价总体得分为4.95，转化为同意度百分比为66%。对硕士研究生学习成果评价总体得分进行聚类分析可知，硕士研究生可以分为三组，第一组为学习成果评价较高组，占46.4%；第二组为学习成果评价中等组，占37.1%；第三组为学习成果评价较低组，占16.5%。

表3　硕士研究生学习成果评价具体分析

通过表3可以看出，在科研能力这一因子上，硕士研究生对文献查找能力和问题发现能力的评价较高，但对研究设计能力和统计分析能力的评价相对较低。在通用能力这一因子上，硕士研究生对换位思考能力和抗挫折能力的评价较高，但对独立完成任务和团队合作这两项能力的评价相对较低。

（二）硕士研究生学习成果影响因素评价

分别将硕士研究生学习成果评价中的科研能力和通用能力作为因变量，硕士研究生个体特征、入学前经历、院校支持力度作为自变量进行多元线性回归分析。通过表4可以看出，自变量对硕士研究生科研能力的解释率为24.4%，对硕士研究生通用能力的解释率为23.2%，说明学生个体特征、入学前经历以及院校层面的因素对硕士生学习成果评价有较大影响。

通过表4可知，硕士研究生学习成果评价不存在性别差异，但存在学科差异。与文科硕士研究生相比，工科硕士研究生有较高的科研能力评价。较之理科硕士研究生，工科学生有较高的通用能力评价。

入学前学习经历影响硕士研究生学习成果评价。与本科毕业于“211工程”院校和普通院校硕士研究生相比，本科毕业于“985工程”院校的硕士研究生有较高的学习成果评价。

院校支持力度对硕士研究生学习成果评价有正向影响。学习环境和课程教学的支持力度越大，硕士研究生对学习成果的评价也会越高。

四、研究结论与建议

（一）研究结论

1.硕士研究生有较高的学习成果评价

通过对硕士研究生学习成果的总体评价进行聚类分析发现，有近五成的学生属于学习成果评价较高组，三成多学生属于学习成果评价中等组，仅有一成多学生属于学习成果评价较低组，这说明硕士研究生有着较高的学习成果评价。不过，实证分析结果还表明硕士研究生对通用能力的评价高于对科研能力的评价，说明硕士研究生的科研能力还有进一步提升的空间，特别是硕士研究生的研究设计能力和统计分析能力。

表4　硕士研究生学习成果影响因素分析

2.硕士研究生学习成果评价存在学科差异

虽然硕士研究生学习成果评价不存在显著的性别差异，但却存在学科差异，工科硕士研究生有较高的学习成果评价。这可能与不同学科的培养目标、知识基础、教学方式以及科研形式不尽相同有关。工科更侧重培养学生扎实的数理统计基础，注重实践教学，更强调“团队式”、“项目制”的科研运作机制。因此，与文科研究生相比，工科硕士研究生在研究设计、实践操作、统计分析等方面的科研能力评价更高。与理科研究生相比，工科硕士研究生在团队合作、求真务实等方面的通用能力评价更高。

3.本科学习经历影响硕士研究生学习成果评价

“985工程”院校代表着我国高等教育发展的最高水平。相关调查研究表明：与其他类型院校相比，“985工程”院校学生感知到更高的院校支持力度和更高的学习满意度。由于本科毕业于“985工程”院校的学生有着丰富的本科学习经历，这也直接影响了其在研究生学习阶段的学习成果。研究结果也验证了阿斯汀的IEO模型在研究生学习阶段的适应性。同时，本科毕业于“985工程”院校的硕士研究生有较高的学习成果评价，从某种程度上也反映出我国“985工程”院校有着较高的本科人才培养质量。

4.院校支持力度对硕士研究生学习成果评价的影响较大

通过比较标准化回归系数可知，学习环境支持力度和课程与教学支持力度对硕士研究生学习成果评价的影响较大。图书馆、自习室和实验室等学习平台、科研机会、科研激励等组织制度都是研究生培养过程中重要的硬件和软件环境，都对硕士研究生学习成果评价产生影响。同时，本研究通过实证数据还发现课程与教学支持力度对硕士研究生学习成果评价产生较大影响。但以往的研究生培养中存在重科研训练轻课程学习的现象，使得课程与教学在研究生培养中并没有得到足够的重视。这也意味着我们需要重新审视课程与教学在研究生培养中的地位，凸显课程与教学的独特价值。

（二）研究建议

1.构建研究生学习成果导向的教育评价机制

首先，树立“以研究生发展为中心”的评价理念。目前，我国研究生教育质量评价制度主要包括四个方面：学位授权审核、学位授权点定期评估、学位论文抽查和教育质量约谈。[14]这四方面的评价都以院校为中心，是一种自上而下的评价机制。学生学习成果导向的研究生教育评价机制强调学生的参与，重视倾听学生的声音，学生在评价中有充分的话语权，是一种自下而上的评价机制。其次，培育基于证据的评价文化。研究生教育评价包括测量和价值判断两方面，但传统的研究生教育评价是一种基于经验的评价，过于强调对评价对象的价值判断，而较少关注测量这一环节。学生学习成果导向的研究生教育评价机制建立在丰富的数据基础之上，注重教育测量在评价中的作用，着力培育基于证据的质量文化。

2.关注硕士研究生培养过程中共性与个性问题

首先，关注硕士研究生培养过程中的共性问题。研究表明硕士研究生对科研能力的评价相对较低，特别是研究设计能力和统计分析能力还有待提高。这是硕士研究生培养过程中所面临的共性问题，需要引起学校的重视。建议高校可开设相关的研究方法课程来提升研究生这两方面的能力。其次，关注硕士研究生培养过程中的学科差异性。研究发现较之工科研究生，文科研究生的科研能力、理科研究生的通用能力还有一定的提升空间。建议学校开设相关的跨学科课程或设立相关的跨学科研究课题，鼓励不同学科的研究生在一起共同进行课程学习或开展课题研究，互相取长补短，共同进步。最后，关注硕士研究生培养过程中的个体差异性。研究表明本科来源于非“985工程”院校学生的学习成果评价相对较低，这就要求高校在研究生培养过程中采取相关措施来对这些学生给予更多的关心和指导。

3.加大硕士研究生培养过程中课程与教学支持力度

目前，学界对于课程与教学在研究生培养过程中的地位存在两种观点：一种观点认为研究生培养主要是通过科研训练，课程与教学处于次要地位；另一种观点则认为课程与教学是研究生培养过程中的重要环节，对研究生的学习与发展有较大影响。本研究通过实证数据发现课程与教学支持力度对硕士研究生学习成果评价有着较大的促进作用，是硕士研究生培养过程中的重要影响因素。这也进一步说明“课程学习是学术学位研究生特别是硕士研究生培养的必经阶段和重要途径，是知识、能力和素质培养的重要手段，在研究生成长成才中具有全面、综合和基础性作用”。[15]因此，高校要充分重视课程与教学工作，进一步加强研究生课程体系建设，加大硕士研究生培养过程中对课程与教学的支持力度。

参考文献：

[1]赵琳，王传毅.以“学”为中心：研究生教育质量评价与保障的新趋势[J].学位与研究生教育，2015，（3）：11-14.

[2] Graduate Careers Australia. Postgraduate Research Experience Questionnaire [EB/OL]. http: //www.graduatecareers.com.au/research/start/ agsoverview/ctags/preqo/, 2015-11-05.

[3] Higher Education Academy. Postgraduate Research Experience Survey ( PRES) 2015 [EB/ OL]. https://www.heacademy.ac.uk/sites/default/files/ downloads/pres -2015 -questionnaire.pdf, 2015 -11-05.

[4] Canadian Graduate and Professional Student Survey. 2013 Summary Report [EB/OL]. http:// www.uregina.ca/orp/assets/surveys/cgpss -2013 -national-report.pdf, 2015-11-6.

[5] Ron Huesman. Grad SERU: Utilization and Results [EB/OL]. http://www.cshe.berkeley. edu/sites/default/files/u102/Grad%20SERU%20UC% 20Berkeley% 202015% 20FINAL% 20v2% 20with% 20positive%20comments.pdf，2015-11-05.

[6]袁本涛，延建林.我国研究生创新能力现状及其影响因素分析—基于三次研究生教育质量调查的结果[J].北京大学教育评论，2009，（2）：12-20.

[7]巩亮等.研究生科研能力影响因素实证研究[J].学位与研究生教育，2014，（12）：50-57.

[8]中国博士质量分析课题组.中国博士质量报告[M].北京：北京大学出版社，2010.

[9]周文辉，王战军等. 2015年我国研究生满意度调查[J].学位与研究生教育，2015，（10）：14-19.

[10] E.W.EISNER.The Educational Imagination [M]. New York：Macmillan, 1979:103

[11] [12] A. W. Astin. Assessment for Excellence: the philosophy and Practical of Assessment and Evaluation in Higher Education [M]. New York: American Council on Education and Macmillan Publishing Company, 1991: 45, 18.

[13]王纾.研究型大学生学习性投入对学习收获的影响机制研究—基于2009年“中国大学生学情调查”的数据分析[J].清华大学教育研究，2011，32（4）：24-32.

[14]王战军，乔伟峰.中国高等教育质量保障的新理念和新制度[J].清华大学教育研究，2014，35（3）：29-34.

[15]汪霞.世界一流大学研究生培养模式和课程体系研究[M].南京：南京大学出版社，2015.

（责任编辑田晓苗）

A Study on Learning Outcomes Assessment of Postgraduate-Based on IEO Analysis Results of the Model

Wang Yashuang Kang Min

Abstract:Assessing learning outcomes of postgraduate is the newest trend in the international higher education quality assurance. An empirical research on the learning outcomes includes 388 postgraduates in a research university in China. The results based on the IEO model indicate that the overall condition of the postgraduate learning outcomes is high, the postgraduate learning outcomes differ from disciplines, undergraduate learning experience has a direct influence on the outcomes and the campus supportive environment has a great influence on the learning outcomes. Some suggestions are brought out: constructing an outcomes-oriented postgraduate education assessment system, paying more attention to the generality and individuality problems of the postgraduate, and providing more curriculum and instruction support for postgraduate.

Key words:postgraduate; learning outcomes assessment; scientific research ability; generic ability; IEO model

作者简介：汪雅霜，男，南京大学教育研究院助理研究员，主要从事院校影响力与学生发展研究；康敏，女，厦门大学教育研究院硕士研究生，主要从事教育政策与管理研究。

基金项目：江苏省教育科学“十二五”规划2015年重点资助课题（B-a/2015/01/002）

收稿日期：2015-12-15

中图分类号：G643

文献标识码：A

文章编号：1672－4038（2016）03－0076－07