穆兰兰,魏 红
(北京师范大学 高等教育研究所,北京 100875)
由精英教育到大众化教育,高等教育的质量保障从重视学院特征指标转向强调学生学习结果的证据[1]。以美国为参照,20世纪80年代之后,只重输入和资源的高等教育质量评估标准受到外界的质疑,学生的学习结果成为新的评估标准关注的重点[2]。“学生学习结果是学生在一段高等教育体验之后获得的知识、技能和能力”[3]。对学习结果的直接测量不易取得,因此学生的学业成绩、自我评价、满意度、毕业率以及毕业后的发展情况都可以作为评价一所大学教学质量的参考标准[4]。
从现有使用范围较广的问卷内容看(如美国的全国大学生参与度调查及其前身大学生就读经验问卷,加州大学洛杉矶分校的合作院校研究项目问卷调查等),自我报告的学习结果和满意度量表是这类问卷的主要组成部分。随着高等教育个体成本投入的增加,让学生(作为教育的“产品”)在各方面得到完满的发展与让学生(作为教育的“顾客”)满意,越来越成为高校和社会关心的热点问题。从测量方法的角度看,学生自我报告的学习结果和满意度均属心理层面的数据证据[5]。
20世纪80年代,关于学生学习结果和满意度关系的研究就已出现。1982年,艾特肯(Aitken)通过平均成绩、课程满意度、专业满意度等作为自变量对学业满意度进行回归分析,发现学生自我报告的平均成绩是预测学业满意度的最重要变量。此外,他还考察了住宿满意度、学业满意度对第二年退学决定的影响。其结果表明,学业满意度和住宿满意度都对退学有显著影响,但后者的影响较大[6]。而不久之后,比恩(Bean)和布拉德利(Bradley)认为学生个体对学生身份的满意度是高等教育的“心理产出”。他们将学生身份满意度和学业成绩分别作为因变量进行考察。结果显示,学生身份满意度对平均成绩的影响强于平均成绩对满意度的影响[7]。诺克斯(Knox)、琳赛(Lindsay)和科尔布(Kolb)分析了满意度与学院特征、学生就读经验、平均成绩等之间的关系,发现学业成绩与学业满意度之间呈显著正相关,与社交生活、娱乐活动、学校声誉的满意度之间的关系不显著。他们认为,学习成绩高的学生会觉得课程有趣,进而学业满意度水平也高。同时研究者也指出,这种满意度和学习成绩之间的因果关系是不明确的,也有可能是学生专注于学习过程的积极方面产生了较好的学习成绩[8]。与以往研究相比,派克(Pike)在研究变量、方法和设计上均取得了较大突破,他运用结构方程模型,引入了桑代克的光晕效应(halo effect)理论,通过分析学生自我报告的学习结果和满意度实质相关模型和光晕效应模型来研究两者之间的关系。结果表明光晕效应模型对数据拟合更好,但他并不认为光晕效应模型可以取代相关关系模型[9]。阿斯廷(Astin)也认为满意度不从属于其他教育结果,而且,他认为相比其他教育结果,学生对学校的满意度更依赖于院校特征和学生融入校园环境的程度[5]。托马斯(Thomas)和加兰博斯(Galambos)通过回归分析发现学生自我报告的智力发展与学生对教育质量的满意度之间显著相关,与对学校的整体满意度和是否愿意再次选择这所学校之间没有显著关系[10]。他们通过决策分析树分析发现,学生的满意度和学习结果的数据可以将学生分为三类:第一类学生占学生总数的20%,他们学习成绩好,对学校也非常满意;第二类学生对学校比较满意,成绩中等,这类学生占40%;另有40%的学生的成绩和满意度都较低,但这并不能回答满意度和学习结果之间的因果关系问题。
那么,我国大学生自我评价的“完满的发展”与对高校教育教学质量和教学环境的“满意度”之间存在怎样关系呢?当前,我国学者多是分别对学生学习结果和学生满意度进行研究。从已有文献掌握的情况看,国内学者对大学生满意度和学习结果关系的探讨仅见于翟洪江和孙立群所做的“高校毕业生满意度调查实证研究”。他们以学生评价的总体满意度为因变量,以教师评价均值、课程评价均值、德育工作评价均值、图书馆评价均值、硬件设施评价均值、校园文化评价均值、后勤服务评价均值以及自我评价均值为自变量进行一元线性回归,自我评价的回归系数不显著。他们认为“学生并没有将个人的成长作为考察学校满意度的一个方面,而是更希望成为一名顾客,得到更好的服务”[11],因此其“自我评价”主要是学生对在校获得的知识和能力的满意度的测量,而非对学生学习结果的测量。
结合国外学者的研究成果和我国高等教育的实际,探讨学生的学习结果与满意度的关系将对高校教学管理工作更好地为教学和社会服务提供有力依据,也将为我国高等教育质量评估提供证据基础。为此,本文将以“满意度”和“学生自我报告学习结果”为研究对象,依据在某研究型大学进行的本科毕业生调查所得数据,探讨我国高校学生满意度和自我报告学习结果的关系。
研究表明,师生互动和同伴互动对学习结果的影响只有到大三、大四才会比较明显[12]。尤厄尔(Ewell)认为,应当在所有结果和有关的事件发生之后对学生进行问卷调查,这样学生比较容易全面回忆他们的感受、态度、一些决定的缘由等,因此他建议毕业生调查应当在毕业之前2-4个星期进行[13]。为了充分了解高校学生对学校的总体满意情况,本研究选择毕业生为调查对象以考察学生满意度和学生学习结果的关系。本研究于学生毕业前三周(2012年6月12日至6月16日)对北京师范大学的2012届本科毕业生进行了问卷调查。
研究所用问卷的学习结果部分改编自美国ACT公司的“大学成果调查”(College Outcome Survey)。在试测之后,删除了不符合中国高校实际的3道题目,并加入了1道问题调查学生的“外语发展”情况。学生自我报告学习结果量表包括两个部分:认知学习结果和非认知学习结果。其中认知学习结果分为6个维度,由28道题目测量;非认知学习结果分为5个维度,由32道题目测量。满意度量表改编自《北京大学毕业生调查》[14]。量表分为2个维度,包括12道问题,分别测量学生对教学水平和教学环境的满意程度。所有题项均为五点量表,并对原问卷中的赋值略加调整①,以期选项中的数字能够起到更好提示被试的作用。预测阶段,认知学习结果、非认知学习结果、满意度三个分量表的内部一致性α系数分别为:0.89,0.93,0.87。在进行调整后,正式调查数据得出的三个部分的内部一致性α系数为:0.92,0.96,0.92,表明问卷各部分信度良好,调查所得结果稳定、一致。
鉴于大四学生毕业前流动性强、联络不便的实际,本研究未采用严格的抽样方法,而是在获得大四学生住宿宿舍分布情况的数据后,选择每天的21∶00-23∶00到每个宿舍进行发放,除个别宿舍外,95%以上的宿舍都有问卷回收。获得问卷较为理想,涵盖了学校现有的全部院系所。北京师范大学2012届毕业生总数为2186人,我们共发放问卷410份,回收问卷352份,其中有效问卷322份,有效问卷占发放问卷的78.54%,其中男生占有效样本的比例为35.09%。
采用SPSS1 6.0 和Mplus 6.12 软件对数据进行统计处理和分析。
统计分析的过程:首先运用Mplus 6.12分析满意度和学习结果的测量模型,获得量表的构念效度和概念关系。由于所有题项均为5点量表,故观察变量被视作顺序分类数据,并采用WLSMV方法进行分析[15]。然后,在高阶因子模型的基础上,运用Mplus 6.12分析满意度两个一阶因子“教学水平满意度”、“教学环境满意度”和学习结果高阶因子“认知学习结果”和“非认知学习结果”的相互作用。最后,使用SPSS16.0进行方差分析,比较不同满意度水平毕业生在学习结果各方面的差异情况。
结合相关研究,构建学习结果和满意度的测量模型:认知学习结果、非认知学习结果、满意度三个分量表共13个一阶因子,认知学习结果分量表的6个一阶因子分别为“言语表达能力”、“数理能力”、“认知策略”、“实践能力”、“职业发展”、“现代文明通识”;非认知学习结果分量表的5个一阶因子分别为“自我认识”、“情感态度与价值观”、“成就动机”、“公民品格”、“人际交往”;满意度分量表的2个一阶因子为“教学水平满意度”、“教学环境满意度”。除“数理能力”外,每个因子均有超过3道题项测量。数据分析结果显示,模型拟合良好。模型的拟合指标:χ2=3656.58,df=2406,p<0.001;CFI=0.95,TLI=0.94;RMSEA=0.04,RMSEA90%置信区间为〔0.038,0.043〕,RMSEA<0.05的概率为1.00。除个别题项外,多数题项在一阶因子上的标准化负荷均在0.70左右,即因子可以解释题项50%以上的方差变异。一般认为,当标准化负荷系数的绝对值达到0.30以上,即可认为此观察变量的效度是可接受的[16],因而三个分量表构念效度甚为理想。
如表1所示,学习结果的一阶因子之间表现出中高度相关,因此可以使用高阶因子简化模型。将学习结果11个一阶因子简化,再通过高阶因子的相互关系分析学习结果和满意度之间的相关情况。
表1 学习结果的测量模型:一阶因子相关系数矩阵
使用高阶因子对测量模型进行简化后,模型中共有两个高阶因子,分别是“认知学习结果”、“非认知学习结果”。运用Mplus 6.12对高阶验证性因子模型进行分析,模型的拟合指标:χ2=3850.98,df=2467,p<0.001;CFI=0.94,TLI=0.94;RMSEA=0.04,RMSEA90%置信区间为〔0.039,0.044〕,RMSEA<0.05的概率为1.000。依据海尔(Hair)、布莱克(Black)、巴宾(Babin)和安德森(Anderson)的标准,在样本量大于250,观察变量超过30的研究情境下,卡方拟合优度一般为显著;CFI>0.90,RMSEA<0.07即可认为模型拟合良好[17]。因此两个分量表可以较好测量抽象的学习结果。从图1看,除“数理能力”和“言语表达能力”外,其余因子在二阶因子上的负荷均超过0.70。“数理能力”的标准化因子负荷为0.306,也达到了0.30的基本要求。一阶因子在二阶因子上的负荷反映了一阶因子之间的共同度,负荷越高,说明因子之间的共同度越高。结果表明,使用高阶因子简化模型合理,高阶因子之间的相关系数显著。“认知学习结果”与“非认知学习结果”表现出强相关(0.918),“教学水平满意度”、“教学环境满意度”与“认知学习结果”、“非认知学习结果”之间也表现出中等程度的相关水平,且“教学水平满意度”与“认知学习结果”、“非认知学习结果”的相关程度均高于“教学环境满意度”与两者的相关度。对学习结果与满意度的高阶测量模型分析发现,认知、非认知学习结果存在强相关。认知、非认知学习结果与教学水平满意度的相关程度均大于其与教学环境满意度的相关程度。
以上分析发现满意度与学生的认知和非认知学习结果具有显著相关关系。下面通过方差分析考察在学习结果这个一阶因子上,满意度的两个具体方面与学生自我报告的学习结果的诸方面的相关性。首先计算满意度分数(满意度量表题项分数的总和除以题项数)。根据托马斯(Thomas)和加兰博斯(Galambos)的研究结论,按20%∶40%∶40%的比例分别将教学水平满意度和教学环境满意度题项平均分的区间[-2.00,2.00]分为高、中、低三组,高满意度组为[1.25,2.0],中满意度组[0.50,1.25],低满意度组[-2.00,0.50]。为统一量纲,同样以平均每题得分(该维度各题项分数总和除以该维度题项总数)表示学生自我报告学习结果的进步程度。方差分析结果如表2、表3所示。整体来看,在学习结果的大部分方面,高满意度组的均值最高,中满意度组次之,低满意度最低。按教学水平满意度分组,在学习结果全部11个方面,三组学生均存在显著差异(p<0.05)。但按教学环境满意度分组,不同满意度水平的学生自我报告的“实践能力”和“自我认识”并不存在显著差异;在“自我认识”和“情感态度和价值观”方面,教学环境的中满意度组学习结果的平均值略低于低满意度组。
?
?
分析结果显示在学习结果的大多数方面,各组方差齐性,因此可采用图基(Tukey)的可靠显著差异法进行多重比较,检验结果如表4所示。按教学水平满意度进行分组,总的来看,低满意度组与中满意度组的差异不显著,但均与高满意度组的差异显著。按教学环境满意度进行分组,与按教学水平满意度分组的情况不同,在“言语表达能力”、“认知策略”、“实践能力”、“自我认知”四个方面,高、中满意度的差异并不显著,但在“数理能力”、“现代文明通识”、“成就动机”、“公民品格”方面,高、中、低三组间均有显著差异。
表4 学习结果均值的多重比较
本文使用高阶结构方程模型分析了学生自我报告的学习结果和满意度之间的关系。结果表明,模型拟合良好,改编问卷的信效度理想,可以很好地测量“学习结果”和“满意度”的关系。学习结果和满意度存在较高程度的相关,且认知、非认知学习结果与教学水平满意度的相关均高于其与教学环境满意度的相关。这一结果支持了我国的新一轮高等教育质量评估从重输入转变为重输出,从重硬件(教学设施)转变为重软件(师资与教学)的评估导向。一所学校的教学水平对学生的发展意义重大,它不仅影响学生知识与能力的发展,也影响学生整个大学时期的学习体验,进而影响其情感与价值观的发展。教学水平满意度主要反映了教师的教学以及教师与学生的非正式互动。因此,教师是促进学生发展的关键。在我国高等教育快速发展,生师比快速膨胀的背景下,高校管理者更应把教学放在各项工作的首位,通过设计新的课堂模式,发展年轻教师队伍,控制班级过大的情况,促进教师与学生的有效交流。同时,在教学管理中发挥学生的积极作用,除传统的期末学生评价教师教学的途径外,学生团体还应有其他更畅通、更快捷的渠道表达对教学管理的意见和建议。由于本研究采用的问卷调查法不符合霍兰德(Holland)提出的因果推论的多条标准[18],因而不能说明学习结果与满意度之间的因果关系。但在学校、学院和课程层面,满意、获得知识和技能、参与有意义的教育活动都是“大学生学业成功”的重要组成部分[19],都值得教育管理者和研究者给予同等的关注。
对满意度和学习结果的进一步分析发现,不同满意度的毕业生自我报告的学习结果存在差异。总的来说学习结果的各方面,高满意度组的均值最高,中满意度组次之,低满意度最低,这个结果与托马斯(Thomas)和加兰博斯(Galambos)的研究结论一致。此外,本文考察了满意度的两个方面——教学水平满意度和教学环境满意度——对认知学习结果和非认知学习结果的不同影响。分别按教学水平满意度和教学环境满意度进行分组,不同满意度水平学生自我报告学习结果的差异有所不同。此结果与派克(Pike)的研究发现一致,尽管有共同因素影响学生自我评价与满意度,但学生在对教学水平、教学环境和自我评价方面均有区分。对学校的教育和各方面的服务满意会促进学生个体在知识技能方面的学习,一旦达到平均的满意度水平,更高的满意度在认知学习方面的促进作用就不明显了。但在大学教育时期,在通识教育、成就动机的培养等方面,学生的发展和自我评价与对教学环境的满意度的关系更紧密。因此,提高教学质量、创造良好的教学环境是高校永远不能停步的工作。学生对学校满意程度的提高不仅有益于知识技能的学习,也有益于身心的发展。对低满意度的学生,学校应该尽可能发现原因,创造条件帮助学生个体提高校园生活的满意度,防止对学习效果的负面影响。
综上所述,中西方高校学生在自我报告的学习结果和满意度的关系上具有一致性。学生满意度调查是反映高等教育质量的重要手段。从工业产品市场研究的经验看,在垄断市场中,顾客满意度往往偏低[20]。尽管高等教育毛入学率在持续增长,但对名牌高校来说,高校与学生的选择关系依然比照垄断市场[21],高校对学生反馈的重视程度依然不足。在具体实践中,高校还需要探索如何将学生满意度与教育管理有机结合,而非泛泛的调查与报告。高校管理者要防止滥用满意度调查造成学生对管理的不信任。我国的高等教育质量管理将不再缺乏数据,但亟须对数据的深入挖掘和谨慎分析,更进一步而言,是对质量改进提供有力且合理的依据。学习和借鉴西方的管理经验有助于快速提高我国高等教育质量评估体系,但也要注意不要步西方后尘,陷入数据的大海之中而忘记了数据服务于质量提高的初衷。
本研究还存在诸多不足。首先,选取个案学校进行调查,研究结果仅能反映此类研究型大学的情况,研究结果的外在效度有限。其次在满意度量表方面,缺乏对整体满意度的测量,也是本次调查的重大遗憾。
注释
①其中学习结果部分:进步很大=3,有些进步=2,进步较小=1,没有进步=0,有所下降=-1;满意度部分:非常满意=2,满意=1,一般=0,不满意=-1,非常不满意=-2。
[1]魏红,钟秉林.重视学生学习效果 改善教育评估效能——国际高等教育评估发展新趋势及其启示 [J].中国高教研究,2009(10):16-19.
[2]EL-KHAWASEH.AccreditationintheUSA:Origins,developments andfutureprospects[R].Paris:InternationalInstituteforEducational Planning,2001.
[3]CouncilforHigherEducationAccreditation.Statementofmutual responsibilities for student learning outcomes accreditation,institutions,andprograms[R/OL].(2003)[2014-06-01].http://www.chea.org/pdf/StmntStudentLearningOutcomes9-03.pdf.
[4]MiddleStatesCommissiononHigherEducation.StudentLearning Assessment:optionsandresources(secondedition)[R].Philadelphia:MiddleStatesCommissiononHigherEducation (ERICDocument ReproductionServiceNo.ED481880),2007.
[5]ASTINAW.Fourcriticalyears[M].SanFrancisco:Jossey-Bass,1977.
[6]AITKEN N D.College studentperformance,satisfaction,and retention[J].JournalofHigherEducation,1982,53(1):32-50.
[7]BEANJP,BRADLEYRK.Untanglingthesatisfaction-performance relationshipforcollegestudents[J].TheJournalofHigherEducation,1986,57(4):393-412.
[8]KNOXW E,LINDSAYP,KOLBM N.Highereducation,college characteristics,and studentexperiences:Long-term effects on educationalsatisfactionsandperceptions[J].TheJournalofHigher Education,1992,63(3):303-328.
[9]PIKE G R.The relationship between perceived learning and satisfactionwithcollege:Analternativeview(1993)..Researchin HigherEducation,1993,34(1),23-40.
[10]THOMASEH,GALAMBOSN.Whatsatisfiesstudents?Mining student-opiniondatawithregressionanddecisiontreeanalysis[J].ResearchinHigherEducation,2004,45(3):251-269.
[11]翟洪江,孙立群.高校毕业生满意度调查实证研究——基于某大学数据分析[J].高等农业教育,2011(9):92-95.
[12]PIKEGR.Theeffectsofbackground,coursework,andinvolvement on students'gradesand satisfaction [J].Research in Higher Education,1991,32(1):15-30.
[13]EWELLPT.Studentoutcomesquestionnaires:Animplementation handbook (2nded.)[M].Boulder,CO:NatlCenterforHigher Educaton,1983.
[14]北京大学团委.北京大学毕业生的调查[J].青年研究,1997(3):14-18.
[15]BROWN TA.Confirmatoryfactoranalysisforappliedresearch[M].NewYork:GuilfordPress,2012.
[16]王卫东.结构方程模型原理与应用[M].北京:中国人民大学出版社,2010.
[17]HAIRJF,BLACKWC,BABINBJ,ANDERSONRE.Multivariate DataAnalysis[M].北京:机械工业出版社,2011:672.
[18]辛涛.回归分析与实验设计[M].北京:北京师范大学出版集团,北京师范大学出版社,2010.
[19]KUHGD,KINZIEJ,BUCKLEYJA,BRIDGESBK,HAYEK JC.Whatmatterstostudentsuccess:A reviewoftheliterature commissionedreportforthenationalsymposium onpostsecondary studentsuccess:Spearheadingadialogonstudentsuccess[R].Washington DC:NationalPostsecondaryEducation Cooperative,2006.
[20]FORNELL C.A nationalcustomersatisfaction barometer:the Swedishexperience[J].TheJournalofMarketing,1992:6-21.
[21]MARTIN R E.Thecollegecostdisease:Highercostandlower quality[M].EdwardElgarPublishing,2011:62.