基于教育数据挖掘的大学生学习成果分析

舒忠梅，屈琼斐

（中山大学 教育学院，广东 广州 510275）

学生学习成果是国内外高等教育质量保障研究重点关注的热点问题，为反映高校办学成效提供了重要依据。评价学生学习成果的一个主要环节是运用定性或定量测量方法获取学习成果的信息和证据［1］。然而，由于高校和大学生类别及层次的多样性，学习目标和学习过程的复杂性，从而导致大学生学习成果的多维度性和繁杂性。

究竟哪些因素影响大学生的学习成果？采取何种方式可以提高大学生的学习成果？本研究从学习分析的视域，运用教育数据挖据技术对大学生学习成果的影响因素等进行探索。

一、学生学习成果概念界定及其研究现状

学生学习成果这一概念，最早由Eisner于1979年提出，他认为学习成果本质上是以某种形式参与之后获得的结果，无论是有意的还是无意的［2］。Fulks认为，学生学习成果是期望学生在经过学习后应该获得的、具体的、可测量的目标和结果，包括认知、技能、态度等［3］。Astin将学习成果划分为三个维度［4］：成果的类型、数据的类型和时间跨度。学习成果按成果类型可划分为认知性成果和情感性成果，按数据类型可分为心理型数据和行为型数据，按时间跨度可分为大学就读期间和大学毕业之后。黄海涛认为学生学习成果的核心含义包括：学生经过某种学习后，知识、技能、态度和情感，以及习得的能力得以增长，这种增长是具体的、可测量的［5］。综合以上定义，本研究结合大学生学习经历，将学生学习成果界定为：学生在参与特定的一系列大学学习后所获得的认知、技能、能力、态度及情感体验。

国内外关于学生学习成果的研究伴随高等教育质量问题的逐步升温而增多，在学生学习成果模型研究方面，为确保学生学习成果评价过程的全面性、系统性和连续性，Ohia等提出一个六阶段评价学生学习成果的FAMOUS（formulate，ascertain，measure，observe，use，strengthen）模型［6］。Duque等通过问卷调查数据收集，采用ANOVA测试和结构方程建模技术，对学生学习成果和满意度模型及方法进行了研究［7］。

在学生学习成果影响因素分析方面，Pike等使用2004NSSE学生调查、IPEDS及大学委员会院校数据，引入学生特征和院系特征，得出教育支出、学生投入和学生自我报告学习成果之间的中度相关关系［8］。McNaught等通过在香港大学实施面对面教学和在线学习的混合式教学设计，探索了学习设计与学生学习成果之间的关系［9］。Volkwein等探索了专业认证对学生经历和学习成果的影响［10］。Smart探讨了在“荷兰”理论的学术氛围影响下学生学习成果的微分模式变化与稳定性［11］。Galbraith等探讨了学生评教在学生学习成果评价中的有效性问题［12］。

国内外学术界在学生学习成果研究上取得的进展有目共睹，尤其从学校环境和条件、学生个体特征及学生学习投入等方面探索了学生学习成果模型及影响机制，为如何提升学生学习成果的决策做出了重要贡献。但较少有学者从学生情感、行为和认知等广泛的学习经历角度来考察学生学习成果。从经验的角度分析，学生参与学校活动、经历的丰富性会对学习成果有一定影响，而学生会通过这些活动和经历产生不同的认知体验和经验及作出不同情感反应，涉及的数据量大、范围广泛，常规的统计方法难以发现其隐性的规律，因此需要新型的数据统计和分析方法，即开展教育数据挖掘。另一方面，影响学生学习成果的因素复杂多样，不同的影响因素之间也可能相互影响，例如学校环境的好坏可能影响学生自主地学习投入等。为了深入了解学生学习成果的影响因素，本研究使用逐步回归分析和神经网络等教育数据挖掘技术对学生学习成果数据进行挖掘，并从学习分析角度对其挖掘的结果进行意义再建构，旨在建立学生学习经历、学校特征、学生特征与学生学习成果的错综复杂关系，以期为提高高校人才培养质量提供参考的依据。

二、学生学习成果分析的理论与技术框架

1.理论框架

研究表明，问卷调查通过学生自我报告间接测量学习成果，可以准确地反映学生群体的总体学习成果水平。对于学生调查评估模型，Astin提出 I－E－O 理 论 （theory of input－environmentoutput），把学生学习评估涉及的内容分成三大方面：生源质量作为 “输入”（input）、学习环境（environment）、学习成果作为“输出”（output）。Pace提出“环境—经验—发展”模型，分别从学生与学校两个主体出发，从学生学习的投入程度、学校对学生学习支持工作的质量、学生与学校在意识观念上的融合程度三个层面对学生学习投入质量进行分析［13］。这些经典的大学生发展理论都认为，大学生在学习经历中可以自由选择喜欢的学习与生活模式，由此而形成的学习投入程度将直接影响他们在学习经历当中的收获。这便为学校的管理人员和院校研究人员提供了一个分析学生学习、发展经历的视角，可以通过了解不同的学习经历、学校特性、学生特征与学习成果的关系，探索其中的规律，从而更好地了解和预测学生的学习成果，为制定更为适合学生发展的措施提供重要借鉴。

参考Astin与Pace的学生调查评估模型，笔者设计了中山大学学生学习状况调查问卷，调查内容不仅关注学生的相关经历，例如学习投入和努力的程度、学生与教师的交往互动等，还包括学生的情感性学习成果或通识教育的学习成果。研究从学生情感、行为和认知等广泛的学习经历角度，在“生源—学习—成果”的逻辑框架中，考察分析学校因素和学生因素对于学生学习成果的影响机制。调查把学生学习经历和成果分解为生源情况、学校学习资源提供、学生与学校的融合、学生学习投入、学生成果、学校成果六大维度，从生源、学习和成果三个关键环节进行测量，理论框架如图1所示。各维度下题目的内部一致性均达到0.9以上，具有较高的信度。

图1 研究的理论框架及指标体系

2.技术框架

教育数据挖掘在确定学生学习成果的影响因素方面展示出了潜在价值［14］，如在数据中集中找出学生特征及学习经历中真正影响其学习成果的维度；再如，识别先前未知的学生调查数据中的学习成果模式，为教育数据挖掘在高等院校研究中的应用提供了机会。运用教育数据挖掘方法，收集学生学习数据，并对此进行分类或寻找其中的关系从而开发预测模型，这些模型在改善学生学习经历、提高学习成果等方面发挥重要作用，可以基于预测模型作出教与学方面的调整或进行必要的干预，从而优化学生的学习体验，或推荐外部学术服务支持学生学习。

学习分析技术围绕与学习者学习信息相关的数据，运用不同的分析方法和数据模型来解释这些数据，根据解释的结果来探究学习者的学习过程与情境，发现学习规律；或者根据数据阐释学习者的学习表现，为其提供相应反馈从而促进更加有效学习的技术［15］。学习分析不仅可以从学习者角度进行自我评估、诊断和导向，也有助于教师优化教学、教育研究者进行个性化学习设计等［16］。

教育数据挖掘关注如何从教育大数据集中提取有用信息的技术问题，而学习分析侧重于如何优化学习及其学习环境的教育问题。Siemens等学者指出教育数据挖掘和学习分析可以联合起来共同提供更好的服务［17］，Bienkowski等学者向美国教育部提交了关于使用教育数据挖掘和学习分析提升教育质量的研究报告。

借鉴国内外高校学生学习成果研究经验，为确定学生学习成果多变量数据中典型的学习模式，研究采用教育数据挖掘技术对学生学习成果数据进行挖掘，并从学习分析角度对其挖掘的结果进行解读，探索学生学习经历、学校特征、学生特征对学生学习成果的影响机制。

三、对大学生学习成果的分析

本研究基于 “中山大学学生学习状况调查”项目2012年在全校范围内开展的正式在线调查，调查覆盖全校36个学院（系），总体约为3.3万名本科生。坚持让学生在无压力情况下答题，并设计了两次催答环节，共回收问卷7 051份，回收率约为21.2%，与国际上通常的问卷回收率相比非常满意。研究聚焦于本科样本，全部回收的问卷根据答题时长、问卷质量标准等原则，筛选出有效问卷6 673份，有效率为94.6%。

在教育数据挖掘和分析方法上，学术界常用回归方法分析现象之间的相关性，确定其因果关系，因而广泛应用于院校研究领域［18］。但是，当分析的基础模型为非线性模型时，回归分析方法预测的准确性不高［19］。针对该问题，有学者探索在教育研究等领域引入神经网络模型来提高预测的准确性［20］。神经网络模型可以在一定的精度范围内模拟任何非线性连续函数，提供了一种普遍而且实用的方法从样例中学习，对于训练数据的容错性较好。同时，专家的先验知识可以提高神经网络的知识处理能力。

为此，本研究以Astin的I－E－O理论和Pace的“环境—经验—发展”模型为基础，为提高学生学习成果的预测准确度，首先采用回归分析方法确定学生学习成果的影响因素，将回归分析所确定的学生学习成果因果关系作为专家的先验知识；在此基础上，根据学生学习状况调查数据具有明显的非规律性和随机性特征，结合回归分析所得到的专家先验知识，利用神经网络优化技术建立学生学习成果的预测模型。

1.回归分析确定学习成果的影响因素

逐步回归提供了一种识别与学生学习成果相关的具体经历的方法，对上述学生学习状况调查中的227项进行相似项合并，用向前和向后逐步回归确定与学习成果相关的指标，对残差图和诊断法的彻底审查，最后确定17个独立变量出现在多元回归模型中，如图2所示。

根据图2，学生学习经历中的学校学习资源提供、学生学习投入、校园文化及学校成果等四大维度的17个变量均为影响学生学习成果的重要预测变量，包括朋辈交流情况、自主学习情况、活动参与情况、课外阅读情况、论文写作情况、讨论关注的内容情况、师生交流、课业活动及个人闲暇活动时间分配等学生因素变量，以及课程作业评价、专业学习经历评价、学术规范指导、平等文化、多元能力的培养氛围等学校因素变量。同时，在校经历满意度、综合满意度和能力培养满意度等融合学校因素和学生因素的学校成果也对学生学习成果具有一定的影响。

通过图2中的回归分析的标准化系数可以看出，朋辈交流情况、自主学习情况和讨论关注的内容情况分别是学习成果第一、第二和第三重要的预测变量，而性别、年级、所在校区等人口学变量并未出现在该回归分析模型中，对学生学习成果的影响不显著。

图2 学习成果的回归分析

2.神经网络建模优化学习成果预测分析

在上述回归分析基础上，为提高预测准确性，研究通过神经网络建模优化大学生学习成果预测结果。本研究将回归分析所确定的学生学习成果影响因素作为专家的先验知识，在此基础上结合神经网络优化模型进一步提升处理智能，达到最佳的学生学习成果预测效果。

将神经网络用于学生学习成果预测和评价，构建学生学习成果预测的三层神经网络结构，其基本思路是用上述回归模型中的确定的、影响学生学习成果的评价指标构成网络的输入向量，用学习成果预测值构成网络的输出向量，合理设计网络结构，以及对训练样本数据进行有效处理，再将训练样本输入到网络进行网络训练，直到系统误差符合指定要求后，所得到的网络模型即是所需要的学生学习成果预测模型。

输入层节点的个数是问卷调查中影响学生学习成果的因素个数，由图2可知，影响因素为学生学习经历中的学校学习资源提供、学生学习情况投入和校园文化及学校成果等4个一级指标，对应于17个二级指标，将这17个二级指标作为神经网络的输入层节点数。输出层节点个数确定为1个，即被调查学生对本人学习成果的总体评价。采用试凑法将隐含层节点个数的设置为7个。由此确定基于神经网络模型的学生学习成果预测最佳网络拓扑结构为：17，7，1。

对于学生学习状况调查中的6 673份有效回收问卷数据，经过分析，剔除8个数据缺失的样本，将6 665份样本分成两部分：训练样本4 680个（70.2%），用于网络模型训练；检验样本1 985个（29.8%），用于检验模型是否达到所要求的基本功能。同时，为了便于神经网络模型训练和学习，将6 665个样本数据的输入和输出变量进行归一化处理，将数据值处理为区间［0，1］之间。

根据上述模型，利用PASW Statistics 18进行仿真，采用4 680个训练样本对模型进行训练，设定训练误差的最小相对变化为0.000 1，训练错误率的最小相对变化为0.001；将1 985个样本作为测试样本。经过多次实验，输出结果O即为学生学习成果的预测情况，其取值范围为［0，1］。根据学生学习成果总体评价的优（O≥0.9）、良（0.8≤O＜0.9）、中（0.7≤O＜0.8）、合格（0.6≤O＜0.7）和差（O＜0.6）五级水平，输出结果与被调查学生对本人学习成果的总体评价结果相比较具有良好的一致性和准确性。表1随机列举了部分网络输出结果与学生自评结果比较情况，由于样本较多，未全部列出。

该神经网络模型通过对学生调查数据的输入输出样本进行自动学习，按照指定的精度逼近复杂的非线性映射；并自动调整网络结构参数，使得在给定输入的情况下产生期望的输出。结果表明，该神经网络模型不仅能够满足误差精度的要求，而且训练速度快，容错性和泛化性较好。在回归分析所获得的专家先验知识基础上，利用神经网络构建学生学习成果预测模型，结构简单，具有较好的客观性和预测效果。上述训练好的神经网络模型可用来对学生学习成果进行科学、合理地预测和评价。

表1 部分网络输出结果与学生自评结果比较

四、结论与启示

本研究通过回归分析，结合神经网络建模等教育数据挖掘技术，从学生学习经历中的学生个体和学校两大层面进行分析，构建学生学习成果的预测和评价模型，在“生源—学习—成果”的逻辑框架中探究学校因素和学生因素对于学习成果的影响机制。根据上述分析，得出以下主要结论：

（1）在学生个体方面，学生学习投入是影响学习成果的最重要因素，包括自主学习情况、活动参与情况、课外阅读情况、论文写作情况、朋辈交流情况、讨论关注的内容情况、师生交流、课业活动、个人闲暇活动时间分配等方面。性别、年级、所在校区等人口学变量对学生学习成果的影响不显著，而朋辈交流情况、自主学习情况和讨论关注的内容情况分别是学生学习成果前三种重要的预测变量。

（2）在学校方面，学校学习资源提供、校园文化，以及学校成果等也是影响学习成果的重要因素，包括课程作业评价、专业学习经历评价、学术规范指导、平等文化、多元能力的培养氛围。

（3）在学校因素和学生因素融合方面，在校经历满意度、综合满意度和能力培养满意度等学校成果对学习成果也具有一定的影响。

上述研究结论验证了Tinto的学生融合理论中社交系统和学术系统对学生学习成果的重要影响，学生取得较好的学习成果，依赖于他们在学习经历中能否将自身的经验和目标与学校系统内部的学术系统和社交系统相融合［21］。学术系统代表学生个人的课业表现、智力发展、学业成就等综合表现，如图2中自主学习情况、活动参与情况、课外阅读情况、论文写作情况、讨论关注的内容情况及课业活动等属于学术系统的范畴。社交系统代表学生在校内的同伴关系、师生关系、社交行为等综合表现，如图2中朋辈交流情况、师生交流及个人闲暇活动时间分配等属于社交系统的范畴。

根据上述分析，为了提高人才培养质量，提升学生学习成果，高校一方面要改善教学质量，保障师资队伍质量，激励教师合理安排课堂教学活动，以基于问题和项目的教学策略，结合课程内容设计相应的挑战性问题，激发学生学习的积极主动性；另一方面，高校也要不断完善教学条件，合理设置人才培养方案和课程体系，提升图书馆、网络等资源服务水平；再者，高校在高度关注和促进大学生在学习经历中积极投入、自主学习的同时，鼓励其加强与同学、教师之间的交流。

需要指出的是，高等教育教学机构在办学使命、办学方式、办学规模、办学资源、专业设置、课程安排、资金来源、学生特征等方面存在着巨大的差异。尽管该研究只是针对某所 “985工程”高校，基于学生学习状况问卷调查数据进行回归分析和神经网络建模等教育数据挖掘方式，来分析和预测学生学习成果及其影响因素，不代表结果的普适性，但分析所确定的学生学习经历中的学习成果测量，为提升学习成果项目开发等提供了指导。同时，随着我国高等教育机构的信息化办学水平的逐步提高和大型教育数据库的日益普及，高等院校积累了大量的学生学习相关的教育教学信息，未来的研究需要进一步结合高校招生情况、教学资源配置、人才培养方案、学生事务管理等方面的教育教学数据进行广泛地挖掘和分析，从而全面深入地探讨学生学习成果的影响机制。

［1］马彦利，胡寿平，崔立敏.当今美国高等教育质量评估的焦点：学生学习成果评估［J］.复旦教育论坛，2012，10（4）：78－84.

［2］Eisner E W.The Educational Imagination［M］.New York：Macmillan，1979：103.

［3］Fulks J.Assessing Student Learning in Higher Education［EB/OL］.（2009－09－28）［2013－11－20］.http：//online.bakersfieldcollege.edu/courseassessment/Section2 ＿Background/Section2＿2WhatAssessment.htm.

［4］Astin A W.Assessment for Excellence：the Philosophy and Practice of Assessment and Evaluation in Higher Education［M］.Phoenix：Oryx，1993.

［5］黄海涛.美国高等教育中的“学生学习成果评估”：内涵与特征［J］.高等教育研究，2010，31（7）：97－104.

［6］Ohia U O.A Model for Effectively Assessing Student Learning Outcomes［J］.Contemporary Issues in Education Research，2011，4（3）：25－32.

［7］Duque L C，Weeks J R.Towards a Model and Methodology for Assessing Student Learning Outcomes and Satisfaction［J］.Quality Assurance in Education，2010，18（2）：84－105.

［8］Pike G R，Kuh G D，McCormick A C，et al.If and When Money Matters：The Relationships Among Educational Expenditures，Student Engagement and Students'Learning Outcomes［J］.Research in Higher Education，2011，52（1）：81－106.

［9］McNaught C，Lam P，Cheng K F.Investigating Relationships Between Features of Learning Designs and Student Learning Outcomes［J］.Educational Technology Research and Development，2012，60（2）：271－286.

［10］Volkwein J F，Lattuca L R，Harper B J，et al.Measuring the Impact of Professional Accreditation on Student Experiences and Learning Outcomes［J］.Research in Higher Education，2007，48（2）：251－282.

［11］Smart J C.Differential Patterns of Change and Stability in Student Learning Outcomes in Holland's Academic Environments：The Role of Environmental Consistency［J］.Research in Higher Education，2010，51（5）：468－482.

［12］Galbraith C S，Merrill G B，Kline D M.Are Student Evaluations of Teaching Effectiveness Valid for Measuring Student Learning Outcomes in Business Related Classes？A Neural Network and Bayesian Analyses［J］.Research in Higher Education，2012，53（3）：353－374.

［13］Pace C R.Quality，Content，and Context in the Assessment of Student Learning and Development in College［M］.Washington，D.C.：Office of Educational Research and Improvement，1986：45－48.

［14］Bienkowski M，Feng M，Means B.Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics：An Issue Brief［R］.Washington，D.C.：SRI International，2012.

［15］祝智庭，沈德梅.学习分析学：智慧教育的科学力量［J］.电化教育研究，2013（5）：5－12.

［16］吴永和，陈丹，马晓玲，等.学习分析：教育信息化的新浪潮［J］.远程教育杂志，2013（4）：11－19.

［17］Siemens G，Baker R S J.Learning Analytics and Educational Data Mining：Towards Communication and Collaboration［C］//Proceedings of the 2nd International Conference on Learning Analytics and Knowledge.Vancouver：ACM，2012：252－254.

［18］Frizell J A，Shippen Jr.B S，Luna A L.Regression Analysis：Legal Applications in Institutional Research［J］.New Directions for Institutional Research，2008，138：85－103.

［19］Everson H T.Using Artificial Neural Networks in Educational Research：Some Comparisons with Linear Statistical Models［C］.New Orleans：American Educational Research Association Conference，1994.

［20］González J M B，DesJardins S L.Artificial Neural Networks：A New Approach to Predicting Application Behavior［J］.Research in Higher Education，2002，43（2）：235－258.

［21］Tinto V.Dropout from Higher Education：A Theoretical Synthesis of Recent Research［J］.Review of Educational Research，1975，45（1）：89－125.