基于复合神经网络的学习风格动态分析与研究

李超，周泓

北京航空航天大学经济管理学院，北京100191

基于复合神经网络的学习风格动态分析与研究

李超，周泓

北京航空航天大学经济管理学院，北京100191

1 引言

早在2 500年前，中国古代伟大的教育家孔子就提出了“因材施教”的教育理念，也是至今为止广大教育工作者所追求的理想目标。然而由于资源限制，学习者风格往往会随其先修知识、学习目标、状态和内容的不同而动态发生变化，因而很难大规模推行。2012年出现的大规模在线开放课程（Massive Open Online Courses，MOOCs）推动了在线学习模式的快速发展，与此同时还演化出了用于单一教育机构范围内使用的小规模私有在线课程（Small Private Online Course，SPOC）等不同模式。目前已经超过7 000万人通过MOOC学习全球的优质课程，为缓解教育资源的紧张和实现教育公平化提供了一条有效途径。然而，即使是像MOOC这样的由优秀教师团队精心设计和运行的课程还是会面临内容固定化、对所有学习者一视同仁的“机械化”教育方法的问题，对于学习者的不同需要和特性并未有太多考虑，比如：他们的学习动机、先修知识背景以及所适应的学习风格等，因此还是无法实现“因材施教”的本质特征，即个性化教学。

近年来有越来越多的研究聚焦在学习者个性[1]、学习风格[2]及其对学习过程的影响[3-4]等相关领域[5-6]，包括学习风格的有效性[7]、从在校生学习行为分析学习风格[8]以及通过智能算法将学习者根据其特征进行在线协作学习分组[9]等。相关研究表明，为学习者提供适应其个性风格的课程内容、学习路径以及协作学习分组可以有效提升学习效率和效果[10-11]。

本文针对以上问题研究设计了一种实时的智能分析方法，通过对学习者学习行为的分析，动态地测量和识别每个学习者学习风格，并用来为学习者提供不同的学习内容，这对于在大规模在线学习环境下提升学习者学习效率具有一定的应用和参考价值。

2 学习风格动态分析问题

在传统的教学过程中为了取得良好的效果，教师不仅需要精心准备教学内容、设计教学过程，而且更加需要在教学过程中关注学生的反应并适时地改变教学路径和策略。在互联网时代，随着计算机和人工智能的快速发展，上10万人可以同时学习一门MOOC课程，大规模在线学习环境可以为学习者提供7×24 h的教学服务。然而，相对于传统教学环境中在某一时刻的学习对象仅是限定于来自同一个班水平基本相当的学生而言，大规模环境需要同时为知识背景、学习习惯、学习目的各不相同的学习者群体提供学习服务。如何实现个性化的教学服务和体验就成为一个十分严峻的问题，这将是确保和提升教学效果的最重要的手段之一。本章将着重介绍实施个性化教学需解决的两个关键问题：学习风格的表示与度量。

2.1 学习风格模型

在过去50年中出现过许多学习风格模型，它们往往是从学习者不同的角度出发提出的，包括学习者个性、情感状态、认知能力以及所处环境等。Felder-Silverman学习风格模型（Felder-Silverman Learning Style Model，FSLSM）是目前被广泛使用的一种学习风格模型，它综合了前期主流的学习风格模型之长处，在自适应学习系统中尤其受到关注。这个模型根据学习者感知、输入、处理和理解四个维度方面的偏好将其划分为八种学习风格，在这四个维度的各个方向设计中都融入了包括Kolb[12]、Pask[13]以及Myers-Briggs[14]等学习风格模型的优点，模型结构如图1所示。

为了能够度量FSLSM四个不同维度的具体数值，Felder和Soloman同时开发了一套由44道问卷题目组成的学习风格量表（Index of Learning Styles，ILS）[15]，每个维度由从+11到-11的数值来标明其偏好的倾向。通过这样的量表，不仅可以识别用户的学习风格，而且还可以评估学习偏好的程度。

图1 FSLSM的四个维度和八个方向

2.2 指标动态测量问题

ILS通过一套问卷中的问题答案计数来识别用户的学习风格，这种模式对于处于小规模或封闭环境中的应用场景是可行的，正如大多数教育机构目前使用的学习管理系统（Learning Management System，LMS）所使用的方法：让用户在使用之前填写相应ILS让系统记录和识别他们的学习风格。然而这种模式在大规模在线学习环境的应用情况下（如MOOC模式），其使用范围就受到较多的限制：首先，由于系统是开放给大量不同背景、不同学习目的的学习者使用，在学习前要完成2～5 min的测试问卷对于很多人来说是件价值不大的事情，导致填写完成率不高，在数据质量上也存在较多的隐患，无法准确得到初始学习风格状态。其次，学习是一个动态的过程，FSLSM的几个维度在学习的不同阶段可能会发生变化[16]，比如在课程学习过程比较顺畅时，大部分人在“理解”维度将会是“顺序型”，行为上是按照设计的学习路线顺序学习；而在遇到难点时，从行为上则会变为“全局型”，跳跃性地往前回顾或往后跳过难点。

实现基于FSLSM的学习风格测量主要有两类方法：一类方法是通过对学习者学习行为进行建模，将相关用户行为模式进行标记，并通过决策树和隐藏马尔科夫过程[17]或贝叶斯网络[18-19]来分析和预测用户可能的学习风格。这种方法的局限在于每一门课程对于每一位学习者的学习难度和背景知识都是不同的，固定的参数体系很难适用于大规模在线学习环境中的所有课程；另一类方法是通过使用一套规则体系来定性衡量某种行为的得分，并将这一类行为次数进行累计后依据FSLSM推断该用户属于哪类学习风格。这种方法适用于任何通过系统记录学习者在线学习过程数据的课程，具有一定的适应性，但是在不同课程和用户的情况下，每种行为所具备的权重都可能不同，因此在预测精度方面存在较大的偏差。

3 动态学习风格识别模型设计

近年来，随着人工智能和智能分析方法的快速发展，神经网络和深度学习在机器学习领域得到了广泛应用，特别是图像、语音和语义识别方面，部分改进后的CNN模型在识别酒店评论的情感分类问题中准确率可达95.19%[20]。因此通过智能算法实时分析用户在LMS中的学习行为数据，动态地识别用户学习行为风格，系统地为各个用户提供相适应的个性化内容、学习路径以及学习方法，从而能够有效提高用户的学习效率。在上一章中所提到的两种方法能够提供一定程度上的识别和预测能力，但在实际应用中也存在非常明显的限制，例如学生可能会根据其背景知识和学习习惯而导致在不同的课程表现出完全不同的学习行为，而且即便是在同一门课程中若具有难度显著不同的章节，学习行为和风格也会发生变化。在有老师面授的情况下，可以由老师根据学生的反馈来调整教学进度和教学方法；然而在大规模在线学习环境下，传统的学习平台将无法为具有不同学习习惯和能力的学生提供有效的教学服务，因此动态地识别学习者学习风格并及时地为其提供合适的教学路径和内容是非常核心而重要的功能。

3.1 用户建模

为了识别每个用户情况，首先需要根据FSLSM所定义的四个维度八个方向对用户的静态和动态学习风格进行建模，系统才能动态地为学习者提供相应的教学方法。比如，对反思型的学习者应该使用基于问题的学习方法（Problem Based Learning，PBL），利用问题去引导学生学习并找到答案；而对于主动型的学习者，他们倾向于主动去获取信息，因此可持续地将课程的在线社区中的最新帖子推送给他们，这将有助于他们深入而高效地学习。

本文设计的学习风格模型可由用户在不同时刻所表现出的状态加以刻画。第i个用户在t时刻的状态Ui,t定义如下：

其中Di为用户i的人口分布数据（包含用户年龄、性别、所在院校、所学专业等四个维度），学习风格Li,t由学习风格的四个维度及其权重加以描述：

对于t=0时的初始学习风格，可由该用户在其他课程学习的最后状态加以确定，若不存在前序课程学习风格，则通过人口特征初始化赋值。初始化后，将通过持续的学习行为监测来动态更新每个时刻t的用户学习风格状态。

3.2 学习行为识别

根据FSLSM体系，用户学习行为的维度和程度可以通过不同的学习者学习行为序列来反映，FSLSM同时也提供了一套ILS量表来进行测量。然而，由于课程结构的不同以及学生在课程学习过程中所面临的压力不同有可能导致学习风格发生变化，静态的ILS量表将难以准确刻画学习者的学习风格，而通过对用户行为进行归类并且进行相应分析将会得出更加有效的结果。按照FSLSM的维度，本文将用户学习特征进行了归类汇总，如表1所示。

表1 基于FSLSM体系的用户行为模式归类

Graf曾提出一种在LMS中通过分析学习行为来判断学习风格的方法：通过设定一系列学习行为计数的阈值来处理学习过程完成之后的学习行为数据，通过不同学习行为的比例综合判断用户所属的学习风格维度[21]。但是由于需要使用学习过程完成后的数据来进行统一分析，因此该方法并不适用于对用户学习行为的实时分析。然而，可以在这种方法基础之上通过将用户行为特征映射到学习风格上，对用户学习行为进行动态识别。本文建立的映射关系如表2所示。

表2 用户实时行为与学习风格倾向映射关系

由于每个时刻的用户学习风格可视为一个时间状态下的行为切片，学习风格识别模块持续对输入的用户行为切片进行识别，同时，为刻画过渡过程还应考虑前序状态。每一类日志被映射为基于时间的多维序列，序列上的节点根据其行为特征不同而具有不同属性，所有属性统一进行归一化。以学习密度日志为例，序列LEi,j节点根据特定用户的学习时间和相对学习进度映射到按天为单位的学习进度：

其中，tvi是每一个学习活动i的视频播放时间，而T是课程的总视频长度，ti是学习的绝对时间长度，Cj是学习内容区块的索引ID。以某MOOC平台课程《数据结构》为例，23 000多名学生进行了学习，这门课程包含8章，整个有效学习时长为74天。将随机选择的两名学生的学习密度日志进行可视化后，得到图2结果。

图2 两个随机用户学习行为图谱对比

图2中的两个用户学习行为显示了两种完全不同的学习风格，分别体现在感知维度（主动型/反思型）和理解维度（顺序型/全局型）。第4441580号用户的顺序学习行为均匀分布在整个学习过程中，在学期即将结束也进行了大量的复习行为显示了明显的反思型和顺序型的特征；而对应的，第6565569号用户密集地在学期刚开始的时间把所有的课程都学习完毕，充分体现了主动型和全局型的特征。

3.3 学习风格预测

卷积神经网络（Convolutional Neural Networks，CNN）是一类前馈型神经网络，是深度学习算法在模式识别领域的一种有效应用。在学习风格识别领域，Bernard等曾对神经网络、遗传算法、聚类算法和粒子群优化算法这四类智能分析算法在学习风格识别方面的应用进行了综合比较，神经网络以80.7%的精度取得了最好的识别效果[22]。然而由于CNN一般要求输入是固定长度的，因此较为适用于在取得了完整的学习记录后对学习者学习风格进行识别。那么如何能够在学习过程中根据收集到的学习行为数据动态地识别学习者学习风格?引入了循环神经网络（Recurrent Neural Networks，RNN）。

RNN是近期研究较多的另外一种神经网络，神经元之间既有内部的反馈连接又有前馈连接，被设计用于处理变长的序列化数据，通常用于连续的自然语言或相关时序敏感的处理领域[23]。通过在卷积层之间增加了一个隐含状态并传递到下一次迭代中，实现对前序状态的记忆和计算。标准的RNN通常使用如下算法来更新隐含状态ht：

其中，g通常是一个类似sigmoid的平滑阈值函数，xt是t时刻的输入单元值。RNN的输出通常为在给定的状态ht下，输出序列下一个可能的值及其概率。然而，不同的特征值在输入序列之间可能间隔较远的情况下RNN的隐含层会逐渐衰减掉对于这些特征值的记忆，从而导致标准RNN无法处理具有长期依赖特性的序列。在学习风格识别问题中，由于同一学习者的初始和前期的学习风格特征对于后期可能的学习风格变化会产生一定的影响，因此需要在预测过程中记录并考虑这些历史状态。由Hochreiter&Schmidhuber在1997年提出的长短期记忆（Long Short-Term Memory，LSTM）网络能够很好地解决这个问题，通过在RNN的单元结构中增加输入门、遗忘门和输出门来实现在重复循环下对有效信息的记忆。门控循环单元（Gated Recurrent Unit，GRU）则是为了解决在RNN中常见的梯度消失问题而对LSTM做出的改进[24]，在逻辑上将输入门和遗忘门合成为一个更新门，由更新门和输出门共同控制新隐藏状态，在这个模型中隐含状态ht通过式（5）计算得出：

其中，更新门zt定义为：

rt为重置门：

GRU的特点对于处理学习风格具有很大优势，前期记忆下来的学习风格历史在识别和预测后续学习风格时能够被关联进来，而且相对LSTM RNN而言GRU的计算量也要小，更加适合实时计算。

本文设计的动态学习风格识别模型结合了CNN和GRU的优势，由两个核心模块组成：识别器和推理机。第一部分核心是“识别器”，它是一个典型多层CNN模型，主要用于处理输入的七类用户行为序列，输出所识别用户的相应学习风格。由于学习行为序列特征值在某些通道上较为稀疏，且某些部分的行为具有一定的模式性，但在时间或内容上跨度较大的问题。为了在较大跨度上提取用户行为特征，尝试引入空洞卷积（Dilated Convolution）。空洞卷积是通过在卷积层引入定义卷积核处理数据时各值的间距的“扩张率（dilation rate）”，用以调整卷积核的“疏松”程度。例如：一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，而参数仍为9个，并没有增加，因此在相同的计算条件下，空洞卷积提供了更大的感受野。第二部分是将“识别器”的输出连接到“推理机”模块，设计的推理机是一个GRU RNN，通过给定的Li,t，来预测Li,t+1，由于可以通过隐含状态将学习者过去的学习风格在多个GRU层中进行记忆和传递，因而可以使系统的预测结果更加贴近学习者的个人特征。整个“识别-推理”双层模型逻辑结构示意如图3。

图3 “识别-推理”学习者学习风格动态分析模型

4 模型训练及测试

4.1 数据集合预处理

本文采集了使用近3个月的某MOOC平台的部分用户行为数据进行分析，包含153 550名独立用户在968门课程上的学习行为：7 350 367条学习导航及视频观看记录、31 942条课程论坛/发帖记录。首先对学习有效长度小于3的数据进行了清洗和过滤，过滤完成后剩余103 426名用户的相关数据。由于训练数据集是已经存在的历史数据，可以按照Sabine Graf的方法[21]根据FSLSM的相关定义使用阈值法来推定各个用户的学习风格。预处理完成后的数据按课程为组随机乱序后按照80%（82 740名用户）定义为训练数据集，而20%（20 686名用户）定义为测试数据集。

4.2 模型训练与测试结果

本文模型使用Google推出的TensorFlow 1.2.1实现，使用训练和测试数据集对模型进行训练和测试。通过多次试验对比，CNN模型的输入层按照输入向量的特征设计由324个单元组成，隐含层包含128个单元，使用ReLU激活函数；使用扩张率为2的3×3卷积核；输出层对应为四个维度的学习风格输出Li,t，使用softmax激活函数，应用自适应时刻估计（Adaptive Moment Estimation，Adam）优化算法[25]，收敛速度最佳。在学习批次为10，学习率设定为0.000 1的情况下学习效率最佳。

通过使用测试数据集对调试和训练过的模型进行最终测试，将预测结果与测试数据在学习风格的四个维度分别相比，最佳准确率可以达到90.765%。相对Bernard等所使用的LSID-ANN模型[22]，本文使用的改进CNN模型（I-CNN）模型在隐含节点数量和卷积方式等的方面都有一定的优化，在学习风格四个维度上的识别精度对比如图4。

图4 I-CNN模型与LSID-ANN模型精度对比

从测试数据应用结果的分析看，发现在学习过程中存在用户学习风格发生变化的情况，如表3所示，一共出现了1 828次学习风格变化事件，其中1 125次（61.54%）发生在计算机、工程、电子等科学工程类课程中，说明课程内容的难度和结构设置会影响学习者学习风格使之在学习过程中发生变化，同时从目前课程结构设置上看，发生在科学及工程类课程的偏多一些。

表3 测试数据集中发生的学习风格变化事件统计

另一方面，在输入维度上可以看出视觉型/言语型的转化也相对偏少，这主要是因为在MOOC模式下大部分内容本身就是视频或图片格式，而基于文字的阅读内容提供较少。明显看出，从反思型到主动型的用户较多，从数据上推断主要是由于学习者在课程论坛中的活动所带来的积极影响，这为后续教学法的设计提供了一定的参考，即通过课程论坛推送等主动推送方式是有可能增加学生参与度的。但在学习路径的优化方面，以及基于视觉或言语型的学习材料如何能够取得更好的效果，在本阶段的研究中的体现还不够明显，需要在后续研究中进一步加强内容形式以及学习路径的测试和对比研究。

5 结论

本文在对Felder-Silverman学习风格模型深入分析基础之上，提出了一套适用于大规模在线学习环境中动态分析学习者风格的模型和方法。主要的研究结果包括以下几个方面：（1）本文所设计的复合神经网络模型通过引入空洞卷积等手段，提高了对学习行为特征的识别精度。（2）学习风格在同一门课程中也有可能发生改变，而非一成不变。实验表明，即使对于同一个学习者，由于课程内容和难度的变化，其学习风格在各个维度上都有可能发生变化，因此需要动态根据学习者的学习风格为其提供相应适应的学习方法。（3）基于LSTM的GRU设计可以帮助模型记忆学习者曾经有过的学习风格，所输出的结果更加贴近用户个性。现阶段仅在基于互联网的智能教学方面进行了比较初步的探索和尝试，下一步将在教学法和教学内容的设计，应用计算机技术实现线上线下结合的教学协同优化等方面进行深入研究和实践。

[1] Klobas J E.Measuring the success of scaleable open online courses[J].Performance Measurement&Metrics，2014，15（3）：145-162.

[2] Viola S R，Graf S，Kinshuk，et al.Analysis of feldersilverman index of learning styles by a data-driven statistical approach[C]//Eighth IEEE International Symposium on Multimedia，2006：959-964.

[3] Gesa R F，Lázaro J L M，Carrillo C I P D.Teaching support units[M]//Computers and Education in the 21st Century.Netherlands：Springer，2000：163-174.

[4] Demirkan H.An inquiry into the learning-style and knowledge-building preferences of interior architecture students[J].Design Studies，2016，44：28-51.

[5] Dissanayake D，Perera T，Elladeniya C，et al.Identifying the learning style of students in MOOCs using video interactions[C]//International Conference on Society，Education and Psychology，2017.

[6] 王若宾，付瑞平，程楠楠，等.学习风格对大学计算机课程MOOC学习的影响[J].计算机教育，2016（10）：106-108.

[7] Felder R M，Spurlin J.Application，reliability and validity of the index of learning styles[J].International Journal of Continuing Engineering Education and Life-Long Learning，2005，21（1）：103-112.

[8] Bicans J，Grundspenkis J.Student learning style extraction from on-campus learning context data[J].Procedia Computer Science，2017：272-278.

[9] 罗凌，杨有，马燕.基于模糊C均值的在线协作学习混合分组研究[J].计算机工程与应用，2017，53（16）：68-73.

[10] Felder R M.Reaching the second tier—learning and teaching styles in college science education[J].Journal of College Science Teaching，1993，22（5）：286-290.

[11] Graf S.Adaptivity in Learning management systems focussing on learning styles[C]//Proceedings of the 2009 IEEE/WIC/ACM International Conference，Vienna，December 2007：71.

[12] Kolb D.Experiential learning：Experience as the source of learning and development[J].Pearson Schweiz Ag，1984，1（3）：16-17.

[13] Pask G.Styles and strategies of learning[J].British Journal of Educational Psychology，1976，46（2）：128-148.

[14] Myers I B.Manual：The myers-briggs type indicator[M].Palo Alto，CA：Consulting Psychologists Press，1983.

[15] Felder R M，Soloman B A.Index of learning styles questionnaire[EB/OL].（2007-11-30）.http：//www.engr.ncsu.edu/learningstyles/ilsweb.html.

[16] Felder R M，Spurlin J E.Applications，reliability and validity of the index of learning styles[J].International Journal of Continuing Engineering Education and Life-Long Learning，2005，21（1）：103-112.

[17] Cha H J，Yong S K，Park S H，et al.Learning styles diagnosis based on user interface behaviors for the customization of learning interfaces in an intelligent tutoring system[C]//Proceedings International Conference on Intelligent Tutoring Systems（ITS 2006），Jhongli，Taiwan，China，June 26-30，2006：513-524.

[18] García P，Amandi A，Schiaffino S，et al.Evaluating Bayesian networks’precision for detecting students’learning styles[J].Computers&Education，2007，49（3）：794-808.

[19] 王晨煜，管明辉，殷传涛，等.基于Felder-Silverman学习风格模型的网络学习风格研究[J].重庆理工大学学报，2017，31（2）：102-109.

[20] 张绮琦，张树群，雷兆宜.基于改进的卷积神经网络的中文情感分类[J].计算机工程与应用，2017，53（22）：111-115.

[21] Graf S，Kinshuk P.An approach for detecting learning styles in learning management systems[C]//IEEE International Conference on Advanced Learning Technologies，2006：161-163.

[22] Bernard J，Chang T W，Popescu E，et al.Learning style Identifier：Improving the precision of learning style identification through computational intelligence algorithms[J].Expert Systems with Applications，2017，75：94-108.

[23] Hidasi B，Karatzoglou A，Baltrunas L，et al.Session-based recommendationswithrecurrentneuralnetworks[J].Computer Science，2015.

[24] Cho K，Merrienboer B V，Bahdanau D，et al.On the properties of neural machine translation：Encoder-decoder approaches[J].Computer Science，2014.

[25] Kingma D P，Ba J.Adam：A method for stochastic optimization[J].Computer Science，2014.

LI Chao,ZHOU Hong.Research on dynamic learning style identification based on hybrid Neural Networks.Computer Engineering andApplications,2018,54（6）：150-155.

LI Chao,ZHOU Hong

School of Economics and Management,Beihang University,Beijing 100191,China

The emergence of Massive Open Online Courses（MOOCs）in 2012 has been boomed in recent years,learners’learning behaviors can be recorded and analyzed by the system.According Felder-Silverman learning style model,this paper applies a hybrid Neural Networks（NN）which combines a Convolutional Neural Networks（CNN）and connects with a Gated Recurrent Unit（GRU）based Recurrent Neural Networks（RNN）,to detecte learning style dynamically.The model is applied in analyzing the learners’learning behavior,including online-community interaction,learning content browsing log,click and drag the behavior,identifying learning style dynamically,and the using GRU based RNN to process and predict the possible learning styles and provides learning content and path for optimizing learning process efficiency,improving learning experience,supports large-scale,personalized and high quality education.

learning styles;machine learning;Gated Recurrent Unit（GRU）;learning management system;Massive Open Online Courses（MOOCs）

近年随着慕课（MOOC）等新兴教育教学手段的快速发展，大量的学习者学习行为可以被系统所记录和分析，从而为个性化教学奠定了重要基础。在Felder-Silverman学习风格模型的理论基础上，通过引入智能分析算法动态地分析和识别学习者学习风格，构建了一套融合了卷积神经网络和循环神经网络的“识别-推理”复合模型，通过学习者的线上学习行为、社区交互行为、学习内容浏览行为、点击拖动行为等学习过程识别其学习行为特征，并使用基于门控循环单元（Gated Recurrent Unit，GRU）的循环神经网络处理和预测其可能的学习风格及对学习内容形式的偏好，以更高效地为学习者提供适应于其学习风格的学习内容和路径，优化学习体验，为大规模、个性化和高质量的下一代学习平台提供技术支撑。

学习风格；机器学习；门控循环单元（GRU）；学习管理系统；大规模在线开放课程（MOOCs）

2018-01-26

2018-02-28

1002-8331（2018）06-0150-06

A

TP18

10.3778/j.issn.1002-8331.1801-0410

“联合国教科文组织国际工程科技知识中心”建设项目。

李超（1978—），男，在读博士生，研究领域为管理科学与工程、智能优化算法和教育过程管理，E-mail：lichao.sem@buaa.edu.cn；周泓（1965—），男，教授，研究领域为管理系统的优化理论与仿真。