面向MOOC课程评论的主题挖掘与情感分析研究

王洪鑫 闫志明 陈效玉 张铭锐

（1.鲁东大学 教师教育学院，山东 烟台 264025；2.鲁东大学 教育科学学院，山东 烟台 264025）

一、问题提出

知识经济时代，教育模式正在发生改变，在线教育风暴的来临改变了学校传统的知识传授模式，提供了一种全新的知识传播和学习方式（钟厦，徐嘉良，刘潇，2015），使得更多的人选择通过在线学习的方式提升自身的知识水平，由此，MOOC、SPOC等在线教育课程迅速发展并成为国内外学者的研究热点。在线教育课程的逐渐普及积累了大量的学习数据，既包括课程的参与人数、点击量、视频观看时长等结构化数据，又有讨论内容、作业内容等非结构化数据。学习者在完成课程学习之后，对课程的整体感受以文本评论的形式呈现在课程评价中，反馈给教育者。这些文本承载了学习者的情感表达、学习体验、语义信息等，表达了学习者对课程提出的各种意见与建议。分析评论文本可以帮助教育者对学习者进行形成性评价，把握学习者的学习情况，从而为其提供个性化的学习支持服务（邹沁含，庞晓阳，黄嘉靖，刘司卓，2020）。然而，由于数据简短且量大，教育者很难一一查阅，不能及时获得学习者反馈，致使课程评论中的有效信息大量流失，课程缺陷不能及时得到弥补。因此，对课程数据进行分析，及时发现学习者问题，对把控教学过程、调整教学设计来说十分必要。

以往研究传统课堂中的学习数据时，往往采用的是课堂观察法，依靠人力对学习者进行观察记录，不仅耗费大量人力资源，数据完全来自于人的主观判断，缺失客观性，且准确性也有待商榷。当前，随着多种数据挖掘方法（如回归分析、文本分析等）在教育领域中的应用，学习数据得到了更为准确的分析与解释。运用恰当的技术来挖掘并分析数据，能有效地发现潜在有用的信息，从而更好地支持在线教育课程的建设与实施，帮助教育者及时调整教学过程，完善课程内容。

二、文献综述

当前，已有研究对MOOC课程中产生的结构化数据（如课程的点击量、参与学习人数等）进行分析，以期获取课程的整体状况、评估学生的学习情况。如刘亚男、肖明、刘江荣和徐烨（2019）依据用户、课程等6个一级指标和用户人数、师资队伍等21个二级指标，利用层次分析法构建课程质量评价指标体系来评估课程，以促进MOOC的建设。钱小龙和曹维娜（2020）参照在线教育质量评价标准，尝试构建微软人工智能专业慕课质量评价指标体系，制作调查问卷，从用户视角对微软人工智能专业慕课的质量作出评价。程慧平和肖爱森（2019）结合Webqual4.0（可用性、信息质量、交互质量）与D&M系统成功模型（信息质量、系统质量、服务质量），构建在线教育网站用户满意度评价指标体系，利用层次分析法（AHP）确定评价指标权重，并选取四种教育平台指标进行比较分析。

除了从结构化数据的角度进行分析外，还有一些研究通过对在线课程的交互文本数据的挖掘与分析，力图反映出学习者的主题关注情况以及情感倾向等，进而优化课程教学。田娜和周驿（2020）利用非监督学习方法LDA主题模型分析文本的特征结构和语义内容，并使用情感工具分析学习者关注的话题，探索学习者参与在线课程学习时关注的话题以及情感态度。 Elia、Solazzo、Lorenzo和Passiante（2019）设计了RAMS学习分析系统，通过对Moodle平台论坛的数据进行主题聚类和情感分析，得到学习者的总体情感倾向以及在不同时间段论坛情感变化情况。吴林静、刘清堂、毛刚、黄焕和黄景修（2017）通过分析爱课程上的4门课程评论，提出基于大数据的慕课评论语义分析模型，并将慕课评论分为内容相关类、情感相关类和其它类。刘三、彭晛、刘智、孙建文和刘海（2017）通过对果壳网MOOC课程评论帖进行主题挖掘和话题演化，分别分析课程的未完成和已完成学习者的话题分布及话题演化情况，并提出建议。

上述研究都从不同的角度对MOOC平台上的学习数据进行了分析，但在研究方法方面，已有研究主要集中使用通用型的情感工具分析学习者情感，这种方法在不同领域的适用性较差，准确率方面也有待提高。研究缺少针对MOOC课程教育的主题挖掘和情感分析模型，无法找出学习者关注的课程主题和情感倾向，致使学习者关于课程内容、评价方式等需求不能得到很好的满足。本研究在对当前研究进行总结梳理的基础上，构建了一种面向MOOC课程评论的主题挖掘与情感分析模型，该方法的基本思想是通过爬虫获取MOOC上的课程评论，采用LDA主题模型来分析评论文本，挖掘课程评论的隐含主题结构，得到不同主题间的词语分布，训练情感分析模型获取评论内容的情感极性，得到学习者对每个课程主题的情感极性，以期为慕课的质量提升提供借鉴与参考。

三、面向MOOC课程评论的主题挖掘与情感分析模型构建

本模块旨在系统地描述MOOC平台某门课程评论中隐含主题的挖掘和情感分析过程，构建一个可为课程中的教育者、学习者提供反馈性支持的框架，形成自适应的循环结构。如图1所示，整个过程可分为数据收集、词云分析、MOOC课程评论主题挖掘以及主题情感分析4个环节。首先，收集MOOC平台中的课程评论数据并进行清洗与筛选；其次，对课程数据的分析采用定量与定性相结合的方式，借助定量分析法对课程中所有评论进行词云分析，实现高频词汇的可视化呈现，捕捉学习者的重点关注内容，从整体上进行把握与观测；接下来，采用定性分析法分析课程评论数据，基于LDA主题模型挖掘学习者对课程本身的建设、内容、呈现形式等方面存在的意见与建议；最后，利用情感分析模型分析学习者的情感态度，以期为改进与完善后续课程提供建议，为教育者调整教学方法、改善在线学习体验提供依据。

（一）数据收集

数据收集的方法有很多种，如问卷收集、访谈收集、爬虫获取等。在线教育课程中，收集学习者已经产生的在线学习数据多采用的是爬虫获取的方式。爬虫是一种自动获取网页内容的程序，能够快速、高效且准确地获取大量有价值的信息。借助爬虫技术能够对课程评论区的文本数据进行自动获取，从而获得实验所需的原始语料。

（二）词云分析

词云图是对某篇文档中出现频次较高的关键词予以视觉化呈现的一种方式，借助词云图表达数据内容，能够过滤掉大量低频低质的信息，弱化非关键区域，将关键信息突出呈现。制作词云的工具有很多种，如Wordle、WordltOut以及Python程序等。在本研究中的词云绘制采用的是PyEchart中的WordCloud子包，以渲染图的形式来展现核心关键词。PyEchart作为Python的数据可视化库，主要用于生成柱状图、折线图、饼图等各类图表。

（三）MOOC课程评论主题挖掘

潜在狄利克雷分布模型（Latent Dirichlet Allocation, LDA），通常包含了词语、主题、文档三层结构，是PLSI模型的延伸，最早由Blei在2003年提出，是一个三层贝叶斯概率生成模型（Steyvers& Griffiths, 2007），用于发现文档中隐含的主题和内容。LDA模型属于无监督主题建模方法（Blei,Ng, & Jordan, 2003），它是将一篇文档的每个词语都以一定的概率分布在某个主题上，并从这个主题中选择这个词语，文档到主题、主题到词语的过程都是服从于多项分布的。LDA模型目前已在多个领域得到了应用，如社交媒体的灾害分类（苏凯，程昌秀，Nikita Murzintcev，张婷，2019）、文献检索可视化（阮光册，任金玥，2019）以及用户评分预测（杨贵军，徐雪，赵富强，2019）等方面。

LDA又被称为“盘子表示法”，模型结构如图2所示，其中单圆圈表示潜在变量，α和β是模型的先验参数，双圆圈表示可以测量的变量，箭头表示两个变量之间的依赖关系，矩形框表示重复抽样，重复次数显示在右下角，K为设定的主题数。LDA模型的具体实现步骤为：从每篇文档D对应的多项式分布参数θ中抽取得到每个词语对应的一个主题z；从每个主题z对应的多项式分布参数中抽取一个词语w；重复上述两个步骤Nd次，直到遍历文档中每一个词语。LDA模型支持下的MOOC课程评论主题挖掘方法的过程可分为以下几步。

图2 LDA模型图

1. 语料库的建立

由于MOOC中课程评论数据结构复杂且无意义词语较多，在得到课程评论的原始语料后，首先要对数据进行预处理，包括数据清洗、去除标点和数字、分词、去除停用词等操作，从而得到形式较为规范的课程评论语料库。结构良好、形式规范的语料库不仅能够提升分析效率，还能提高模型的准确率。

2. 基于LDA主题模型的文本表示

在得到规范的评论语料库之后，将该数据作为LDA模型的输入，通过LDA模型对评论语料库进行文本表示，将课程评论数据转化为符合主题挖掘模型要求的文本向量，将评论信息以词向量的形式呈现。其中模型的先验参数α和β根据已有研究的经验值确定，主题数K利用实验方法来确定。

3. 基于Gibbs抽样的参数估计

根据模型的已有参数，利用Gibbs抽样对未知参数进行估计，当采样次数达到预设的迭代值时，则利用采样结果的均值来估计文档—主题分布矩阵θ和主题—词语分布矩阵（高慧颖，刘嘉唯，杨淑昕，2019），计算公式为：

根据上述公式可计算出最后的两个未知参数，文档—主题分布矩阵θ，即学习者对课程的评论可表示为多个主题的概率分布；主题—词语分布矩阵，即将学习者发表的课程评论表征为多维细粒度的词语分布（何皓怡，刘清堂，吴林静，邓伟，郝怡雪，2018）。得到的结果可用于分析学习者对课程主题的关注情况，这为课程评论区的大量文本数据分析提供了自动化服务。

（四）MOOC课程评论主题情感分析

情感分析，又被称为观点识别，就是从评论文本数据中识别学习者所表达的情感倾向的过程。情感分析的方法主要分为基于机器学习的方法和基于词典的方法。基于机器学习的方法虽然准确率高，但是需要大量人工标注的数据集来训练模型，并且在不同领域适应性较差。基于词典的方法则依赖于词典的构建与选择，虽然基于词典的情感分析法较为快捷，但由于一词多义现象使得不同词汇在不同语境下表现的情感不同，并且单一的情感词典无法解决复杂的歧义词问题。随着网络的发展和信息更新速度的加快，出现了许多类似成语、歇后语等表达情感的新兴词汇，基于词典的方法对新词的识别并不能有较好的效果，现有词典需要不断扩充才能满足需要。综合考虑之后，本研究计划使用基于机器学习的方法来构建模型，分析学习者情感。

1. 基于字符级CNN的情感分析模型构建

本研究主要使用基于机器学习的方法来构建模型，将所获数据分为两部分，组建训练集和测试集。训练集用于拟合模型，往往需要大量的数据支持，通过设置模型参数，完成模型的训练，通过训练集得到模型后，使用测试集进行模型检验，用来衡量该模型的性能和分类能力，测试集是与训练集完全不同的数据集。为保证训练模型的普适性，本研究随机选取了MOOC平台中十五门课程的评论区数据作为本研究的原始数据集，从中选取部分数据作为训练集完成模型的训练，其余数据作为测试集检验模型，对文本数据进行去噪、特征提取、向量化表示、特征选择等操作后，选择litNlp（Python的第三方库）自带的字符级TextCNN训练情感分析模型。

2. 情感极性可视化分析

首先利用主题中心词找出对应的主题属性字典，根据主题属性表对主题提取后的文本进行情感分析，分别得出当前主题对应的情感概率分布，将情感概率分布作为情感趋势进行情感分析。横坐标为关于主题的情感得分，纵坐标为对应的情感的评论数目，可以纵观当前主题下的情感趋势，趋势往右代表当前主题评论较为积极。对情感极性可视化的结果进行分析，能为后续课程建设提供建议。

四、MOOC课程评论主题挖掘与情感分析模型应用

（一）实验数据与文本预处理

本研究以中国大学MOOC学习平台的“面向核心素养的信息化教学设计”课程为模型的应用对象。“面向核心素养的信息化教学设计”是一门能够带领教师深入理解核心素养内涵、助力教师掌握面向核心素养的教学设计方法的课程，在线课程学习人数已多达4 184人，从2018年4月到2020年8月间，有950名MOOC学习者对课程发表了评论，为本研究的模型应用提供了较为丰富的素材。本研究通过编写爬虫程序获取到950条课程评论，每个学习者平均发布一条评论，平均长度约50字。

通过对课程评论区的数据进行爬取并整理得到如上页表1所示的数据样本，接下来对收集到的数据集进行数据预处理，主要包括去除字符、数字、标点符号以及停用词等，借助jieba分词工具进行分词。

表1 课程评价样本数据呈现

为了提高评论数据的分析效果，本研究根据课程的核心内容创建了包含500多个单词的停用词表，以获得更为全面而准确的语义信息。在上述工作的基础上，完成了评价数据主题挖掘的实验数据集的创建，处理完成后的样本数据如表2所示。

表2 MOOC课程评论（样本）文本处理情况呈现

（二）词云分析结果

在对950条课程评价数据进行词云分析后发现（见图3），出现频次最高的关键词依次为学习（436次）、教学（256）、核心素养（202次），表现了学习者对教师教学、核心素养的关注。其次是课程、收获、内容、丰富、受益匪浅等关键词，表明了学习者肯定了该门课程的效用，通过课程的学习从中受益，而且对课程内容的丰富性给予了充分认可。另外，信息化、信息技术、工具等词汇的出现频率也较高，充分体现了学习者对课程中一些技术工具表现出了高度关注。

图3 课程评价数据词云分析呈现

（三）MOOC课程评论主题挖掘结果

基于上文预处理之后获得的样本数据集，本部分计划使用LDA主题模型来挖掘学习者发表的课程评论中对课程存在的意见与建议，查看学习者所发布的课程评论中的隐含主题和语义内容，为教育者改进课程内容提供数据支撑。本次实验中实验效果的衡量主要考虑主题间的分离度和主题内部质量两个指标（Celikyilmaz, Hakkani-Tur, & Tur, 2010;Geng, Wang, Wang, & Korba, 2008）。参考已有的经验值（Marley, Collier, & Meyer Goldstein, 2004），α取值为50/K，β取值为0.01，其中K表示模型主题数，K的取值依赖于数据集的大小。在模型评估中，确定了某个主题数的主题模型，该主题模型在评论语料库中的困惑度越低，那么这个主题数下的主题模型具有越好的表达能力（Ranard & Werner,2016）。经过反复实验，发现K取值5时，模型的困惑度最低，实验效果最佳。

表3是“面向核心素养的信息化教学设计”课程评论主题挖掘的主题—词语矩阵，按照概率值大小列出每个主题下的前十个词语，对某个主题下的学习者隐含的语义内容进行概率表征。从表3中词语概率分布情况进行推测，主题1可能是在讨论该课程教师的授课方式，学习者认为该门课的授课方式层次分明，教育者从多个角度讲解课程，活动内容丰富，表述方式条理清晰，新颖直观。主题2中的关键词语围绕着信息技术工具，学习者认可辅助工具的使用价值，通过课程的学习，学会了很多软件，并认为该课程推荐的工具非常实用。从主题3的词语分布情况来看，此主题是有关课程内容的评论，学习者认为内容详实细致、包含丰富的新理念，但同时认为基础知识太少，理论太深奥，开放性内容较多，学习起来有一定的难度。从主题4推测，学习者可能是在评论课程的评价方式，从时间安排、作业、考试、测验、考核方式等方面发表了意见。从主题5的关键词进行推测，可能是在描述学习体验，学习者认为该课程的学习使自己受益匪浅，很有收获，学习过程很充实，激起了自己的学习兴趣，并且有很好的体验感。

表3 课程评论主题挖掘的主题—词语矩阵

通过对表3中内容的观察与分析，发表课程评论的学习者整体上对课程持有赞扬认可的态度，并从授课方式、技术工具、课程内容等方面肯定了该课程的效用。另一方面，课程设计的某些方面还存在一些不足，如学习难度较大、基础性知识少、开放性问题多、内容深奥等问题，这些亟待课程设计者来解决。

（四）MOOC课程评论主题情感分析结果

研究随机选取了MOOC平台中十五门课程的评论区数据10 685条，并进行人工标注，“0”代表消极评论，“1”代表积极评论，完成数据集的创建，从中选取9 735条数据作为训练集训练，950条数据作为测试集检验模型。在完成训练集和测试集的创建后，使用litNlp自带的字符级TextCNN算法训练深度情感分析模型。

研究使用准确率、召回率和F值来衡量模型对情感的识别效果，F值可以平衡准确率和召回率，因此F值经常用于评价模型的有效性。表4分别记录了这三项指标，其数据反映了该模型的性能，当我们增加一定数量的训练样本时，该模型的预测效果会更好。由表4可见，本模型具有较高的准确率，在情感分析中是可用的。

表4 正负极性情感分析模型的准确性

研究将该模型应用于“面向核心素养的信息化教学设计”课程的评论区数据，对授课方式、技术工具、课程内容、评价方式和学习体验的评论文本分别做情感分析，可以反映学习者关注的该课程的5个话题的情感倾向。利用训练好的深度情感分析模型对评论主题开展情感极性分析，结果如图4所示。由图4可知，结合评论数目来看，学习者对授课方式、技术工具、学习体验、评价方式的情感态度整体趋向于积极，学习者的满意度较高。相比于其他三个主题，教师授课方式主题的积极情绪相对较高，充分体现了学习者对教师传授知识方式的认可。学习者积极情绪较高的主题还有技术工具和学习体验，而评价方式主题虽然整体上以积极为主，但是也表达了一些中性和消极情绪，推测学习者可能对本门课程的评价方式存在不满情绪。课程内容情感偏向消极，推测可能与基础知识少，理论知识较为深奥，学习起来难度较大等问题有关。学习体验和课程内容这两个主题是学习者发表评论的主要内容，表明了学习者非常重视课程自身的内容和课程带给自己的学习感受。

图4 课程评论主题情感极性分析

总而言之，从本研究所构建的主题挖掘与情感分析模型的分析结果来看，课程内容和学习体验是本课程学习者的主要关注点，是影响课程质量的核心因素，而评价方式和课程内容是学习者表达中性和消极情绪的主要因素。针对此种情况，在课程后期的设计中，教育者要着重去改进评价方式，提高课程教学内容的趣味性、有效性，从而达到吸引学习者的目的。

五、MOOC课程优化建议

本文基于MOOC课程评论区数据，提出了一种面向MOOC课程评论的主题挖掘与情感分析模型，并以“面向核心素养的信息化教学设计”课程为对象展开应用。结果发现，该模型能够较好地挖掘出课程评论的主题，并能分析出相应主题的情感极性，帮助教育者总结课程学习者的意见与建议用以改进教学。模型的结果能够有效地辅助教育者调整教学设计，助力平台开发人员完善功能建设以及让学习者直观了解课程。在上述分析基础上，本研究提出几点建议，以期改善课程服务，给予学习者更周到的学习体验。

1. 推进实用生动型教学内容

学习者普遍存在课程内容实用化的心理趋向，期待能达到对知识快速理解且能学以致用的学习效果，而课程内容的有趣、生动，又能让学习者在享受知识的过程中内化知识。这能让学习者同时获得功能和精神层面的满足。要达到这种理想状态，一方面需要优化非结构化学习资源的呈现机制，对于核心内容突出显示，可使用一些可视化手段来活跃知识，弱化非关键性区域。另一方面，内容设置的广度与深度要符合大众的学习水平，适当提高一些初级、中级知识的占比，以便能满足不同层次学习者的学习需求，同时增加实用性工具的使用介绍，为在线学习者提供一些可直接有助于工作实践的方法手段。

2. 应用多元信息化评价方式

传统的以系统评价和教师批改为主的评价方式并不能准确检测人工智能时代学习者的学习质量，迫切需要与大数据、云计算相匹配的评价方式的开发。为有效应对此问题，一方面，以虚拟现实技术、人工智能技术为支撑打造教学交流平台，创建一个不受时空束缚的、自由讨论的环境，加入嵌入式评估实时动态测评，以教师评价为主，结合同伴互评、学生自评打造弹性化教学评价，通过评中教、评中学来引导教育者和学习者重构知识序列。另一方面，开课前明确评价目标，借助一些APP或微信小程序动态记录学习行为数据，充分实现评价的透明化、可视化。

3. 探究混合多样化教学模式

现行的在线课程多以直播教学为主，而单纯的直播教学并不能显著提高学习者的学习效果。为了给课程学习者带来更周到的学习体验，可以综合实时直播教学和异步自主学习的教学模式。一方面，课前以学习任务单的形式发布导学内容供学习者学习，学习者之间可通过回帖的方式来互动，教学者根据互动内容改进教学；另一方面，采用直播的方式，将语音和课件同步播放，加入在线连麦的讨论方式与学习者在线互动，丰富教学。

六、小结

本研究基于评论区文本数据，构建了一种面向MOOC课程评论的主题挖掘与情感分析模型，并以“面向核心素养的信息化教学设计”课程为例进行验证，挖掘并分析该课程评论的主题结构分布情况和情感态度，结果证明该模型可用。本研究以数据驱动得出最终分析结果，能够更准确地洞察学习者的需求、兴趣以及情感状态，将有助于教育者改进教学内容、优化教学策略，为学习者提供更高契合度的学习内容和更周到的学习支持服务。但本研究对课程评论文本的分析还有很大的探索空间，如情感极性分析只分析了正负极性，没有考虑到学习者的情感变化。在后续研究中，应该尝试细化学习者的情感极性分类，进一步提高情感模型的科学性，提高实验结果的准确性。