差评视角下基于细粒度情感分析的在线课程质量因素研究

基金项目：江西省教育科学规划一般课题“基于学习评论及KANO模型的在线课程质量评价研究”（21YB093）

摘  要：确定学习者关于在线课程的差评所涉及的质量因素及质量因素的重要度，对有效引导在线课程的质量迭代及学习者满意度提升有重要意义。文章运用Python网络爬虫技术从中国大学MOOC（慕课）官网上采集了学习者关于《学术英语》《思想道德修养与法律基础》等17门文科课程的学习评论数据，基于百度AI开放平台的自然语言处理技术对在线评论进行情感极性计算，利用LDA主题模型提取出不同类型课程的差评评论所关注的课程质量因素，并计算出各个课程质量因素的细粒度情感重要度。结果表明，课程讲解、视频质量、教学内容、习题测试为影响学习者差评行为的核心性因素，“平台功能”“时间安排”等6个因素为边缘性因素，由此提出了相应的课程质量提升策略。

关键词：在线课程；差评；LDA；细粒度情感

中图分类号：G434       文献标识码：A        文章编号：1002-4107（2024）04-00  -04

一、引言

在线开放课程突破了传统课程在时间、地域等因素上的限制，是一种具有开放性、灵活性及便捷性的新型学习模式[1]，极大地丰富了中国既有的教育形态[2]。但随着大量课程的集中上线，在线开放课程模式也暴露出课程完成率低、学习者持续性差等问题[3]，这无疑造成了学习资源的巨大浪费。如何提升在线开放课程的质量引起了学术界的广泛关注。一方面，与传统课程不同，在线课程需要经历“优化—反馈—再优化”的不断迭代改进的循环过程[4]；另一方面，不同于传统课堂模式，在线模式下，学习者往往会在学习平台上留下大量关于课程质量感知的在线评论信息[5]。从情感上看，在线评论文本有正向和负向之分，相对正向评论，负向评论更能反映出课程的不足之处及学习者对课程的期望[6]。然而，差评往往涉及课程多个方面的质量因素，评论者涉及这些因素时的细粒度情感与总评的情感可能存在不一致的情形。因此，如何对学习者差评所涉及的课程质量因素进行细粒度情感分析，以确定各个质量因素的重要度对在线开放课程质量的提升有重要的意义。

二、文献综述

目前，MOOC质量评价方面的研究主要基于问卷调查模式进行。Albelbisi N A等人（2021）采用问卷调查模式收集数据，运用结构方程方法对在线课程质量因素对MOOC学习者满意度的影响进行了评估[7]。阚维对疫情期间某高校MOOC选修情况进行了问卷调查，并运用结构方程模型对影响MOOC学习者知识内化的因素进行了分析[8]。然而，问卷调查模式存在样本量不足、样本信度难以保证等问题。同时，由于问卷是由专家学者所设计，专家和学习者在认知水平上存在一定差距，这不可避免地影响到结果的准确性。

在线模式下，学习者在慕课平台上留下了大量有关课程质量感知的评论文本。学习评论文本数据具有半结构化或非结构化的特点，蕴含着丰富的学习者关于课程质量的感知体验。为了弥补问卷调查模式的缺陷，学者们开始利用在线评论对在线课程质量因素进行分析。如QI cong等人（2021）采用LDA主题模型对学习者评论进行主题挖掘，并通过Bi-LSTM文本分类模型计算每个主题中评论的情感值[9]。张新香等人基于在线课程评论文本，利用 BTM 主题模型提取并构建主题集，通过熵权法确定主题权重，随后通过情感分析计算课程中不同主题的情感得分，最后采用灰色关联分析方法对MOOC质量进行了评判[10]。在线评论具有好评、中评以及差评之分，而差评文本相较于好评与中评文本有着更高的诊断力及参考价值。关于差评所涉及的产品/服务的质量因素的分析逐渐引起了学者们的关注，并有学者在电商购物[11]、在线医疗[12]等领域对负向评论文本进行了深入研究，但在在线课程评论领域，关于课程差评所涉及的质量因素的细粒度情感分析方面的研究较为鲜见。

因此，文章基于中国大学MOOC上的学习者评论文本，运用百度AI语义分析技术对中国大学MOOC平台上17门文科课程的评论文本进行情感极性分类，利用LDA主题模型分别从负向评论文本中提取学习者所关注的质量因素，提出质量因素重要度的细粒度情感定量评价方法，并根据研究结果提出有针对性的在线课程质量迭代提升策略。

三、研究设计与研究方法

（一）研究框架

文章从差评评论的视角出发，利用LDA主题模型对在线课程的负向评论所涉及的质量因素进行提取，并对差评评论所涉及的各个质量因素进行细粒度情感分析以确定各个质量因素的重要度。主要研究框架如图1所示。

图1 研究框架

（二）LDA主题模型

Blei等学者于2003年提出了LDA主题模型，即隐含狄利克雷分布，是一种非监督机器学习技术，可以将文档集中每篇文档的主题以概率分布的形式输出。文章运用LDA主题模型从课程评论中挖掘学习者所关注的在线课程质量因素，具体过程如下：

1.采用困惑度算法计算各主题数所对应的困惑度，据此选取评论集的最优主题数。

2.运用LDA模型中的词袋算法[13]，对在线课程的学习者评论文本进行主题建模，以概率形式输出学习者关于在线课程所关注的主题及特征词，在此基础上提取在线课程质量因素。

（三）基于細粒度情感的课程质量因素的重要度计算方法

课程质量因素的重要度反映了课程在某个质量因素上的表现对学习者满意度的影响程度。在学习评论中，当学习者涉及某个质量因素时的评语情感与整个评论情感一致性越高时，该质量因素的重要度越高。反之，质量因素的重要度越低。学习者差评涉及的课程质量因素的重要度可通过以下步骤进行计算。

步骤一：设为包含质量因素的评论总数。为涉及质量因素的评语为好评，但评论的总体情感为差评的评论数，为涉及质量因素的评语为中评且评论的总体情感为差评的评论数；为涉及质量因素的评语为差评且评论的总体情感为差评的评论数；课程质量因素的初始重要度可通过下面的公式进行计算。

其中，式（1）中的为缩放系数；反映的是学习者涉及质量因素时的评语情感与整个评论情感的一致程度；、反映的是学习者涉及质量因素时的评语情感与整个评论情感的背离程度；为涉及质量因素的评论在课程的总评论中的占比；为差评所涉及的课程质量因素总数。

步骤二：对课程质量因素的初始重要度进行标准化，得到各个课程质量因素的重要度，具体如下：

四、实证分析

（一）数据采集与预处理

利用网络爬虫技术，作者从MOOC平台上分别爬取了《英语语法与写作》等17门文科类国家精品课程在2018年3月至2022年6月的课程评论数据。选取标准为所选课程评论总数≥1000条；所选课程差评数≥50条。最终共获取58039条评论数据。剔除重复评论、信息缺失评论，如“很好”“非常好”等无效评论数据后，运用百度AI语义分类工具对上述17门文科类课程的评论文本进行情感极性分类，从而获取负向评论文本，共获得2562条差评文本。所选课程及评论数见表1。

（二）差评视角下学习者关注的课程质量因素

1.最优主题数目的确定

在运用LDA主题模型建模过程中，确定主题数量的最优值对主题建模至关重要。文章采用困惑度寻求最优主题数目。依据困惑度最小和主题个数最少的原则，确定最优主题数选取为10，如图2所示。

2.基于LDA模型的主题挖掘

采用前文中的LDA方法对表1中的17门课程的差评文本进行主题建模，主题挖掘结果如表2所示。

3.差评视角下在线课程质量因素的细粒度情感分析

获取差评评论所涉及的课程质量因素后，运用百度情感指数方法逐条对各条差评评论所涉及的各个课程质量因素（表2）进行细粒度情感分析，得到表3。表3反映出学习者涉及各个课程质量因素时的细粒度情感。如表3中第一行表明，涉及“课程讲解”质量因素的差评总数为865条，其中具体涉及“课程讲解”给出正向评语，而总评给出差评的情形有15条；具体涉及“课程讲解”给出中性评语，而总评给出差评的情形有100条；具体涉及“课程讲解”给出负向评语，同时总评也给出差评的情形有750条。

依据前文中的课程质量因素重要度的计算步骤，设定缩放因子，依据公式（1）-（6）可算得差评视角下各个课程质量因素的重要度，结果见表4。

通过表4中的结果可发现，“课程讲解（QT1）”“视频质量（QT2）”“教学内容（QT4）”及“习题测试（QT5）”等4个质量因素的重要度高于均值0.304；这说明“课程讲解”等4个因素的情感极性与评论总体情感之间具有较强的正相关性，即当学习者评语涉及“课程讲解”等4个因素中的某一个的情感为负向情感时，其评论总体的情感也基本是以差评为主。因此，“课程讲解（QT1）”“视频质量（QT2）”“教学内容（QT4）”及“习题测试（QT5）”等4个质量因素为影响学习者差评行为的核心因素；“平台功能（QT3）”“时间安排（QT6）”“作业互评（QT7）”“课程考核（QT8）”“教学方式（QT9）”“进度更新（QT10）”等6个因素的重要度低于均值，这说明“平台功能”等6个因素的情感极性与评论总体情感之间正相关性较弱，即当评语涉及“平台功能”等6个因素中的某一个的情感为负向情感时，其总评并不一定是差评。因此，“平台功能（QT3）”“时间安排（QT6）”“作业互评（QT7）”“课程考核（QT8）”“教学方式（QT9）”“进度更新（QT10）”等6个因素为影响学习者差评行为的边缘性因素。

五、结束语

（一）研究結论

文章运用爬虫技术从中国大学MOOC平台上爬取《英语语法与写作》等17门文科类国家精品课程的学习者评论数据，并运用百度AI语义分类技术提取出其中的负向评论文本，利用LDA主题模型从这些负向评论中提取出学习者关注的质量因素，并运用基于细粒度情感的课程质量因素重要度计算方法对各因素进行重要度计算，从而确定引发学习者差评行为的核心因素及边缘因素。研究结果表明，“课程讲解”“视频质量”“平台功能”“教学内容”“习题测试”“时间安排”“作业互评”“课程考核”“教学方式”“进度更新”等10个因素为差评学习者关注的课程质量因素。其中，“课程讲解”“视频质量”“教学内容”及“习题测试”等4个质量因素为引发学习者差评行为的核心因素；“平台功能”“时间安排”“作业互评”“课程考核”“教学方式”“进度更新”等6个因素为引发学习者差评行为的边缘性因素。

（二）研究建议

对于文科类的课程而言，“课程讲解”“视频质量”“教学内容”及“习题测试”等核心因素在教学过程中为主导性因素，是课程质量迭代优化过程中亟待改进优化的因素。具体而言，对于“课程讲解”，在文科类的课程的教学中，教师如果在授课过程中不能就教学内容讲出自己的见解，很容易使学习者产生“照本宣科、上课浪费时间还不如自己看书”的糟糕体验，进而影响到学习者对课程的满意度。因此，课程建设者在“课程讲解”方面应杜绝照本宣科的情形，尽可能做到风趣幽默，以提升学习者的课程学习体验；对于“视频质量”而言，从评语上看，视频画面的模糊、声音的不清晰，以及缺少字幕是导致学习者对课程视频不满意的重要因素。因此，课程建设应该注意保持视频画面及声音的清晰，尤其需要为课程视频配置相应的字幕便于学习者观看教学视频；对于“教学内容”而言，从评语上看，当课程的内容以字为主，缺乏相关视频及图片时，容易使学习者产生单调枯燥的学习体验，进而影响到学习者对课程的满意度。因此，在课程的质量改进过程中，课程建设者应当对教学内容进行优化，做到文字与图片、视频相结合，重点突出；课程配套的习题测试是检验学习者知识掌握程度的关键环节，特别是对外语类的课程而言，习题测试是课程知识内化的关键，但从评语上看，缺少课后习题、习题与课程内容关联度不高、习题仅有答案缺少解答过程是学习者对课程配套的习题不满意的原因。因此，对于课程建设者而言，首先需要适当地设计课后习题；其次在设计课后习题时，需要考虑习题与课程知识点的关联度及习题的难度，以帮助学习者进行知识内化；最后还应提供相应的解答过程，便于学习者复习回顾所学的课程内容。

对于“平台功能”“时间安排”“作业互评”“课程考核”“教学方式”“进度更新”等6个边缘性因素而言，这些因素在教学过程为辅助性因素，为需要缓慢改进的因素。其中，“时间安排”“教学方式”“课程考核”等3个因素由课程建设者主导进行持续改进，做到单个视频的时间控制在20分钟以内，单个视频尽可能只以一个知识点为主，考核方式灵活多样。“平台功能”应由课程平台主导进行持续改进，从差评评语中可发现，证书申请复杂繁琐也是学习者对平台功能吐槽的一个关键点，因此，平台应当简化证书获取的操作步骤，做到课程结束后根据学习者需求及时发放证书。“进度更新”因素则需要课程建设者，及平台方协作进行改进，课程建设者按计划进行学习视频的更新，平台则实时提醒学习者进度更新的情况。对于“作业互评”则需要由教师以及学习者共同进行改进，教师应当合理设置互评时限及规则，学习者则应认真参与作业互评。

参考文献：

[1]刘颖，吉久明，李楠，等.学生视角下的MOOC课程教学质量评价体系构建研究：以学术信息素养类MOOC课程为例[J].圖书馆杂志，2021，40（2）：95-103.

[2]周骅，杨嘉浩.突破中国慕课深度发展瓶颈的三个策略[J].现代大学教育，2021，37（6）：101-107.

[3]王勃然，李月，田立莹.国内慕课学习者黏性影响因素研究：现状与展望[J].黑龙江教育（理论与实践），2023，77，（3）：28-31.

[4]闫寒冰，段春雨.面向学习者感知的在线课程内容质量分析框架[J].现代远程教育研究，2018（5）：95-103.

[5]王锐，肖杨财，黄艳蓉.学习者关注度：重要度双视角下的在线课程质量要素分析[J].黑龙江高教研究，2023，41（2）：141-148.

[6]孙青云，刘吉华.基于文本挖掘的MOOC差评意愿的影响因素研究[J].统计与管理，2021，36（9）：105-112.

[7]Albelbisi N A， Al-Adwan A S， Habibi A. Impact of quality antecedents on satisfaction toward MOOC[J]. Turkish Online Journal of Distance Education，2021，22（2）：164-175.

[8]阚维.克服慕课学习的困境：从简单知识分享模式到知识内化提升模式[J].高教探索，2021（1）：57-62+69.

[9]QI cong，LIU Shudong. Evaluating on-line courses via reviews mining[J]. IEEE ACCESS，2021，9：35439-35451.

[10]张新香，段燕红.基于学习者在线评论文本的MOOC质量评判——以“中国大学MOOC”网的在线评论文本为例[J].现代教育技术，2020，30（09）：56-63.

[11]鲁钊阳，孙艳倪.消费者差评对农产品电商发展影响的实证研究[J].农村经济，2020（11）：104-112.

[12]王若佳，张璐，王继民.基于扎根理论的在线问诊用户满意度影响因素研究[J].情报理论与实践，2019，42（10）：117-123.

[13]韩亚楠，刘建伟，罗雄麟.概率主题模型综述[J].计算机学报，2021，44（06）：1095-1139.