基于兴趣增强的知识概念推荐系统

凌宇，单志龙

基于兴趣增强的知识概念推荐系统

凌宇1，单志龙1，2*

（1.华南师范大学 计算机学院，广州 510631； 2.华南师范大学 人工智能学院，广东 佛山 528225）（∗通信作者电子邮箱ZLshan@m.scnu.edu.cn）

现有的知识概念推荐系统并未考虑用户的短期兴趣。针对该问题，提出一种基于兴趣增强的知识概念推荐系统（KCRec-IE）。首先，根据用户的知识概念点击序列捕获用户的短期兴趣，并利用侧信息构造一个异构图。其次，利用元路径指导的图卷积在异构图上进行知识概念实体和用户实体的表示学习。与知识概念实体的表示学习不同，学习用户实体的表示时，根据用户的短期兴趣可区分不同邻居用户对目标用户的贡献。最后，根据知识概念实体、用户实体和用户的短期兴趣进行评分预测。在公开数据集Xuetang X上的实验结果表明，相较于KCRec-SEIGNN，KCRec-IE在HR@5指标上提升了3.60个百分点；相较于KCRec-IEn，KCRec-IE在HR@10指标上提升了1.02个百分点；相较于KCRec-SEIGNN，KCRec-IE在NDGC@5和NDGC@10指标上分别提升了1.60和1.18个百分点，验证了所提方法的有效性。

图神经网络；序列推荐；用户兴趣；个性化推荐；教育大数据

0 引言

随着互联网的普及，越来越多的人开始进行在线学习［1-3］。在线教育的出现加快了知识的传播，不管是学生还是职场人士，不管身处何地都能享受优质的教育资源。与此同时，越来越多的教师开始将线上和线下教育结合起来，在线教育成为学生进行课程拓展学习的一种方式，未来在线教育将会在教学领域发挥重要的作用。

随着在线教育规模的扩大，一些问题也开始出现：1）在线教育平台中的很多课程，通常依赖某些先修课程的某些知识概念［4］，学生不知道如何才能快速地掌握所需的先修知识概念，降低了学生对在线教育的热情；2）在线教育平台中存在很多同名或名称相似的课程，但是它们的侧重点不同，所需的先修知识概念也不相同［5］。这些问题加重了学生挑选合适课程的负担。因此，为了更好地了解和获取学生的兴趣和知识点结构，为他们推荐更加合适的课程，知识概念推荐系统应运而生。

现有的知识概念推荐系统［5-10］主要是基于异构图神经网络［11-12］实现，在基于元路径［13］聚合目标节点的邻居节点信息以获得目标节点的嵌入表示时，并没有区分不同邻居节点的贡献。此外，这些方法主要通过捕获用户的长期偏好推荐知识概念，未考虑对用户的短期偏好建模从而应对用户偏好的短期变化。

针对这些问题，本文提出一种基于兴趣增强的知识概念推荐系统（Knowledge Concept Recommendation system based on Interest Enhancement， KCRec-IE）。KCRec-IE主要从两个方面对基于异构图神经网络的方法进行增强：一方面，在学习用户的嵌入表示时，利用用户的短期兴趣区分不同邻居节点的贡献；另一方面，在进行评分预测时，不仅考虑用户的长期兴趣，还考虑用户的短期兴趣。

1 相关工作

目前，基于知识概念推荐模型主要可以分成3类：基于异构图神经网络的方法［5-7］、在异构图神经网络的基础上利用强化学习增强的方法［8-9］、异构图神经网络和交互图神经网络混合的方法［10］。

基于异构图神经网络是目前构造知识概念推荐模型的主流方法。ACKRec（Attentional heterogeneous graph Convolutional deep Knowledge Recommender）［5］是一种基于分层注意力图卷积的知识概念推荐模型，它采用注意力机制获取实体在不同元路径上的嵌入表示，并将同一实体在不同元路径上得到的实体嵌入表示通过注意力机制进行聚合，从而得到实体最终的嵌入表示；CERec-ME（Community Enhanced course concept Recommendation with Multiple Entities）［6］在基于异构图神经网络推荐知识概念的基础上，通过定义实体社区并对实体社区中节点的相似度进行度量，最后将社区的结构信息和节点的邻域信息加入损失函数，提升模型的推荐效果；MOOCIR（MOOC（Massive Open Online Course） Interest Recommender）模型［7］提出了两种新的注意力机制用于聚合用户和知识概念在不同元路径上的嵌入表示，提升模型的推荐效果。

为了在异构图上获得更好的嵌入表示，有学者提出了在异构图神经网络的基础上利用强化学习进行增强的方法。Gong等［8］提出了一种名为AGMKRec（Automatic Generation of Meta-path graph for concept Recommendation）的模型，利用强化学习技术自动发现有用的元路径和多跳连接，以获得更多有用的元路径，并进一步提升用户和知识概念的嵌入表示质量；Gong等［9］提出了一种名为HinCRec-RL（Concept Recommendation in MOOCs based on Heterogeneous information networks and Reinforcement Learning）的模型，采用了基于强化学习的方法，可以根据推荐结果动态更新异构图神经网络，适应用户偏好的变化，进一步提升推荐效果。

此外，受到交互图推荐模型的启发，研究人员提出了一种混合方法，将异构图神经网络和交互图神经网络相结合，以进一步提高推荐效果。KCRec-SEIGNN（Knowledge Concept Recommendation model based on a Structure-Enhanced Interactive Graph Neural Network）［10］是一种利用异构图和交互图进行知识概念推荐的方法。KCRec-SEIGNN首先利用所有用户的知识概念点击序列构造一个全局知识概念交互图；其次在该交互图之上学习知识概念的实体嵌入，并保留交互图中的结构信息；接着在利用侧信息生成的异构图上学习用户的实体表示；最后利用得到的用户和知识概念实体的嵌入表示进行知识概念推荐。

2 基于兴趣增强的知识概念推荐

2.1　问题描述

2.2　整体框架

本文提出的知识概念推荐系统的工作流程主要包括以下步骤：

1）实体特征提取和实体关系提取。

2）知识概念表示学习。

3）用户短期兴趣提取。

4）用户表示学习。

5）基于矩阵分解进行知识概念推荐。

2.3　实体特征提取和实体关系提取

2.3.1实体特征提取

1）知识概念实体特征提取。知识概念的名称通常是对它所涵盖内容的概括，如“向量内积”“定语从句”和“二叉树”等。因此，可以借助词嵌入技术生成知识概念实体特征，如Word2vector［14］就可以生成词嵌入。

2）用户实体特征提取。对于用户实体特征，可以用One-hot编码生成用户的知识概念状态作为它的特征。

2.3.2实体关系提取

图1　实体关系提取

2.4　知识概念表示学习

图2　知识概念表示学习

2.5　用户短期兴趣提取

对于基于异构图神经网络的推荐模型［15-16］，在学习用户的实体表示时，通常只关注用户的长期兴趣，忽略了用户的短期兴趣。把用户的短期兴趣纳入节点聚合过程中时，这些短期兴趣可用于区分不同邻居节点对目标节点的贡献，有效提升推荐效果。

2.6　用户表示学习

如图3所示，在通过聚合的邻居节点的实体表示得到在特定元路径上的实体表示时，既考虑邻居用户自身的实体特征，也考虑邻居用户的短期兴趣。

2.7　基于拓展矩阵分解进行知识概念推荐

基于扩展矩阵分解进行评分预测时，用户对知识概念的评分为：

在函数中加入正则化项，则最终的目标函数为：

3 实验与结果分析

3.1　数据集

为了评估模型的性能，本文在Xuetang X数据集［5］和MOOCCube_lite数据集［18］上进行了实验。

Xuetang X是一个公开数据集，用于知识概念推荐任务。该数据集包含2 844门MOOC课程、803个视频、937个课程概念、2 136名MOOC用户和2 372名教师。此外，该数据集还包括用户-知识概念、用户-课程、用户-教师和用户-视频这4种关系。

MOOCCube也是一个公开数据集，由学堂在线MOOC平台的真实数据构成，经过了自动过滤、众包标注和专家标注这3个阶段的处理。由于MOOCCube中的数据量过大，模型所需要的计算资源远不能满足，故本文从MOOCCube数据集中提取了一部分数据，构建了MOOCCube_lite数据集用于实验。该数据集包含156门MOOC课程、1 915个视频、4 850个课程概念、2 201名MOOC用户、262名教师和26所学校。此外，该数据集还包括用户-知识概念、视频-知识概念、视频-课程、课程-教师和教师-学校这5种关系。根据MOOCCube生成MOOCCube_lite的过程如下：

输入 用户-视频观看记录集合，视频-知识概念关系；

输出 用户-知识概念交互记录集合。

步骤1 构建候选知识概念集合。

步骤1.1 根据用户-视频观看记录集合和视频-知识概念关系构建用户-知识概念交互记录。

步骤1.2 根据用户-知识概念交互记录统计各个知识概念与用户的交互次数。

步骤1.3 筛选前2 000个与用户交互次数最多的知识概念，组成候选知识概念集合。

步骤2 遍历每一个用户-视频观看记录，筛选该观看记录中的最长连续子序列，该子序列中的每一个视频对应的知识概念都在候选知识概念集合中，然后将该最长连续子序列作为整个序列的代替。

步骤3 针对每一个用户-视频观看记录，生成相应的用户-知识概念交互记录。

用户-知识概念交互记录集合 = set（）

for 用户-视频观看记录 in 用户-视频观看记录集合

用户-知识概念观看记录 = list（）

for 视频 in 用户视频观看记录

根据视频-知识概念关系获取视频对应的知识概念集合

for 知识概念 in 视频对应的知识概念集合

用户-知识概念观看记录.add（知识概念）

用户-知识概念交互记录集合.add（用户-知识概念观看记录）

3.2　评价指标

实验使用通用的评估指标［19］评估所有模型，包括HR和NDCG。在进行模型评估时，将设置为5和10，并报告测试集中所有用户的平均指标。

3.3　参数分析

为了探究不同序列长度对模型推荐性能的影响，本文在两个数据集上进行了实验，并在图4中呈现了实验结果。

可以观察到，随着序列长度的增加，推荐性能呈现先增加后递减的现象。对于Xuetang X数据集，当序列长度为30时，模型的性能最佳；对于MOOCCube_lite数据集，当序列长度为20时，模型的性能最佳。

图4　序列长度对模型性能的影响

3.4　对比模型

为了评估本文模型（KCRec-IE）的性能，实验选取的对比方法如下：

1）ACKRec［5］。一种基于异构图神经网络的知识概念推荐方法。

2）CERec-ME［6］。一种基于社区增强的知识概念推荐方法。

3）MOOCIR［7］。一种基于异构图神经网络的知识概念推荐方法。相较于ACKRec，它使用隐式反馈代替评分，并提出了两种新的注意力机制用于聚合用户和知识概念在不同元路径上的嵌入表示。

4）ACKRec-H。使用HAN（Heterogeneous graph Attention Network）模型［16］分别学习用户和知识概念的实体表示，然后采用与ACKRec中相同的方法，利用学习到的用户和知识概念的实体表示进行基于扩展矩阵分解的知识概念推荐。其中HAN模型是一种高效的异构图神经网络，与ACKRec模型相比，它可以获得更好的实体表示。

5）KCRec-SEIGNN［10］。一种基于结构增强交互图神经网络的知识概念推荐方法。

6）SASRec［17］。一种序列推荐方法。

7）NAIS［20］。一种物品到物品的协同过滤算法，但使用一种注意机制方法区分不同在线学习行为的权重。

8）FISM［21］。一种物品到物品的协同过滤算法，它根据所有行为历史的平均嵌入和目标知识概念的嵌入进行推荐。

9）KCRec-IEn。KCRec-IE的一个变种，在基于扩展矩阵分解进行评分预测时，没有考虑用户的短期兴趣。

3.5　实验设置

在进行实体表示学习时，使用表1所示的元路径集合，并将图卷积的层数设置为3；将用户实体和知识概念实体的向量维度设置为100。在进行用户短期兴趣提取时，针对Xuetang X数据集和MOOCCube_lite数据集，分别将序列长度设为30和20。在基于扩展矩阵分解的评级层中，将潜在因子数设置为30。

表1实验中采用的元路径

Tab.1　Meta-paths used in experiments

3.6　实验结果

将KCRec-IE与其他对比方法在知识概念推荐任务上进行比较，比较结果如表2所示。从实验结果可以观察到：

1）相较于基于协同过滤的方法，基于异构图表示学习的方法在两个不同的数据集上，分别在HR@5和HR@10指标上实现了显著的性能提升。具体地，在数据集Xuetang X上，异构图学习方法中表现最好的KERec-IE相较基于协同过滤中最好的ACKRec提升了18.91和11.05个百分点；在数据集MOOCCube_lite上，KERec-IE相较ACKRec提升了9.36和8.54个百分点。这是因为基于协同过滤的方法主要依赖用户-物品交互数据进行推荐，当数据稀疏时，很难准确地推荐物品给用户；而基于异构图表示学习的方法可以将用户、知识概念、课程、视频等实体作为图中的节点，将它们之间的关系表示为边，利用丰富的侧信息对节点进行表示学习，从而可以充分利用实体之间的关系进行推荐，缓解数据稀疏性问题，并提高模型的性能。

2）对于Xuetang X数据集，与ACKRec、CERec-ME和MOOCIR方法相比，ACKRec-H、KCRec-IEn和KCRec-IE方法的HR@5和HR@10指标分别提高了3.86～18.91和4.25～11.05个百分点，KCRec-IE方法相较于KCRec-SEIGNN方法提高了3.60和2.76个百分点。对于数据集MOOCCube_lite，与ACKRec、CERec-ME和MOOCIR方法相比，ACKRec-H、KCRec-IEn和KCRec-IE方法的HR@5和HR@10指标分别提高了1.16～9.36和2.75～8.54个百分点，KCRec-IE方法相较于KCRec-SEIGNN方法提高了8.22～5.82个百分点。这主要是因为ACKRec、CERec-ME、MOOCIR和KCRec-SEIGN在进行用户表示学习时，采用的邻居节点信息聚合方式无法有效区分不同邻居节点的贡献，导致对不同类型的节点和边采用相同的处理方式，这使得模型不能很好地适应这些差异性，进而影响了模型的性能表现。ACKRec-H、KCRec-IEn和KCRec-IE在基于邻居节点进行信息聚合时使用自注意力机制区分不同邻居节点的贡献，将更多的关注点放在与目标节点相关的邻居节点上，从而提高模型的性能。因此，基于邻居节点进行信息聚合时，区分不同邻居节点的贡献是非常重要的。

3）在Xuetang X数据集上，KCRec-IEn和KCRec-IE方法相较于ACKRec-H方法，在HR@5、HR@10指标上分别提高了5.97和11.05、0.86和1.88个百分点。在MOOCCube_lite数据集上，KCRec-IEn和KCRec-IE方法相较于ACKRec-H方法，在HR@5、HR@10指标上分别提高了3.86和7.22、1.98和4.13个百分点。这是因为用户的短期兴趣通常随着时间快速变化，即使是在长期兴趣相同的用户之间，短期兴趣也会存在较大的差异。在进行用户表示学习时，将用户的短期兴趣加入邻居节点的注意力值计算中，有助于模型更好地利用短期兴趣信息区分不同邻居节点的贡献，从而获得更加准确的用户表示。

4）相较于KCRec-IEn方法，在Xuetang X数据集上，KCRec-IE方法在HR@5、HR@10指标上分别提高了5.08和1.02个百分点；在MOOCCube_lite数据集上，KCRec-IE方法在HR@5和HR@10指标上分别提高了3.36和2.15个百分点。这是由于KCRec-IEn在评分预测时仅考虑了用户的长期兴趣，而未能充分考虑用户的短期兴趣，这导致了在应对快速变化的短期兴趣时存在不足。KCRec-IE在评分预测时综合考虑了用户的长期兴趣和短期兴趣，能够更全面地反映用户当前的需求，从而提高了推荐系统的准确性。

5）在Xuetang X数据集上，KCRec-IEn和KCRec-IE相较于SASRec和ACKRec-H，在HR@5、HR@10指标上分别提高了5.97和29.22、0.86和5.95个百分点。在MOOCCube_lite数据集上，KCRec-IEn和KCRec-IE相较于SASRec和ACKRec-H，在HR@5和HR@10指标上分别提高了3.86～8.54和1.98～7.22个百分点。这表明将序列推荐的方法和基于图神经网络的方法结合，可以更好地综合考虑用户的长期兴趣和短期兴趣，同时利用图结构中的侧信息缓解数据稀疏性问题，从而提高推荐系统的准确性和可靠性。

表2　不同方法的性能比较

4 结语

本文研究了MOOC平台中的知识概念推荐问题，提出了一种基于兴趣增强的知识概念推荐系统。该系统将用户的短期兴趣加入邻居用户对目标用户的注意力值计算中，从而更好地区分不同邻居节点对目标节点的贡献。此外，还将用户的短期兴趣加入评分预测中，从而进一步提高推荐效果。在后续的研究中，计划考虑如何结合社区发现［22］以有效地区分不同邻居节点对目标节点的贡献，进而提升知识概念推荐系统的性能。

[1] KING C， ROBINSON A， VICKERS J. Targeted MOOC captivates students ［J］. Nature， 2014， 505（7481）： 26-26.

[2] ZHANG J. Can MOOCs be interesting to students？ An experimental investigation from regulatory focus perspective［J］. Computers and Education， 2016， 95： 340-351.

[3] 董永峰，王雅琮，董瑶，等. 在线学习资源推荐综述［J］. 计算机应用， 2023， 43（6）：1655-1663.（DONG Y F， WANG Y Z， DONG Y， et al. Survey of online learning resource recommendation ［J］. Journal of Computer Applications， 2023， 43（6）：1655-1663.）

[4] PAN L， LI C， LI J， et al. Prerequisite relation learning for concepts in MOOCs ［C］// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： ACL， 2017： 1447-1456.

[5] GONG J， WANG S， WANG J， et al. Attentional graph convolutional networks for knowledge concept recommendation in MOOCs in a heterogeneous view［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 79-88.

[6] YE B， MAO S， HAO P， et al. Community enhanced course concept recommendation in MOOCs with multiple entities［C］// Proceedings of the 2021 International Conference on Knowledge Science， Engineering and Management， LNCS 12816. Cham： Springer， 2021： 279-293.

[7] PIAO G. Recommending knowledge concepts on MOOC platforms with meta-path-based representation learning ［C/OL］// Proceedings of the 14th International Conference on Educational Data Mining ［2022-09-19］.https：//parklize.github.io/publications/EDM2021.pdf.

[8] GONG J， WANG C， ZHAO Z， et al. Automatic generation of meta-path graph for concept recommendation in MOOCs ［J］. Electronics， 2021， 10（4）： No.1671.

[9] GONG J， WAN Y， LIU Y， et al. Reinforced MOOCs concept recommendation in heterogeneous information networks ［J］. ACM Transactions on the Web， 2023， 17（3）： No.22.

[10] LING Y， SHAN Z. Knowledge concept recommender based on structure enhanced interaction graph neural network［C］// Proceedings of the 2022 International Conference on Knowledge Science， Engineering and Management， LNCS 13368. Cham： Springer， 2022： 173-186.

[11] SHI C， HU B， ZHAO W X， et al. Heterogeneous information network embedding for recommendation ［J］. IEEE Transactions on Knowledge and Data Engineering， 2019， 31（2）： 357-370.

[12] 周丽华，王家龙，王丽珍，等. 异质信息网络表征学习综述［J］. 计算机学报， 2022， 45（1）：160-189.（ZHOU L H， WANG J L， WANG L Z， et al. Heterogeneous information network representation learning： a survey［J］. Chinese Journal of Computers， 2022， 45（1）：160-189.）

[13] GORI M， MONFARDINI G， SCARSELLI F. A new model for learning in graph domains ［C］// Proceedings of the 2005 IEEE International Joint Conference on Neural Networks — Volume 2. Piscataway： IEEE， 2005：729-734.

[14] MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space ［EB/OL］. （2013-09-07）［2022-11-22］.https：//arxiv.org/pdf/1301.3781.pdf.

[15] 葛尧，陈松灿. 面向推荐系统的图卷积网络［J］. 软件学报， 2020， 31（4）：1101-1112.（GE Y， CHEN S C. Graph convolutional network for recommender systems［J］. Journal of Software， 2020， 31（4）：1101-1112.）

[16] WANG X， JI H， SHI C， et al. Heterogeneous graph attention network［C］// Proceedings of the 2019 World Wide Web Conference. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2019：2022-2032.

[17] KANG W C， McAULEY J. Self-attentive sequential recommendation ［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 197-206.

[18] YU J， LUO G， XIAO T， et al. MOOCCube： a large-scale data repository for NLP applications in MOOCs ［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2020：3135-3142.

[19] KRICHENE W， RENDLE S. On sampled metrics for item recommendation［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020： 1748-1757.

[20] HE X， HE Z， SONG J， et al. NAIS： neural attentive item similarity model for recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2018， 30（12）： 2354-2366.

[21] KABBUR S， NING X， KARYPIS G. FISM： factored item similarity models for top-recommender systems ［C］// Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2013： 659-667.

[22] 宁懿昕，谢辉，姜火文. 图神经网络社区发现研究综述［J］. 计算机科学， 2021， 48（11A）：11-16.（NING Y X， XIE H， JIANG H W. Survey of graph neural network in community detection［J］. Computer Science， 2021， 48（11A）：11-16.）

Knowledge concept recommendation system based on interest enhancement

LING Yu1， SHAN Zhilong1，2*

（1，，510631，；2，，528225，）

The existing knowledge concept recommendation system does not consider the short-term interest of users. To solve the problem， a Knowledge Concept Recommendation system based on Interest Enhancement （KCRec-IE） was proposed. Firstly， users’ short-term interests were captured according to the users’ knowledge concept click sequences， and a heterogeneous graph was constructed by using the side information. Then， the representation learning of knowledge concept entities and user entities was carried out on heterogeneous graph by using meta-path-guided graph convolution. Different from the representation learning of knowledge concept entities， when learning the representation of user entities， the contributions of different neighbor users to target users were able to be distinguished according to the short-term interests of users. Finally， the score prediction was realized according to the knowledge concept entities， the user entities and the user’s short-term interests. Experimental results on public dataset Xuetang X show that compared with KCRec-SEIGNN， KCRec-IE is improved by 3.60 percentage points on HR@5； compared with KCRec-IEn， KCRec-IE is improved by 1.02 percentage points on HR@10； compared with KCRec-SEIGNN， KCRec-IE is improved by 1.60 and 1.18 percentage points respectively on NDGC@5 and NDGC@10 respectively， verifying the effectiveness of the proposed method.

graph neural network; sequential recommendation; user interest; personalized recommendation; educational big data

TP311

A

1001-9081（2023）12-3697-06

10.11772/j.issn.1001-9081.2022111786

2022⁃12⁃06；

2023⁃04⁃13；

2023⁃04⁃18。

凌宇（1996—），男，湖南衡阳人，硕士研究生，主要研究方向：教育大数据、推荐系统；单志龙（1976—），男，湖南衡阳人，教授，博士，CCF会员，主要研究方向：教育数据挖掘、物联网。

LING Yu， born in 1996， M. S. candidate. His research interests include educational big data， recommendation system.

SHAN Zhilong， born in 1976， Ph. D.， professor. His research interests include educational data mining， internet of things.