基于多层次视图对比学习的知识感知推荐算法

2024-02-18 20:55王正东王靖杨晓君林浩申
计算机应用研究 2024年1期
关键词:推荐系统知识图谱

王正东 王靖 杨晓君 林浩申

摘 要:现有基于图神经网络(GNN)的推荐模型存在一个自然的缺陷,即稀疏监督信号问题且在关系建模中是粗粒度的,模型不能在更细粒度层面识别用户项目交互关系,这可能会使模型的实际性能在一定程度上下降。受对比学习在挖掘监督信号方面的成功启发,提出了一个基于多层次视图对比学习的知识感知推荐算法框架(knowledge-aware recommendation algorithm based on multi-level view contrastive learning,KRMVC)。该框架构造了全局和局部共四个图形视图,即全局结构视图、局部的意图视图、协调视图和协同视图。同时在探索用户项目交互背后的意图中,设计了一种新的GNN信息聚合方案,用来提取关于用户意图的有用信息,并将其编码到用户和项目的表示中。KRMVC在全局和局部层次上跨四个视图进行对比学习,利用多任务策略对推荐自监督任务和对比学习任务进行联合优化,以此提升性能。实验表明,该模型在MovieLens和Yelp2018两个数据集上AUC值相较于最先进的基线提升了1.1%与0.7%,F1指标分别提升了1.4%和1.0%,recall@K指标均优于最先进的基线。

关键词:推荐系统; 知识图谱; 对比学习; 图神经网络

中图分类号:TP391   文献标志码:A   文章编号:1001-3695(2024)01-007-0045-06

doi:10.19734/j.issn.1001-3695.2023.05.0283

Knowledge-aware recommendation algorithm based on multi-level view contrastive learning

Abstract:The existing graph neural network (GNN)-based recommendation models have a natural limitation, namely the sparse supervision signal problem and coarse-grained relation modeling. These models cant identify user-item interaction relationships at a finer granularity, potentially leading to a decrease in their actual performance. Inspired by the successful application of contrastive learning in mining supervision signals, this paper proposed a KRMVC algorithm. The KRMVC framework constructed four graph views, including a global structural view, a local intention view, a coordination view, and a collaboration view. Additionally, the algorithm designed a new GNN information aggregation scheme to extract useful information about user intents and encoded it into the representations of users and items. KRMVC performed contrastive learning across the four views at both global and local levels, used a multi-task strategy to jointly optimize the recommendation supervision task and contrastive learning task for performance improvement. Experimental results demonstrate that the model achieves improvements in AUC values by 1.1% and 0.7%, F1 scores by 1.4% and 1.0%, and recall@K scores surpass state-of-the-art baselines on the MovieLens and Yelp2018 datasets.

Key words:recommender system; knowledge graph; contrastive learning ; graph neural network

0 引言

在當今信息爆炸的时代,用户很难快速准确地找到感兴趣的内容,因为存在大量冗余和无效的信息。推荐系统是解决信息过载问题的有效方法之一,它根据用户的兴趣和历史行为推荐相关内容[1]。传统的协同过滤推荐方法(collaborative filtering,CF)[2~4]依赖于历史用户行为数据来捕捉协作信号进行推荐。然而,它们面临着冷启动问题,因为它们将每个交互视为独立的实例,忽略了它们之间的关系,如NFM[2]和xDeepFM[3]。一种广泛采用的解决方案是将各种类型的辅助信息,如知识图(knowledge graph,KG)[5]中包含的丰富实体和关系,纳入推荐系统,以学习高质量的用户和项目表示,即知识感知推荐(knowledge-aware recommendation,KGR)。已有许多研究工作[6,7]致力于知识图谱推荐,重点是如何有效利用项目方面的图形信息进行用户和项目表示学习。早期的KGR研究[8,9]主要采用不同的知识图嵌入(knowledge graph embedding,KGE)模型,如TransE [10]和TransH [11],对实体嵌入进行预训练来学习项目表示。然而,这些方法效果不佳,因为它们独立处理每个项目实体关系,无法提取足够的协作信号来进行表示学习。

隨后,出现了基于连接的方法,用于模拟用户、物品和实体之间的多种连接模式。这些方法可以分为基于路径[12]和基于图神经网络(GNN)[13]的两类。基于路径的方法侧重于通过捕获知识图谱中的远程结构来丰富用户物品交互。然而,这些方法依赖于手动设计的元路径,难以优化。基于GNN的方法则通过信息聚合将多跳邻居融入节点表示中,而当前基于GNN的模型受到稀疏监督信号问题的困扰,导致节点表示的退化和不可区分性。

近年来,在推荐系统领域中,基于图卷积网络(graph con-volutional network,GCN)的模型取得了显著应用。通过结合协同过滤信息和GCN,推荐系统取得了优秀的效果。GCN的设计利用了图的连通性,能够有效地聚合用户邻居节点信息,提高用户和项目的表示学习效果。基于这些特性,许多研究人员将GCN应用于推荐系统中。例如,PinSage[14]将随机游走算法和GCN结合,建立了节点表示;NGCF[15]利用GCN的信息传播特性,显式建模了用户项目之间的高阶连接性。尽管这些模型在推荐效果上取得了良好成果,但由于数据稀疏问题,仍存在过度平滑和效率低的挑战。为了应对这些问题,LR-GCCF[16]利用残差网络结构缓解了过度平滑,并去除了GCN的非线性激活规则;LightGCN[17]则进一步简化了图卷积操作,保留了邻域聚合组件,实现了轻量高效的效果。

基于图卷积网络(GCN)的推荐模型在推荐领域取得了显著的效果,然而这种方法仍然面临着许多待攻破的难题。本文强调设计的模型应以更细粒度的方式探索更多的图视图进行学习,并且多级跨视图对比机制对于模型设计至关重要。因此,提出了一种基于自监督学习范式的新模型KRMVC,旨在充分利用知识图谱和用户物品交互中的协同和交互背后的意图信息来进行知识感知推荐(KGR)。该模型引入了一种新颖的多级跨视图对比学习机制,以协同监督四个图视图之间的学习。特别是在意图和协调视图方面,设计了一种新的GNN信息聚合方案,用来提取用户意图的有用信息,并将其编码到用户和项目表示中。此外为了结合推荐任务和对比学习任务,采用了多任务训练策略来优化整个模型。在训练过程中,综合考虑推荐自监督任务和对比学习任务的损失函数,通过最小化整体的损失函数来学习模型参数。这样的联合优化过程充分利用了自监督信号和对比信号,以提高推荐模型的性能。通过广泛的实证研究,KRMVC在两个基准数据集上展现出优于现有模型的性能。

1 相关工作

1.1 知识感知推荐

与传统的基于矩阵分解和自编码器的协同过滤方法[18]相比,基于图的协同过滤将交互数据组织成交互图,并从结构图信息中学习有意义的节点表示。由于以下三个原因,GNN技术在推荐系统中变得非常流行:a)大多数推荐系统中的信息具有图结构,而GNN在学习图表示方面具有优势;b)从图结构的角度看,可以使用统一的框架对不同类型的数据进行建模;c)GNN通过多层网络传递信息,可以明确编码用户交互行为中的高阶信号。GNN包括图构建、邻居聚合、信息更新和最终节点表示。为了巩固和保留来自所有层的表示,直接使用来自所有层的表示,而不仅仅是最后一层。

1.2 对比学习

最初的主流对比学习方法Inst Disc[19]提出后,随之而来的是一系列对比学习模型[20,21],引发了大规模的研究浪潮。随着对比学习的广泛应用,自监督学习(self-supervised lear-ning,SSL)得到了推荐系统的重点关注,因为它可以节省人力和物力资源。许多推荐系统在对比学习下取得了显著的改进[21,22],并且每个系统都取得了可观的进展。对比学习最初被提出是为了解决少量或无注释问题。然而,通过找到合适的正负样本对,已经证明对比学习在推荐系统中可以发挥重要作用。因此,识别正确的正负样本对对于该方法的成功至关重要。与计算机视觉中常用的对比学习[23]不同,不使用纯粹的丢弃增强和旋转增强。这是因为在图网络中,用户和项目可能存在密切关联,不应随意分开。简单的随机丢弃可能导致模型忽视重要的节点和关系。为解决这个问题,本文模型采用了一种多视图对比方法,有助于识别有价值的用户项目关系。

2 推荐算法框架

本章将详细描述提出的推荐框架KRMVC。KRMVC的目标是将自监督学习(SSL)和知识感知推荐(KGR)结合,以此来改进用户和项目的表示学习。框架结构如图1所示,本文框架生成了四种不同的图形视图,包括全局层次的结构视图和局部层次的意图、协调及协同视图,将局部视图交叉对比学习和全局视图横向对比学习相结合,以提升推荐性能。

2.1 用户意图建模

先前基于图神经网络的研究,它们假设用户和项目之间没有或只有一种交互关系。然而,本文目标是捕捉影响用户行为的多个意图。将意图定义为用户选择项目的原因,它反映了所有用户行为的共性。以音乐推荐为例,可能的意图包括对音乐属性的不同考虑,如艺术家与合作伙伴的组合,或音乐风格和情感的选择。通过将用户驱动的类似意图与项目上的偏好相匹配,可以提升广泛使用的协同过滤效果。受该观点的启发,本文以意图为粒度来建模用户项目关系[24]。假设IS是所有用户共享集合,将用户项目关系划分为|IS|个意图,并将每个(u,i)分解为{(u,s,i),s∈IS}。因此,用户项目交互图重新组织为一个异构图,称为意图图谱(intent graph,IG)。

2.1.1 意图的表示学习

为了明确识别每个意图的语义,KTUP[25]提出了一个简单的解决方案,但这个方案仅考虑了单个关系,没有考虑关系的交互和组合,因此为每个意图s∈IS分配一个关于知识图(KG)关系的分布,采用注意策略来创建意图嵌入:

其中:er为关系r的嵌入,将关系r赋予注意分数α(r,s)以量化其重要性,形式如式(2)所示。

其中:wrs是特定关系r和特定意图s的可训练权重。

2.1.2 意图的独立建模

一个具有独立信息的意图能提供一种有价值的角度来描述用户的行为模式,相反如果一个意图可以通过其他意图推断得出,那么它可能是冗余的。因此,为了提高模型的性能和可解释性,鼓励意图的表示彼此之间有所区别。这里引入一个独立意图表示学习的建模模块,通过应用统计量互信息作为正则化器来实现[26]:

其中:m(·)是衡量任意两个意图表示之间关联性的函数,本文设置为余弦相似度函数;τ是softmax函数中的温度超参数。

2.2 多视图生成

与以往方法不同,本文在用户项目交互图中引入了交互意图,形成用户-意图-项目-实体图,以实现更精细的学习。这包括用户-项目-实体图,并同时考虑局部和全局视图。首先根据项目-项目关系将图分成用户-意图-项目图和项目-实体图。用户-意图-项目图包含用户-项目图,被视为局部协同视图,用于挖掘项目之间的协同关系。用户-意图-项目图被视为局部意图视图,用于探索用户项目交互背后的意图。项目-实体图被视为局部协调视图,协调不同意图路径对用户项目交互的影响。原始的用户-项目-实体图被视为全局结构视图,保存完整的路径结构信息,即用户-项目-实体的远程联通性,结合这四个视图,推荐模型能够在多个层次上全面理解用户和项目之间的关系。每个视图提供了不同的信息和角度,相互之间互补,从而增强了模型的能力,更细粒度地识别用户和项目之间的交互关系。通过这样的视图划分,可以综合考虑用户、项目、意图和实体之间的关系,并在不同的视图上进行对比学习,从而实现更精细的推荐学习。

2.3 局部对比学习

基于在局部层面获取的意图、协调和协同视图,继而探索了三种具有合适图编码器的图形视图,并对它们进行了对比学习以实现相互监督。具体而言,在意图、协调视图中,本文提出了一种新的GNN信息聚合方案,该方案允许提取关于用户意图的有用信息,并将它们编码到用户和项目的表示中;在协同视图中,本文使用了经过改进的Light-GCN[17]在两个视图中学习全面的项目表示。随后,通过对三个视图特定的嵌入进行编码,本文提出了一种局部对比学习方法,鼓励这三个视图共同改善表示效果。

2.3.1 意图视图编码

意图视图注重用户交互背后的意图识别,考虑在用户意图的细粒度级别上捕捉更细粒度的模式,假设具有相似意图的用户会有相似的物品偏好。如前所述,协同过滤效应[2~4]通过假设具有相似行为的用户具有相似的物品偏好,这启发本文将用户的历史交互数据视为用户预先存在的特征。首先从意图图谱(IG)中提取用户意图信息,考虑IG中的用户u,本文使用Nu={(s,i)|(u,s,i)∈D}来表示意图感知历史和用户u的一阶连接。因此可以将历史物品的意图感知信息整合起来,创建用户u的表示形式:

X(k+1)u=fIG({(Xku,es,Xki)|(s,i)∈Nu})(4)

其中:X(k)u表示用户u的k阶表示;fIG(·)表示每个一阶(u,s,i)的聚合函数。这里将fIG(·)实现为

其中:e(k)i是项目i的嵌入;⊙是元素积。对于特定的某一个用户,不同的意图会对其行为产生不同的激励作用,因此本文引入一个注意力得分χ(u,s)来区分意图s的重要性。

其中:X(k)u是用户u的嵌入。通过元素积χ(u,s)es⊙e(k)i来构建项目i的信息,能够明确地表达用户k阶意图感知信息。在k层之后,可以得到用户u在不同层的表示,将它们求和即为用户u的最终表示。

Ziu=X(0)u+…+X(k)u(7)

2.3.2 协调视图编码

协调视图注重于协调不同意图路径对用户偏好的不同影响。由于一个实体可以出现在多个知识图(KG)三元组中,它可以将其连接的实体视为其属性,这些属性反映了项目之间的内容相似性。具体来说,使用Ni={(r,v)|(i,r,v)∈G}来表示项目i的属性和一阶连通性,然后将关联实体的关系感知信息进行聚合,得到项目i的表示为

X(k+1)i=fKG({(X(k)i,er,X(k)v)|(r,v)∈Ni})(8)

其中:X(k)i是k阶连接中收集信息的表示;fKG(·)是用于提取和整合每个连接(i,r,v)信息的聚合函数。先前的研究仅通过注意机制模拟知识图关系在衰减因子中的作用[26],本文考虑了聚合器的关系上下文,将聚合器的关系上下文建模为

其中:Nli是所有以i为起点的l跳路径集合,在k层之后,可以得到项目i在不同层的表示,将它们求和即为项目i的最终表示。

Zci=X(0)i+…+X(k)i(11)

2.3.3 协同视图编码

协同视图侧重于项目之间的协同信息,即項目-用户-项目的共现情况。通过对用户-项目交互的远程连接进行建模,可以在协同视图中捕获协同信息。在这里,借鉴了之前基于协同过滤(CF)的工作[2~4],采用了Light-GCN进行处理。Light-GCN以递归方式进行k次聚合,其中包含简单的消息传递和聚合机制,无须进行特征转换和非线性激活,从而实现了高效的计算。在第k层中,聚合过程可以被表述为

其中:X(k)u和X(k)i表示用户u和项目i在第k层的嵌入;Nu和Ni分别表示用户u和项目i的邻居节点。将不同层上的表示相加为局部协同表示,如式(13)所示。

Zsu=X(0)u+…+X(k)u,Zsi=X(0)i+…+X(k)i(13)

对于相同实体的协同视图,通过使用加权求和的方法,为每个协同视图分配一个权重,然后将不同协同视图的表示按照权重进行线性组合。这样可以综合考虑相同实体的协同视图的贡献,并生成最终的综合表示。

2.3.4 局部跨视图对比优化

利用协同和协调视图,针对项目i的视图特定嵌入Zsi和Zci,进行局部跨视图对比学习,以监督两个视图学习具有区分性的表示。受文献[28]的启发,本文定义正样本和负样本如下:在一个视图中,随机节点与另一个视图学习到的相应节点形成正对,而所有其他节点被视为负样本。局部对比损失函数为

其中:s(·)表示余弦相似度计算;τ表示温度参数。负样本来自两个来源,即视图内和视图间的节点,对应于式(14)分母中的第二、三项。同理可得,协同和意图视图的针对用户u的视图特定嵌入Zsu和Ziu,局部对比损失函数如式(15)所示。

将对比学习后的嵌入和损失相加,得到局部层次的用户表示Zlocalu、项目表示Zlocali及局部对比总损失Llocal:

Zlu=Zsu+Ziu,Zli=Zsi+Zci,Llocal=Llocal_u+Llocal_i(16)

2.4 全局对比学习

在上述操作中,已经获得了用户和物品的部分信息特征,但是还没有探索用户-物品-实体之间的扩展链接信息,即整体图结构。因此,采用了以下全局对比学习方法,其中使用了路径感知编码器来探索结构视图。

2.4.1 结构视图编码

为了获得全局视图的编码信息,本文采用了图神经网络,它可以在l层中聚合邻居信息,并同时保留路径信息。聚合公式的处理过程如式(17)所示。

其中:β(i,r,e)可表示为

β(i,r,e)=softmax((Xi‖Xr)T·(Xe‖Xr))(18)

然后将所有层的表示相加得到全局用户表示Zgu和项目表示Zgi:

Zgu=X(0)u+…+X(L)u,Zgi=X(0)i+…+X(L)i(19)

2.4.2 全局跨视图对比优化

采用与局部层面对比学习相同的正负采样策略,全局视图和局部视图对比损失函数可表示为

用户嵌入计算的对比损失Lglobalu/Llocalu与Lglobali/Llocali类似,只需在式(20)中将物品嵌入替换为用户嵌入。因此,全局对比总损失如式(21)所示。

其中:N为项目数;M为用户数。

2.5 模型预测

在四个视图进行了多层聚合和多层跨视图对比学习优化后,本文获得了用户u的多个表示(Zsu,Ziu,Zgu)和项目i的多个表示(Zsi,Zci,Zgi)。将这些表示进行求和及连接,得到最终用户和物品表示,并通过内积预测它们的匹配分数,具体为

z*u=(zsu+ziu)‖zgu,

z*i=(zsi+zci)‖zgi,

(u,i)=z*uTz*i(22)

2.6 多任务训练

为了结合推荐任务和自监督任务,采用多任务训练策略来优化整个模型。本文使用成对的BPR损失函数[29]来重构历史数据,该损失函数使得历史交互物品的预测得分高于没有交互的物品。BPR损失函数定义如式(23)所示。

其中:O={(u,i,j)|(u,i)∈O+,(u,j)∈O-}是由观测到的交互O+和未观测到的交互O-组成的训练数据集;σ是sigmoid函数。将全局和局部对比损失与BPR损失相结合,最小化损失函数来学习模型参数:

LMCKL=LBPR+α(μLlocal+(1-μ)Lglobal)+βLINT+λ‖Θ‖22(24)

其中:Θ是模型参数集合;μ是确定局部和全局对比损失率的超参数;α、β和λ是控制对比损失率、独立损失率和L2正则项的超参数。

3 实验结果与分析

3.1 数据集和评价指标

在两个公开的数据集上评估KRMVC和基线模型的性能。MovieLens-1M是一个电影推荐的基准数据集,包含约1百万条明确评分,涵盖了来自6 036名用户对2 445个项目的评分。Yelp2018是Yelp网站2018年挑战赛所采用的公开数据集,包含用户查看过的餐厅、酒吧等商家记录。表1显示了这两个数据集的统计信息。

将数据集以6∶2∶2的比率划分成训练集、验证集和测试集。在两个实验场景中评估了本文的模型:a)在点击率(CTR)预测方面,将训练好的模型应用于预测测试集中的每个交互,采用了两个广泛使用的指标AUC和F1来评估CTR预测效果;b)在top-K推荐方面,使用训练好的模型在测试集中为每个用户选择预测点击概率最高的K个项目,选择recall@K来评估推荐模型的效果。

3.2 对比方法和参数设置

本文选用了7个不同研究方法的基线与KRMVC进行比较。

a)BPRMF[29]:通过最大化后验概率来学习,使得观察到的物品得分高于未观察到的物品。

b)CKE[30]:设计了三个组件,分别从结构、文本和视觉内容中提取物品的语义表示。

c)RippleNet[31]:通过自動且迭代地沿着知识图中的链接扩展用户潜在兴趣,模拟用户偏好在一组知识实体上的传播。

d)KGAT[32]:通过递归地从节点的邻居和高阶连接中传播嵌入,以端到端的方式明确模拟知识图中的高阶关系。

e)KGIN[24]:在GNN范式中考虑了用户-物品关系,具有更细粒度的长期意图和关系路径语义。

f)MCCLK[33]:通过本地和全局层面上跨三个视图进行对比学习,在自监督的方式下挖掘全面的图形特征和结构信息。

g)MFCCL[34]:在全局和局部视图采用了多种视图增强方法,用多视图融合跨层对比学习获取更多的特征信息。

为了公平比较,将所有的基线方法参数设置为原始文献最佳值。其中,用户和项目的嵌入维度设为64,batchsize为2 048,模型优化器为Adam,使用Xavier初始化器初始化参数,学习率为10-3,温度超参数τ为0.5,超参数λ为10-5。表2提供了其他超参数的最优设置。

3.3 实验结果分析

多次实验得到的CTR预测结果如表3所示,top-K推荐结果如图2和3所示。对实验数据进行分析得到以下结论:

a)本文模型在两个数据集上表现都较好。具体而言,KRMVC模型在MovieLens和Yelp2018数据集上进行CTR预测任务,其中AUC评价指标相较于最先进的基线提升了1.1%与0.7%,F1指标分别提升了1.4%和1.0%。在top-K推荐任务中,recall@K指标在任何K值下都优于最先进的基线。以上的实验数据充分验证了本文模型的有效性。

b)与BPRMF、CKE和RippleNet相比,KRMVC在其架构中结合了Light-GCN和知识感知图神经网络。这种设计使本文模型能够充分利用评分和评论文本中难以察觉的信息,使模型能够理解用户和物品之间的关系。通过这种方式,本文模型通常会产生优秀的用户和物品表示,从而提高评分预测性能。

c)本文采用了对比学习方法来自监督KRMVC模型,它在性能上始终优于KGAT和KGIN。尽管GNN已经被集成到KGAT和KGIN中,并且已經取得了一定的进展,但它们仍然需要监督信号来增强自身的学习能力,并跟上基于对比学习模型的性能。

d)KRMVC模型引入了用户意图概念,并通过多层次视图对比学习方法进行深入挖掘。它更准确地捕捉用户的偏好和兴趣,提供强大的用户和物品表示。与MCCLK模型相比,KRMVC利用全局和局部视图进行跨视图对比学习,综合考虑全局结构、局部协同关系和意图探索。这使得KRMVC模型更全面地理解用户与物品之间的关系,提供准确和有用的推荐结果。

e)MFCCL模型采用的增强方法可能会导致图结构的改变或噪声的引入,从而可能影响模型对用户项目交互关系的准确建模。KRMVC模型在设计GNN信息聚合方案时专注于提取有用的用户意图信息,通过在全局和局部层次上跨四个视图进行对比学习,KRMVC模型能够更全面地理解用户与物品之间的关系,提供更准确和有用的推荐结果。

3.3.1 消融实验

为了验证KRMVC各组件的性能和有效性,通过以下实验进行对比。

a)V1:移除全局对比模块,保留局部意图、协调、协同视图学习。

b)V2:移除局部对比模块,保留全局结构视图学习。

c)V3:在V2基础上,加入意图、协调视图学习。

在两个数据集上的消融实验结果如表4所示。观察表4数据可得,KRMVC性能优于V1与V2,验证了局部和全局多视图跨层对比学习对模型优化的积极作用。在数据集MovieLens中,V1性能优于V2,但在Yelp2018数据集中相反,这表明在大规模数据集中,学习局部各视图之间的区分性信息更具优势。此外,V3性能始终优于V2,而KRMVC性能始终优于V3,这证明了意图、协调视图的加入和协同视图并不冲突,新的GNN信息聚合方案通过更精细地建模和关系路径的利用,能够捕捉用户意图的有用信息,并在实验性能对比中展现出较高的性能和解释性,这三个视图的局部对比学习对算法起到了优化作用。

3.3.2 超参数敏感性分析

为了观察模型在不同设置下的性能变化,本文通过系统地调整模型的超参数,以揭示超参数对于模型表现的影响,分析不同超参数对CTR预测任务中AUC指标的影响。

a)局部对比损失权重μ控制了局部对比损失在最终对比损失中的影响,本文在{0,0.2,0.4,0.6,0.8,1.0}内变化μ,实验结果如表5所示。通过实验分析,μ=0和1的情况下表现最差,证明了两级对比损失的有效性,而μ=0.4在模型优化中平衡了局部和全局的对比损失。

b)对比损失权重α决定了在多任务训练中对比损失的重要性。本文在{1,0.1,0.01,0.001}内变化α,实验结果如表6所示。可以观察到,α=0.1带来了最佳的模型性能,主要原因是将对比损失调整到与推荐任务损失相对平衡的水平可以提升模型性能。

c)为了分析意图数量的影响,本文在{1,2,4,8}内变化|IS|,实验结果如表7所示。增加意图数量在大多数情况下提升了性能,意图数量过多也会使一些意图过于细粒度,无法携带有用信息,实验表明数量为4最合适。

d)为了分析聚合深度对协调视图的影响,考虑变化关系路径聚合层数Kc。叠加更多层可以将更长距离的连接所携带的信息整合到节点表示中。本文在{1,2,3,4}内搜索Kc,并将结果总结在表8中。在大多数情况下,增加模型深度能够提升预测结果。实验表明聚合层数为3时性能最好。

3.4 实例分析

本节针对用户意图的语义进行实例分析,通过MovieLens一个例子展示模型的可解释性。如图4所示,可得以下观察结果。

a)新GNN聚合方案通过各种知识图关系引导出用户的意图及所有用户的共同特点。其中,对于一个意图,关系的权重反映了其影响用户行为的重要性。比如第一个意图s1的前两个关系是影片-奖项和影片-时长,而第二个意图s2被赋予最高得分的是影片-评分和影片-演员,很显然学习到的意图可以捕获用户选择的共享原因。此外由于对意图进行了独立建模,意图具有明确的边界,所以能从不同及独立的角度描述用户行为。

b)有一些关系在多个意图中都得到很高的权重得分,如影片-评分,这表明这个关系是与用户行为相关的共同因素,将其与其他关系(如影片-演员)联合起来,就可以把意图s2归纳为某个演员主演的高评分影片。

c)新GNN聚合方案可以为每个用户交互创建基于实例的解释及用户的个性化推荐。如图3实例中的交互u213-i2451,由式(6),根据注意力得分搜索最具有影响力的意图s2。这个意图解释了这个行为,用户u213选择影片i2451,是因为它符合用户u213对某个演员主演的高评分影片的兴趣。

4 结束语

本文基于知识图谱的多视图对比推荐算法框架KRMVC,KRMVC在用户物品表示学习中考虑了全局级别的结构视图、局部级别的意图、协调和协同视图四个视图角度,通过多级跨视图对比学习在四个视图之间进行信息交互,同时探索特征和结构信息,并进一步学习具有区分性的表示。在关系建模方面,KRMVC框架揭示了用户-物品关系的意图粒度,展示可解释的语义。同时,KRMVC利用关系路径感知的聚合从多跳路径中整合关系信息,以改进表示。通过引入多个视图来深度挖掘用户-项目偏好,视图的划分和设计有助于在不同层次上对用户-项目偏好进行更全面的表达和分析。除了视图层面的表现,本文还使用了对比学习方法,利用多任务策略对推荐监督任务和对比学习任务进行联合优化。这可以更好地利用视图中关于用户-项目偏好的信息,提升推荐模型的性能。本文对KRMVC框架的有效性和可解释性进行了深入分析,在两个公开数据集上进行了大量实验,实验结果证明KRMVC比现有先进方法取得了更好的性能。此外,本文认识到目前的研究通常将基于知识图谱的推荐框架作为一项监督任务,但这样的监督信号过于稀疏,無法提供高质量的表示。因此,计划在未来的工作中继续探索自监督学习,并引入因果概念,以进一步提升KRMVC框架在知识感知推荐中的性能和解释能力。

参考文献:

[1]徐鹏宇,刘华锋,刘冰,等.标签推荐方法研究综述[J].软件学报,2022,33(4):1244-1266.(Xu Pengyu, Liu Huafeng, Liu Bing, et al. Survey of tag recommendation methods[J].Journal of Software,2022,33(4):1244-1266.)

[2]He Xiangnan, Liao Lizi, Zhang Hanwang, et al. Neural collaborative filtering [C]//Proc of the 26th International Conference on World Wide Web.Republic and Canton of Geneva,Switzerland:International World Wide Web Conferences Steering Committee,2017:173-182.

[3]Lian Jianxun, Zhou Xiaohuan, Zhang Fuzheng, et al. xDeepFM:combining explicit and implicit feature interactions for recommender systems[C]//Proc of the 24th ACM SIGKDD International Confe-rence on Knowledge Discovery & Data Mining.New York:ACM Press,2018:1754-1763.

[4]Liu Yong, Wei Wei, Sun Aixin, et al. Exploiting geographical neighborhood characteristics for location recommendation[C]//Proc of the 23rd ACM International Conference on Information and Knowledge Management.New York:ACM Press,2014:739-748.

[5]Chen Ting, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations[C]//Proc of the 37th International Conference on Machine Learning.[S.l.]:JMLR.org,2020:1597-1607.

[6]Chen Yu, Wu Lingfei, Zaki M. Iterative deep graph learning for graph neural networks:better and robust node embeddings[J].Advances in Neural Information Processing Systems,2020,33:19314-19326.

[7]Dwivedi V P, Joshi C K, Luu A T, et al. Benchmarking graph neural networks[EB/OL].(2022-12-28).https://arxiv.org/abs/2003.00982.

[8]Gao Bin, Liu Tieyan, Wei Wei, et al. Semi-supervised ranking on very large graphs with rich metadata[C]//Proc of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York:ACM Press,2011:96-104.

[9]Gao Jun, He Di, Tan Xu, et al. Representation degeneration problem in training natural language generation models[EB/OL].(2019-07-28).https://arxiv.org/abs/1907.12009.

[10]Bordes A, Usunier N, Garcia-Durán A, et al. Translating embeddings for modeling multi-relational data[C]//Proc of the 26th International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2013:2787-2795.

[11]Wang Zhen, Zhang Jianwen, Feng Jianlin, et al. Knowledge graph embedding by translating on hyperplanes[C]//Proc of the 28th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2014:1112-1119.

[12]Hu Binbin, Shi Chuan, Zhao W X, et al. Leveraging meta-path based context for top-n recommendation with a neural co-attention model[C]//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York:ACM Press,2018:1531-1540.

[13]Shi Chuan, Hu Binbin, Zhao W X, et al. Heterogeneous information network embedding for recommendation[J].IEEE Trans on Know-ledge and Data Engineering,2018,31(2):357-370.

[14]Ying R, He Ruining, Chen Kaifeng, et al. Graph convolutional neural networks for Web-scale recommender systems[C]//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York:ACM Press,2018:974-983.

[15]Wang Xiang, He Xiangnan, Wang Meng, et al. Neural graph collaborative filtering[C]//Proc of the 42nd International ACM SIGIR Confe-rence on Research and Development in Information Retrieval.New York:ACM Press,2019:165-174.

[16]Chen Lei, Wu Le, Hong Richang, et al. Revisiting graph based collaborative filtering:a linear residual graph convolutional network app-roach[C]//Proc of AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2020:27-34.

[17]He Xiangnan, Deng Kuan, Wang Xiang, et al. LightGCN:simplifying and powering graph convolution network for recommendation[C]//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM Press,2020:639-648.

[18]Strub F, Mary J, Philippe P. Collaborative filtering with stacked denoising autoencoders and sparse inputs[C]//Proc of NIPS Workshop on Machine Learning for eCommerce.2015.

[19]Wu Zhirong, Xiong Yuanjun, Yu S X, et al. Unsupervised feature learning via non-parametric instance discrimination[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway,NJ:IEEE Press,2018:3733-3742.

[20]He Kaiming, Fan Haoqi, Wu Yuxin, et al. Momentum contrast for unsupervised visual representation learning[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2020:9726-9735.

[21]Shuai Jie, Zhang Kun, Wu Le, et al. A review-aware graph contrastive learning framework for recommendation[C]//Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM Press,2022:1283-1293.

[22]Yu Junliang, Yin Hongzhi, Xia Xin, et al. Are graph augmentations necessary?Simple graph contrastive learning for recommendation[C]//Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM Press,2022:1294-1303.

[23]Tian Yonglong, Krishnan D, Isola P. Contrastive multiview coding[C]//Proc of the 16th European Conference on Computer Vision.Berlin:Springer,2020:776-794.

[24]Wang Xiang, Huang Tinglin, Wang Dingxian, et al. Learning intents behind interactions with knowledge graph for recommendation[C]//Proc of Web Conference.New York:ACM Press,2021:878-887.

[25]Cao Yixin, Wang Xiang, He Xiangnan, et al. Unifying knowledge graph learning and recommendation: towards a better understanding of user preferences[C]//Proc of World Wide Web Conference.New York:ACM Press,2019:151-161.

[26]Wang Hongwei, Zhang Fuzhen, Zhang Mengdi, et al. Knowledge-aware graph neural networks with label smoothness regularization for recommender systems[C]//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York:ACM Press,2019:968-977.

[27]Sun Zhiqing, Deng Zhihong, Nie Jianyun, et al. Rotate: knowledge graph embedding by relational rotation in complex space[EB/OL].(2019-02-26).https://arxiv.org/abs/1902.10197.

[28]Zhu Yanqiao, Xu Yichen, Yu Feng, et al. Deep graph contrastive representation learning[EB/OL].(2020-07-13). https://arxiv.org/abs/2006.04131.

[29]Rendle S, Freudenthaler C, Gantner Z, et al. BPR: Bayesian personalized ranking from implicit feedback[EB/OL].(2012-05-09).https://arxiv.org/abs/1205.2618.

[30]Zhang Fuzheng, Yuan N J, Lian Defu, et al. Collaborative know-ledge base embedding for recommender systems[C]//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York:ACM Press,2016:353-362.

[31]Wang Hongwei, Zhang Fuzheng, Wang Jialin, et al. RippleNet:propagating user preferences on the knowledge graph for recommender systems[C]//Proc of the 27th ACM International Conference on Information and Knowledge Management.New York:ACM Press,2018:417-426.

[32]Wang Xiang, He Xiangnan, Cao Yixin, et al. KGAT: knowledge graph attention network for recommendation[C]//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York:ACM Press,2019:950-958.

[33]Zou Ding, Wei Wei, Mao Xianlin, et al. Multi-level cross-view con-trastive learning for knowledge-aware recommender system[C]//Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM Press,2022:1358-1368.

[34]顧嘉静,杨丹,聂铁铮,等.基于多视图融合跨层对比学习的推荐算法[J/OL].计算机工程.(2023-04-04).https://doi.org/10.19678/j.issn.1000-3428.0066906.(Gu Jiajing, Yang Dan, Nie Tiezheng, et al. A recommendation algorithm based on multi-view fusion and cross-layer contrastive learning[J/OL].Computer Engineering.(2023-04-04).https://doi.org/10.19678/j.issn.1000-3428.0066906.)

猜你喜欢
推荐系统知识图谱
数据挖掘在选课推荐中的研究
基于用户偏好的信任网络随机游走推荐模型
基于个性化的协同过滤图书推荐算法研究
个性化推荐系统关键算法探讨
国内图书馆嵌入式服务研究主题分析
国内外政府信息公开研究的脉络、流派与趋势
基于知识图谱的产业集群创新绩效可视化分析
基于知识图谱的产业集群创新绩效可视化分析
基于知识图谱的智慧教育研究热点与趋势分析
浅谈Mahout在个性化推荐系统中的应用