融合隐语义和卷积神经网络的混合推荐模型研究

王子岚

（黄山职业技术学院 工贸系，安徽 黄山245000）

随着互联网技术的普及和教育信息化高速发展，越来越多的学习者选择在线学习的方式，各大在线学习平台中的课程和用户数量增长迅速。截止2018 年底，我国在线学习注册用户已达2.01 亿，其中手机在线学习用户数量达1.94 亿[1]。在线学习方式的高速发展，给用户带来了便利学习方式的同时，随之而来的是“信息过载”问题[2]。面对大量的在线学习资源，用户很难快速找到感兴趣的课程，容易出现“学习迷航”、“知识过载”等难题，从而严重影响学习者的学习积极性。推荐系统可以通过分析用户的需求和兴趣，运用推荐算法对用户可能喜欢的课程进行推荐[3]。传统的推荐算法主要有基于内容的推荐、基于协同过滤的推荐和混合推荐[4]3 种。其中基于内容的推荐需要从用户和课程对象本身进行特征提取，在实际应用中特征提取是难点[5]。基于协同过滤推荐只需要通过学习平台日志中的历史行为数据通过一系列相似度计算后进行推荐，简单有效，应用最多。但在平台实际的应用中面临评分矩阵稀疏[6]和冷启动[7]的问题。混合推荐是指将多种算法进行有效融合，然后进行推荐，应用平台中的推荐系统大多采用的都是混合推荐算法[8]。

近年来，随着人工智能第三次繁荣的到来，深度学习受到很多研究者的青睐。深度学习模型无需人工干预，自动学习数据特征，进而获取数据的深层次表示。其中卷积神经网络（Convolutional Neural Networks,CNN）在自然语言处理和推荐系统等各个领域表现尤其突出[8]。基于以上分析，本文提出一种融合隐语义和卷积神经网络的混合推荐模型（LFMCNN）。LFMCNN 在传统隐语义模型（Latent Factor Model,LFM）[9]的基础上加入信任度及置信度，提高模型的泛化能力；同时引入卷积神经网络提取课程简介深层特征，最后结合两者进行混合推荐。

1 隐语义模型

1.1 传统的隐语义模型

隐语义模型是Netflix Prize 竞赛中脱颖而出的优秀算法。该算法本质上是通过矩阵分解找到用户和隐分类之间的关系xu,k、课程和隐分类之间的关系yc,k，并基于此构建用户兴趣偏好进行推荐。传统的隐语义模型通过公式（1）来计算用户u对课程c的兴趣ruc。

其中k表示隐分类，xu,k表示用户和隐分类之间的关系，yc,k表示课程c与第k个隐分类之间的关系，ruc表示用户u对课程c的兴趣。

然后通过用户课程评分矩阵来学习xu,k和yc,k，为了避免过拟合，通过加入正则化项尽可能的让LFM预测偏好与实际偏好之间误差达到最小，提高模型的泛化性。优化目标函数为

其中ruc是用户u对课程c的真实兴趣值，r′uc是推荐系统对用户u的对课程c的兴趣的预测值。λ是正则化系数，‖xu‖和 ‖yc‖分别表示矩阵xu和yc中向量的欧几里得范数，k是训练集中(u,c)的集合。

1.2 改进隐语义模型

传统的隐语义模型是直接以用户评分数据作为输入的，这些数据来自于推荐系统中用户根据个人兴趣对课程的显性评价，但实际应用中，这样的数据很难收集，评分矩阵普遍稀疏。通过进一步研究发现，在线平台中很多用户对所学课程大多习惯性默认好评，说明评分本身不一定能代表用户的真实兴趣，而相对来说，在线日志中存在的大量浏览记录等隐性反馈数据，往往能反映用户真正喜欢的课程倾向。但隐性反馈数据没有明确的偏好，因此引入信任度pu,i：

公式（3）假设用户u对课程i有隐性反馈，就认为喜欢课程c,如果没有任何隐性反馈，就认为不喜欢。但这个假设本身有问题，没有隐性反馈，除了用户不喜欢以外，还很可能是不知道，即使有反馈，也不一定就表示喜欢，也可能是因为课程出现在热门区域的随机行为。因此，本文在信任度基础上又引入置信度Muc，构建用户偏

其中α是数值参数，用于控制置信度的增长速度。将优化目标函数改进后得：

其中Muc是用户u对课程c的信任度值，λ是正则化系数。 ‖xu‖和 ‖yc‖分别表示矩阵xu和yc中向量的欧几里得范数,k是训练集中已知(u,c)的集合。

2 融合隐语义和卷积神经网络的混合推荐模型

2.1 模型框架

本文提出的新模型LFMCNN 具体分为卷积神经网络的训练过程（实线路径）和新课程的推荐过程（虚线路径），框架结构如图1 所示。CNN 训练过程中，首先通过语言模型Word2vec将训练集中的课程简介转换成数据信息，作为CNN的输入。然后利用改进的LFM 将隐反馈数据信息分解为用户偏好向量和课程特征向量，并将分解得到的课程特征向量作为CNN 的输出，进行CNN 模型的训练。CNN模型训练完成后，将测试集中的课程简介通过Word2vec 转换后输入CNN，输出深层课程特征，最后融合用户特征进行新课程的推荐。

图1 融合隐语义和卷积神经网络的混合推荐模型框架

2.2 基于卷积神经网络的课程隐式特征提取

本文通过卷积神经网络从课程简介信息中提取课程隐式特征表示。卷积神经网络是基于生物视觉机制的启发，将人工神经网络和深度学习技术相结合形成的一种深度学习模型。该模型除了图像识别领域，目前在自然语言处理中也表现突出。与一般的神经网络的全部连接不同，其采用局部连接的方式，可以通过不同大小的卷积核进行特征提取。其中卷积核具备权重共享的特性，极大地降低了参数的数量以及模型的复杂度，使得其具有更好的泛化能力。其网络结构如图2所示。

图2 CNN课程隐式特征提取网络结构图

嵌入层将原始课程简介文本转换成n×k维词向量化形式，输入卷积层。首先用jieba分词工具将课程简介进行分词，然后选择语言模型将其转换为词向量，本文选用word2vec 模型将课程简介文本信息表示为T=[t1,t2,…，tn],其中n为文档中词的个数，在嵌入层转换后每个词统一转换为k维。

第二层是卷积层，共有q个神经元，每个神经元i通过不同大小的卷积核Fi∈Rp*k对输入的n×k维词向量进行卷积，以提取其上下文特征。其中卷积窗口的大小为p*k，通道数为n，k为每个单词的向量维数。第i个神经元通过卷积操作提取的特征为

其中，*表示卷积，b是偏置项，f为激活函数Relu，Relu函数公式如下：

通过卷积操作，第i个神经元通过卷积操作可以提取L-t+1个特征。

最大池化层从卷积层的输出中提取最大特征值，同时把文本信息转换成固定长度的特征向量，得到最终的卷积结果如下：

将卷积结果输入全连接层，进行BP算法链式求导，并采用Dropout 方法来缓解过拟合，提高模型泛化能力。最终输出课程的卷积语义特征y′c。运用均方误差函数来计算误差L，得到的优化目标函数如公式：

其中y′c为卷积神经网络预测的课程特征向量，yc为改进LMF模型分解得到的课程特征向量。

3 实验与验证

3.1 数据集预处理

实验数据包含在线教育平台的5万多条学习日志和6023 条课程简介文本。实验采用Word2vec 作为语言模型实现文本向量化，维度设置为100。由于采集到的数据集中正负样本比例分布极为不均，约为1：450，且负样本本身含有噪声，用随机欠采样对负样本进行处理。

3.2 评价指标

本文采用离线评估的方法来验证改进的推荐算法性能。选用RSME计算预测得分与实际得分之差，以反映推荐的准确性，相应公式为：

其中n是测试集大小，yu,i是用户的真实评分，y′u,i是用户的预测评分。

此外，为了更好地评价模型推荐的效果，通过推荐的课程列表是否满足用户需要来对模型进行评价。LFMCNN的评价指标为F1，相应公式如下：

其中R(u)是推荐给用户u的课程列表，T(u)是用户u在测试集上偏好的课程集合。

3.3 实验结果

实验环境为64为window10操作系统、GPU为NVIDIA GeForce GTX1080、语言环境为Python3.6。采用十折交叉验证方法，将LFMCNN 模型与两种经典推荐模型RSVD和CTR在同一数据集上进行实验验证。

表1 展示了新的推荐方法与对比方法的RSME实验结果，RSME值越小表示算法预测的效果越好，可以看出LFMCNN的效果最好。

表1 各模型在数据集上的RSME实验结果

实验中发现Recall 和Precison 很多时候不能共同处于较高值，如有时RSVD 中Recall 值比CTR 中的 Recall 值高，但 Precison 值比 CTR 中的低，此时不能单一地从一个指标来判断其性能，因此将F1作为系统推荐性能的综合指标，F1 值越高，表示系统的推荐效果越好。表2 展示的是F1 值在各模型上的实验结果。

表2 各模型在数据集上的F1值

通过实验结果可以得出，本文设计的LFMCNN模型在实验中的表现明显优于传统的推荐方法，体现新模型在课程推荐上应用的有效性。

4 结 语

面对在线教育平台的海量课程资源，为学习者提供个性化的课程推荐是智慧学习顺利实施的关键。本文从在线学习平台实际出发，分析得出平台中存在显性反馈信息不足，评分稀疏且有效性不高等问题。首先对传统隐语义模型进行改进，从在线平台中大量的隐性反馈数据中获得用户偏好和课程特征，缓解矩阵稀疏问题。然后构建卷积神经网络模型，提取课程简介中的深层特征，解决新课程的冷启动问题。通过实验验证，LFMCNN 模型在各个评价指标上都表现良好，这说明新模型的性能相对于传统推荐模型来说有了明显的提升。融合隐语义和卷积神经网络的混合推荐模型有效缓解了在线学习者的学习迷航问题，提升了智慧学习的体验效果。