深度学习下的推荐系统研究

王涛+李明

摘要：推荐系统是商业领域的重要组成部分，深度学习在信息检索和推荐系统方面得到广泛的应用，深度学习下的推荐系统更能抽象出用户的兴趣因子、项目特性以及历史信息，提高推荐的准确性。因此将深度学习与推荐系统的相结合成为推荐系统的一个新热点，该文通过对深度学习在推荐系统上应用的一些思想进行了解析，并对深度学习在推荐系统中的应用进行了展望。

关键词：深度学习；神经网络；推荐系统

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）25-0180-02

随着网络信息量的爆炸式增长和用户数目的日益增多，满目琳琅的商品如何在用户选择时脱颖而出，推荐系统作为一种有用的信息过滤工具，来引导用户以个性化的方式发现他们可能感兴趣的商品或需求，缓解用户信息量过载的问题。过去的推荐系统中运用机器学习的方法通过对用户偏好、项目特征、历史信息以及其他一些附加信息（如时间和空间数据），通过矩阵模型建立用户兴趣形成打分机制，从而为用户生成推荐列表。推荐模型主要分为协同过滤、基于内容的推荐和混合推荐系统[1]。然而，这些模型在处理数据稀疏性和冷启动问题有各自的局限性，通过衡量推荐结果的准确度来决定推荐质量的好坏[2]。基于深度学习推荐系统，克服了傳统模型的障碍，深度学习可以有效地捕获非线性和非平凡的用户项关系，并能够将更复杂的抽象编码作为更高层的数据表示。此外，它还可以从丰富的可访问数据源（如上下文、文本和视觉信息）中捕捉数据本身之间错综复杂的关系，从而提高推荐质量。

1 深度学习

深度学习是机器学习一个新的研究领域，深度学习的概念由Hinton等人于2006年提出[3]。近年来，在图像处理、语音识别和自、然语言处理等方面取得了革命性的进展。深度学习的原理是样本数据通过一定的训练模型进而得到包含多个层级的深度网络结构，得到的深度网络结构层次中有大量的单一元素（即神经元），每个神经元又与其他多个神经元相连接，相连神经元之间权值在学习过程中不断地进行修改[4]，由深度学习所得到的深度网络结构符合神经网络的特征[5]。目前学者们已经给出前馈深度神经网络、反馈深度神经网络、双向深度神经网络等模型。深度学习其本质在于构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息。从而对样本进行分类和预测，提高分类和预测的精度。将深度学习应用在推荐系统上，最常见的在于基于内容的深度学习推荐。

2 深度学习中的推荐系统

（1） 多层感知器的推荐系统

神经网络一般包含组成网络输入层的一组输入、一个或多个具有计算节点的隐藏层和一个具有计算节点的输出层，处理过程是一层层地前向进行的，这类人工神经网络通常称为多层感知机（MLP），MLP代表简单感知机的概化神经网络中的每个神经元模型通常包含一个非线性的激活函数，S型曲线或者双曲线函数。在应用多层感知机做推荐时，运用神经协同过滤推荐算法[6]捕捉用户和项目之间的非线性关系，形成用户偏好和项目特性之间的双向交互。例如，矩阵分解将评分矩阵分解为低维潜在用户空间和低维潜在项目空间。

（2） 自编码器的推荐系统

自编码器是一种无监督的模型试图重建在输出层的输入数据。一般来说中间层作为输入数据的显著特征表示。常用做自编码器的推荐系统主要是发现用户的潜在特征，在用户评分矩阵做评分预测时，输入时使用已经评分的部分，通过自编码器学习恒等函数获得数据的深层次表达，然后再利用这组表达去重构评分矩阵缺失的部分即得到预测值，从而进行推荐。

（3） 卷积神经网络的推荐系统

卷积神经网络的基本结构包括特征提取层和特征映射层，特征提取层的各个神经元输入上与前一层局部接受域互相连接，并提取该局部的特征。特征映射层中网络上的每个计算层是由多个特征映射相互组成，每个特征映射为一个平面，平面上所有神经元其权值相等。将卷积神经网络（CNN）应用推荐系统的研究工作中，一类是把CNN等神经网络作为特征提取器，从图片、文本等辅助信息中提取特征向量，再融合到传统的如BPR， PMF等基于矩阵分解的推荐系统模型中来提升推荐性能。另一类是深度合作神经网络[7]通过构建了两个并行的CNN模型，一个以用户发表的评论文本作为输入，提取用户的行为特征；另一个以商品收到的评论文本作为输入，学习商品的特性。在两个CNN模型的输出层之上有一个共享层，使用FM来建模用户的特征与商品的特征之间的关联关系，从而将用户向量和商品向量映射到相同的特征空间。同时对用户特征和商品特征进行提取，再通过因子分解机来预测用户对商品的评分值，从而对用户进行推荐。

（4） 深度语义相似性模型的推荐系统

深层语义相似性模型[8]，又称深层结构的语义模型，是一种常见的连续测量语义相似性的语义空间和实体的语义表征深度学习神经网络，直接训练搜索目标，而不是像自动编码器那些学习无监督的目标使用深度模型，能更好地提取语义特征。深度语义相似模型做推荐主要用于搜索引擎和搜索广告等方面较多。搜索引擎和搜索广告最重要的是解决问题的语义相似度，这里主要体现在两个方面：召回和排序。深层语义相似性模型的原理很简单，通过搜索引擎里Query 和Title的海量的点击曝光日志，用DNN把Query和Title表达为低纬语义向量，并通过cosine距离来计算两个语义向量的距离，最终训练出语义相似度模型。

（5） 受限玻尔兹曼机的推荐系统

受限玻尔兹曼机（Restricted Boltzmann Machine，简称RBM）实质是一个编码解码器，RBM可以把原始输入数据从可视层映射到隐藏层从而得到原始输入数据的隐因子向量表示，这一过程为编码过程。利用得到的隐藏层向量重新映射回可视层，得到新的可视层数据，这个过程称为解码过程。从而使解码后的结果能和原始数据尽量接近，解码后不但能得到已评分物品的新评分数据，还可以对未评分物品得分情况进行预测，使得未评分物品的分数从高到低的排序给用户形成推荐列表。大多数关于深层模型和推荐结合的工作都集中在传统的协同过滤用户-项目模型上。受到深度学习模型在特征提取和特征探测上的启发，利用多层波兹曼机和传统方法结合形成的新的推荐算法模型，通过对原始数据抽象特征提取，将原有M*N的数据抽象提取M*K的特征数据，在再结合传统最近邻方法进行打分预测，从而对用户进行推荐。endprint

3 结束语

近年来，深度学习思想运用在推荐系统上提高了深层推荐的准确性，而系统中大量项目和用户关系的可扩展性仍是值得研究的方向。挖掘深层次的用户-项目关系，才能使推荐系统更加人性化，提高推荐的效率。

参考文献：

[1] Gediminas Adomavicius and Alexander Tuzhilin.Toward the next generation of recommender systems： A survey of the state-of-the-art and possible extensions. IEEE transactions on knowledge and data engineering 17，6 （2005）：734-749.

[2] 朱郁筱，吕琳媛.推荐系统评价指标综述[J].电子科技大学学报，2012（02）：163-175

[3] HINTON G.E，OSINDERO S，TEH Y.W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（ 7）：1527-1554.

[4] 尹宝才，王文通，王立春.深度學习研究综述[J].北京工业大学学报.2015（01）

[5] PSALTIS D，SIDERIS A，YAMAMURA A.Amultilayered neural network controller[J].IEEE Control Systems Magazine，1988，8（2）：17-21.

[6] Xiangnan He， Lizi Liao， Hanwang Zhang， Liqiang Nie， Xia Hu， and Tat-Seng Chua. 2017. Neural collaborative filtering. In Proceedings of the 26th International Conference on World Wide Web. International World Wide Web Conferences Steering Committee， 173-182.

[7] Lei Zheng， Vahid Noroozi， and Philip S. Yu. 2017. Joint Deep Modeling of Users and Items Using Reviews for Recommendation. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining （WSDM 17）. ACM， New York， NY， USA， 425-434.

[8] Po-Sen Huang， Xiaodong He， Jianfeng Gao， Li Deng， Alex Acero， and Larry Heck. 2013. Learning deep structured semantic models for web search using clickthrough data. In Proceedings of the 22nd ACM international conference on Conference on information & knowledge management. ACM， 2333-2338.endprint