一种改进的深度神经网络应用于推荐系统

龚道庆 曹爱清

摘   要：推荐系统是信息过滤的一种重要工具。随着互联网和大数据的介入，推荐系统的技术革新面临着新的挑战。近年来，深度学习的革命性进步在语音识别、图像分析和自然语言处理方面都受到了广泛关注。与此同时，一种应用于许多复杂任务的最先进的机器学习技术被用于推荐系统，以提高推荐的质量。由于其一流的性能表现和高质量的推荐结果，深度学习可以更好地理解用户需求、项目特征及其之间的历史性互动。文章提出将一种改进的深度神经网络应用于推荐系统。实验结果表明，该方法的效果令人瞩目。

关键词：深度神经网络;推荐系统;进化算法

信息技术的革新、物联网的迅猛发展以及在线服务的普及为人们快速获取大量信息提供便捷。但是，面对海量数据源，人们为了找到合适、有用的信息，导致了信息超载问题的出现。深度学习在各方面取得了优异的进展[1-2]。因此，将深度学习引入推荐系统将会有很大的竞争力。

1    推荐系统算法分类

推荐系统总的来说可以分为3类，即基于内容的推荐、协同过滤的推荐和混合推荐[3-4]。其中，基于协同过滤的推荐还包括基于近邻的协同过滤和基于模型的协同过滤。基于近邻的协同过滤又可以细分为基于用户的协同过滤和基于项目的协同过滤。基于模型的协同过滤则包含贝叶斯网络模型、隐因子模型、图模型等。

2    深度神经网络的改进方法

2.1  卷积网络参数优化

一组合适的超参数对卷积网络的性能起决定性作用[4]。卷积网络中的卷积块、池化块等对特征提取至关重要。本研究利用遗传算法（GA），通过迭代优化出最佳卷积池化全连接的链接形式。遗传进化基因编码如图1所示。

其中，“C”代表卷积块，“P”代表池化块，而“F”代表全连接块。在图1（a）中，随意生成了包含卷积-池化-卷积-卷积-池化-全连接的一条基因编码。通过随机初始化的基因，根据数据集的不断进化得到最佳组合的卷积网络模型，其过程概述如下：

（1）初始化GA参数。

（2）设定超参数（卷积块、池化块、全连接块）及其对应的阈值。

（3）遗传进化，迭代出最优参数组合。

（4）得到最优卷积网络模型（GA-CNN）。

2.2  多层感知机（MLP）参数优化

在多层感知机中，结构当中的隐藏层和没层中的神经元个数对整个网络性能影响极大，因此，本研究同样利用GA对多层感知机（Multilayer Perceptron，MLP）中的隐藏层数和神经元个数进行迭代优化，得到最优组合，其过程概述如下：

（1）初始化GA参数。

（2）设定层数、神经元进化取值范围。

（3）遗传进化。

（4）得到最优组合，构建MLP网络（GA-MLP）。

3    基于改进的深度学习推荐系统框架

首先，将用户显示或隐式反馈数据、用户画像和项目内容等信息、社会化关系、标签、评论等辅助数据输入到GA-CNN网络模型中进行特征提取，得到项目隐表示和用户隐表示;其次，将提取到的隐表示特征输入到GA-MLP当中;最后，通过多层感知机分类结果生成推荐列表给用户推荐。框架如图2所示。

其中，用户、项目内容属性以及社会化标签等辅助信息都是中文形式。要想将这些文字放入卷积网络当中进行特征提取，需要用到微软研发的Word2vec工具进行转换。任何一个词，都可以表示成一个向量。利用神经网络来理解词，最简单的方法是对单词进行one-hot编码，但是得到的结果极度稀疏。Google的Tomas Mikolov研究发布的一款基于深度学习进行词向量学习的工具Word2vec，进一步将one-hot压缩成了一个稠密的向量（Dense Vector，DV）。通过简化神经网络语言模型内部结构（舍弃复杂的非线性隐藏层），缓解了Bengio模型中占用空间多的问题，Word2vec同时使用了目标词的上下文信息，省去了人工标注的工作，学习速率大幅度提升，且能够更好地表示词语特征。

4    实验结果

本节实验在ml-100k，ml-1m，ml-10M，amazon数据集上进行，对项目协同过滤推荐模型、SVD推荐模型、PMF推荐模型、CMF推荐模型以及本实验的GA-HDL（进化混合深度）模型在召回率指标上做出比较，结果如表1所示。

可以看出，ml-100k，ml-1m，ml-10M，amazon这4个数据集，在使用改进后的混合深度神经网络模型中，在召回率指标上都优优于Item-based模型、SVD推荐模型、PMF推荐模型、CMF模型。其中召回率如式（1）：

R（u）表示推薦系统在测试集上为用户生成的推荐列表，T（u）表示用户在测试集上的所有喜欢的项目。本研究通过遗传算法GA分别对卷积神经网络和多层感知机进行结构优化[5]，再将优化后的网络组合结构引用到推荐系统当中。提出的模型相对于传统方法有更好的推荐效果。

[参考文献]

[1]黄立威，江碧涛，吕守业，等.基于深度学习的推荐系统研究综述[J].计算机学报，2018（7）：1619-1647.

[2]张祖平，沈晓阳.基于深度学习的用户行为推荐方法研究[J].计算机工程与应用，2019（4）：142-147，158.

[3]邓园园，吴美香，潘家辉.基于物品的改进协同过滤算法及应用[J].计算机系统应用，2019（1）：182-187.

[4]蒋宗礼，于莉.基于用户特征的协同过滤推荐算法[J].计算机系统应用，2019（8）：190-196.

[5]唐贤伦，刘庆，张娜，等.混合PSO优化卷积神经网络结构和参数[J].电子科技大学学报，2018（2）：230-234.