基于深度学习的智慧图书馆移动视觉搜索服务模式研究

李默

摘 要：[目的/意义]大数据时代智慧图书馆用户需要精确智能的检索工具，而移动视觉搜索技术能够满足用户以视觉资源数据为中心的检索需求。[方法/过程]文章在分析国内外基于深度学习的视觉资源识别技术的研究基础之上，构建了基于深度学习的智慧图书馆移动视觉搜索服务模式模型，并设计了模型的工作流程，最后对基于深度学习的智慧图书馆移动视觉搜索系统的发展趋势进行了展望。[结果/结论]将深度学习融入智慧图书馆移动视觉搜索系统中，可以整合多源异构视觉数据、贴合用户个性化偏好以及提高移动视觉搜索系统性能。

关键词：智慧图书馆;移动视觉搜索;深度学习;服务模式;卷积神经网络;循环神经网络

DOI：10.3969/j.issn.1008-0821.2019.05.012

〔中图分类号〕G250.76 〔文献标识码〕A 〔文章编号〕1008-0821（2019）05-0089-08

Abstract：[Purpose/Significance]In the era of big data，smart library users need precise and intelligent retrieval tools.Mobile visual search technology can meet users search requirements centered on visual resource data.In recent years，deep learning technology has made breakthroughs in many research fields.[Method/Process]Based on the analysis of the deep learning based visual resource recognition technology at home and abroad，this paper constructed a mobile visual search service model of smart library based on deep learning，and designed the workflow of the model.Finally，the future development trend of deep learning based mobile visual search system of smart library was forecasted.[Result/Conclusion]Applying deep learning technologies into the smart library mobile visual search system，it can integrate multi-source heterogeneous visual data，fit users personalized preferences and improve visual search system performance.

Key words：smart library;mobile visual search;deep learning;service model;convolution neural network;recurrent neural network

随着人工智能、大数据、云计算、移动互联网等新兴技术的不断发展和广泛应用，以文献借阅为中心的图书馆传统馆藏服务模式逐渐向以满足读者个性化需求为中心的智慧型知识服务模式转变。智慧图书馆利用智能化、网络化、数字化的信息技术，为读者提供立体互联、无线泛在、节能高效的智慧型知识服务，是未来图书馆发展的新模式[1]。智慧图书馆提供的信息资源也不再仅仅局限于文本形式的数据，而是包括了图像、视频、3D模型等在内的多种视觉载体类型，以文本搜索为主的信息资源获取方式已经不适用于视觉资源的检索利用。而移动视觉搜索（Mobile Visual Search，MVS）技术利用移动智能终端获取的图像、视频、3D模型等视觉资源作为检索对象，并通过移动互联网在视觉资源知识库检索其关联信息资源，可以帮助读者从海量视觉资源数据中快速有效地找到其感兴趣的关联知识信息[2]。因此，MVS能够适应智慧图书馆多种类型数字资源的检索服务要求，为读者提供个性化的知識需求。

现有MVS系统中使用的检索方法大致可以分为两类，即基于文本和基于视觉资源内容两种方法。其中，基于文本的检索方法是将读者的检索关键词与视觉资源知识库中对应视觉资源的文本描述信息进行相似度比对，将相似度较高的视觉资源信息返回给读者，但这种方法会由于视觉资源标签标注的不准确导致检索结果的准确率比较低;基于视觉资源内容的检索方法是对读者提供的检索对象进行分析，提取检索对象的内容特征，包括低级特征（如纹理、形状、颜色等）和高级特征（如分层梯度方向直方图、颜色和边缘方向特征、尺度不变特征变换等），检索时计算检索对象的内容特征与视觉资源知识库中已有视觉资源内容特征的相似度，检索结果按相似度排序并提供给读者，然而这种检索方法受外界因素的影响比较大，在视觉资源采集环境或拍摄设备发生变化时检索结果也会发生很大的变动。近年来，随着深度学习在语音识别、图像识别、个性化推荐、自然语言理解等领域的突破性进展[3]，为MVS的研究带来了新的机遇。综上，为了提高MVS的准确度和鲁棒性，本文提出一种基于深度学习的智慧图书馆MVS服务模式，利用深度学习技术提取视觉资源内容特征和读者个性化特征，降低外部因素对检索结果的影响程度，提高读者的MVS服务满意度。

1 相关研究

自2009年David M Chen等[4]在首届MVS研讨会首次提出MVS概念以来，国内外研究机构和学者对MVS技术及其应用进行了研究，取得了一些显著成果。MVS的应用已经出现在了电子商务、移动识别、地标搜索、印刷品查询等领域，Google、亚马逊、淘宝、京东等公司也都开展了应用尝试，建立了具有代表性的MVS应用系统，提升了用户在移动网络环境下的搜索体验。而智慧图书馆的兴起和发展为MVS在图书情报领域的应用开拓了新的研究方向，引起了许多学者的关注。张兴旺等较早地对MVS在数字图书馆的应用进行了研究，分析了数字图书馆MVS机制的内涵、分类及架构设计[2]，设计了数字图书馆MVS的基本流程、服务模式和服务框架[5]，并提出了一种领域导向的、自适应的、可演化的数字图书馆MVS引擎[6];曾子明等则在智慧图书馆MVS研究方面开展了一系列工作，构建了智慧图书馆MVS服务模型及技术框架[7]，提出了基于SoLoMo的智慧图书馆移动视觉搜索服务模式[8]，设计了去中心化的智慧图书馆MVS管理体系[9]。另外，李晨晖等[10]对基于大数据的文化遗产数字图书馆MVS机制建设进行了研究;韩玺等研究了基于语义关联的图书馆MVS资源多维度聚合模型及其实现流程[11]，并提出了基于MVS的图书馆、档案馆、博物馆资源融合服务模式[12];孙翌等[13]以李政道图书馆特藏陈展服务为例，阐述了MVS技术在特色资源陈展服务中的各项应用功能;钟志鹏等[14]开发了一个基于MVS技术的博物馆导览系统。上述研究拓展了MVS在数字人文领域的应用实践，但作为一个新的研究方向和应用领域，智慧图书馆对MVS技术提出了更高的要求，比如，在视觉特征提取、语义分析与匹配、视觉资源个性化推荐等方面还有许多问题有待研究。

在移动终端计算资源有限的情况下，如何增强智慧图书馆MVS系统的鲁棒性和准确性，减少读者等待时间，是衡量MVS服务质量高低的核心问题。而深度学习具有组合低层特征形成高层语义抽象的能力，可以自动发现视觉数据的分布式特征表示，对提高MVS智能化水平具有重要意义。深度学习起源于人工神经网络，但由于受到梯度弥散问题和硬件资源的限制，神经网络的研究一直徘徊不前。2006年Geoffrey E Hinton等[15]提出了训练深层神经网络的基本原则方法，降低了深度神经网络的优化难度。近年来，随着计算能力的提升和训练数据集的增长，深度学习在人工智能多个研究领域都有了长足的发展。在图像识别领域，Krizhevsky A等[16]在2012年首次将卷积神经网络应用于大规模数据集ImageNet中，大幅降低了图像识别的错误率，而在2016年的ImageNet图像分类竞赛中，深度学习的图像识别准确率更是超过了97%;在视频识别领域，Wang W等[17]提出了一种基于全卷积神经网络的视频目标检测算法，设计了用于获取时间信息的动态神经网络和获取空间信息的静态神经网络，利用仿真生成的视频训练数据获得了视频的时间和空间特征;在3D模型识别领域，Han Z等[18-19]首先设计了一种圆形卷积受限玻尔兹曼机，用来学习3D模型局部区域的几何结构信息，然后又研究了一种Mesh卷积受限玻尔兹曼机，实现了3D模型的无监督特征学习。目前应用于视觉资源识别领域的深度学习模型主要包括：玻尔兹曼机、卷积神经网络、深度信念网络、自编码器和循环神经网络等。

深度学习可以对输入数据按层次进行抽象，获取数据的深层次表示特征，并通过对多源异构数据的自动特征学习，将不同数据在最初空间的表征映射到一个相同的隐空间，从而获得数据的统一表征[20]。因此将深度学习引入到智慧图书馆MVS系统中，能够对多源异构视觉数据进行有效地特征提取和分类操作，并通过构建相适应的服务模式提高智慧图书馆视觉资源的利用率，为读者提供以视觉资源为中心的个性化知识体系。

2 基于深度学习的智慧图书馆MVS服务模式

基于深度学习的智慧图书馆MVS系统将用户的视觉检索对象作为输入数据，利用深度学习模型提取智慧图书馆各类学术资源特征，通过融入用户情境信息和反馈数据，实现个性、准确、交互的智慧图书馆MVS服务。一个基本的服务模式模型如图1所示，由系统离线学习和用户在线检索两个阶段组成。

2.1 系统离线学习阶段

在系统离线学习阶段，主要是为整个搜索系统做好数据准备工作，包括提取视觉资源库中的数据特征、分析文本资源库中的文本语义、计算情境数据库中的情境信息以及获取用户知识库中的个性化需求特征。其中，视觉资源库用于存储从互联网采集的图像、视频、3D模型等视觉资源，将视觉资源内容以文件形式存储在分布式集群上，并将视觉资源文本描述信息存储在关系数据库中，同时为深度学习模型提供必需的训练数据集;文本资源库主要用来存储智慧图书馆中的学术文本数据，在对文本资源数据进行清洗后存储在分布式数据库中，并实现异构数据源文本数据的规范统一;情境信息库采用分布式表示技术存储与用户相关的情境信息，包括用户的检索时间、地理位置、网络环境、移动终端类型等数据，为基于深度学习的用户情境计算模型提供数据支持。

特征提取模块利用深度神经网络来提取视觉资源特征，而深度视觉资源特征是从大规模视觉数据中自动学习获得的，并将视觉资源的特征提取和识别分类任务融合到一个模型中进行，其功能在系统离线学习阶段和用户在线检索阶段共享。本文采用卷积神经网络和循环神经网络处理视觉资源數据，对于2D图像数据直接将图像作为网络输入进行特征提取计算，对于视频数据则提取视频中的时态和空间特征，而对于3D模型数据则将模型的投影视图和体素作为神经网络的输入。卷积神经网络避免了传统图像处理算法中复杂的特征提取融合过程，而且可以减少深度神经网络模型中的神经元和参数数量，提高了单位时间内的计算能力，它一般由输入层、卷积层、池化层、全连接层和输出层组成。循环神经网络能够建模序列数据中不同时刻数据之间的依赖关系，它将网络内部节点定向连接成环，通过自连接的方式实现序列数据信息的记忆与传递，对于处理序列数据建模能力强大且非常有效，一个循环单元由输入层、循环隐层和输出层组成，但是普通的循环神经网络存在梯度消失问题，Hocheriter S等[21]提出的长短时记忆网络增加了保存长期状态的隐层单元，可以更有效地对长程依赖关系进行建模。视觉资源特征提取模块具体流程和功能实现将在本文第三部分进行阐述。

语义分析模块则使用卷积神经网络对文本信息进行处理，首先通过卷积层对文本中的局部信息进行建模，得到若干个特征映射面，然后池化层从每一个特征映射面中选择固定数目的节点，将文本表示为固定长度的向量，经过多个卷积层和池化层后，最终会得到表示文本语义信息的输出向量，而且随着网络深度的增加，可以捕捉到更加全面的文本语义信息和特征。情境计算模块结合卷积神经网络和循环神经网络来进行情境信息的识别计算，首先基于卷积神经网络学习情景数据的隐情境表示，然后将隐情境表示特征输入到循环神经网络中，得到隐情境表示的状态分类类别概率，最后融合隐情境表示和清晰的情境信息得到用户的情境模型。关联挖掘模块是在对智慧图书馆数据资源进行特征提取和语义分析的基础上，实现视觉资源与文本资源之间的语义关联，并采用倒排索引标注关联后的视觉资源，方便MVS过程中快速定位视觉资源信息。

行为分析模块通过分析用户的操作记录提取用户特征，将用户的检索、浏览、下载等历史记录作为深度学习模型的输入，通过模型学习得到用户的隐表示。评价反馈模块则是将收集的用户评价信息作为输入，利用深度学习模型学习用户的隐表示，并利用损失函数构建目标优化函数优化深度学习模型的参数。在获得用户特征隐表示的基础上，结合用户的年龄、职业、学历、性别、社会关系等个人信息，构建用户个性化知识模型并存储在用户模型库中。需求抽取模块从用户模型库中提取出检索用户的个性化需求模型，构建用户个性化信息向量，为MVS检索结果排序计算提供输入数据。

2.2 用户在线检索阶段

用户在使用MVS系统进行视觉资源检索时，需要将自己的检索意图通过具体的视觉检索表达方式提交给MVS系统，良好明确的表达方式可以有效降低检索的难度，获得满意的检索结果。根据视觉资源的不同类型，检索表达的构成方式可以分为基于图像检索、基于视频检索和基于3D模型检索等，将不同的检索表达构成方式存储于视觉检索对象库中，根据待检索视觉对象数据类型采用不同的检索表达方式。

结果展示模块的功能是将检索结果提供给用户浏览，首先按照主题对检索到的视觉资源进行分类和关联，然后根据移动终端类型和网络状况为用户展示以视觉资源为中心的知识架构和知识图谱，方便用户查找自己感兴趣的视觉资源知识信息。另外，结果展示模块还包括用户信息管理功能，用户具有编辑个人信息、设置视觉资源兴趣标签、填写评价反馈意见等权限，为用户模型库的建立和完善提供数据支持。

3 智慧图书馆MVS深度学习神经网络工作流程

在实现智慧图书馆MVS服务模式各功能模块的设定后，本文提出的智慧图书馆MVS深度学习神经网络工作流程主要分为4个子流程，分别是数据获取及数据预处理子流程、生成用户特征向量和视觉检索数据图集子流程、深度学习训练网络输出视觉单词向量子流程、计算相似度得到视觉检索推荐列表子流程，如图2所示。

3.1 数据获取及数据预处理

图书馆MVS服务平台首先获取检索所需的相关数据，包括视觉检索数据和用户历史行为数据，其中，视觉检索数据用于生成视觉检索数据图集，用户历史行为数据则用于生成用户特征向量。数据预处理主要是对数据进行清洗，检查数据的一致性，过滤掉视觉检索数据收集过程中产生的干扰信息，并将视觉检索数据从模拟信号的形式转化为连续性的函数形式，然后整理数据，获取每个用户的ID信息，生成用户索引和视觉检索数据索引。

3.2 生成用户特征向量和视觉检索数据图集

首先统计用户的有效点击行为信息，然后搭建并训练深度学习神经网络模型，将用户的检索行为记录作为模型输入得到用户的分布式特征向量表示，用于描述用户的特征信息，计算得到的用户特征向量是低维且非稀疏的，便于以此作为视觉检索推荐的数据依据。而对于视觉检索数据则根据数据类型进行不同处理，图像类数据获取其精确图片语义文本对，将图片语义文本切词后得到每个词的词向量，为每个图片匹配其准确的语义文本表示;视频类数据通过镜头分割、关键帧提取、镜头聚类3步获得其视频图像集，其中，镜头分割采用x2直方图法和梯度法对视频镜头的切换和淡入淡出进行检测，关键帧提取则使用非相邻帧比较算法来计算，其思想是将镜头的第一帧作为参考帧，然后计算后续帧和当前参考帧的差值，当差值大于预定阈值时则将当前帧替换为关键帧，镜头聚类则将归为一类的镜头集作为场景，完成对视频的场景划分，最终得到视频的场景图像集;对于3D模型类数据首先将模型进行体素化，然后采用旋转、尺度变化、水平翻转、随机抠取等方法对3D模型进行数据扩充，得到相应倍数的3D模型体素图像数据集。总之，使用处理后的图像集作为深度学习训练网络的输入，有利于视觉检索数据特征的学习和训练分类。

3.3 深度学习神经网络训练生成视觉单词向量

该子流程的功能是从视觉数据图像集中提取各种类型视觉数据的特征向量并进行识别。对于图像类数据利用卷积神经网络作为视觉模型，首先准备图像的深度学习训练集，根据图片语义文本内容对建立的卷积神经网络进行训练得到图像分类模型，然后利用训练好的模型对测试集中的图像进行特征提取，将图像像素向量{x1，1，x1，2，…，xm，n}作为卷积神经网络的输入数据，xi，j表示尺寸为m*n图像中第i行第j列的像素值，在对输入图像做卷积运算得到卷積特征图像后，再对卷积特征图像作最大池采样获得池化后的特征图像，如果下一层为卷积层则继续进行卷积计算，否则执行全连接运算，最后经过全连接层计算得到图像特征输出。然而通过上述方法提取的图像特征有数千维，为了挖掘有意义的特征数据还需要对数据进行降维，可以采用训练后的栈式自编码器进行图像特征的降维运算，最终得到图像的向量化表示。

视频图像集则首先使用卷积神经网络提取其人物、动作和上下文环境3个通道的特征向量图，卷积神经网络采用多层串联结构，上一层的输出作为下一层的输入，其参数值在训练过程识别率稳定后即为最终的参数，各个卷积神经网络层都包括若干个卷积层和池化层，卷积层对输入的视频图像集进行卷积，池化层对卷积后的二维矩阵执行池化操作，激活函数采用线性纠正函数ReLU，并对池化后的输出值进行归一化，使得卷积神经网络的训练速度加快并且保持每次迭代网络参数的正态分布;循环神经网络也是由多层网络顺序连接构成的，并加入长短期记忆网络单元，以使循环神经网络可以选择记忆多段时间序列之前的内容，其计算过程如下：首先将基于卷积神经网络提取出来的人物、动作和上下文环境语义特征作为输入，经过第一层长短期记忆网络编码后得到固定长度的输出向量，然后把第一层的输出向量作为第二层长短期记忆网络的输入，运用Softmax函数计算每一个语义在语义集上的概率分布，最终得到视频图像集的向量化语义描述。

3D模型体素图像数据集则采用3D卷积神经网络进行特征提取，相比于应用于2D图像的卷积神经网络，3D卷积神经网络将对3D数据进行卷积计算并输出另外一个3D数据。该网络结构由卷积层、池化层、整合层、全连接层和分类层组成，在卷积层，3D模型体素化分辨率用di表示，用i表示输入层数，则网络输入是大小为di*di*di的体素数据，随机生成归一化的卷积核矩阵W，卷积核大小为ei*ei*ei，则第k层卷积层特征图对应的卷积核为wkiPei*ei*ei，第k层特征图可以由计算公式Fki=h（wkix+b），其中，表示卷积运算，h（·）是非线性激活函数，x为输入3D模型的体素化表示，b为偏置。在池化层，采用最大值池化操作，用Pki表示第k个池化特征图，则Pki=max（Fki+b），max（·）为取最大值操作。整合层将卷积层和池化层提取的特征图进行向量化，即把多维向量变为一维列向量。全连接层将整合层得到的特征向量作为输入，经过全连接后可以将3D模型的特征表示映射到样本标记空间中。最后，使用Softmax分类层将多分类的输出数值转化为相对概率，得到3D模型的特征向量。

3.4 得到视觉资源检索推荐列表

在完成深度学习神经网络模型的训练之后，便可以将检索用户特征向量和目标视觉资源单词向量信息输入到深度学习神经网络模型中，通过训练好的深度学习神经网络模型得到用户对目标视觉资源的预测评分值，最后按照评分值的大小顺序进行排列，将评分较高的前N个视觉资源信息生成推荐列表并推送给检索用户。

4 基于深度学习的智慧图书馆MVS研究展望

随着大数据和人工智能技术的不断发展，深度学习在智慧图书馆中的应用也越来越受到重视，但目前基于深度学习的智慧图书馆MVS系统研究仍处于起步阶段，而在未来必将会有更深入的探讨和应用，以下总结了3个可能的研究方向。

4.1 基于深度学习的智慧图书馆MVS跨平台信息融合问题

智慧图书馆MVS系统数据获取能力的不断提升，使得用户和视觉数据在不同平台的信息能够越来越方便的获取，融合用户和视觉数据在不同平台的信息可以有效克服单一平台信息的不足，更好地发现用户的个性化偏好，为用户提供更为准确的视觉资源检索推荐列表。利用深度学习技术，将各类视觉资源数据进行统一输入，构建有效融合各种类型、跨平台异构视觉数据的深度学习训练网络模型，以实现跨平台信息融合的智慧图书馆MVS服务将是重要研究方向之一。

4.2 基于深度学习的智慧图书馆MVS系统优化问题

首先，对于智慧图书馆MVS系统来说，面向不同的用户和场景时采用统一的深度学习网络架构和计算参数是不可能的，需要根据不同的目标任务构建新的深度学习框架来提供MVS服务。其次，还需要积极拓展视觉数据特征提取的语义线索，充分利用和融合视觉数据中的音频、标签、评论等固有信息，通过建模更多视觉数据信息提升深度学习MVS系统的语义识别能力。再次，智慧图书馆MVS系统移动端功能也需要进一步的完善，努力实现移动端视觉信息采集、实时传输、深度学习训练及检索反馈的MVS服务全过程，使用户在任何场景下都可以使用智慧图书馆MVS系统进行视觉数据检索。

4.3 基于深度学习的智慧图书馆MVS自动进化问题

随着深度学习模型的不断发展，其能力将远远超过对输入数据进行简单的连续几何变换，而是具有丰富的算法特性和更强的泛化能力，既能实现正式的推理、搜索和抽象功能，又能提供非正式的直觉和模式识别能力。智慧图书馆MVS系统的功能模块可以通过复用全局库（通过在先前任务和数据集上学习高性能模型得到）中的模块化部件，实现MVS功能的自動进化，而不需要人工强干预，并且随着MVS系统对经常出现问题解决模式的识别，这些模式将被转化为可复用的子程序并添加到全局库中，最终达到智慧图书馆MVS系统具有永久学习能力的目标也需要进一步的研究。

5 结束语

大规模视觉数据的搜索问题是衡量智慧图书馆MVS服务是否满足用户需求的一个重要问题，而且用户进行MVS时往往都是在线完成的，因此快速准确响应用户的MVS服务请求是智慧图书馆MVS系统必需具备的能力。近年来，深度学习技术在图像处理、语音识别和动态数据特征提取等领域取得了突出成就，但是基于深度学习的智慧图书馆MVS系统的研究还处于探索阶段。本文在分析深度学习技术和图书馆MVS系统研究现状的基础上，设计了基于深度学习的智慧图书馆MVS服务模式及其工作流程，并对深度学习技术在智慧图书馆MVS系统中的应用趋势进行了展望，以期为用户提供更加优质的MVS服务，满足用户的个性化知识需求。

参考文献

[1]王世伟.未来图书馆的新模式——智慧图书馆[J].图书馆建设，2011，（12）：1-5.

[2]张兴旺，李晨晖.数字图书馆移动视觉搜索机制建设的若干关键问题[J].图书情报工作，2015，59（15）：42-48.

[3]Lecun Y，Bengio Y，Hinton G.Deep Learning[J].Nature，2015，521（7553）：436-444.

[4]David M.Chen，Sam S.Tsai，Vijay Chandrasekhar，et al.Tree Histogram Coding for Mobile Image Matching[C]//Proceedings of the 2009 Data Compression Conference，IEEE，2009：143-152.

[5]刘喜球，张兴旺.移动视觉搜索：“互联网+”时代数字图书馆信息检索新模式[J].情报理论与实践，2016，39（5）：58-63.

[6]张兴旺，郑聪.领域导向的数字图书馆移动视觉搜索引擎建设研究[J].图书与情报，2016，（5）：40-47.

[7]曾子明，秦思琪.智慧图书馆移动视觉搜索服务及其技术框架研究[J].情报资料工作，2017，（4）：61-67.

[8]曾子明，宋扬扬.基于SoLoMo的智慧图书馆移动视觉搜索服务研究[J].图书馆，2017，（7）：92-98.

[9]曾子明，秦思琪.去中心化的智慧图书馆移动视觉搜索管理体系[J].情报科学，2018，36（1）：11-15，60.

[10]李晨晖，张兴旺，秦晓珠.基于大数据的文化遗产数字图书馆移动视觉搜索机制建设研究[J].情报理论与实践，2018，41（4）：139-144，133.

[11]韩玺，何秀美，张玥，等.基于语义关联的图书馆移动视觉搜索资源与服务聚合研究[J].现代情报，2017，37（10）：3-7，22.

[12]韩玺，张玥，朱庆华.基于移动视觉搜索的图书馆、档案馆、博物馆资源融合服务模式研究[J].情报资料工作，2018，（2）：63-70.

[13]孙翌，周锋，张浩.移动视觉搜索在特色资源服务中的应用实践[J].现代情报，2017，37（9）：107-113.

[14]钟志鹏，王涌天，陈靖，等.一个基于移动视觉搜索技术的博物馆导览系统[J].计算机辅助设计与图形学学报，2012，24（4）：555-562.

[15]Geoffrey E.Hinton，Simon Osindero，Yee-Whye Teh.A fast Learning Algorithm for Deep Belief Nets[J].Neural Computation，2006，18（7）：1527-1554.

[16]Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks[C]//International Conference on Neural Information Processing Systems.Curran Associates Inc，2012：1097-1105.

[17]Wang W，Shen J，Shao L.Video Salient Object Detection Via Fully Convolutional Networks[J].IEEE Transactions on Image Processing，2017，27（1）：38-49.

[18]Han Z，Liu Z，Han J，et al.Unsupervised 3D Local Feature Learning By Circle Convolutional Restricted Boltzmann Machine[J].IEEE Trans Image Process，2016，25（11）：5331-5344.

[19]Han Z，Liu Z，Han J，et al.Mesh Convolutional Restricted Boltzmann Machines for Unsupervised Learning of Features with Structure Preservation on 3-D Meshes[J].IEEE Transactions on Neural Networks & Learning Systems，2017，28（10）：2268-2281.

[20]Peng Y X，Zhu W W，Zhao Y，et al.Cross-media Analysis and Reasoning：Advances and Directions[J].Frontiers of Information Technology & Electronic Engineering，2017，18（1）：44-57.

[21]Hochreiter S，Schmidhuber J.Long Short-term Memory[J].Neural Computation，1997，9（8）：1735-1780.

（責任编辑：郭沫含）