浅析深度信念网络模型

◆任楚岚 曾召侠

浅析深度信念网络模型

◆任楚岚 曾召侠

（沈阳化工大学（沈阳）计算机科学与技术学院 辽宁 110000）

深度信念网络（Deep Belief Network，DBN）是深度学习模型之一，是实现人工智能的重要模型。它是由多个受限玻尔兹曼机（RBM）堆加而成。一般在模型的最后一层加入分类器模型进行分类。目前已在生物特征识别、语音识别、机器故障诊断、疾病诊断等诸多领域得到广泛应用。鉴于深度信念网络模型的优点及其强大的自主学习能力，主要做了四个方面的工作：第一，阐述了深度学习的背景以及深度信念网络的来源，第二，详细介绍了深度信念网络的基本原理和模型框架，第三，对受限玻尔兹曼机的学习过程等进行了介绍，第四，总结了深度信念网络在疾病预测领域的研究与应用。

深度学习；深度信念网络；受限玻尔兹曼机；对比散度

2006年，Hinton[1]和他的学生在《科学》上发表了一篇文章，深度信念网络（Deep Belief Network，DBN）模型首次被提出，当时，推动了深度学习的发展[2]。在深度信念网络模型的学习过程中，采用逐层训练（layer-Wise Training）的贪婪式无监督学习方法进行训练，从而解决了梯度消失问题，在模型的最后使用分类器对模型结果进行分类。可以说，深度信念网络是结合了无监督学习和有监督学习的多层概率机器学习模型。

深度信念网络[2-3]是深度学习中重要的学习模型，通过组合低层特征形成更加抽象的高层特征或属性类别。在各界得到广泛关注，从此掀起了深度学习研究的浪潮。近年来，深度信念网络被广泛应用于与人们生活息息相关的课程领域，可以实现机器翻译，人脸识别[4]，语音识别、信号恢复、商业推荐、金融分析，医疗辅助和智能交通等。

基于深度信念网络的优势和特征学习能力，本文主要围绕深度信念网络概括为以下内容：（1）深度信念网络的基本原理；（2）受限玻尔兹曼机的算法执行过程；（3）深度信念网络在疾病预测中的研究进展；

1 深度信念网络原理

深度信念网络由若干个受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）的堆叠和一层有监督的反向传播网络组成，训练时可通过由低到高逐层训练这些RBM来实现。整个训练的过程可以概括为两个部分：一个是预训练（pre-Training），采用无监督逐层学习的方式对神经网络结构的参数进行初始化，另一个是精调（Fine-Tuning）在模型的最后使用反向传播算法对网络参数进行全局微调。即使整个网络积累了多层，依旧可以合理地优化参数，这种学习方法解决了梯度消失问题，使得深度神经网络的学习更加高效。

1.1 受限玻尔兹曼机

受限玻尔兹曼机（RBM）最早起源于玻尔兹曼机（Boltzmann Machine，BM），BM不仅有着强大的无监督学习能力，而且还能够学习数据中复杂的规则[4]，但是，这种训练相对比较复杂，且训练时间较长，为了克服这一问题，Smolensky引入了一种限制的玻尔兹曼机，则为受限玻尔兹曼机[5]，其结构如图（1）所示。

图1 RBM结构图

RBM是由一层可见层（visible）和一层隐含层（hidden）组成，且层内无连接。h1到hn是n个实数，v1到vm是m个实数，这些实数都是0到1之间的数字，它们各自组成了一个h向量和一个v向量。每个显层和隐层之间都存在一个权重w，一共有n·m权重，c和b分别是隐藏和显层的偏置向量。

RBM它是基于能量的模型，那么，对于一组给定的状态（v，h），其能量公式定义为：

其中，是参数、和，等式右侧表示的能量有三个部分，一个是由于权重连接两侧的节点和产生的，必须三个都为1才算有能量的输出；另外两个是节点上的偏置和节点输入的向量维度值相乘，同样三个必须为1才算有能量的输出。

每一个能量对应着一种状态，能量越小，表示模型越稳定。当参数确定时，由能量公式可得显层和隐层神经元的联合概率分布为：

其中，（）是归一化因子，

由此，当确定输入层的状态时，各隐含层节点之间的激活状态是相互独立的。因此，第个隐含层节点的激活概率为：

鉴于受限玻尔兹曼机的结构是对称的，当确定隐藏层节点的状态时，各输入层节点的激活状态之间也是条件独立的，因此同理，第个可见单元的激活概率可以表示为：

目前，受限玻尔兹曼机被用于处理机器学习不同的问题，如分类、回归、降维、高维时间序列建模、特征提取、协同过滤等。

1.2 对比散度快速学习算法

其中，是学习率（learning rate），〈〉data是训练数据集所定义的数学期望，〈〉recon表示一步重构后模型定义的期望。

1.3 深度信念网络的基本结构

深度信念网络是由多个受限玻尔兹曼机和一层有监督的分类器堆叠而成，如图（2）所示。DBN在整个学习过程中总共可以总结为两个阶段：第一阶段是：无监督学习，第二阶段是：有监督的微调。

(1)第一阶段是对多层RBM进行贪婪式训练，即逐层训练，对模型自底向上逐层训练。将前一个RBM的输出值作为下一层RBM的输入值，从而实现网络参数的初始化。

(2)第二阶段是对模型进行微调。为了使得整个模型结构的目标函数达到最优，可以采用BP神经网络算法或者支持向量机对参数进行微调从而达到全局最优，将微调之后的网络参数作为整个网络的初始参数。相对于传统的神经网络，DBN有着较高的准确率，同时解决了易陷入局部最优问题。

图2 DBN结构图

2 深度信念网络在疾病预测中的研究

鉴于深度信念网络有较好的特征学习能力，许多研究者通过搭建深度信念网络模型来对各种疾病进行预测预后，并努力提高对疾病的预测准确率，促使深度信念网络已经成为智慧医疗的一个重要的实现途径。

张婷等人采用多隐层深度信念网络模型提取肺结节图像的深层特征，从而对肺结节良恶性进行分类，最终达到了95%的准确率，验证了该方法优于BP神经网络和支持向量机（SVM）[7]；逯鹏等人利用重构误差进行自主确定网络深度搭建DBN模型，实验表明采用这样的方法得到了较高的准确率[8]；Brosch等人将不同的 DBN 模型相结合，建立了大脑形态模型，通过自动捕捉脑部病变发生前可能出现的病理信息，进行分析并实现对脑部疾病的早期诊断[9]；陈德华等人提出一种基于深度信念网络的甲状腺结节良恶性鉴别方法，实验结果表明基于深度信念网络的预测方法具有较高的准确率，在非稀疏数据和稀疏数据集上分别达到94%和88.84%[10]。Kamada提出了自适应结构的DBN模型，并将其应用在综合医学检查数据的癌症预测中，该方法在探索输入数据的最佳隐层神经元数，并通过对算法的扩展，在DBN中生成新的隐层，其提出的方法相对于传统的DBN分类精度较高。深度信念网络用于疾病预测，使得智慧医疗更近一步实现，为医疗机构提供了便利[11]。

3 总结

深度学习的发展使得越来越多的人工智能得以实现，促使深度学习成为人工智能的一个新的研究领域，本文主要从深度学习的来源和深度信念网络的原理，以及受限玻尔兹曼机的学习过程进行介绍，在最后整理了深度信念网络在疾病预测领域的研究。在深度信念网络的发展过程中也存在一些不足，例如对于神经网络层数和神经元个数的确定，没有统一的规定，这些都需要在以后的研究工作中加以完善。

[1]Hinton G，Osindero S，Teh Y.A fast learning algorithm for deep belief nets[J].Neural Compution，2006，18（7）：1527-1554.

[2]Rizk Y，Hajj N，Mitri N，et al.Deep belief networks and cortical algorithms：a comparative study for supervised classification[J].Applied Computing and Informatics，2019，15：81-93.

[3]Wang Gongming，Jia Qingshan，Qiao Junfei，et al.A sparse deep belief network with efficient fuzzy learning frame-work[J].Neural Networks，2020，121：430-440.

[4]张春霞，姬楠楠，王冠伟.受限玻尔兹曼机[J].工程数学学报，2015（04）：15.

[5]Lin M，Fan X.Low resolution face recognition with pose variations using deep belief networks[C]//International Congress on Image and Signal Processing，2011：1522-1526

[6]Hinton G E. Training products of experts by minimizing contrastive divergence [J].Neural Computation，2002，14（8）：1771-1800.

[7]张婷，赵文婷，赵涓涓，强彦.改进是深度信念网络肺结节良恶性分类[D].太原：太原理工大学，2018.

[8]逯鹏，王玉辰，李奇航.基于改进深度信念网络的心血管疾病预测研究[J/OL].2018，35（12）.

[9]Brosch T，Yoo Y，Li D K B，et al.Modeling the Variability in Brain Morpholopy and Lesion Distribution in Multiple Sclerosis by Deep Learning[C]// Internation Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing.2014：462-469。

[10]陈德华，周东阳，乐嘉锦.基于深度学习的甲状腺结节良恶性预测方法研究[J].微型机与应用，2017，36（12）：13-15.

[11]Kamada S，Ichimura T，Harada T，Adaptive structural learning of deep belief network for medical examination data and its knowledge extraction by using C4.5[C]// 2018 IEEE First International Conference on Artificial Intelligence and Knowledge Engineering（AIKE），Laguna Hills，CA，2018：33-40.