深度学习梳理

何艳丽

（商丘工学院，河南 商丘 476000）

一、深度学习

深度学习是一种无监督特征学习和特征层次结构的一种学习方法。深度学习还可以被称为特征学习和无监督特征学习。其实，深度学习就是学习者的一种从表及里的逻辑推理过程。学习者通过分析低层次的基础学习，抓住良好的特征表达，对好的特征进行梳理和了解，最后得出最客观的逻辑特征的知识。而通过理性分析和梳理获得的知识才是最关键的步骤。

那么如何才能学会深度学习，以及如何进行深度学习呢？

首先，我们要了解一下人脑的活动机理。人的视觉系统首先会将视觉系统所搜集到的信息进行分层，分级处理。高层的特征是低层信息的组合，从低层到高层的表示会越来越抽象，越来越能表现语义或意图。抽象层面越高没存在的可能猜测就越少，就越利于分类。所以说，人脑的学习机理也是采用层次网络结构进行的。

2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文时提出深度学习的主要观点。他认为多隐层的人工神经网络具有优异的特征学习能力，学习者得到的特征对数据有更本质的刻画，从而有利于可视化或分类。深度神经网络在训练上的难度，可以通过逐层初始化来有克服，逐层初始化可通过无监督学习来实现。

通过构建多隐层的模型和海量训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。深度模型是手段，特征学习是目的。深层次学习与浅层次学习区别相当大。深层次强调了模型结构的深度，通常有5-10多层的隐形节点。明确突出了特征学习的重要性。通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间。从而是分类或预测更加容易，与人工规则构造特征的方法相比，利用大数据来学习特征，更能刻画数据的丰富内在信息。

那么，通过深层次分析学习更能够将浅表知识信息生化为本质特征的学习。

深度学习是不是神经网络呢？答案是否定的。通过比较可知：深度学习和神经网络都采用分层机构。系统包括输入层、隐层（多层）、输出层组成的多层网络。只有相邻层节点之间有连接，每一层可以看作是一个logistic回归模型。当然，深度学习和神经网络之间有着巨大的差异性。神经网络采用的BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出。然后根据当前输出和样本真是标签之间的差去改变前后各层的参数，直到收敛。神经网络的局限性在于比较容易拟合，参数比较难调整，而且需要不少技巧；而且神经网络需要很长的训练时间，也就是说训练速度比较慢，层次较少。

二、如何训练深度学习

深度学习的第一步应当采用自下而上的无监督学习。首先应该逐层构建三层神经元。然后每层都应当采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。这个过程可以看作是一个feature learning的过程，是和传统神经网络区别最大的部分。认知过程，通过下层的输入特征和向上的认知权重产生每一层的抽象表示，再通过当前的生成权重一个重建信息。计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成权重。也就是“如果现实和我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样。”生成过程通过上层概念和向下的生成权重，生成下层的状态，再利用认知权重产生一个抽象镜像。利用初始上层概念和新建抽象的残差。利用梯度下降修改层间向上的认知权重。也就是“如果梦中的镜像不是我脑中的相应认知概念，改变我的认知权重使得这种速度”使得这种镜像在我看来就是这个概念。

自顶向下的监督学习是在第一步就获得的各层参数基础上的。数度学习区别于传统神经网络初值。深度学习模型是通过无监督学习输入数据的结构得到的。因而这个初值更接近全局最优，从而能够取得更好的结果。

学习是通过学习或亲身经历而获取的知识技能、心理概念或价值观的过程。学习分为简单学习和深度学习两种。简单学习是除了机械记忆外不需要付出太多努力。没有经验的学习者可以一次学会的学问、知识或反应；不需要反馈或纠错；也可以在一起活动中学会；很少或者没有歧义。这种知识学习过程是直接，并且对学习者的年龄、文化、智商和背景无关。简单学习就是低层次的学习过程，是表层知识。它是没有经验的学习者或年幼的孩子会接受的类型。简单学习为未来所有学习提供基础。但是这种学习缺乏思维的复杂性。

深度学习时学习者将运用多种规则去完成任务。一个人必须知道一点微知识然后将其与其他微知识加起来获得一个完整的、综合的建议。新内容或技能的获得必须经过一步以上的学习和多水平的分析或加工，以便学生可以以改变思想、控制力或行为的方式来应用这些内容或技能。

三、结语

从正面讲：一生中带给我们最多满足的话多东西来自于复杂知识和技能；当深度思维首次发生时大脑可能较为活跃；一般而言，会理解、保持、应用的更好。从反面讲：它可能需要基本的背景知识，它是耗时的，而且为了掌握它，要投入大量的精力和决心；过程和最后结果经常受批判性评论或其他观点的影响。简单与深度学习都需要多样的优良的技能背景。最初，当深度思维首次发生时您的大脑可能较为活跃。在专家级水平形成之后，所需的脑活动就较少了；一般可能做到更好的理解、更好的保持、更多地应用概念和技能。专门知识的最主要特点是深度学习所必需的连通性。深度学的例子：阅读、多学科性思维、设计解决方案来解答问题；创造目标和策略去实现那些目标，如何谈判，何何建造某物；辩论技巧，研究技能、召集、管理或做学术演讲或工作规划。