深度学习应用技术探讨

摘要：深度学习作为当今计算机智能产业中重要的一支，其在计算机视觉、语音识别、自然语言的处理方面已经有了相当规模的应用。以深度学习技术在现实的具体应用为目标进行分析研究，已经成为当代计算机技术中的热门。本文通过分析逐层预训练后再用微调的深度学习贪婪层训练方法， 深入了解了深度学习深层结构的特点，同时涉猎时下最流行的五层深度网络内部组成。通过认真研究相关内容，展望了深度学习的未来前景。

关键词：深度神经网络；梯度下降；验证集；监督学习；贪婪层训练方法；深度学习

深度学习作为机器学习的一项新兴内容，经过对大量经验的总结，实现了可以通过自动学习的方法使计算机的算法得到提升，其在现实中的应用，已经从最初的人工神经网络的概念、人工神经元的数学模型，发展到通过收集用户的行为运作，分析其行为模式，进而生成信息过滤系统而了解使用者的兴趣所在。国际上流行的贪婪逐层方法使深度学习成为机器学习研究的一个新领域。对于数据信息的大需求量，决定了深度学习符合大数据时代的相关要求的特性。其应用主要表现在：

1 深度学习在Supervised Learning（监督学习）中的应用

这是一种非常繁琐的提取方案，深度学习与普通机器学习的区别在于多个隐层，对每一层特征的归纳总结并非由人工完成，而是模拟人脑机能在分析大量信息基础上习得的。作为机器学习非常流行的学习方法，监督学习需要捕获足够数据，且这些数据已经将确定的结果标签化。通过这种方式来学习一个系统假设。例如要学习一个表情识别系统，首先需要通过设备收集大量人脸表情图像，而且每个图案都具备该图像对应的表情详细代表的结果标签。若系统假设是一类回归问题； 另外一类预测值只有很少的几个离散取值，则我们把这种学习问题叫做分类问题。当前最广泛的机器学习问题基本都可归为分类问题，监督学习也可以归为分类问题的范畴。

1.1 对于降低梯度的问题的解决方案

普通的学习训练方式包括：①=1＼*GB3全批量梯度下降；②=2＼*GB3随机小批量梯度下降；③=3＼*GB3随机梯度下降，目的在于精确调整权向量，为每个指标的重要程度计算一个最大变化量，人为使权重发生一个微弱的变化，而目标函数通过升高或降低来调节权重。两种方式的不同之处是：利用样本的手段有所区别。全批量梯度下降算法将全部样本的误差计算出来，进而得到目标函数，每个指标的重要程度沿最大变化量进行反向移动，把学习率渐渐降低，对防止误导结果方向是有效的。

1.2 训练集、验证集与测试集

训练在结束以后，可以用一种未投入训练的样本集合检验系统的学习成效。我们把投入训练的样本集叫做训练集，训练结束后进行测试，然后收集到所有测试成果，所有成果样本的总称为测试集。现在，训练方法得到了革新，将测试集投入训练，以检验该模型的优化程度。用投入的样本依次更新该指标在整体评价中的相对重要程度，以测试集代替样本集对训练的效果进行检验，如果产生最大效果，就要立刻中止更新。因为参与检验的范例已经进行了学习，已经不再具备评估的功能，因此需要用验证集来进行验证。训练集、验证集和测试集形成了样本不可分割的组成部分。验证集的作用是通过算法判断受评模块是否达到最优；测试集的测试结果表现在受测模块辨识新样本的水平。

1.3 Classifier与深度学习的组成

线性Classifier是当下便捷而实用的分类器，第一需要计算范例信息中各部分特征加权之和，如果这个结果大于限定值， input就要划分到专属的类当中，如果这个结果小于限定值，input就要划分到另一类当中。图形和人声的处理相对复杂，使系统对物体的位置、方向、光线强度、腔调、地方语言等无关因素不敏感，然而又对微小差别产生应激反应。深度学习不用手工选择良好的特征提取器，仅需接受普通训练就能完成自动学习的过程，既能对微小的差别产生应激反应，又能忽略非关键因素的干扰。

2 深度学习中建立多层神经网络的应用

①=1＼*GB3一層一层的建立单层神经单位，每次只对一个单层训练；

②=2＼*GB3全部单层逐一训练完成后，可以利用wakesleep算法优化；

③=3＼*GB3 认识感知过程 ，与外部特征相匹配后生成各层的抽象表示，并生成权重；

④=4＼*GB3生成过程，利用顶层表示和向下权重，生成底层的状态，同时即时更新规则。

3 深度学习应用中的贪婪逐层方法

贪婪逐层方法的基本思想是：训练网络的频率是每次一层，第一次训练的时候，该网络只能包含一个隐藏层，只有当这个仅包含一个隐藏层的网络受训结束后，才能将下一个训练目标定为包含两个隐藏层的网络，按这个规律进行各层的训练。在各道工序中，需要固定好前面已经训练好的一层，才可以增加下一层。可以在监督下进行每一层的训练，然而业内常用像autocoderHYPERLINK"http：//www.so.com/link？url=http%3A%2F%2Fdict.youdao.com%2Fsearch%3Fq%3Dautocoder%26keyfrom%3Dhao360&q=%E8%87%AA%E5%8A%A8%E7%BC%96%E7%A0%81%E5%99%A8+%E8%8B%B1%E8%AF%AD&ts=1522330884&t=5dcc357b86d168ef385c280436b951d"＼t"_blank"一类的无监督方法。每一层训练成果中得到的权重，我们可以用这个权重还原全部的深度网络的权重，最后以“微调”的方式调整整个网络。贪婪逐层方法已经在财务管理以及劳资管理系统中有出色表现。

4 结语

综上所述，本文回顾了深度学习的发展历程及应用成就，详细阐述了逐层预训练后再用微调的深度学习贪婪层训练方法，从生物学与仿生学的角度来说，深度学习通过模拟人体大脑神经网络中参与认知学习部分，并以接近人体大脑的思维方式对相关信息做出说明与判断，从其智能化的角度来说，具有极大的市场应用前景，然而由于其天生缺点，其技术仍然需要在实践中不断改进，相信随着计算机与仿生技术的进步，深度学习在现实中的应用将更加广阔。

参考文献：

[1]Mitchell T.Machine learning[M].[S.l.]： Mc Graw Hill，1997.

[2]Alpaydin E.Introduction to machine learning[M].Cambridge：MITPress，2004.

[3]Samuel A L.Some studies in machine learning using game of checkers[J].IBM Journal of Research and Development，2000，44（1/2）：206226.

作者简介：陈思宇（1997），男，河南西平人，2014级网络工程专业在读本科生。