(中安兴坤(杭州)科技有限公司,浙江杭州市,311121) 吴 凯
(江苏电子信息职业学院,江苏淮安市,223000) 杨新志
机器学习的领域有很多,深度学习作为研究领域中的一个新的研究方向,在近几年中,深度学习在图像识别与检索、语言信息处理等、语音识别等方面表现显著。建立模型来模拟人类大脑的神经连接结构是深度学习应用的发展基础,在处理图像、声音和文本这些信号时,通过多个变换阶段分层对数据特征进行描述,进而给出数据的解释。[1]
深度机器学习分为有监督学习和无监督学习,不管哪种学习方式[2],都是机器学习在模仿人类对于事物的认识中来的。例如常见的卷积神经网络就属于监督学习方法,生成对抗网络(GAN)就是一种无监督学习方法。典型的深度学习模型有卷积神经网络、深度置信网络和堆栈自编码网络模型等,下面对这些模型进行描述。
Yann Lecun最早将CNN用于手写数字识别,这一应用引起了巨大反响。随着卷积神经网络的发展,卷积神经网络现如今在语音识别、人脸识别、通用物体识别、运动分析、甚至脑电波方面都表现显著,这也充分说明了人工智能与我们的生活更加紧密。卷积神经网络的构成部分,一是输入层、二是由n 个卷积层和池化层的组合组成[2]。卷积神经网络中层间联系和空域信息紧密联系,图像处理时,就会易于理解,并且它在自动提取图像上表现显著,因此如今多被应用于自动提取图像方面,而且在自动提取图像的显著特征方面还表现了十分优异的性能。
深度信任网络学习模型最早2006 年提出,由Geoffrey Hinton 提出,目的就是可以让整个神经网络按照最大概率来生成训练数据,这样的操作它是通过训练其神经元间的权值来实现的,因此它是一种生成模型。现如今它也被应用在人工智能领域,在识别特征、分类数据方面表现显著。
生成对抗网络模型是2014年提出的,属于无监督学习,与自动编码器和回归模型相比等其他无监督学习方法来说,GANS更能充分拟合数据,由于它对数据的拟合性好,因此在图片生成、自然语言应用方面得到了广泛的应用。
正则化深度费希尔映射方法是由wong 等人提出的,这种方法属于一种新的特征提取方法,学习从样本空间到特征空间的显示映射是它的方法,当然这种方法是根据Fisher 准则来的,特征的区分度是根据Fisher 准则用深度结构神经网络来提高的。正则化因子被引入这种学习过程,因此学习能力过强带来的过拟合问题在很大程度上被解决了。
非线性变换方法最早是由Raiko 等人提出,该变换方法使得学习MLP变得更容易,因为多层感知器网络的每个隐神经元的输出具有零输出和平均值上的零斜率[2]。非线性变换方法的应用领域有很多,例如图像分类和学习图像通常采用深度无监督自编码模型。非线性变换方法被应用于这种模型中进行图像分类和学习图像的实验中,最后的结果表明这些变换对学习深度至少达到五个隐层的结构神经网络是有帮助的。
迁移学习算法最早是由Mesnil 等人研究出来的,学习表示的不同种类模型结构在无监督学习场景中很多,迁移学习算法被应用于其中。五个学习任务通常采用被无监督学习算法,迁移学习算法将不同结构的层堆栈应用在其中[2]。
深度学习被用于物体识别上,它在物体方面最重要的一个突破就是人脸识别[3]。每个人的脸都不一样,表情、光线和姿态等因素是人脸识别的一个障碍,要学会如何降低表情、光线等对系统带来的影响。我们知道表情等其他因素会引起身份的不同,就会导致产生类间变化,这两种变化是极其复杂的,且无法识别,传统的线性模型只能单一的判别人脸,但加入了深度学习后,人脸的特征表示就可以通过深度学习多层的非线性变换得到新的特征表示,这些特征保留了类间变化,而且深度学习算法可以很好的拟合数据,因此在人脸识别方面取得了很好的效果。
深度学习在图像处理上得到了广泛应用,现如今最重要的目标就是在非常有限的设置内,通过算法处理更多数据,如果我们考虑图像理解,这是人工智能任务中最具体的任务之一,我们会意识到我们还没有发现更多的视觉和语义概念学习算法,而这些概念是解释大多数图像所必需的。其他人工智能任务的情况类似。深度学习在图像处理上通常是用深度信任网络和堆栈自编码网络,这两种方法通常被用于单个图像识别,并且取得很好的效果,由于它现在已经成功用于生成紧凑的图像检索表示形式,它在大型图像检索任务中也取得了很好效果,加入了深度学习的图像识别系统,提高了文字识别能力,大大节省时间。
系统辨识是根据系统的输入输出来确定系统的模型,传统的系统辨识有着识别速度慢,正确率很低的问题,系统辨识的不足就是当遇到复杂的线性系统时,就难以用线性函数知识来建立,而此时神经网络具有拟合复杂线性函数的能力。现在的系统辨识已经深度神经网络的参数优化了。系统参数辨识控制系统涉及深度学习通常是模糊控制系统,其中的预测模型就是用深度学习来实现的。
深度学习算法在人工智能领域中被广泛应用,它在图像识别等都有了很大的进展,加入了深度学习算法的数据处理时间上减少了很多,并且在大规模破数据集下的应用都取得了很大的进展。但是深度学习依然有些不足,需要更进一步的研究。深度学习也有很多的模型,在很多时候,会出现一些模型规模很大的情况,通常模型的规模越大,训练的精度就会越高。同时在训练中参数的设置问题、模型规模的调整都可能会影响模型优化,效率完全会被训练时间所影响。因此在深度学习算法和深度学习模型中,要提高训练精度和速度仍然是深度学习方向研究的内容之一。
目前多种模式分类问题都使用了深度学习,深度学习目前有很多工作需要研究,研究可行的训练是深度学习的目标之一,并且还有探索新的特征提取模型,文章简要介绍了深度学习的一些概况、算法、以及应用,未来深度学习肯定还是研究的热点问题之一。