深度学习模型在多源异构大数据特征学习中的应用研究

2019-11-17 04:05付丹潘正军
电脑知识与技术 2019年26期
关键词:深度学习大数据

付丹 潘正军

摘要:本文论述了在大数据的环境下,深度学习模型和多源异构影像数据融合问题,在数据融合的基本架构基础上,改进了一种泛化性强得多源异构影像数据融合的深度学习模型,探索将深度学习技术运用到多源异构数据信息提取与挖掘之中。

关键词:深度学习;多源异构;大数据;特征学习

中图分类号:TP311        文献标识码:A

文章编号:1009-3044(2019)26-0008-03

开放科学(资源服务)标识码(OSID):

在大数据的环境下,随着信息数据的不断增加,出现了大量的多源异构数据,如何有效对这些数据进行挖掘、清洗、处理,得到有用的目标信息数据,成为人们关注的重点问题之一,通过深度学习模型在多源异构数据的提取过程中,具有十分重要的作用,它具有语义性好,表征性强的优势,通过研究深度学习模型在多源异构数据中提取数据的有效性,能够精准地识别目标数据,挖掘目标数据的内在规律,达到对目标数据的规律进行预测,能够有效提高数据的有用性。

1 基于深度学习的多源异构大数据提取思路

为利用模型各层学习得到的特征,对多源异构大数据的特征信息进行提取,需要对不同特征层中包含的互补信息进行获取,这样使得深度学习模型具有更大的可扩展性能,将深度学习神经网络模型与信息融合模型结合在一起,对获取的数据进行推理,达到获取目标数据的目的,得出基于深度学习的多源异构数据获取的模型,达到提取融合多源共享特征数据的目标层数据特征要求,具体数据提取思路如图1所示。

首先,如果需要从一种数据源中提取目标多层特征,采用构可泛化的深度学习框架,逐级获取目标数据,通过对数据的特征变换、选择与分类,构建深度学习特征模型,对具有同类特征数据的信息进行挖掘、清洗,并将各层数据同类特征组合起来,并采用特征选择算法对数据进行处理,形成一种达到目标高层特征的深度学习模型,达到对异构数据进行处理的目标。其次,将深度特征学习模型和多源异构数据进行深度融合,就构成了一种面向多源异构数据与普通向量相互结合的深层次学习模型,采用这种通用深度特征学习模型可以对各个单一数据源的基础部件模型进行构建,这样就能够将多源异构模型的数据融合在一起,形成了多源融合的深层次数据模型特征。最后,在形成的多层融合深层次数据模型的基础上,通过对数据源中的数据进行提取与组合,形成一个具体的深度学习模型,该模型主要包括多层的特征学习部分和最后的分类部分两种结合,采用该种数据提取的方法是可泛化的、简单的深度学习,在深度学习的数据处理过程中,也具有较好的通用泛化的能力。

2 深度学习模型

2.1 深度学习的特征

典型的深度学习模型对于数据的处理一般都是采用多层迭代数据模型,是一种基于“特征变换——非线性操作——特征选择(约简)”数据处理模型,数据的特征变换采用滤波器的方式进行处理,对于非线性操作模拟数据具有人类神经元的激活與抑制的功能,在数据变换之后,通过特征二值化或使用逻辑回归函数处理,从而能够有效地将各种数据有机地结合在一起。深度学习的概念来源于人工神经网络技术,它具有如下的特征:

1)强调了深度学习模型结构的深度,一边情况下数据层次达到了五六层,有的时候可以达到十多层隐性的层级节点。

2)数据通过逐层特征变换,可以将数据的原有空间转换为一个新的特征学习空间,使得数据的分析与预测变得比较简单,将大数据的特征结合在一起,能够更容易实现内在数据的挖掘。

2.2 模型构建

在建构深度学习模型时,需要构建神经网络模型,才能有效地对数据进行处理,一个神经网络有多个简单神经元铰链在一起构成,在不同的神经元中还需要有另外一个相同的神经元输入数据,一个简单的深度神经网络学习模型如图2所示,采用圆圈表示数据网络的输入,“+1”的圆圈表示偏置单元,能够快速地获取数据的加载项。在神经模型中,包括网络数据的输入层、输出层与隐含层,可以说在图2的神经网络中,主要包括上述的3个输入神经单元,有的单元有两个隐含层,在其下层又含有相应的隐含单元与输出单元。

2.3 模型参数优化

在设计好神经网络学习模型后,需要对模型网络中的各个节点进行优化,使其达到最优化的状态,通过将样本进行大量的迭代,使得建构的学习网络能够对异构源数据进行再一次的认识学习,在多次迭代纠偏之后,就形成了对所关注各种数据源目标的表针性描述,如果构建的网络模型优化越好,就会对数据源目标的学习越深度,就能够深刻地对数据进行描述,学习模型的参数优化在显得十分重要。

其中,J代表代价函数,W、b为神经网络拟定学习目标,在代价函数经过W与b的转换之后与y的平方差的一半。

3 多源异构数据融合模型结构

如果对一种数据源目标数据选择与提取比较简单,方法也较多,但是如果对于多种数据源在统一架构下提取的就会存在一定的困难,需要采用信息融合的原理,对输入信息进行抽象处理,并相互融合,在融合的过程中必须按照抽象的层次,将数据的数据层、特征层、决策层以及融合输出结果的不同,数据融合模型按照数据抽象的层次,一般将信息融合分、混合层等进行随机融合,并结合深度学习的模型对数据进行抽取。为了便于分析,我们采用光学、SAR、红外等三种影像数据进行信息融合,由于影像数据在融合的过程中,可以提取相似的数据,也存在造成数据之间存在不同机理使得数据存在不可比性,这就需要从特征融合、决策融合与混合融合三种异构数据的处理方式,处理过程如图3所示。

数据的特征融合主要包括目标状态数据融合与目标数据特征融合,目标状态数据融合主要是对数据源的数据状态进行跟踪,利用模式识别技术对多种异构的数据源信息进行处理,获取数据的相似数据,而融合处理的功能是对数据参数与状态矢量进行估算,例如各种情报雷达、跟踪红外等一些非成像的影像数据,进而抽取数据的相同特征,并采用深度学习的方式对数据相似特征进行获取,形成一个统一的数据目标层次。

4 基于深度学习模型的多源异构数据融合研究

4.1 基于深度学习数据级融合

在光学、SAR、红外等三种影像数据融合的过程中,也可以将影像数据级融合称为像素融合,它是在多种传感器下异质影像数据在同一目标与时空的背景下的异构数据源的数据抽取,在获取大量的异构数据后,通过神经网络深度学对这些异构影像融合数据进行抽取、清洗,以获取数据的相关性,在通过深度神经网络模型抽取之后,就能够识别出异质融合影像中的目标的神经网络模型,然后经过数据挖掘处理,最终能够获得目标最终的分类识别结果。采用像素融合的数据识别方法,在数据处理的过程中,数据信息丢失比较少,而操作比较简单,这种神经网络能够对异质融合影像进行深度学习,在获取数据的模型之后,能够对数据模型进行检测,以获得目标数据。但是,在多源异构的数据中,往往存在一些不可比性的数据,在对像素数据进行融合的过程中,还需比较精确的算法,才能满足具体的要求。

4.2 基于深度学习的数据特征融合

对神经网络的深度学习数据融合主要对数据混合层的特征映射数据进行融合,以便于在后期对目标数据进行分类识别处理。例如,以深度卷积神经网络的数据分析为例,在获取每次的卷积层数据之后都能够形成一层的数据特征映射图,在经过对原始数据图像的直接深度学习的前馈、后向数据迭代之后,就会形成限定的神经网络数据学习模型,在随后的数据测试中,通过对神经网络中的不同异质数据图像进行最后一层的数据融合,获得融合后的数据特征融合映射图,然后进行数据全层连接处理,从而能够有效地达到目标数据的自动分类处理的效果,这种深度学习的异构数据源的特征融合结构如图4所示。

基于深度学习的异质影像特征融合主要采用神经网络技术多系统传感器中捕获的原始异质数据进行抽取、清洗,使得经过深度学习的目标数据特征变得更加丰富,同时采用这种深度学习,使得该网络的数据可拓展性与泛化更为简单,使得目标数据具有更为丰富的特征。它具有维数多、尺度小的特点,能够精细地对目标数据进行抽取与计算,保证了在对目标数据进行处理的过程中,不会遗漏掉任何数据,同时也能保留目标数据层的所有特征。

4.3 基于深度学习决策级融合

在深度学习模型中,对决策级数据的融合需要对每一种异构的数据源进行分析,利用每一个神经网络对多类数据目标进行分类别的进行识别、决策,然后再对这些决策数据进行融合,最终达到目标数据分类识别的结果。在影像数据处理的过程中,各种传感器获取的数据在指定的深度学习网络进行抽取、训练,在网络层数、神经元的操作中,可以以连接的方式与数据训练的最后表征特征特定向量维数来表示数据,数据的各种结构方式可以不同,但在最后决策的表征的过程应该形成统一,以便于系统设计的深层次融合。决策层数据融合的算法中常采用方法包括贝叶斯推理、证据推理、不确定推理等方法。

数据的决策级融不仅仅是对数据的决策进行融合,而是通过融合之后,对决策进行优化,以寻找出最优化的数据决策,在深度学习模型中,每一个神经网络对一种信息源数据进行融合,而实际上,影像的多个传感器信息是相互独立的,这就要求决策级的融合分类不能低于数据融合的级别数,需要神经模型能够对目标层数据的特征进行刻画与具体的表征,否则在数据处理的过程中,就会出现误差,不能有效地对目标层数据的特征进行提取。

4.4 基于深度学习混合融合

在基于神经网络深度学习模型中,混合层数据融合是在以上几种数据进行融合之后的深度融合,以达到对大数据异构信息源的数据目标进行分类识别。一般情况下,深度学习的数据混合融合采用两个深度神经网络进行处理,第一个神经网络将多种信源的图像进行转换,形成数据源的数据特征映射图,主要作用是提取数据的特征网络,而另外一个神经网络主要功能是对异构信息源的数据进行多目标分类,将每一个特征映射图分成多维、小尺度的序列特征数据映射子图,然后将分类的多种信息源特征融合在一起,这样就可以将所有的像素特征数据进行融合统一处理。经过特征融合数据特征模型,每一个目标特征数据可以采用多维、小尺度的特征映射子图序列进行数据表征,在经过第二次神经网络进行融合训练之后,就能够一个统一的数据关系图,获取异构数据源的目标特征信息。两个深度学习的神经网络所起作用不同,实现的数据处理结果也不一样,但是,它能够在统一的整体里实现端到端的学习,这样就能够形成一个最终的目标分类识别结果,实现数据的多维融合。

5 结束语

基于深度学习模型在多源异构大数据中已经得到了广泛的应用,并取得了显著的成果,在未来的数据处理中,将会得到更为广泛的应用。但是,多数深度学习模型往往只是针对一个具有二维语义网络的信息学习,对于那些特征向量比较弱的数据,还需要进行更深一步的研究,而且在基于深度多源异构数据的融合模型的研究还需要进一步的研究,本文通過对影像数据进行分析,提出了一种面向多源异构的影像数据通用深度学习模型,并实现了对多层目标数据进行处理,为有效的解决多源异构大数据的融合、目标数据的提取提供了新的研究思路。

参考文献:

[1] 李贵兵,罗洪.大数据下的智能数据分析技术研究[J].信息技术,2017(3).

[2] 田瑞娟,杨帆.基于空中目标识别的特征提取与选择[J].兵工自动化,2018(3).

[3] 唐杰,陈文光.而向大社交数据的深度分析与挖掘[J].科学通报,2015(12).

[4] 姜建华,洪年松.一种多源异构数据融合方法及其应用研究[J].电子设计工程,2018(12).

【通联编辑:唐一东】

猜你喜欢
深度学习大数据
有体验的学习才是有意义的学习
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
大数据环境下基于移动客户端的传统媒体转型思路