基于云模型的大数据典型相关分析方法

李宇

【摘要】 随着科学技术的不断更新发展，传统的大数据典型相关分析方法已经不能满足人们的需求。因此，就需要加强该分析方法的进一步研究。一种基于云模型的大数据典型分析方法被提了出来。本文主要结合云模型的内容以及大数据典型相关分析的现状，对基于云模型的大数据典型相关分析方法进行深入的研究，并总结出影响大数据环境下，典型相关分析系数误差的影响因素，为该类研究奠定了坚实的理论基础，从而推动了大数据典型相关分析的研究进程。

【关键词】 云模型 大数据 典型相关分析 方法

大数据主要是指需要利用新的处理模式才能具备较强的洞察力、决策力以及流程优化能力的多样化、高增长率和巨量的信息资产。它主要具备数据体量大、类型繁多、价值密度低以及处理速度快等特征。这些特征加大了挖掘大数据的难度。随着大数据PB级规模的出现，传统的大数据典型相关分析方法已经不能满足其需求。因此，就要加强对大数据典型相关分析方法的创新研究。在这一背景下，一种根据云模型的大数据典型相关分析方法被提上了日程。

一、云模型的介绍

云模型主要是定性和定量转换的模型。在模糊数学和随机数学的基础上采用云模型来统一描画出语言值中存在的大量随机性、模糊性和二者间的关联性。用云模型来表示自然语言中的基元即语言值，用云的数字特征即期望、熵以及超熵来表示语言值的数学性质。它既体现了代表定性概念值的样本中的随机性，又体现了隶属程度的不确定性，从而展示了随机性和模糊性之间的关联。目前，云模型被广泛的应用到信任评估、图像分割和时间序列挖掘等领域上。

二、大数据典型相关分析的现状

人们在工程实践项目和科研工作中收集到的大量数据大部分都具备大数据的特性，但是把大数据作为一个独立的科学来研究是比较新鲜的。其主要相关的研究领域有：生物信息领域，一部分学者研究了生理电大数据的压缩和存储等方面问题，将生物学研究中的搜集到的数据可以看做大数据；数据挖掘领域，一些科学家研究了大数据挖掘中存在的在线特征的选择问题；大数据程序开发以及存储方面，一些科学家研究了大数据和云计算现状等。在现阶段，大数据研究过程中，还存在诸多不成熟的地方，需要对其进行进一步的完善。虽然一些学者探讨了在云计算平台下的大数据存储方法，但是并没有对大数据典型相关分析进行研究，也没有提出云模型下的大数据典型相关分析方法，使得这一类的研究比较缺乏，因此，就需要加强对大数据典型相关分析的研究，提出切实可行的方法，从而完善大数据典型相关分析，来满足大数据研究的需求。

三、基于云模型下的大数据典型相关分析方法

1、执行大数据典型相关分析的流程。大数据典型相关分析的流程包括：首先，在各个云端上依据当前云端中的数据，运用逆向云发生器形成云数字特征；其次，把各个端点云传送到中心云端，采用多维云进行合并，最终在中心云端中生成中心云；再者，依据中心云，采取正向云发生器生成中心云滴；最后，在中心云滴上实行典型相关分析。2、端点云的生成方法。利用逆向云发生器，在云端中的数据中生成云，就是端点云的生成过程。本文主要采用的是多维的逆向正态云发生器。为了提高在大数据中多维逆向正态云发生器生成云的效率，可以在随机采样的方法下，采取启发式的策略生成云。3、多维云的合并方法。在进行多维云合并时，每次只能进行一对云的加法计算。当采用反复调用方式使，每合并一次云，其新生云需要加入合并的操作中，使云的总体数量只能减少一个，大大降低了合并的效率。在大数据的背景下，由于受到数据存储或者收集方法的影响，就会使不同云端产生的数据也不尽相同，因此，在合并各个云端传递到中心云端的云时，要充分地考虑各云端数据的差异。

四、影响大数据典型相关分析方法的因素

1、中心云滴群的大小。随着云滴群的规模不断的扩大，典型相关分析的系数误差也逐渐下降，当达到一定程度时，其下降的速度趋向平缓的状态。这就显示出适当的增大云滴群的规模，可以有效地降低典型相关系数误差，通过少量的云滴可以体现了大数据中包含的相关性。2、云端数量。不同云端数量对典型相关系数的误差有着不同的差异性，当云端数量不断增多时，其运行的速度也相对提高。3、数据容量。随着数据容量的不断增大，其对应的典型相关系数的误差也随之上升。在大数据环境下，典型相关分析系数的误差有一定的波动性，同时期上升的幅度比较小。

五、总结

基于云模型的大数据典型相关分析方法主要是在小容量的中心云滴群中进行典型相关分析操作，从而提高在大数据环境下执行典型相关分析的效率。为了能够快速生成中心云滴，改进了多为逆向正态发生器，进而提高了大数据下云的生成效率。同时也总结了多维云合并计算的方法，提升了云合并的速度和质量。为之后类型的研究工作提供了可靠的理论依据，进一步完善了云模型的大数据典型相关方法。

参 考 文 献

[1]杨静，李文平，张健沛.大数据典型相关分析的云模型方法[J].通信学报，2013，34（10）：122-133.

[2]顾鑫，徐正全，刘进.基于云理论的可信研究及展望[J].通信学报，2011，32（7）：176-181.

[3]许凯，秦昆，黄伯和等.基于云模型的图像区域分割方法[J].中国图象图形学报，2010，15（10）：757-763.