基于粒矩阵的动态大数据多维关联性分析技术

李双琴 张涛 连江桥 曹文琛 白清霞

摘  要： 针对当前动态大数据多维关联性分析过程中数据处理时间过长的问题，提出基于粒矩阵设计动态大数据多维关联性分析技术。采用模糊粗糙集粒化动态大数据，以此为基础，采用粒计算理论构建动态大数据粒矩阵，利用PSO算法优化粒矩阵，通过逻辑约简运算，得到动态大数据关联信息粒，实现基于粒矩阵的动态大数据多维关联性分析。通过实验结果显示，与现有的动态大数据多维关联性分析技术相比较，提出的动态大数据多维关联性分析技术极大地降低了数据处理时间，充分说明提出的动态大数据多维关联性分析技术具备更好的性能。

关键词： 动态大数据; 多维关联性; 粒矩阵; PSO算法; 大数据粒化; 数据处理

中图分类号： TN911.1?34; TP311.1                   文献标识码： A                 文章编号： 1004?373X（2020）19?0111?04

Abstract： Since it takes a long time for the data processing in the process of current dynamic big data multi?dimensional association analysis， a dynamic big data multi?dimensional association analysis technology based on granular matrix is proposed. The fuzzy rough set is adopted to granulate dynamic big data. On this basis， the granular computing theory is used to construct a dynamic big data granular matrix， which is then optimized by the PSO （particle swarm optimization） algorithm. The dynamic big data association information granules are obtained by logical reduction operation， so as to achieve the dynamic big data multi?dimensional association analysis based on granular matrix. The experimental results show that， in comparison with the existing dynamic big data multi?dimensional association analysis technology， the proposed dynamic big data multi?dimensional association analysis technology greatly reduces the data processing duration， which fully demonstrates that it has a better performance.

Keywords： dynamic big data; multi?dimensional association; granular matrix; PSO algorithm; big data granulation; data processing

0  引  言

动态大数据是指无法在一定时间范围内使用常规软件工具进行管理与处理的数据集合，需要采用新的处理模式才能处理具有更强的洞察发现力、决策力以及流程优化能力的海量、高增长率以及多样化的信息资产[1]。动态大数据具有容量大、种类多、获取速度快、可变性高、真实性差、复杂性高等特点，动态大数据的数量日益增长，却因难以管理和处理逐渐进入了大数据发展的停滞期，动态大数据有价值的信息难以提取[2]。

现如今动态大数据已经成为世界的研究重点。数据之间具有关联性，动态大数据更是具有多维关联性的特点，通过分析动态大数据多维关联性，可以更容易、更快捷、更清楚地分析数据，为用户提供更加智能的服务与密切的互动[3]。

就现有的研究成果来看，动态大数据多维关联性分析技术存在着数据处理时间过长的缺陷，为了解决上述问题，本文提出基于粒矩阵设计的动态大数据多维关联性分析技术。粒矩阵是以粒计算为基础，通过构建粒矩阵实现规范管理动态大数据的目的。粒矩阵实质上是基于粒计算理论的数学模型，采用二进制表示法对动态大数据进行粒表示，从而构建粒矩阵。通过粒矩阵的应用，极大地提升了动态大数据多维关联性分析技术的性能，并设计仿真对比实验验证提出技术的性能[4]。

1  动态大数据多维关联性分析技术设计

1.1  基于模糊粗糙集的動态大数据粒化技术

为分析动态大数据的多维关联性，首要任务就是采用模糊粗糙集粒化动态大数据。对于动态大数据来说，一个多维关联性对应一个粒空间，粗的粒空间每个粒包含的对象较多，细的粒空间每个粒包含的对象较少，粒化过程主要分为两种：由粗变细、由细变粗。将动态大数据粒化后可以获得更多的信息[5]。

基于模糊粗糙集动态大数据的粒化往往是在一致粒度下，依据需求提取动态粒层的过程。在动态大数据粒化过程中，粒度主要体现为大数据的条件属性与决策属性的层次关系[6]。

动态大数据粒化的步骤如下：

1） 输入粒化决策表[S=U，C?D]。

2） 将粒度决策表模糊化。

8） 结束。

上述过程输出的所有[Wi]即为动态大数据粒化结果。

1.2  基于粒计算理论的粒矩阵构建

以上述粒化的动态大数据为基础，基于粒计算理论构建动态大数据粒矩阵，为最终动态大数据多维关联性分析做准备[7]。

粒计算是一种数据处理的典型方法，在实际复杂问题的解决过程中，随着求解问题需求的不同，计算方法也存在着变化[8]。

通过粒化处理将动态大数据划分为多种形式的块，为了更加精确地分析大数据之间的多维关联性，计算动态大数据粒度。粒度实质上是一个物理学概念，指的是数据的平均度量，表示为[Gi]。

而动态大数据粒矩阵指的是采用二进制表示法表示动态大数据，以此为基础构建粒矩阵[9]。

假设动态大数据为[U]，依据属性[R]将其划分为[UIndR=X1，X2，…，Xm]，则[Xi]用二进制表示为：

上述过程完成了动态大数据粒矩阵的构建，但是存在着弊端，需要进行优化。

1.3  基于PSO的粒矩阵优化

为降低数据处理时间，以上述构建的动态大数据粒矩阵为基础，采用PSO算法优化粒矩阵，具体过程如下所示。

粒矩阵中每一个个体粒子均表示着实际问题中的一个可行解。粒矩阵初始分布属于随机化，经过PSO算法的处理，可以使问题得到最优解[10]。PSO算法流程图如图1所示。

如图1所示，个体粒子的可行极值点计算公式为：

式中：[ya，jt]表示时刻[t]粒子[a]在第[j]维的个体极值点元素;[xa，jt]表示时刻[t]粒子[a]在第[j]维的位置元素;[f（? ）]表示需要优化的适应度函数。

全局最优粒子位置计算公式为：

式中[ygbestt]表示全局最优粒子位置。

PSO算法位置更新表达式为：

式中：[va，jt+1]表示粒子的速度元素;[ωt]表示惯性权重参数;[c]表示加速度常量;[ri，j]表示上一次迭代过程中速度的贡献值。

通过上述步骤得到优化后的动态大数据粒矩阵表示为：

式中[ψ3]表示粒矩阵优化参数值。

通过上述过程完成了动态大数据粒矩阵的优化，为下述动态大数据多维关联性分析做准备[11]。

1.4  动态大数据多维关联性分析

以上述优化的粒矩阵为依据，采用逻辑约简运算，计算动态大数据关联信息粒，实现了基于粒矩阵的动态大数据多维关联性的分析[12]。

基于粒矩阵的动态大数据多维关联性分析技术具体步骤如下：

1） 动态大数据粒矩阵中包含着若干个属性集合，采用[A，B]表示，并且[A，B?R且A≠B]。

2） 通过粒矩阵相与∧运算，并设定约简运算后的粒矩阵为[MinAm×nBm×n]。

3） 采用属性[A，B]对上述得到的粒矩阵进行处理，得到最简化粒矩阵[13]。

为了进一步研究基于粒矩阵的动态大数据多维关联性分析技术，提取动态大数据的关联信息粒，采用CPU为i5，内存为4 GB的高性能PC机，在操作系统Eclipse 3.2的基础上提取动态大数据的关联信息粒[14]。

动态大数据关联信息粒提取流程如图2所示。

通过上述过程实现了基于粒矩阵的动态大数据多维关联性的分析，为用户提供更加智能的服务与密切的互动[15]。

2  对比实验分析

上述过程实现了基于粒矩阵的动态大数据多维关联性分析技术的设计，但是对其是否能够解决现有技术的问题，还无法确定，为此设计仿真对比实验。

2.1  实验准备

为了保障实验数据的精准性，采用Matlab软件进行仿真实验分析，选取2 GB多维动态大数据作为实验对象，平均分布在1.6 mm×1.8 mm。原始的动态大数据受到大量干扰信息的影响，无法分析其多维关联性，为此对动态大数据进行相空间重构，得到动态大数据相空间重构图谱如图3所示，动态大数据类别分布如图4所示。

2.2  实验结果分析

在实验过程中，主要采用提出技术与现有技术进行对比实验，利用数据处理时间体现技术性能。通过实验得到数据处理时间对比情况如表1所示。

如表1数据显示，本文提出技术的数据处理时间远远少于现有技术，且提出技术平均数据处理时间比现有技术平均数据处理时间低了23.3 s。

通过实验结果显示：与现有的动态大数据多维关联性分析技术相比，本文提出的动态大数据多维关联性分析技术极大地降低了数据处理时间，充分说明提出的动态大数据多维关联性分析技术具备更好的性能。

3  结  语

本文提出的动态大数据多维关联性分析技术极大地降低了数据处理时间，具备更好的性能，应用该技术能够为用户提供更加智能的服务与密切的互动。

但是提出的动态大数据多维关联性分析技术仍存在一些缺点，比如动态大数据中存在干扰信息，影响最终数据处理的准确性。未来将会以干扰信息的处理为重点研究方向，进一步完善基于粒矩阵的动态大数据多维关联性分析技术。

参考文献

[1] 吴珺，王春枝.面向大数据的多维粒矩阵关联分析及应用[J].计算机科学，2017，44（z2）：407?410.

[2] 连芷萱，兰月新，夏一雪，等.面向大数据的网络舆情多维动态分类与预测模型研究[J].情報杂志，2018，37（5）：123?133.

[3] 王雪蓉，万年红.基于跨境电商可控关联性大数据的出口产品销量动态预测模型[J].计算机应用，2017，37（4）：1038?1043.

[4] 郝然，艾芊，肖斐，等.基于多元大数据平台的用电行为分析构架研究[J].电力自动化设备，2017，37（8）：20?27.

[5] 安小米，宋懿，郭明军，等.政府大数据治理规则体系构建研究构想[J].图书情报工作，2018，62（9）：14?20.

[6] 张嘉祺，郝旭光.中国证券监管者非理性行为的整体关联性：基于多维尺度方法的分析[J].财贸经济，2018，39（6）：88?100.

[7] 张怡，熊朝阳，张加万.多维数据的不确定性可视相关分析[J].计算机辅助设计与图形学学报，2018，30（6）：1089?1099.

[8] 李国祥，夏国恩，王继军.多维数据特征相似性测量的目标预测方法[J].统计与决策，2018，34（9）：15?19.

[9] 周志光，余佳珺，郭智勇，等.平行坐标轴动态排列的地理空间多维数据可视分析[J].中国图象图形学报，2019，24（6）：956?968.

[10] 吕丽平，白鑫，张玉宏.基于KL距离的异类传感器动态数据关联算法[J].电光与控制，2017，24（11）：43?48.

[11] 丁男，聂率航，许力，等.面向车联网应用的数据关联性任务调度算法[J].计算机学报，2017，40（7）：1614?1625.

[12] 刘铮，毛宏霞，戴聪明，等.基于多源数据多特征融合的弱小目标关联研究[J].红外与激光工程，2019，48（5）：303?308.

[13] 牛艳芳，薛岩，邓雪梅，等.审计大数据关联的网络分析平台构建及应用研究[J].审计研究，2018（5）：35?42.

[14] 都平平，李雨珂，孟勇，等.新一代机构知识库中研究数据的关联组织研究[J].现代情报，2018，38（12）：86?90.

[15] 王高杰，黄进良，肖飞，等.基于关联性及趋势性分析的AVHRR NDVI及MODIS NDVI数据产品比较[J].长江流域资源与环境，2018，27（5）：1143?1151.