异构网络通信数据融合方法研究

谭如超,何 群,王 华,周 欣,肖 辉

(国网江西省电力有限公司信息通信分公司,江西 南昌 330096 )

0 引言

异构网络主要由计算机、网络设备以及网络系统构成。当前,异构网络所面临的重要问题是连接方式未知,需要给出相同管理场景[1]。异构网络的融合可有效提升网络服务的类型与运营收入,降低运维成本,令用户的服务体验更好[2-3]。为实现异构网络的高效运行,需要对多源异构网络通信数据进行转换融合,以降低数据的冗余性、提高网络通信效率。

为实现这一目标,诸多学者对此进行了研究。朱超平等在智能优化算法的基础上研究了一种网络通信数据的融合方法[4]。该方法通过智能优化算法加权融合网络通信数据,解决了传统网络通信数据融合慢、精度低的问题,但是其仅针对同类型网络通信数据。周思益等提出一种基于改进多传感器的自适应加权融合方法[5]。该方法利用置信距离构建支持度函数对原始数据中的异常值替换等方法实现数据融合,但是实际应用性较差。Allies等设计一种遥感数据融合方法[6]。该方法利用全球地表蒸发阿姆斯特丹方法论产品和典型萨赫勒生态系统简单参数模型的蒸散发估计进行数据融合,但存在融合精度较差的问题。

典型相关分析(canonical correlation analysis,CCA)是利用综合变量对两组指标所具有的关联性展开描述,并在整体上统计其相关关系的多元统计分析方法。其中心思想是:选取显著性较强的两个综合变量,以其之间具有的关联性描述整体指标具有的关联性。CCA具有强大的数据融合能力。

本文将CCA方法引入异构网络通信领域,提出一种基于CCA的异构网络通信数据融合方法,以期为提升异构网络通信数据融合效果提供一定帮助。本文方法可以在更多领域的数据融合方面发挥积极作用。

1 基于CCA的异构网络通信数据融合方法

异构网络通信数据融合的步骤如下。首先,对异构网络通信数据进行采集;然后,为保证异构网络通信数据质量,对异构网络通信数据进行预处理;最后,在获得预处理后异构网络通信数据特征的基础上,利用CCA方法进行异构网络通信数据融合。

1.1 异构网络通信数据采集

由于异构网络通信数据中的不确定数据较多,而不确定数据增量式挖掘算法可针对不确定数据进行准确采集,因此本文应用不确定数据增量式挖掘算法,以实现异构网络通信数据的采集。本文设xi(i=1,2,…,n)为n个异构网络通信数据向量,并将其划分为F个模糊簇,以计算出所有异构网络通信数据簇的聚类中心[7]。本文令目标函数最小,则其定义表示为:

(1)

为实现通信数据目标采集函数最小化、提升数据采集精准度,需要更新聚类中心与隶属度,从而得到:

(2)

(3)

式中:i=1,2,…,f;j=1,2,…,n。

异构网络通信数据采集计算流程如图1所示。

图1 异构网络通信数据采集计算流程图

首先,本文设X=(x1,x2,…,xn)为n个异构网络通信数据的数据集,并将原始聚类中心设为V0=(v1,v2,…,vf)。阈值ε>0。

至此,本文完成异构网络通信数据的采集。

1.2 异构网络通信数据预处理

本文对采集的异构网络通信数据展开预处理。预处理内容主要包括以下三个部分。

①数据清洗。通常情况下,异构网络通信数据的数据集内的异构网络通信数据在各种操作过程中会出现一些问题,包括数据缺失、错误以及重复等。因此需要对其展开数据清洗,以保证异构网络通信数据质量。针对异构网络通信数据缺失问题,可通过查找或推导相关数据,采用近似平均、最小、最大或其他概率估计值替代缺失值。针对异构网络通信数据错误问题[9],可通过数据属性之间的关联约束关系进行错误值检测。针对异构网络通信数据重复问题,可通过对比数据相似度进行检测与删除。

②数据归约。数据集数据量大,如不处理会对后续数据处理产生影响,所以需要展开数据归约。数据归约指基于数据自身展开挖掘时,利用挖掘的目标数据有效特征减小数据规模,从而在最大限度保护数据本体的情况下降低目标数据量[10]。数据归约共包括特征、样本以及特征值3种归约类别。数据归约的主要目的是降低数据规模,宜使用样本归约,也就是在数据集内选取最具代表性的样本子集。

③数据标准化。数据标准化是完成归约异构网络通信数据的数据集中,部分数据具有差异量纲,所以需要对其展开标准化处理,以消除量纲[11]。异构网络通信数据标准化处理过程如下。

数据集D的算术平均值为:

(4)

式中:Di为数据集内第i个异构网络通信数据。

数据标准化式为:

(5)

式中:Ci为D中第i个标准化异构网络通信数据。

本文通过对调异构网络通信数据逆指标前的正负号,实现异构网络通信数据的标准化处理。

1.3 CCA的异构网络通信数据特征提取

(6)

式中:E为方差矩阵;Sxx为异构网络通信数据x内相关性;Syy为异构网络通信数据y内相关性;Sxy为异构网络通信数据x与y之间的相关性。

本文利用CCA方法将式(6)转化为:

(7)

本文通过拉格朗日方法展开式(7),则:

L=αTSxyβ-λ1(αTSxxα-1)-λ2(βTSyyβ-1)

(8)

式中:λ1、λ2为拉格朗日乘子。

本文求取α、β有关L的偏导且使其为0,则存在:

(9)

此时,可将式(9)转换为:

(10)

综上所述,可得λ1=λ2。令β1=2λ1=2λ2,可得:

β1=αTSxyβ

(11)

在式(9)中代入β1,则:

(12)

设Sxx、Syy为互逆关系,则:

(Sxx)-1Sxyβ=β1α

(13)

在式(12)中代入式(13),则:

(14)

推导得到:

(15)

α、β为E的对应向量,且二者之间存在换算关系,具体为:

(16)

若Sxx、Syy、Sxy的非负特征值个数为r,则可获取最高r对解。按照非递增顺序排列所得异构网络通信数据特征值,得到与非零特征值0

本文对采用CCA方法提取的特征向量实施判别,获取应用于异构网络通信数据融合的最佳特征。判别CCA所提取特征的准则函数式为:

(17)

判别CCA求解式为:

(18)

1.4 CCA的异构网络通信数据融合

通过CCA展开异构网络通信数据特征融合,获取的融合策略为:

(19)

本文通过式(19)获取基于CCA的异构网络通信数据融合结果。

本文设待融合的异构网络通信数据为X(n维)、Y(m维),相应特征向量为wi、ei,采用CCA方法融合异构网络通信数据特征流程。异构网络通信数据特征融合如图2所示。

图2 异构网络通信数据特征融合示意图

2 仿真试验

2.1 融合性能测试

本文将异构网络通信数据集作为试验对象,将其中的80%划分为训练集、20%划分为测试集。判断标准为异构网络数据融合马修斯系数。为证明本文方法的效果,本文采用文献[4]方法(智能优化数据融合方法)以及文献[5]方法(犹豫模糊统计数据融合方法)进行数据融合有效性对比。一般而言,马修斯系数值越接近1则表示数据融合的精准程度越高。马修斯系数值计算式如式(20)所示。

(20)

式中:TP为挖掘出的样本为真实异常实例的数量;TN为挖掘出的样本为真实正常实例的数量;FP为挖掘出的样本为假异常实例的数量;FN为挖掘出的样本为假正常实例的数量。

三种方法的异构网络数据融合马修斯系数对比结果如图3所示。

图3 三种方法的异构网络数据融合马修斯系数对比结果

由图3可知,本文方法的异构网络数据融合马修斯系数值始终高于文献[4]、文献[5]两种方法。这说明本文方法能够有效检测到异构网络通信数据、提升其融合精度。其原因是本文方法应用了异构网络通信数据特征向量之间具有的相关性进行数据融合,所涵盖的鉴别信息丰富,异构网络通信数据的融合正确程度较高。

2.2 可靠性测试

三种方法的乒乓效应出现次数如图4所示。

图4 三种方法的乒乓效应出现次数

本文对比三种方法在融合异构网络通信数据过程中的乒乓效应出现次数,以验证三种方法的可靠性。

由图4可知,在融合异构网络通信数据时,本文方法的乒乓效应出现次数均值约为3次,文献[4]方法约为12次、文献[5]方法约为14次。本文方法的乒乓效应出现次数较少且变化幅度较小,由此表明本文方法的异构网络数据融合可靠性较高。

2.3 网络阻塞率测试

本文方法应用前后的网络阻塞率如图5所示。

图5 应用前后的网络阻塞率

由图5可知,本文方法融合异构网络通信数据前,网络通信的阻塞率呈指数级增长,与数据量呈正相关关系。本文方法融合异构网络通信数据后,网络通信的阻塞率不跟随数据量的变化而变化,且网络通信的阻塞率较低。

2.4 平均候选项集测试

本文方法应用前后的平均候选项集数目如图6所示。

图6 应用前后的平均候选项集数目

由图6可知,不同最小支持度门限下,应用本文方法融合异构网络通信数据前后的平均候选项集数目均呈下降趋势。但是应用本文方法后数据库存在的平均候选项集数目更小,说明本文方法应用不确定数据增量式挖掘算法可降低通信数据的平均候选项集数目、提升数据采集效率。

2.5 补齐率测试

本文随机选择两组异构网络通信数据集,设定属性维度参数o的取值分别为3、5、10;分析不同o取值下,数据缺失率变化时本文方法数据融合后的数据补齐率。补齐率指平均每次融合后填补数据量在数据总量中所占比率。不同属性维度参数影响下的融合性能如表1所示。

表1 不同属性维度参数影响下的融合性能

由表1可知,随着异构网络通信数据缺失的比率越来越大,本文方法的补齐率逐渐上升。其原因是填补异构网络通信数据缺失的过程中,数据的维度、空间复杂度以及时间复杂度均有所下降。在属性维度参数为5的情况下,本文方法的数据融合后补齐率最高。这说明属性维度参数取值为5时,可降低数据的冗余性、减少噪声。此时,本文方法的通信数据融合性能最好。

3 结论

为提高异构网络通信效率,本文设计了一种基于CCA的异构网络通信数据融合方法。本文通过采集异构网络通信数据,对数据进行清洗、规约以及标准化处理。本文建立判别准则函数以获取最终特征向量,依据特征向量融合异构网络通信数据,完成异构网络通信数据的融合处理。试验结果表明,本文方法的融合正确程度高、可靠性高、平均候选项集数目少、融合后的数据补齐率较高,可为进一步提升异构通信网络数据的融合效果提供借鉴。