大数据融合模型的智能化网络安全检测方法

(内蒙古电力科学研究院，呼和浩特 010010)

0 引言

在信息智能化不断发展的时代，许多中小型企业的各种业务系统也在不断地更新与完善，所产生的数据也在迅猛地增长。产业互联网的迅速发展，带动了各行各业的生产水平，与此同时，智能网络时代也给企业的安全带来了全新的挑战[1]。互联网的负面作用正逐步扩大，网络安全问题成为了企业安全的重中之重，其中数据安全问题较为突出[2-3]。

针对上述存在的问题，许多学者发表了自己研究的技术方案。文献[4]公开了一种基于Hadoop平台卷积神经网络模型[4]，虽然能在一定程度上对网络安全检测运算处理效果比较好，但是处理数据过程比较复杂导致效率低，对于实时数据无法快速处理。文献[5]提出了一种多源异构数据实时处理模型，采用了XML数据形式映射数据库的机制[5]，虽然在实时数据处理上有明显的优势，但是采集的数据容易受到噪声干扰导致精度下降。本研究研究出一套适用的解决方案，下文将详述具体方案设计。

1 网络安全检测平台总体框架设计

针对上述技术存在的不足，本研究设计出新型的智能化网络安全检测平台，全面分析网络风险因素，以提高对网络风险因素的感知、预测和防范能力。本研究采用卡尔曼滤波算法、采用数据融合分类算法和模糊推理算法3种方法结合构建出数据融合模型来对网络安全检测数据进行运算与处理。关于网络安全检测平台总体框架图如图1所示。

图1 网络安全检测平台总体框架图

如图1所示，网络安全检测平台总体框架可分为5大模块。

1)检测数据采集与预处理：

网络安全检测平台主要是通过物联网和企业的业务系统中获取数据，利用网络采集探针在关键网络节点进行实时检测。采集内容应该包括网络流量、日志、系统漏洞和各个业务系统之间交互数据等信息，在原始流量中经过分析得出已知威胁，将数据进行预处理之后通过数据采集接口传输至数据融合模型之中进一步进行数据处理[6-7]。

2)数据存储：

数据存储主要是将采集得到的不同结构的数据进行合理地存储，与数据融合模型通过数据交互接口进行信息交互，便于数据融合模型的运算。

3)平台管理：

包括平台的管理、数据存储以及自身安全防护，通过实时监控来主动发现安全漏洞并及时预警，充分运维管理网络安全检测平台，加强全网安全形势意识和安全监控，为平台的总体功能实现提供支撑。

4)数据融合模型：

在本研究的数据融合模型中，在结构上分为卡尔曼滤波算法、采用数据融合分类算法和模糊推理算法，采用多种算法能将复杂的网络安全检测大数据进行融合处理产生最优权重值提高了数据有效性，提高了网络应用效率。最终将处理结果传达至展示与应用模块。

5)展示与应用：

在对显示单元中存在的隐藏数据信息中，依据决策者、管理人员和运维人员对网络应用安全的需求侧重点，利用可视化分析技术，进行多种态势的多维度展示，并且支持预警通告和应急处置[8]。

2 数据融合模型的构建

在对复杂的网络安全检测大数据处理方面，通常是采用数据融合技术来将不同结构的网络安全检测数据进行互补优化，得到更好的数据结果。本研究设计了网络安全检测数据融合组合算法模型，采用多种算法将复杂的网络安全检测大数据进行融合处理产生最优权重值提高了数据有效性和网络利用率。关于数据融合模型如图2所示。

图2 网络安全检测数据融合模型

结合图2对网络安全检测数据融合模型进行说明。在结构原理上，首先应用卡尔曼滤波算法进行数据融合处理，以提高数据的纯度，进而提高计算的精度。其次采用数据融合分类算法为对网络安全检测数据进行进一步的关联融合，通过稀疏自编码器进行自主提取数据特征。为了进行数据聚类，通过K-means聚类算法模型对接收到的数据进行聚类处理，并通过softmax函数输出分类器，进而实现多种数据的融合计算和处理；最后将处理后的数据信息输出至模糊推理算法，对接收到的网络安全检测数据从整体上进行性能评估。

2.1 卡尔曼滤波算法

在实际网络采集探针在关键网络节点进行实时检测过程中，采集过程和传输过程的周边环境难免会受到各种外界因素的干扰。为了降低噪声干扰提高数据的准确度，本研究将卡尔曼滤波算法进行了新型的应用，在应用过程中对原始网络安全检测数据进行初始化滤波处理[9]。计算方法的详解如下文所示：

针对关键网络节点处首先建立状态方程和量测方程为：

(1)

式(1)中，k表示某一时刻，取不为0的自然数；xk表示在k时刻网络安全检测信号的状态变量，yk分别表示在k时刻网络安全检测信号的量测变量；Ak和Hk分别表示在k时刻网络安全检测信号的状态转移矩阵和量测系数矩阵；Wk和Vk分别表示在k时刻网络安全检测信号的动态噪声和量测噪声。

其次，根据式(1)建立误差初始化方程为：

(2)

式(2)中，P为计算误差初始化方程中对应x的协方差，E为计算的误差值。经过卡尔曼滤波递推，得到：

(3)

(4)

Qw=E[wkwkT]Rv=E[vkvkT]

(5)

其中:Q和R分别表示在k时刻网络安全检测信号的动态噪声和量测噪声各自的协方差；J表示最终运算的滤波值。

综上式(1)～(5)[10-11]可以看出，卡尔曼滤波算法过程是一个迭代过程，当得到新的网络安全检测数据时，即可算出新的滤波值，实现对原始网络安全检测数据的降噪处理。

2.2 数据融合分类算法

本研究的数据融合分类算法是在K-means聚类的稀疏自动编码器融合算法的基础上，应用SAE稀疏自动编码器将网络安全检测数据的特征信息自主地提取出来，然后启动K-means聚类算法模型接收上述数据信息，对SAE稀疏自动编码器输出的数据进行处理[12-13]。关于数据融合分类算法的具体步骤如下：

1)设3种不同结构网络安全检测数据集A={a1，a2，…，aN}，B={b1，b2…，bN}，C={c1，c2，…，cN}均含有N个样本，经过关联融合后得到数据样本集[14-15]D={a1，a2，…，aN，b1，b2…，bN，c1，c2，…，cN}。

2)通过SAE稀疏自动编码器建立3个隐藏层，本研究构建三次神经网络模型来提取网络安全检测数据的特征信息。构建SAE稀疏自动编码器网络模型主要通过编码和解码过程。在编码过程中，提取隐藏层特征第k个网络安全检测数据样本编码公式为[16-17]：

ak=fθ(dk)=f(T1dk+C1)

bk=fθ(dk)=f(T1dk+C1)

ck=fθ(dk)=f(T1dk+C1)

(6)

式(1)中，f(x)为激活函数，θ为SAE稀疏自动编码器的参数。通常编码和解码过程常用的激活函数为ReLU函数和sigmoid函数，本研究在编码过程中使用ReLU函数，而在解码过程中将两种激活函数混合使用[18]。

在解码过程中，将对网络安全检测数据进行重构，得到与输入层的原始网络安全检测数据最接近的输出量gk，如公式(7)所示[19]：

gk=fθ(x)=f(T2x+C2)

x=ak,bk,ck

(7)

其中：x为3种网络安全检测数据集任意一种，T1=T2T，C1=C2T。

3)对网络安全相关数据进行设置，比如网络硬件参数、损失函数和优化器。神经网络模型参数主要由迭代次数、批处理以及学习速率组成，损失函数则通过调用PyTorch数据库内的均方损失函数MSELoss，在模型中为了防止数据出现过拟合现象，本研究采用Adam优化器对数据进行优化[19-20]。关于具体实现程序相关代码如下[21]：

迭代次数：nmm_epochs=200

批处理个数：batch_size=1280

学习速率：lerning_rate=1e-3

采用Adam优化器：

optimizer=torch.optim.Adam(model.parameters(),lr=learning_rate weight_decay=1e-5)

设置均方损失函数：criterion=nn.MSELoss

最后一步，通过SAE稀疏自动编码器输出量作为K-means聚类算法的输入量。首先要先确立一个输入网络安全检测数据的中心点；其次每个网络安全检测数据点通过ou_distance函数来定义数据点与所设中心点之间的欧式距离；然后通过分析计算距离所设中心点最近的数据点，确定该点归属于哪一种网络安全检测数据类别。最后，计算中心点与所有其他数据点之间的距离之和，并计算每类网络安全检测数据集中每个点与所有其他点之间的距离之和。如果距离小于当前中心点之和，则删除中心点并再次分割质心。经过多次循环，得到最终的分类结果[22]。

2.3 模糊推理算法

通过模糊推理算法对数据融合分类算法的结果进行数据融合，根据结果决定是否调整权值，并将调整后的权值隐含在其权值矩阵中，使数据融合更加适宜。关于具体步骤如下[23]：

(1)对输入量进行量化，假设模糊推理结果为F，数据融合分类算法结果为U1，卡尔曼滤波算法结果为U2。

(2)从专家级研究经验进行推理分析，得出模糊推理结果F的定义式为：

(8)

其中：i是某个网络安全检测数据样本，M是总网络安全检测数据样本集合，当Fi趋近于0时，说明网络安全检测数据损失值小，表明融合性好；当Fi趋近于1时，说明网络安全检测数据损失值大，表明融合性差。

3 实验与分析

为了验证本研究设计的数据融合模型的适用性与可靠性，下面进行实验。

3.1 实验环境与数据样本

关于实验硬件环境为Pentium(R)CPU、8核16G内存，电脑的硬盘容量为512G的硬件环境，软件的操作系统Windows10，JDK5.0，通过MATLAB软件系统进行仿真。

本研究以某企业近五年来受到网络安全威胁情报作为数据样本对象，对每条告警日志进行处理与分析，重点关注源IP地址、目的IP地址、动作等字段，分析清楚每个字段的含义，之后提取威胁IP地址进行进一步的评估。关于网络安全检测数据样本某个告警日志重要字段说明如表1所示。

通过输入威胁IP地址输出此威胁的评估值，由上级管理决定是否采取相应措施，从而消除网络安全威胁。

3.2 实验内容与结果分析

为了验证本研究所设计的数据融合模型的优势，本研究以卷积神经网络(CNN)方法和交叉映射(CM)方法作为对比，采用不同方法计算0～2TB网络安全检测数据量范围内融合损失值。在以下实验中，本研究所采用的卡尔曼滤波算法参数Q=10-6，R=10-1。通过MATLAB软件系统进行仿真对比，对比结果图如图3所示。

如图3所示，本研究所采用的数据融合模型方法比CNN算法和CM算法的损失值更低，网络安全检测数据融合性更好。因此得出结论，本研究的数据融合模型更加适用。

图3 损失值对比结果图

为了进一步验证本研究的数据融合模型高精度和低能耗的优点，采用不同方法计算0～2 TB网络安全检测数据量范围内误差率和网络节点平均剩余能量，得出结果进行对比如图4和表2所示。

图4 节点平均剩余能量对比结果图

表2 3种方法误差对比结果

通过对图4和表2中的结果分析，本研究本研究的数据融合模型不仅误差数值最低，而且由于运算过程效率高使得网络节点能耗较低。因此得出结论，本研究数据融合模型可靠性要更高。

4 结束语

结合新时代智能化网络背景下对企业网络安全保护的需求，本研究设计出新型的智能化网络安全检测平台，在数据传输的过程中利用数据融合技术对网络中的数据进行融合处理，采用卡尔曼滤波算法提高网络安全检测数据的精准度。通过分析存在的威胁和漏洞，评估网络威胁带来的危害程度，最后利用某企业的告警日志数据通过实验验证了本研究网络安全检测数据融合模型的适用性和可靠性。结果表明，该改进算法产生最优估计值提高了数据有效性，处理后的数据传输降低了网络能耗。随着技术的不断发展，对于智能化网络安全检测平台采集精准度和全面性要求会更高，本研究仍旧存在诸多不足，有待进一步的研究。