网络运维场景中异常检测算法选择框架

◆王洋

网络运维场景中异常检测算法选择框架

◆王洋

（黑龙江省军区数据信息室 黑龙江 150000）

智能模型的建设过程中往往具有计算工作复杂，效率不达标的情况，然而为了完成网络运维工作，必然要完成模型构建。在这一前提下，本文提出的异常检测算法选择框架为改善工作量大且复杂的情况做出了优化，提高了效率，同时降低了人力成本。该算法是根据KPI数据进行自动化的适配异常检测算法，本文对该方法做了详细介绍。

时序数据；特征提取；异常检测

1 时间序列的数据分类概述

时间序列的分类是异常检测算法的基础，下文是时间序列的论述。

通俗地讲，时间序列是基于距离的时间分类算法，主要是对测试样本进行分析，选择与测试样本相似的训练样本，将训练样本作为该测试样本的类标，再用KNN算法、特定距离度量法进行有效测算。但是该方法在日常工作中存在一定的局限性，该局限性也导致了获得的参数并不精确的情况，因为该算法并未考虑到时间因素，届时欧氏距离将不能对二者的相似性进行判断。

时间分类算法主要是基于动态时间扭曲的最近邻分类法，通过动态规划能够将测试样本与训练样本的时间序列构建为距离矩阵，在矩阵中找到最优的匹配序列。但是这一过程需要大量的计算和分析，会耗费大量的资源来完成这一过程，非常不利于实际应用。所以国内外的相关专家就如何降低其复杂性展开分析。譬如Jeong等人通过定义一种权值函数，让时间间隔越小的点，越容易匹配的方式，有效解决了时间复杂度问题。

虽然算法各有不同，但是均可获取时间序列的重要特征。同时若想要完成消除噪声等不利影响，也需要采取以上算法的一种，因为该方法可以有效去除无效数据。

2 异常检测算法选择框架架构设计

基于时序数据智能分析的异常检测算法选择框架如图1所示。

图1 异常检测算法选择框架

具体步骤如下。

（1）服务端持续收集各个时间的KPI数据，并将获取的数据传递于服务端口，该端口中具有储存模块，可以完成储存工作。

（2）将储存模块调取出来后可以对其中的数据进行收集和分析，之后利用自动排序功能实现对KPI过去一段时间的提取。

（3）数据预处理模块的功能在于精加工数据，将缺失的数据补充以及降低噪声等。

图2是数据预处理的全过程，该过程可见完成数据的补充，对于检测工作具有重要意义。

图2 数据预处理

（4）建立模式依托于波形分类，具体过程如下。

第一步，针对上述过程获取的数据完成特征鉴别提取。具体需要的特征为长度和极值。之后根据模块来完成数据的智能化分析。

第二步，采用傅里叶公式完成对应的计算，从而获取周期。

第三步，根据上述信息来确认不同KPI的波形，然后将其传送到附属模块中。

不同KPI所分析的波形和周期各有不同，但是各类详细特征可见图3。

图3 时间序列波形分类算法

（5）选择合适的算法，根据以上的波形特征分类并根据获取的结果来自动判定最优检测法。再根据KPI的不同来确认最佳算法，之后根据特征来确认阈值百分比，如图4所示。

图4 算法匹配模块

（6）模型推理模块的依据是算法，该算法并非随意使用的，而是根据匹配度来确认，在确认并根据实际的特征分析并完善后，进行后续的模拟推理和后续检测工作。

3 应用实践及效果

根据上述分析，将该算法用于实践中，所以该试验选择了某端口流量KPI——TCP上行比特率。通过分析特征并选择适合的算法模拟后确认时间序列并提取其中的时间序列数据，该过程见图5。

图5 TCP上行比特率时间序列数据

本次截取的数据为稳定周期时间类别的数据，T=1D。

在完成模型分析并获取波形图像后，将结果发送给附属模块，在经过分析后根据提取的信息来完成后续命令的传递。设备端口接触到该信息后，将原始的模型数据更新并再次重复上述过程，最终完成KPI——TCP上行比特率模拟训练并完成该模型后方结束这一过程。同时在后续的训练中，算法参数根据获取的信息来进一步调整完善，从而达到整个过程的优化，最终也形成了动态基线，完成该过程也完成了在线异常检测。

4 结语

总之，本文的框架相对于传统的检测算法更加适合实际工作。因为不仅可以完成KPI波形的实时监测，还可以将波形进行分类。该分类过程是机械自动化进行的，节约了成本，也提高了检测效率。同时该过程的检测异常的算法更加复杂、精密，所以可以用于实践中。但是在实际应用中也存在一定的不足。因为学习算法方面依然有很大的改进空间，若可以克服这一问题会提高优化模型的效率，同时加快异常检测的效率。

[1]TAKCHUNGFU.A review on time series datamining [J]. Engineering Applications of Artificial Intelligence，2011（24）：164-181.

[2]KEOGHEJ，CHAKRABARTIK，PAZZANIMJ，etal.Dimensionality reduction for fast similarity search in large time series databases [J]. Knowledge and information system，2001（1）3：263-286.

[3]郑佳尔，秦一焜.一种数据异常特征的检测方法及装置：中国，CN111090685A[P].2020-05-01.

[4]BAGNALLA，LINESJ，BOSTROMA，etal.The great time series classification bakeoff：are view and experiment alevaluation of recent algorithm advances[J]. DataMining and Knowledge Discovery，2017，31（3）：606-660.

[6]姚熊亮，陈海龙，赵新，等.基于拉伊达准则的舰载设备抗冲击薄弱环节判定[J].中国舰船研究，2007，2（5）：10-14.

[7]邹汪平.一种基于网络安全控制的蜂群算法应用研究[J].吉林师范大学学报（自然科学版），2013（04）.

[8]徐恪，吴建平，吴剑.路由查找算法评价系统的设计与实现[J].小型微型计算机系统，2003（02）.

[9]李腊元，李春林，周继雄.通信协议的全局状态算法及自稳定性[J].小型微型计算机系统，1998（11）.