基于机器学习的大数据平台管理系统设计

袁帅臣

摘  要：伴随互联网技术的快速发展，网络业务和互联网流量数据呈现爆发式增长，进而影响互联网大数据分析平台，产生数据量和运维环境的变化，冲击传统的大数据平台运维模式和数据技术方案。该文在总结机器学习在大数据分析平台运维观众的应用的基础上，分析聚类方法和回归算法的特征，提出基于机器学习的大数据平台智能化运维系统设计和监控系统设计方法，为平台运维人员监控、排查和修复等问题提供便利。

关键词：大数据平台；机器学习；系统设计；监控系统；时间序列

中图分类号：TP311.13      文献标志码：A          文章编号：2095-2945（2024）08-0110-04

Abstract： With the rapid development of Internet technology， the growth of network business and Internet traffic data is explosive， which affects the Internet big data analysis platform， resulting in changes in data volume and operation and maintenance environment and having impact on the traditional big data platform operation and maintenance mode and data technology scheme. On the basis of summarizing the application of machine learning in the operation and maintenance audience of big data analysis platform， this paper analyzes the characteristics of clustering method and regression algorithm， and puts forward the design method of intelligent operation and maintenance system and monitoring system of big data platform based on machine learning， so as to provide convenience for platform operation and maintenance personnel monitoring， troubleshooting and repair.

Keywords： big data platform; machine learning; system design; monitoring system; time series

在大數据背景时代，计算机技术及人们的学习方式发生了巨大变化，网络系统及信息共享的扩展性和共享性不断改进，也对网络安全和传统大数据平台带来挑战。我国互联网网民超过8亿，其中网络普及率也超过60%，网络成为人们生活、工作及学习不可或缺的一部分。伴随不断升级和改造的互联网基础设施，使得人工智能、医疗健康及投资风控等应用场景出现在数据平台中，网络环境的安全问题越来越影响人们生活，网络环境复杂多变，网络犯罪也更加严重，可见，互联网的发展也促进各国积极管理和应对网络风险及安全策略，对传统的大数据平台及监控体系提出了巨大挑战。

刘雷等[1]以云南省政协大数据平台建设为例，介绍平台的建设内容和实施方案，重点对大数据平台在政协背景下的关键内容进行较为详细的梳理。付鹏[2]阐述了大数据背景下计算机网络安全防范的重要性，分析了大数据背景下计算机网络安全存在的问题，并进一步针对加强计算机网络安全防范提出了有效措施。文聪敏等[3]针对当前软件需求变更日渐增多但管理效率低下的现状，总结了大数据平台的特点，针对大数据平台的计算能力和成本，提出了基于需求自动同步更新的管理系统，并从总体设计、需求数据库以及数据处理流程三个方面对其进行了阐述。白益洋等[4]通过二维码及信息化大数据平台精准录入人员身份，进而实现住院医师规范化培训教学的体系化管理，同时依据实时生成的考核数据对教学质量进行监控和反馈，达到对住培教学活动的良性互动和闭环管理。苏健渊等[5]通过使用人工智能、大数据等前沿信息技术，搭建实训基地智能化管理系统，将实训基地管理、维护、建设等多元信息集于一体，满足实训基地复杂化、多元化的管理要求，真正实现实训基地的智能化管理，优化实训基地运行机制，提升实训基地的管理效率和水平。张燕[6]以消防防控为研究对象，提出了一种多网融合的消防大数据平台。大数据平台的建设促进人们的学习方式改变，以机器学习为代表的人工智能技术为电力系统安全稳定的发展提供新的思路[7]。徐楚原[8]分析了大数据技术的应用现状，提出了环保智慧时代背景下机器学习的未来发展方向，旨在推动数据处理算法在生态环境领域的研究和应用，提高各类环境数据的处理效率。黄颖祺[9]针对最为关键的电能数据异常诊断难题，提出负荷回归分析预测、基于神经网络的负荷预测、聚类分析和基于投影方法4种异常检测方法，并对4种方法的准确性和有效性进行计算。王照翻等[10]以万宁海域为例，研究了多光谱遥感数据与多类型机器学习算法的浅海水深反演方法，把机器学习算法应用海浪效应的评价。

综上所述，大数据技术平台、机器学习及信息技术在网络安全、人员身份识别及生态环境领域应用较多，大数据的发展促进了人工智能技术的发展，基于机器学习及互联网技术应用大数据平台建设，为运维人员提供便利。

1  时间序列聚集理论

时间序列是基于数理统计学和随机过程理论，进一步研究随机数据序列所遵循的统计规律，因此，时间序列分析被认为是一种动态数据处理的统计分析方法。基于动态数据处理可以解决实际问题，目前时间序列分析的方法一般包括自相关分析和谱分析方法，模式识别是时间序列聚集应用的主要模式之一，常被用于发现数据集频繁出现的规律，比如在金融领域进行时间序列聚集分析，可以提供分析股票走势，通过股票走势可以得出相似金融企业的股票趋势，不同股票趋势的对比进而发掘企业之间的相互联系。时间序列聚集最为常用的是相似性度量，基于特定的时间序列和原始数据表示特征计算。

2条时间序列之间的距离为

dist（Fi，Fj）=∑dist（fit，fjt），

式中：T为时间，f为各时间点之间的距离，F表示长度为T的时间序列。时间序列聚集包括基于时间相似性的聚类、基于形状相似性的聚类、基于结构相似性的聚类和基于时间序列长度的聚类4种类型。其中，时间序列的表示特征、长度特征影响着时间序列的距离计算，另外噪声、振幅平移、振幅伸缩、时间轴伸缩、线性漂移及不连续也影响时间序列距离，距离具体的计算方法，如图1所示。

由图1可知 ，时间序列距离的计算与目标、长度层面和类型有关。其中类型从3个方面展开，即基于时间类型、形状类型和模型，基于模型的方法计算，把相似的时间序列定义为产生相似的模型，因此在大数据平台构建过程中，通过比较模型之间的相似性可以达到时间序列聚类的目的。目标方面基于时间相似性、形状相似性和结构相似性，时间相似性是强调每一个时刻点开始计算的，在具体的应用中欧式距离更加适合大数据平台中的时间序列聚类，但缺点是计算非常耗时，采用的原始序列，一般采取小波变换或傅里叶变换，最后对变换后的序列聚类；而形状相似性的聚类在序列时间点上模式对于形状相似性不重要，往往运用弹性方法中的动态时间规整进行相似计算，其中形状特征包括全局特征和局部特征。

长度层面从形状层面和结构层面进行计算。经典的统计分析是基于假定数据序列具有独立性开展的，但是时间序列分析更加侧重研究对象和研究数据序列的互相依赖关系。其中，形状层面计算采用相似性计算，通常是基于短时间序列聚类，另一方面结构层面是基于高级结构和全局的相似性为出发点，主要采用长时间序列数据计算，时间序列聚類算法如图2所示。

2  大数据平台原始数据采集分析系统设计

基于统计学原理方法，对大数据平台原始数据采集分析系统进行研究，深入分析网络设备，进一步找出异常设备，及时反馈设备运维人员。大数据平台原始数据采集分析系统基于时间序列聚类算法，充分利用相似性流量的网络设备进行聚类，采取时间序列聚集理论，在进行决策依据时，通过增加的负载均衡器及数据之间的传递，降低数据负荷。从而为大数据采集服务器入口增加与之对应的负载均衡器。

目前现有的平台网络流量采集系统的架构如图3所示。主要由3个模块组成，即不同用户采集模块、网络中间采集模块和存储分析数据模块。

由图3可知，不同用户单元模块为大数据平台的原始数据输入模块，主要作用是采集各企业用户的日常真实网络流量，每日只要有流量访问，设备就会产生日志信息；而中间的采集设备相当于大数据信息中转站，负责不同单元用户信息的处理，然后将处理后的信息转发平台，在不同城市区域都分布采集服务器，现有的网络流量采集系统缺乏对用户网络设备的监控和进一步的分析，另一方面网络设备模式相同的情况下使得用户在同一时刻处于波峰状态或波谷状态，产生较大的流量，导致采集服务器出现性能瓶颈问题，产生资源浪费现象，降低了采集服务器的使用状态。针对以上出现的问题，在传统的架构中增加设备流量分析模块和设备负载均衡模块，进而提升设备的运行状态，提升网络设备的效率，如图4所示。

由图4可知，通过一定的聚类，也可以发现异常数据网络流量，一旦个别用户设备的流量曲线与其他用户有较大的差异，大数据平台则认为设备有异常情况，后台立刻将异常的信息反馈给运维人员，运维人员通过采集服务及相关帮助即可查明异常原因，从而进行有针对性的维修，运维人员可以针对设备的历史流量数据进行深入分析，进一步挖掘其网络流量的模式。

3  大数据平台智能化运维系统的设计

3.1  大数据分析平台监控指标

大数据网络流量监控指标主要包含大数据平台指标和业务指标两大块。大数据网络服务器监控指标和集群指标构成了大数据平台指标；大数据业务指标类型较多，主要按设备数量、设备类型划分的网络流量大小及城市区域划分的总网络流量等，其检测的时间间隔为10 min。大数据服务器的监控指标见表1。

由表1可知，集群检测监测指标包括CPU、内存、磁盘读写等基本指标，还有HDFS、HBASE等大数据相关的监测指标。不同的监测指标，其检测时间间隔不同，对于监控指标变化较快的，采取间隔时间较短的办法，监测时间间隔对整个大数据集群有不同程度影响，因此要及时发现和处理不同的监测指标。

3.2  监控系统设计

周期性监控指标和非周期性监控指标构成了大数据平台网络的监控指标。对于含有趋势性的指标或周期性监控指标要预测指标走势，对于指标的走势要实时观测，探寻规律，发现持续升高的现象要预测指标的设定阈值，及时通知网络流量运维人员，尽早调查原因，并采取解决措施。

对于特别重要的监控指标，监控人员要收集或查看相关知识，可以采取监督学习的方式进行，依托LIGHTGBM模型，实施实时异常检测，提升监控的效率，同样，可以通过时间序列聚类算法进行聚类，对周期性监控指标进行检测，对于相同类簇的周期性监控指标，训练一个模型进行检测，不断滚动更新每一条监控数据，进而保存历史监控数据，发现异常数据，及时通知运维人员；而针对非周期性监控指标仅通过设置网络流量上下限阈值就可以完成本次监控的任务，如图5所示。

4  结束语

企业大数据平台的快速发展离不开互联网技术，搭建有利于公司运营的大数据办公平台对大数据智能化运维至关重要，因此，有效的管理系统对大数据平台的智能化运维至关重要，从根源上进行数据分析，及时发现大数据平台设备的异常情况，保证平台数据采集模块的平稳运行是关键。

通过时间序列模型聚类算法，提取相关模型参数及有用信息，进一步发现不同网络流量采集设备的行为模式，在网络流量设备监控中采取波峰波谷错峰的措施实施采集平台的负载均衡，提出了基于大数据平台监控系统设计和大数据平台原始数据采集分析系统，利用机器学习回归和分析算法，采取自动分析的模式，能够快速识别网络流量中绝大多数相关指标或异常数据，及时告知运维人员，减少网络流量设备的差错，进一步满足大数据管理平台的指标监控需求，以提高数据处理效率。

参考文献：

[1] 刘雷，孙贤，朱靖.云南省“数字政协”及大数据平台探索与实践[J].科技创新与应用，2022，12（26）：32-36.

[2] 付鹏.大数据背景下计算机网络安全及防范措施分析[J].科技创新与应用，2022，12（2）：124-126.

[3] 文聪敏，刘乃新.基于大数据平台的需求自动同步更新管理系统设计与研究[J].现代信息科技，2023，7（14）：7-11.

[4] 白益洋，董晋.基于信息大数据平台的住培管理系统应用研究[J].现代信息科技，2023，7（11）：156-159.

[5] 苏健渊，梁晓昀，黄民聪.基于大数据平台的实训基地智能化管理系统建设[J].石河子科技，2023（2）：75-76.

[6] 张燕.基于多网融合的消防大数据平台系统设计[J].数字技术与应用，2022，40（8）：200-202.

[7] 田芳，王曉茹.基于机器学习的电力系统安全评估及控制技术[J].供用电，2023，40（7）：3.

[8] 徐楚原.机器学习在生态环境大数据中的应用[J].化工设计通讯，2023，49（8）：177-179.

[9] 黄颖祺.基于机器学习的用户侧异常数据诊断研究[J].制造业自动化，2023，45（8）：49-55.

[10] 王照翻，马梓程，熊忠招，等.多光谱遥感数据与多类型机器学习算法的浅海水深反演方法评价[J].热带地理2023，43（9）：1689-1700.