大数据分析技术在网络领域中的应用

管孝振

(齐鲁医药学院,山东 淄博 255300)

0 引言

在网络中,每天都会产生大量的数据。随着数据的积累,大数据分析技术获得了迅速的发展,挖掘出了这些数据背后所蕴含的价值。运营商通过对这些数据的应用来实现对网络性能的优化,从而获得更多的网络收益。相比于传统的数据分析,大数据分析技术具备更强的洞察力,能够对零散信息进行有效的整合,并对各个网络要素之间的联系进行研究,在网络安全保障和流量控制中发挥着十分重要的作用。本文对网络领域中的大数据分析技术进行研究,目的在于提升网络应用的安全性和可靠性。

1 大数据分析技术的概念阐述

从目前的情况来看,大数据分析技术的应用已经获得了人们的关注和研究。所谓网络大数据就是指无法在一定时间内通过网络通信系统进行访问和传输的数据集合。大数据的特点在于波动性、体量大、生产速度快以及模态多样化[1]。数据体量的增加产生了更大的数据流量,且数据的产生有着很强的时效性,大数据的种类包括了非结构化、结构化和半结构化数据,其中往往包含着巨大的价值,因为网络有着很强的突发性,所以具备了波动性的特点。从科技企业的角度上来看,因为对于大数据的关注点不同,所以会产生多种分类问题。例如:从电信运营商的角度上来看,网络大数据主要包括了IT系统数据、接入网和核心网数据以及运营商网络应用数据[2]。其中,IT系统数据包含了业务消费信息、终端注册平台和客户关系管理系统。接入核心网中的信息包括网络数据包和移动信令等。运营商网络应用数据包括了翼支付数据、网上营业厅数据等。

大数据能够从内外两个方面进行收集。其中,外部数据主要源自于市场研究机构和国家统计局等;内部数据主要源自于业务系统和运营系统等。对于数据进行收集的方法包括数据源收集和辅助工具收集等。其中,移动设备可以被作为收集数据的工具。

因为出现了海量的数据信息,所以应用的分析手段要具备更强的功能,一般来说经常应用的技术手段包括时间序列分析和机器学习等。大数据分析技术有着时空维度这一特点,因此采用时间序列来进行分量分析,并对流量模式进行预测,整体的预测性较强[3]。机器学习在很多领域中的应用都显著提升了预测的性能,针对高级数据通过非线性变化来进行建模,从而实现大数据分析。在研究网络控制管理时,无论是哪种节点,都能够通过博弈论来进行对象之间的交互性分析,这对于大数据分析技术而言是非常有效的一种工具类型。

2 网络领域中大数据分析技术的研究

2.1 在无线网络中的应用

(1)故障监测。通过大数据分析技术来进行故障监测,主要是分析通话记录、测量报告和带宽趋势等数据来对设备故障和用户异常等网络故障问题进行解决。例如:当用户在通话过程中突然发生中断的问题,解决这种问题时一般会采用网络仿真或者路测等方法,路测需要消耗大量的时间和费用,网络仿真所获得的结果并不可靠,所以可利用大数据分析的方法,通过对运营商储存的网络测试数据来对网络覆盖进行优化[4]。实践过程证明了网络覆盖分析的方法具备更强的精确程度,通过运营支撑系统来获取网络测量数据,通过大数据来处理OSS数据,从而实现更加高效率的网络优化。通过下行覆盖自优化算法来分析数据,对网络性能进行记录,对异常区域进行定位,以此为前提来对天线参数进行调整,从而有效提升下行覆盖性能。这种方法对于运营商而言是更加高效的,且投入的成本和时间较少。

蜂窝网络所具备的自愈能力,能够对网络性能的故障进行精确定位,并能够自动恢复,确保实现高质量的通信。这种自愈功能能够及时地调整相关参数,从而避免出现较大的系统性能损失,避免过多的人力、物力投入。为了提升服务质量,应该在规定的时间段内实现系统自愈,因为在数据上有着一定的限制,所以可利用大数据分析技术来妥善解决系统问题[5]。

(2)流量监控。蜂窝网络的速率较高,能够满足人们的媒体业务需求,并能够通过更大容量和更高性能的服务器来对流量进行分析和监视。近些年,人们对数据分析的需求持续增加,所以这种方法的局限性较大。将网络流量监控分析系统设置在蜂窝网络中心,实现数据量的有效处理,不但有着较高的性能且花费的成本较低[6]。同时,通过流量框架的设立来达到流处理和批处理的效果,流处理可实现对端口宽带相关参数分析,从而更加有利于网络监视活动的开展。批处理是对用户进行批量的流量处理,并能够对异常情况进行有效监测,及时地识别出异常行为。

(3)缓存处理。在缓存中,对于大数据分析技术的应用主要包括带宽分配优化、热点内容跟踪以及5G网主动缓存等。5G网主动缓存是以大数据分析技术为基础来建立的缓存机制,主要功能在于对5G内容流行程度进行预测。在对用户流量进行收集后,对其中的有用信息进行提取,接着采用评估前收集的原始数据流行程度,以基站获取的真实数据为基础来进行实验。这一机制具备了优化用户体验和提升缓存性能的效果。社交网络包含了大量的用户。用户一般会在具备共同爱好的群体当中进行多媒体的分享。一些热点新闻会吸引很多人的关注,所以会在网络中获得迅速的传播,这时会增加网络负载,请求内容需要通过服务器来按照网络路径传播[7]。可通过对社交媒体以及热点新闻的监控来对数据进行分析,了解人们对哪些内容感兴趣,并按照类别来进行热点数据缓存,通过大数据分析技术来让用户更加迅速地缓存内容,减少网络的负载。随着用户量的增加,对于带宽的分配以及服务质量的提升是非常重要的。蜂窝网络能够为用户带来随时连接互联网的服务,利用动态带宽分配算法来让用户对基站的无线信道进行共享,通过分析用户数据网络来将其划分到多个集群中,从而实现带宽的共享,让网络的资源利用效率得到提升,使得内容的分发速度获得提升。

(4)网络优化。在如今的网络融合时代中,网络之间的操作更加频繁,且相互之间的协调部署更加复杂。网络管理对于各项数据处理的能力有着更高的要求。与此同时,入网设备的增加和业务类型的丰富等方面为网络的规划带来了更大的挑战。对网络质量和规划形成影响的因素有很多,这些因素与网络性能之间有着复杂的关系。大数据分析技术能够对数据之间的潜在关系进行挖掘。其应用到网络规划中有着重要的优势。

2.2 在光纤网络中的应用

(1)网络优化。路由和波长分配算法在光纤网络中有着十分重要的作用,这种算法的应用主要以线性规划模型和分层图模型为基础,通过大数据分析技术的应用来对该算法中存在的问题进行解决[8]。在计算机中进行路由和波长分配算法的独立运行,对需求序列进行处理,从而在较短的时间对更多数量的需求序列进行评估,选择一个更好的解决方案。

(2)流量预测。因为出现了更多的新服务,所以对网络有着更高的要求,那么对于运营商而言就需要通过动态的方式来应对预期流量。如果采用网络超供应来处理,则会增加总成本。如果基于阈值来进行重新配置,则有利于节约功耗。缺点在于需要安装的光转发器数量没有减少。通过大数据分析技术来进行的方案重构,就是在路由器中进行流量监控数据的定期收集,所有的边际路由器都是为了其他路由器来进行流量样本的收集,并储存到数据库中。按照预定时间来对监控数据进行定期检索,并执行数据流挖掘[9]。相比于静态方法,通过应用大数据分析技术,虚拟网络拓扑方案能够减少光转发器安装数量,并能够在低流量时停用转发器,达到节能的效果,通过释放光路来有效降低成本。

2.3 在SDN网络中的应用

SDN网络具备应用集中控制装置来对网络进行编程的能力,能够通过开放接口来对多个数据面进行编程,从而带来更加灵活的结构支撑。

(1)流量预测。随着网络中应用程序的增加,尤其是实时应用程序有着很大的体积和计算复杂性,少不了网络的支持。作为新的网络样式,SDN网络引起了多方面的重视和关注,主要是在转发面当中将控制面分离出来,转变传统的垂直统一管理模式,实现了网络编程。通过大数据分析技术的应用实现了SDN的资源感知路由架构,具体包括用户偏好分析、SDN控制器与数据库接口设计和SDN控制器路由几个部分。利用偏好分析能力能够在对用户所应用的程序进行分析后,发现其中所包含的分布规律,接着以此为基础来进行预测模型的开发,从而对于各个领域中所存在的具体情况进行合理应对。大数据分析技术能够结合用户的具体需求来对网络资源进行动态化的分配,从而实现有效的均衡负载,利用交换设备进行动态的流量发布,来对方案是否具备足够的流量适应能力进行验证,使得资源的使用效率获得提升,以最终达到均衡负载的效果。处理应用程序的过程中,可能会因为数据而受到一定的影响,所以应该通过实时通信预测来优化中心网络数据,运用SDN网络所具备的可编程特点来达到网络资源分配优化的效果。

(2)跨层设计对大数据分析技术的应用。网络分层包含了相邻层和非相邻层,前者通过协议来通信,后者则不能够直接通信,通过跨层设计能够在后者中建立信息共享,并有效改善整个网络的性能。后者达到了信息共享的效果,却导致传统的模块化原则受到了影响,提升了网络的复杂性,已经不再适合应用过去的优化策略及设计方法[10]。利用大数据分析技术,达到了全局网络的视图效果,从所有层中获取信息以实现更好的网络控制管理。

2.4 在网络安全中的应用

在网络运行中,离不开网络安全的支持,这同时也是网络可靠运行的重要前提条件,网络活动的开展需要通过网络安全检测来提供安全通信保障。

(1)APT攻击检测。随着网络信息发展,APT攻击变得更多,其具备了一定的渗透性和隐蔽性,常常让国家网络信息系统面临威胁。对于APT攻击进行检测的主要困难在于对异常进行检测时需要对大量的数据进行筛选,这让检测任务变得更加困难。因为网络数据增长的速度非常快,所以外围防御系统在对目标进行检测时可能会无法发挥效果。大数据分析技术能够对APT攻击进行有效的检测,并分析网络安全数据的关联,对APT攻击进行检测有着很大的优势。

(2)网络安全检测。在网络安全领域中,网络安全检测一直都是十分活跃的研究内容,具体是对网络所面临的风险以及所处的安全状态进行分析,并对不同接入网络的行为进行控制,从而及时发现一些潜在的威胁,甚至是一些攻击。例如DDOS检测,随着网络流量的增加,过去的检测方法难以从网络流量中有效地检测到攻击行为。然而,大数据分析技术能够进一步提升DDOS检测的水平。例如:入侵检测是根据主机数据和网络流量来对系统行为进行判断,通过大数据分析技术能够实现多个信息源的连接,实现对异常活动的有效识别,从而提升入侵检测的效率。很多网络安全问题都是因为僵尸网络而造成的,具体是指被恶意软件所感染的机器组合成为的网络,这种攻击可能会造成财务上的损失[11]。为了对这种攻击进行检测,获取数据包和网络跟踪是较为有效的措施。对于如今的计算机而言,分析大型数据集并不简单。为了解决这个问题,技术人员可以通过大数据分析技术来建立僵尸网络检测系统框架。

(3)网络安全态势。面对大量的网络安全风险,从企业的角度上来看,要及时发现网络中存在的异常情况,并对网络安全状态进行实时掌握,而不是采用过去那种亡羊补牢的方式,减少网络面临的安全风险,让网络安全防护能力获得有效的提升。网络安全态势感知能够获取造成网络态势变化的要素,并对未来的安全趋势进行有效的预测。大数据分析技术能够将各类安全数据变为更加直观的可视化信息。网络安全态势感知已经变为了当前网络安全研究工作中的重点内容。

3 结语

总而言之,大数据分析技术的应用途径十分丰富。网络包含了系统信号和网络流量等多种类型的数据。设计者收集数据信息并和用户的服务需求建立联系,从而设计出更加符合用户需求的自适应网络。如今,大数据分析技术的应用变得更加直接,数据采集更加灵活有效。终端设备具备了很强的移动性和便捷性,彻底对资本流动方式和人们的行为进行了改变。该技术目前已经在医疗、金融和商业等方面得到了广泛的应用,并获得了不错的成果,吸引了各方的关注。本文分别对大数据分析技术在无线网络、光纤网络、SDN网络以及网络安全中的应用进行了研究。