何潇
(陕西财经职业技术学院,陕西咸阳 712000)
高速发展的信息化时代促使大数据的到来,面对与日俱增的数据量,如何对大数据进行分析利用仍然是领域内的研究重点,充分挖掘和利用大数据资源已成为企业提高竞争优势的重要途径,在此方面,利用人工智能深度学习成为较佳的选择,而科学合理的深度学习框架则是深度学习的基础和关键,为有效满足呈动态变化的应用需求,该框架需具有良好的可移植性、灵活性等优势,TensorFlow(谷歌开源,支持分布式迭代训练)则属于较为优秀的深度学习框架,但随着所需处理问题复杂程度的不断提高,基于深度学习的模型随之不断变大,迭代训练一个较复杂的深度模型所需时间较长,TensorFlow 训练时间长的问题日益突出,需要进一步优化以满足使用需求。
随着人工智能领域研究的深入,深度学习得到快速发展和完善,成为网络运营商提高网络控制和管理过程自主能力和智能水平的有效途径。在探索和应用人工智能的过程中,非形式化内容的实现和描述难以使用计算机完成,对于一些非形式化行为在使用硬编码的体系进行表示时,要求人工智能系统具有主动获取知识的能力即机器学习。
目前,机器学习已在图像检测、目标识别等领域内得到普遍应用,深度学习方法是机器学习的一个重要分支,该方法主要通过深层神经网络完成数据拟合过程,虽然不断增多的无线设备一定程度上促进了无线异构网络设施的发展,但急剧增加和不断变化的网络流量仍给网络自身带来较大的压力,在提升通信质量方面,实现网络资源的合理分配成为一项重要手段,通过应用路由选择方法可实现网络流量的有效控制[1-2]。目前在无线异构网络路由中应用深度学习的研究较少,在选择路由路径时使用传统的路由协议算法易导致拥塞问题的出现。
针对以往的路径经验,通过深度学习的原始数据训练功能,可有效避免选择路由路径时的堵塞问题,进而提高路由选择的质量和效率。关于深度学习在通信网络中应用的研究:在无线传感器网络中,考虑到其应用受限于分类无线传感网的计算,结合运用了非负矩阵因数分解算法和深度学习设计了一种更加有效的算法;通过卷积神经网络的运用实现了结构和编码效率的显著提高[3]。
传统的路由协议及深度学习的训练结构均具有一定的局限性,为了解决这一问题,对于包括输入和输出在内的路由数据,可以采用实时独立的网络算法,基于深度卷积网络的特征提取完成有效的特征处理过程。
在评价网络的质量和规模时,路由协议中的路由参数是一项重要指标,而高质量通信网络的获取需基于目前的网络现状,主要表现在急剧增长的网络数据流量与网络结构的复杂程度。关于路由路径选择方面的研究:采用机器学习训练大规模数据集时,由于传统路由不具备基于自主学习经验的路由优化能力,在并行通信过程中,过长的工作节点与参数服务器通信时间会明显提高训练耗时,一种基于深度学习的智能化流量监控系统实现了流量的实时监控,进而在一定程度上避免了拥塞问题。文中在现有研究成果的基础上,为更加有效地避免堵塞,针对以往经验数据,采用深度学习方法对被标记的数据进行学习训练,在此基础上选出有效路径组合,进而有效减少平均时延,同时降低丢包率[4]。
2.1.1 分布式表达
分布式表达作为表示学习的一种重要工具,分布式学习可将kn个不同的概念通过具有k个值的n个特征进行描述,分布式的表示方法是神经网络和概率模型(分别包含多个隐藏单元和多个潜变量)的考虑重点。
对于包含2n种配置的N维二元向量,输入空间的不同区域与各种配置一一对应,由不同概念间的共享属性产生的泛化是区别的重要依据。对于特殊的分布式表示,可通过阈值处理输入的线性函数实现二元特征的准确提取,Rd由各二元特征分成一个对半空间,在输入空间中,O(nd) 个不同的区域可通过相同数量的参数进行确切表示,通过特征提取器(非线性可能连续)处理表达中的每个特征是分布式的优势所在,虽可对较多不同的区域进行明确编码,但受限于没有一一对应的映射关系而导致容量有限[5]。
2.1.2 深度卷积神经网络
为降低深度监督网络的训练难度,通常需采用非监督的方法进行预测训练,作为基于有监督学习的数学模型,深度卷积网络具有易于训练的优势,特征提取过程即将所需训练的数据输入网络中,由其矩阵反复进行卷积和池化的操作,获取一个全连接的网络,然后再进行分类输出[6]。能够共享权值的卷积神经网络使整个模型的参数数量得以有效减少,进而提高了训练效率。通过深度卷积神经网络的前端完成特征提取过程,前端由交替出现的卷积层池化层构成,已提取特征局部则通过网络的后端完成整合与变换处理,后端由多个全连接层构成,网络会以不同的任务为依据,动态调整最终输出,对于数量较多的训练数据,使用深度卷积网络可从中将泛化能力强的有效特征提取出来,特别适用于分类任务[7]。图1 为深度卷积神经网络的结构示意图,作为网络的核心卷积层,由多个卷积核构成,负责完成对不同层次特征的学习,具体通过卷积核处理输入数据得到相应的输出(即特征图);池化层主要负责压缩处理特征图,一系列学习和操作完成后再接入到全连接层[8]。
图1 深度卷积网络结构图
2.1.3 BP算法
BP 算法通常结合使用梯度下降算法,是常用于人工神经网络中的一种误差反向传播算法,主要负责对整个网络的权值进行更新,BP 算法主要由激励传递(包括前向传递和误差反向传递)和权值更新两个过程构成,训练过程需基于大量标记数据完成,该算法的流程为:先初始化整个网络的权值和偏置,随机进行,范围在(0,1)区间内,输入数据逐层经过网络后,在网络输出同真实输出间差距较大的情况下,进入误差反向传递阶段,各层根据反向逐层传递的误差更新相应的权值和偏置,在此基础上实现误差的有效减小[9]。
通过简化设计一个无线通信网络,完成对文中路由路径选择过程的描述,机器在全部可供选择的路径中选择一条最优路径,该路径可能不是最短路径,通信策略基于源节点和目的节点间的连接,考虑到在网络环境降低的问题上,包括OSPF、IS-IS、RIP等在内的传统路由协议有选择最短路径的内在倾向,传统路由协议在较为拥挤的网络环境下,会以固定不变的规则为依据,根据预设好的时间间隔做出典型路由决定,属于在短时间间隔内突然触发的情况,进而增加了通信拥挤现象的出现,且状态持续时间较长。
为有效提高路由策略的智能水平,文中构建了一种基于网络流量的深度学习系统,并在TensorFlow 平台中完成系统数据的训练,系统具体流程如 图2 所示[10]。
图2 深度学习系统流程图
2.2.1 初始阶段
初始阶段的主要目标在于获取学习系统所需数据,在负荷和环境不同时,对不同路由器的通信情况及路径可采用传统路由策略进行模拟和记录,或者从可用的数据集里提取出相关信息,以供训练阶段使用[11]。
2.2.2 训练阶段
训练阶段主要负责监督学习上一阶段获取的信息,为强化其在深度学习训练系统中的应用效果,策略核心网络中路由的数量由N表示,内部路由数量l 小于路由的数量,以二维向量(x→,y→)作为训练算法的输入,x→表示路由的通信量,y→表示下一个路由器,对应的输出为权矩阵(WM)[12]。训练算法主要由输入数据的初始化与特征提取(通过深度卷积网络完成)、深度学习网络的调整(通过BP 算法完成)两部分构成,基于复合函数链式法则的BP 算法属于一种多层次神经网络的训练算法,各路由器均需执行的训练过程为:对神经网络每一层的输入数据进行依次训练,路由编号由k表示,每一步花费(k-1)个隐含层;然后,通过BP 算法的使用完成对各层权重的调节,满足要求后给出最终的输出值,从而最大程度减小深度学习系统的输出误差;此外,由于深度学习系统的目的地址较多,各路由器还需对深度学习系统进行训练(以目的节点路由数量为依据),每个边缘路由器和内部路由器的训练个数分别为N-1-1个和N-1 个,各运行的深度学习系统仅能在一个临近的节点进行预测,训练过程需使用部分通信量和临近节点完成[13]。
2.2.3 运行阶段
运行阶段各路由器先向边缘路由器传送通信量,再根据权值矩阵数据完成相应深度学习系统的创建,利用权矩阵能运行全部可能路径,在此基础上完成对临近路由的预测,重复此步骤直至获取所需路由信息,深度学习系统以路径经验作为学习对象,并从中获取最优的通信路径,进而有效避免了由最短路径引起的拥塞。设计所需的无线网状骨干网络(4 × 4)使用开源的NS3 作为网络仿真器完成模拟,具体如图3 所示,假设深度卷积网络运行于各边缘路由器,以其他边缘路由器作为目的地,且只在边缘路由器(接入终端均与其相连)中生成分组,内部路由器只负责转发分组,将对应的路径附加到分组,在此基础上完成整个路径的构建,内部路由器负责完成路径的读取及数据包的转发,由多个路由器构成的路径需使用多个深度卷积网络实现完整的构建过程,使用深度学习优化处理现有的输入路径数据矩阵可实现所需输出的获取[14]。
图3 无线网状骨干网框架
对于网络状态性能的估测,现有的网络仿真可有效满足相应需求,文中的深度学习系统使用TensorFlow 完成具体的搭建和训练过程,再通过NS3 网络仿真的使用完成最优路径的寻找,主要针对网络的平均时延、信令开销、整体吞吐量的性能进行仿真,根据文献[10]建立起网络环境,设置上述网络拓扑结构的参数,链路带宽为8 Mb/s,使用1 kb 大小的数据和控制数据包,各节点的缓冲区无限制。其中的总数据包生成速率变化范围在7~15 Mb/s 间,基准方法采用OSPF,对采用的深度学习系统进行比较。更新各路径的时间间隔为0.25 s,同时交换一次信令。
训练深度学习系统时以均方误差作为停止条件,收敛速度和训练效果在包含16 个节点的4 层学习系统中表现较佳,均方误差值较小,训练的复杂程度同隐含层节点数量成正比[15]。网络的平均时延、信令开销、整体吞吐量在OSPF 和深度学习下的实验对比结果如图4 所示,在不同的生成速率下,相比于OSPF 深层学习系统的信令开销明显更低,原因在于整个路径仅有边缘路由器进行计算;深度学习系统吞吐量明显提高,说明系统可在有效避免拥塞的同时,提高路径的评估质量;深层学习方法使获取合适路径的耗时明显缩短,显著缩短了深层学习系统的平均延迟[16]。
图4 实验对比结果
不断扩大的网络规模暴露出了现有网络策略成熟度不高的问题,网络条件受到较大增长流量的影响而呈现出不断变化的状态,面对数据规模和网络流量要求的不断提高,路由策略的重要性日益突出,作为一种新的学习方法,深度学习在网络系统中的应用不断深入[17-20],在路径选择过程中通过应用深度学习可在有效节省获取最短路径所需时间的同时,有效提升数据的传送效率,文中主要对优化选择网
络路由路径的实现方法进行了设计,通过在网络路由中运用深度学习系统实现了路由策略的有效优化,具有一定的实际应用价值。