基于深度强化学习的工业物联网路由优化方法

摘 要：常规的工业物联网路由优化协议多以独立形式设定，链路利用率大幅度降低，为此提出了基于深度强化学习的工业物联网路由优化方法。根据当前的路由优化需求，先进行实时监测节点部署及路由运行数据采集，采用多阶的方式扩大覆盖范围，制定多阶路由协议，后以此为基础，构建工业物联网路由优化模型，采用离散化辅助处理实现路由优化。最终测试结果表明：应用所提方法，最终得出的链路利用率提升比均可以达到5.5以上，所设计方法的针对性更强，应用效果更佳。

关键词：深度强化学习；工业物联网；路由优化；离散化辅助；网络接入；工业指令

中图分类号：TP39；TN256 文献标识码：A 文章编号：2095-1302（2025）02-00-03

0 引 言

工业物联网的建设与应用关联，一定程度上推动相关行业与技术迈上了一个新的发展台阶。在这样的背景下，路由优化已成为确保数据传输效率和可靠性的关键。当前，传统的路由优化方法往往基于固定的规则和参数，文

献[1]和文献[2]设定了传统超限快速决策树的工业物联网路由优化方法、传统自适应蚁群的工业物联网路由优化方法。这一类优化方法虽然可以实现预期的路由运行环境，但是存在部分不可控因素，严重影响了工业物联网的实践。不仅如此，由于物联网中的程序过于单一，应用效率较低，导致其更加难以适应动态变化的工业环境[3]。为解决这一问题，本文对基于深度强化学习的工业物联网路由优化方法进行了设计与验证分析。

1 设计工业物联网深度强化学习路由优化方法

1.1 实时监测节点部署及路由运行数据采集

工业物联网实时监测节点的部署是可控分析的基础。由于此次针对工业物联网进行测定，所以选定温度、湿度、压力等数据作为监测的目标对象。明确监测的范围之后，设置边缘节点和核心控制节点[4]。此外，需要注意的是，节点的设置位置要确保能够准确反映目标区域的状况，避开可能的干扰因素。增设数据信息传输信道，与节点匹配，此时计算出数据传输频率，如式（1）所示：

（1）

式中：Y表示数据传输频率；q1和q2分别表示节点初始覆盖区间和实际覆盖区间；n表示转换频次；表示单元流量；π表示堆叠数据。结合当前测定，依据测算的最佳数据传输频率，调整此时的传输信号，形成更加稳定的匹配执行基础协议[5]。根据节点的实际监测需求，确定需要采集的数据类型。采用适当的通信协议和技术，关联设定的信道确保数据能够实时、准确地传输到数据中心或云平台。接下来，采集基础应用数据。路由运行基础数据采集见表1。

结合表1，实现对路由运行基础数据的采集。

1.2 多阶路由协议制定

结合深度强化学习的多阶路由协议结构如图1所示。

结合图1，实现对多阶路由协议结构的设计与实践。基于此，按照需求分析，选择与之匹配的路由算法，测算出路由协议对数据处理的收敛速度，如式（2）所示：

（2）

式中：O表示数据处理收敛速度；m表示初始流量；w表示动态传输数据量；θ表示收敛次数；h表示离散均值。结合得出的数据处理收敛速度，判断分析此时所设计的路由协议对工业物联网的控制和辅助效果。

1.3 构建深度强化学习的工业物联网路由优化模型

将上述指定的多阶路由协议导入当前初始的路由优化模型之中，结合深度强化学习，构建工业物联网路由优化模型。深度强化学习的工业物联网路由优化模型结构如图2所示。

结合图2，实现对深度强化学习的工业物联网路由优化模型结构的设计与实践。接下来，在深度强化学习的辅助下，在所设计的模型之中增设强化学习机制。一般情况下，要定义路由优化在多步决策中最大化累积奖励的过程，需要设计合适的奖励函数，反映数据的传输效率、时延、能量消耗等关键性能指标[6-7]。采集上述数据和信息，建立模型表达式，如式（3）所示：

（3）

式中：E表示模型输出路由优化结果；λ表示奖励函数；ω表示迁移范围；ι表示基础流量；α表示可控执行频次。综上，便完成了工业物联网路由优化模型的构建。

1.4 离散化辅助处理实现路由优化

当前，工业物联网中连续的状态空间包括节点能量、通信质量等。将连续的状态空间离散化为有限的离散状态集合，简化模型的复杂度，并提高模型的稳定性和可训练性。在给定状态下采取的行动集合，能够将复杂的连续动作转换为有限的离散动作，分高、中、低3个等级调整对应的传输功率标准，一定程度上有助于模型的学习和决策，最大程度减少计算误差的出现。与此同时，离散化处理还针对模型输出的结果，计算出各周期优化结果对应的离散值，如式（4）所示：

（4）

式中：U表示离散值；ε表示空间可收敛次数；τ表示转换均值；R表示均匀量化值。结合当前测定，实现对离散值的计算。基于离散值的变化，判断分析工业物联网路由优化实际效果，一定程度上有助于模型更快地收敛，进一步增强优化决策自身的准确性与稳定性，以及最终的可扩展效果[8]。

2 方法测试

为验证所提方法的先进性，开展对比实验。设定传统超限快速决策树的工业物联网路由优化组、传统自适应蚁群的工业物联网路由优化组以及此次所设计的深度强化学习的工业物联网路由优化组。利用专业的设备和装置进行基础数据信息的采集，汇总整合以待后续使用[9]。

2.1 测试准备

结合深度强化学习，选定H工业物联网作为测试的辅助目标对象，进行基础测试环境以及背景的设定。当前接入的主要是Ubuntu 18.04测试系统，增设机器学习框架，设定Keras+Tensorflow辅助学习环境，以此来实现平台之间的交互[10]。路由装置接入测试系统如图3所示。

结合图3，实现对路由装置接入测试系统结构的设定与实践应用。基于此，设置工业物联网功能，此时的总带宽流量强度为10.14%～13.27%，测算出初始链路利用率标准，并把控实际路由数据链情况。根据当前的优化需求及标准，设定路由优化测试指标与参数，见表2。

结合表2，实现对路由优化测试指标与参数的设定。基于此，基本完成了对当前路由测定的优化与整合，形成了动态化的路由测试控制。接下来，结合深度强化学习技术，展开后续测定与优化分析。

2.2 测试过程及结果分析

依据以上设置搭建的测试环境，结合深度强化学习技术，设定传统超限快速决策树的工业物联网路由优化组、传统自适应蚁群的工业物联网路由优化组以及此次所设计的深度强化学习的工业物联网路由优化组，对H工业物联网路由优化方法的测定进行对比验证及测算，测试结果见表3。

根据表3，完成对测试结果的对比分析。相比于传统超限快速决策树的工业物联网路由优化组、传统自适应蚁群的工业物联网路由优化组，此次所设计的深度强化学习的工业物联网路由优化组最终得出的链路利用率提升比均可达到5.5以上，说明在深度强化学习技术的辅助与支持下，此次所设计的工业物联网路由优化方法更加稳定、细化，针对性明显提高，实践验证的结果更加真实。

3 结 语

结合工业物联网实际的应用运行需求，融合深度强化学习技术，所设计的路由优化形式更加具体、稳定，在复杂的网络环境下，可以完成实时监测与整合，进一步增强对网络的监管和控制。不仅如此，深度强化学习技术的辅助与支撑，扩大了实际的优化范围，帮助其适应不断变化的网络环境，有效提高了数据传输效率，消减了环境中的复杂性和动态性，以应对日益增长的工业物联网路由优化需求，为工业生产带来了更多价值。

参考文献

[1]刘松.基于超限快速决策树的无线多媒体传感器网络路由优化方法[J].青岛大学学报（自然科学版），2022，35（3）：33-38.

[2]家峰.基于自适应蚁群的无线传感网络低延时远程通信路由优化方法[J].宁夏师范学院学报，2023，44（7）：77-84.

[3]王哲，王启名，李陶深，等.基于深度强化学习的SWIPT边缘网络联合优化方法[J].计算机应用，2023，43（11）：3540-3550.

[4]苟平章，马琳，郭保永，等.基于软件定义网络的多约束QoS双路径路由优化方法[J].计算机工程与科学，2023，45（1）：46-56.

[5]丁小峰，张文杰，徐赛华.光纤无线融合网络低能耗路由优化方法研究[J].激光杂志，2022，43（12）：128-132.

[6]李晓丽.无线传感网数据采集路由算法研究[J].物联网技术，2023，13（8）：68-71.

[7]李贝贝，宋佳芮，杜卿芸，等.DRL-IDS：基于深度强化学习的工业物联网入侵检测系统[J].计算机科学，2021，48（7）：47-54.

[8]张继钰.基于深度强化学习的工业物联网资源分配算法[D].北京：中国矿业大学，2023.

[9]李英磊，吴韶波，黄茂源.基于节点休眠机制的WSN路由优化[J].物联网技术，2017，7（4）：44-47.

[10]耿立卓，郝雪，刘璐，等.基于人工蜂群算法的电力通信网路由优化仿真[J].电子设计工程，2022，30（24）：28-32.

作者简介：莫丽娟（1982—），女，广西苍梧人，讲师，研究方向为计算机应用技术。

张梦榛（1996—），女，河南郑州人，硕士，助教，研究方向为人工智能。

收稿日期：2024-01-23 修回日期：2024-02-28