基于深度强化学习的物联网传输数据实时调度方法

张继飞，赵玉超，张春红

（1.厦门海洋职业技术学院，福建 厦门 361000；2.厦门工学院，福建 厦门 361000）

0 引 言

在科学技术不断发展和社会高度信息化的今天，人们对生活品质的要求也在逐步提高，为了更快地满足大众的需求，物联网调度实现了物与人和物与物之间的信息交互，是现代社会不可或缺的一部分[1-3]。信息化覆盖范围广容易造成传输数据阻塞，为了不影响物联网正常运作，在保证用户体验的前提下，需要一种能够实现高效传输数据、保证复杂物联网有效运行的自动调度方法。因此，深度强化学习物联网传输数据实时调度方法具有重大意义。保证物联网数据传输的实时性和高效性已经成为相关工作者的研究重点。

1 物联网传输数据实时调度方法设计

1.1 判别物联网传输数据安全性

为了实现物联网传输数据在网络安全环境下进行实时调度，首先要构建物联网传输数据模型，以时间段T为节点进行物联网传输数据调度特征样本的采集[4,5]。其样本采集过程为：

式中，x'为物联网传输数据的比特序列，T为传输时间段，Xv为物联网传输数据的分布序列，M和N为数据传输最大和最小字节[6]。根据式（1）的物联网传输数据样本采集结果可计算物联网传输数据的实时特征量。对于物联网传输数据实时调度而言，传输数据信息化采集的最大量特征分布需要满足调度信息自适应分析量。物联网传输数据实时调度信息的自适应分析量为：

式中，sm(t)为自适应分析量，V={v1,v2,…,vn}为传输数据信息化采集在物联网数据传输实时用量，ci为传输速率系数。

根据物联网传输数据最短信息优先的调度算法，优先调度在系统中实时运行时间最短的信息。其物联网传输数据实时调度的频域时间均衡控制模型描述为：

式中，x(i,d)、z(i,d)以及u(i,d)分别为物联网传输数据实时调度的信息传输补偿系数、速率调制系数以及传输频率系数，CR为物联网数据传输实时调度的信息均衡最大可容量。考虑物联网数据传输自适应分析特征量，结合物联网数据传输的实时均衡控制优化方法构建出反馈均衡模型，并根据模型判定网络传输数据信息的安全性。其模型为：

式中，ni为随机地传输数据信息。若FZ＜CTni，则表示传输数据为ni无法实现传输数据的反馈均衡，即可视为非安全传输数据，若FZ＞CTni，则表示任意传输数据ni为安全传输数据信息，可在物联网传输数据中进行实时调度。

采用深度强化学习采集物联网传输数据的特征序列样本，通过计算物联网传输数据的自适应转发特征量，建立了数据调度的频域均衡控制模型，根据模型判定物联网传输数据的安全性。

1.2 构建物联网传输数据实时调度模型

在物联网数据传输过程中，一个需要重点考虑的因素就是物联网数据传输过程中的丢包率，采用深度强化学习来实施信号传输，将直接影响接收节点进行有效接收数据量的大小及接收时间的长短。将物联网数据传输过程中的最小丢包率作为目标，引入深度强化学习中的贡献思维来构建物联网数据传输中大数据合理调度模型[7]。物联网数据传输过程中，调度目标的数据分配方法描述如下。

根据TFRC求出物联网网络中第i个发送节点t时刻的宽带B(i,t)，由此确定上限宽带。确定S(i,t)的大小从而使F(t)达到最小，即：

式中，F(t)为总线传输率，L(i,t)和S(i,t)分别为发送节点i在时段(t,t+Δt)的丢包率和发送速率，Sreq(t)表示一个物联网节点正常传输数据所需的速率，B(i,t)为物联网网络中第i个发送节点t时刻的上限宽带。

上述过程中最关键的一步就是对发送节点的丢包率进行升序排序。将最小的丢包率发送节点i划分到发送节点的上限宽带B(i,t)上，下一步再将次小的丢包率发送节点j划分到该发送节点的上限宽带B(j,t)上。重复进行以上操作步骤，直到发送节点的上限宽带之和不低于物联网数据的正常传输速率。

将丢包率最小作为调度目标能够促使接收节点有效充分利用发送节点的有效传输宽带，但这必然会使少量物联网数据传输速率高的节点不断传输数据，增加其负载，并且使物联网的其他节点无法有效参与到传输中，无法实现整体利益的最大化。为此，将激励机制中贡献思维引到大数据调度模型中，既能增加参与传输的节点数量，又能够实现各类节点分时分批的加入传输。这不但弥补了以上的弊端，还可以提升物联网数据的传输速率。引入激励机制中贡献思维的操作过程如下。

给所有发送节点植入贡献因子α(i,t)，它是用来描述i节点从初始进入系统到t时刻的贡献量C(i,t)与全部节点贡献量总和之比。

i节点上传量与i节点从别的节点处下载量之差为i节点的贡献量C(i,t)，其计算公式为：

式中，β为元速率。那么在实际应用中，可以将其他节点从i节点获得的下载量描述成i节点的上传量，即：

式中，j和i为上传节点序列数；D为时钟频率。那么贡献因子则可以描述为：

式中，k为数据周期传送个数。

非但如此，物联网数据传输速率会影响高速物联网数据传输的稳定性。因此，应该在物联网数据传输过程中尽可能地选择边缘节点，可以减少网络传输过程中的时延损耗。综上所述，在线时长可取为节点加入系统之后每个时段平方和，也就是：

式中，ts为节点加入系统的时间；te为节点退出的时间；o为进出系统次数。那么物联网大数据合理调度模型可描述成：

综上所述，采用深度强化学习判别了物联网传输数据安全性，将最小丢包率作为物联网传输数据的调度目标，引入深度强化学习的贡献思想，构建了物联网传输数据实时调度模型，实现了物联网传输数据的实时调度。

2 实验分析

为了验证基于深度强化学习的物联网传输数据实时调度方法性能，引入传统物联网传输数据实时调度方法作对比，测试了物联网传输数据的调度时间和数据完整性。两种物联网传输数据实时调度方法的传输数据调度时间测试结果如图1所示。

图1 传输数据调度时间测试结果

从图1的实验结果可以看出，采用传统物联网传输数据实时调度方法来调度物联网传输数据时，随着物联网传输数据带宽越来越大，物联网传输数据的调度时间越来越长，无法完成实时调度，而采用基于深度强化学习的物联网传输数据实时调度方法来调度物联网传输数据时，物联网传输数据的调度时间始终在10 s以内，且当物联网传输数据带宽超过0.6 Mb/s以后，物联网传输数据的调度时间反而变短了，可以实现物联网传输数据的实时调度。

两种物联网传输数据实时调度方法的物联网传输数据完整性测试结果如表1所示。

表1 物联网传输数据完整性测试结果

从表1的结果可以看出，针对物联网传输数据的完整性测试，基于深度强化学习的物联网传输数据实时调度方法的性能远远高于传统物联网传输数据实时调度方法，保证了物联网传输数据的完整性。

3 结 论

本文提出了基于深度强化学习的物联网传输数据实时调度方法，采用深度强化学习建立了数据调度的频域均衡控制模型，根据模型判定物联网传输数据安全性，通过构建物联网传输数据实时调度模型，实现了物联网传输数据的实时调度。结果显示，该调度方法具有更好的性能。