多智能体系统带宽分配及预测云控制

李 丽 任翔毅 李治辰 耿 清

随着计算机科学技术、人工智能技术和网络控制技术的飞速发展,多智能体系统（multi-agent systems,MASs）引起了广泛的关注,已应用于智能电网[1-3]、智能交通[4]、自动驾驶[5]、传感器网络[6]等领域,一致性问题是MASs 的基本问题[7-13],该问题旨在通过与邻居交换信息来使所有智能体达成一致.大量的MASs 通过无线网络交换信息,不可避免地受到噪音信号的干扰.扰动的存在会影响系统的性能,甚至严重破坏系统的稳定性.扩张状态观测器作为自抗扰控制器的核心,可用于同时估计状态和扰动.然而,在考虑网络延迟的情况下,如何较精确地估计系统状态和扰动需要进一步研究.

在MASs 中,随着智能体结构的变化和规模的增加,数据的实时处理和计算的速度需要得到严格的保障,使用传统分析方法很难处理这样的实时大数据和计算.同时,控制系统中的海量数据将增加网络的通信负担和系统的计算负担,一个高效的带宽分配方案就变得尤为重要.此外,由于数据是通过网络传输的,网络时延对MASs 的影响至关重要,需要设计相应的控制策略以主动补偿网络时延.因此,在大规模的云控制系统中,合理分配带宽以充分利用通信资源非常重要,这有助于提高效率,减少不必要的资源浪费；另一方面,如何补偿MASs 存在的网络时延和受到的扰动也是一个关键问题.

基于以上分析,研究了一种考虑网络时延和未知扰动的MASs 的带宽分配和预测云控制方案.本文的贡献总结如下：

1）对于具有未知扰动的MASs,提出了一种基于预测的扩张状态观测器,以估计每个智能体受到的扰动并设计控制器进行补偿.

2）Stackelberg 博弈方法用于解决MASs 的带宽分配问题,该问题包含预测云控制器之间的非合作博弈和智能体之间的演化博弈.

3）提出了一种预测云控制方案,以补偿受带宽分配影响的网络时延和扰动.并给出了保证MASs 稳定性和一致性的充分条件.

1 问题描述

1.1 系统模型

在大规模的MASs 中,合理分配带宽以充分利用通信资源非常重要,这有助于提高效率,减少不必要的浪费.基于预测云控制的MASs 结构如图1 所示,其中包含两个云控制器和多个智能体,它们之间通过无线网络进行信息交互.

图1 基于预测云控制的MASs 基本框架Fig.1 The basic framework of MASs based on cloud predictive control

从图1 可见,整个预测云控制系统将云计算和MASs 相结合.每个组中的智能体的实时数据通过网络发送到两个云端上的控制器,根据网络化预测控制方法对数据进行处理后,将生成控制序列并通过网络发送回每个智能体.然后,智能体从所有可用的控制预测序列中选择当前时刻的最新控制预测,并将其应用于智能体的执行器端.根据智能体的应用场景,可以将它们分为不同的组.组中的智能体根据自己的意愿选择其中一个预测云控制器进行连接.

考虑由N 个智能体组成的具有未知外部扰动的一般线性MASs.每个智能体可以被描述为

假设云控制系统的云计算中心设在智慧园区内部,与智能体相距不超过100 km.云控制系统的总时延主要由计算时延和传输时延两部分组成,传输时延又分为数据的发送时延和信号在载体中的传播时延.其中,由于云控制系统的特点,可以将需要巨大算力的计算任务分解成简单的原子任务并行计算,计算时延极低,不会影响对系统分析的结果,因此,本文不考虑计算时延；又因为云计算中心与智能体相距不超过100 km,以光信号为例,光信号在光纤中的传播速度是2.0*108m/s,100 km 的距离对应1 ms的双向传播时延,0.5 ms 的单向传播时延,实际工业生产中系统信号的传播时延更是远小于这个理论最大值,对所研究的云控制系统影响很小,在研究时可以忽略处理,因此,本文不考虑信号的传播时延.基于以上假设和分析,本文对MASs 间的网络时延仅考虑智能体i 和预测云控制器l 之间的数据发送时延,不考虑计算时延和信号在载体中的传播时延.它们之间的发送时延可以通过下式计算得到

对于式（1）,给出如下定义和假设.

定义1.对于具有外部扰动和带宽分配方案的MASs,如果满足下列条件,则说明预测云控制方案下的MASs 有界稳定,且可以实现输出一致性：

条件（1）表明每个智能体是有界稳定的,条件（2）表明所有智能体是输出一致的.

假设1.所有智能体的外部扰动满足以下条件：

1.2 扩张状态观测器的设计

对于系统（3）,为了估计系统状态和受到的扰动,设计了如下观测器：

1.3 带宽分配问题

MASs 的带宽分配问题被建模为Stackelberg 博弈模型,其中,预测云控制器是博弈的领导者,而智能体是博弈的跟随者.对于预测云控制器,它们相互竞争,并权衡它们愿意分配的带宽大小和它们要收取的价格.智能体的主要目的是最大程度地发挥其效用,并确定要连接到的云控制器.

1.3.1 智能体之间的演化博弈

智能体之间使用演化博弈方法来确定要连接到哪个预测云控制器.多个智能体可能会连接到同一个预测云控制器,这可能会降低预测云控制器的效用,从而会提高价格以实现其更高的效用.因此,智能体可以更改其连接并切换到另一个预测云控制器.此过程可以重复很多次,直到同一组中的所有智能体都达到相同的效用为止.最初,智能体根据其应用场景分为不同的组,并且同一组中的智能体可以连接到不同的预测云控制器.每个组中的智能体仅需知道同一组中其他智能体的决策即可.

假定为连接到同一个预测云控制器的智能体分配了相同的带宽,并收取了相同的价格.将连接到云控制器l 的组g 中的智能体的效用定义为

当达到演化平衡时,组g 中每个智能体的效用等于该组的平均效用.因此,式（7）可以转化为

经过计算,演化平衡可以表示为

1.3.2 云控制器之间的非合作博弈

随着智能体的演化,每个预测云控制器将调整其策略以实现更高的效用或利润.考虑到待分配的带宽是固定的,价格是唯一的策略.集群服务器l 和l'之间的竞争可以表示为一种非合作博弈.预测云控制器l 的效用可以表示为

其中,σ＞0 是对整体效用的每单位价格的等效满意度；φl是预测云控制器l 的单位带宽成本；bm是智能体所需要的最大带宽；υ 是与定义参数.

将式（10）代入到预测云控制器l 的效用函数,可以得到

利用Lambert-W 函数,预测云控制器l 的最优价格可以被重写为

2 预测云控制算法的设计

针对上文中产生的网络时延,提出了一种基于云计算的预测云控制方案.预测云控制器使用直到时间t 的可用信息来生成预测控制序列,然后将预测控制序列打包并通过网络将其发送回智能体.智能体从所有可用的预测控制序列中选择最新时刻的预测控制数据,并将其应用到执行器.这样,网络时延将得到有效补偿.

通过使用式（14）和式（16）,可以按以下方式获得扰动估计的预测：

将由阶跃信号r0表示的参考输入应用于智能体1.为了使输出跟踪期望的参考输入,引入了一组动态变量

第i 个智能体的预测云控制输入设计如下：

3 MASs 稳定性与一致性分析

通过式（14）进行迭代计算,扩张状态估计如下所示：

定义状态和扰动估计误差为

结合式（1）和式（23）,估计误差可以描述为：

定理1.如果选择合适的观测器增益Li和控制器增益Hi使得Asc和Ae是舒尔稳定的,那么对于任意有界扰动di,在所提出的预测云控制方案下具有带宽分配的MASs 的有界稳定性和一致性可以实现.其中,

证明：利用式（16）进行迭代计算,可得到扩张状态预测：

对式（1）进行迭代计算可以得到

换句话说,存在

结合式（25）～式（27）,有

由式（18）可得

由式（29）和式（30）可得

将式（21）给出的预测云控制输入改写为

定义：

结合式（28）和式（32）有

定义了这些矩阵

根据式（19）、式（20）和式（32）可以得到

此外,由式（24）可以清晰地看到

因此,结合式（33）～式（35）,具有预测云控制方案的MASs 可表示为以下形式：

那么由式（19）和式（20）可以得到

4 数值仿真

4.1 带宽分配

对于图1 中基于预测云控制的MASs,以58 个智能体和两个预测云控制器1、2 为例,智能体最初被分为两个组,组中智能体的数量分别为23 个和35个,其中,组1 中连接预测云控制器1 的智能体有11个,其余连接预测云控制器2,组2 中连接预测云控制器1 的智能体有15 个,其余连接预测云控制器2.通过Stackelberg 博弈方法研究了MASs 的带宽分配问题.

通信信道的参数如下：

非合作博弈中预测云控制器1 和2 的最佳响应如图2 所示.图2 表明了预测云控制器的最佳定价策略,可以清晰地看出在非合作博弈中预测云控制器1 和2 的效用都是递增的.在图2 中,存在一组纳什均衡解（1.76,1.55）,这是非合作博弈的唯一解.

图2 云控制器的最佳定价策略Fig.2 Optimal pricing strategy for cloud controllers

最初,智能体在演化博弈中被分为两个组.复制动态轨迹如图3 所示,根据等式,初始智能体连接预测云控制器的比例由变为.根据式（5）,智能体的效用如图4 所示.由图3 和图4 可知,演化博弈存在演化平衡,并且是稳定的.

图3 每组中选择云控制器1 的智能体比例Fig.3 Agent selection ratio of cloud controller 1 in each group

图4 智能体的效用Fig.4 The utility of agents

4.2 多智能体一致性分析

针对4.1 节中所提出的问题,为了简化分析,以从中取出的3 个智能体构成的MASs 为例,说明MASs 的预测云控制方案的性能.在博弈达到平衡后,智能体1 和2 连接到预测云控制器1,而智能体3 连接到预测云控制器2,权重系数aij=1.3 种具有不同动力学的智能体的系统矩阵及参数如下：

控制策略（21）的增益Hi和Gi可以根据文献[17]中的特征分配法和定理1 得到,使矩阵Asc稳定的一个增益矩阵的可行解是

对于离散时间系统,为了使观测器的状态具有良好的收敛速度,观测器的极点应该位于一个理想的区域,该区域通常靠近坐标原点.因此,通过极点配置的方法3 个智能体的观测器增益矩阵被设计为

图5 描述了3 个智能体在随机常值扰动下的估计误差,可以表明该扩张状态观测器对扰动下的MASs 具有较好的估计效果.所有智能体的输出轨迹曲线展示在图6～图9 中,其中,图6 是系统在无扰动的情况下智能体的输出轨迹,其他是系统在有扰动情况下的输出轨迹.可见在有无扰动的两种情况下,MASs 的稳定性和一致性性能非常相似,注意到预测云控制方案可以积极补偿由带宽分配产生的网络时延和扰动带来的影响.图7～图9 分别表示了智能体在随机常值扰动.余弦扰动和指数扰动下的输出轨迹,可见3 个智能体的输出不但可以在有界范围内达到一致,而且可以跟踪给定的参考输入信号.

图5 扰动为随机常数时MASs 的估计误差Fig.5 Estimation error of MASs when the disturbance is a random constant

图6 无扰动下MASs 的输出轨迹Fig.6 The output trajectory of MASs without disturbance

图8 余弦扰动下MASs 的输出轨迹Fig.8 The output trajectory of MASs with cosine disturbance

图9 指数扰动下MASs 的输出轨迹Fig.9 The output trajectory of MASs with exponential perturbation

5 结论

本文研究了具有网络时延和未知扰动的多智能体系统的带宽分配和预测云控制策略.在同时存在网络时延和未知扰动时,对云计算环境中多智能体系统的带宽进行合理分配,并通过预测云控制方案主动补偿受带宽分配影响的网络时延和扰动.与传统方法相比,预测云控制系统为大数据的存储和处理以及控制器的设计和优化带来了便利.