基于云边协同的水库大坝视频业务计算卸载优化方法*

2022-11-09 02:33冯亚玲张学武徐晓龙
计算机与数字工程 2022年9期
关键词:云边时延大坝

冯亚玲 张 卓 张学武 徐晓龙

(河海大学物联网工程学院 常州 213022)

1 引言

水利工程是配置和增强水资源调控能力、加强绿色能源发展的重大工程措施,大坝是水利水电工程建设的核心,其高质高效安全建设与长期高效安全运行关系国计民生[1]。随着新一代信息技术的高速发展,物联网、大数据、人工智能、云计算等技术深度融入筑坝领域,为大坝建造智能化提供了新理念、新技术、新装备,形成了动态精细化可感知、可分析、可控制的智能化大坝建设与运行管理体系,包括信息实时感知模块、联通化实时传输模块、智能化实时分析模块与智能化实时管理决策系统等[2]。

当前广泛应用的云计算技术[3]具有较强的可靠性和可扩展性,然而如果将大数据全部卸载到云平台可能会导致网络卡顿,从而降低各种应用程序总体服务质量(Quality of Service,QoS)。为缓解大数据带来的网络拥塞,业界提出引入另一项技术,通过在网络边缘部署边缘节点来提供计算处理和数据存储的能力,即边缘计算[4]。云计算和边缘计算是相辅相成的关系,云边协同技术[5]将云中心和边缘节点协同处理数据的服务方式能够充分结合云中心和边缘节点的自身优势,能够联合调度不同特征的业务,因此将云边协同技术引入水库大坝灌区视频监控系统具有极高的研究价值和应用意义。

计算卸载技术作为物联网应用场景中的关键技术,在降低用户执行时延提升QoS方面起着重要作用。现阶段计算卸载技术还在围绕单一的云计算与边缘计算进行研究,本文通过构建一个云边协同计算环境来解决它们之间的任务协同调度问题。当前部分水库大坝灌区所在的环境复杂,因此,不能简单地将云边协同的计算卸载技术应用到水库大坝灌区中的视频监控系统中。鉴于此,本文的云边协同计算卸载技术研究还会面临以下科学问题。

1)水坝灌区地理位置险要[6],地区偏远,危险点众多,各监测站点位置分布不均,调度困难,系统会面临瘫痪风险。

2)各监测站点计算资源分配不均,且视频监控系统中非结构化数据[7]占到了大坝日常业务数据中的很大比例,处理该类业务,对系统时效性要求比较高[8]。

通过参考云边协同卸载技术在水电厂和配电物联网中的研究[6],结合水坝灌区视频监控系统中存在的科学问题,本文以满足低时延的应用需求为目标,研究了水坝灌区视频监控系统中的云边协同计算卸载技术,主要贡献如下。

1)针对水坝灌区地理环境问题,提出了云边协同的计算卸载模型。区域公司作为云中心,监测站点作为边缘节点,是部署在离生产设备较近的轻量级开放平台,并在区域公司集控侧部署远程集控平台来实现基于需求的业务编排,如网络资源调配、计算资源编排等。

2)针对计算资源分配不均和系统高时效性的问题,提出了基于SAGTSA(Simulated-annealingbased Adaptive Genetic Taboo Search Algorithm)算法的计算卸载方法,使集控侧的远程集控平台能够选取最佳的卸载决策。

2 相关工作

近年来,业界提出很多有效的云边协同的计算卸载方法来降低系统时延。如文献[9]提出一种随机调度算法和捎带式数据重部署策略,以实现降低跨域作业的平均时延为优化目标,基于资源异构性计算出系统偏好,并以此偏好调度每个计算任务,但不足之处在于要求数据没有相关性。文献[10]提出一种基于集中控制的资源调度算法,在已选择的节点间采取集中控制的方法来降低端到端的时间延迟,但不足之处是只能选择少量的节点作为边缘节点。文献[11]提出了一种改进的粒子群算法,以实现低时延、低能耗的最优计算卸载方案为目标,但不足之处是基于信誉值的方法有一定的局限性。文献[12]提出一种人工鱼群算法,使得系统总时延降低,但缺点是只能以一定低概率跳出局部最优解。在不同业务场景下,针对移动增强现实应用场景,文献[13]中,以优化多用户多任务的应用调度问题为目标,提出一种有效的调度算法,但要求每个应用程序要被建模为一个相互依赖的任务链。在移动边缘计算网络中,文献[14]以降低所有终端延迟为目标,研究了协同计算卸载、计算和通信资源分配方案,并提出了基于管道的卸载方案,但不足之处在于要求终端要具备计算能力。文献[16]提出一种基于海洋多节点协同卸载的遗传算法,通过优化改进染色体编码方式和适应度函数,使用户在满足能耗约束的同时有效地降低时延,但不足之处在于跳出局部最优解的能力偏低。文献[6]针对电力物联网应用场景,以优化系统时延为目标,基于任务的数据量和边云计算资源分配,选择优化的云边任务分割比率,但不足之处在于没有考虑云中心计算资源不足的情况。

目前,云边协同的计算卸载研究主要都以减少终端的时延和能耗为目标,对边缘节点到云中心这部分的计算卸载优化研究很少。本文构建了一种基于云边协同的水库大坝视频监控系统,不同于上述方法,本文主要优化边缘节点到云计算中心这一部分的系统卸载时延,不需要对数据进行预处理,且是以任务为单位做出分割,对数据相关性没有要求。与此同时,在文献[6]的研究基础上,考虑了边远地区云服务器计算力不足的情况,并在区域公司集控侧远程集控平台来实现业务编排管理,所用算法通过对染色体编码方式和基于模拟退火算法的更新机制进行改进,并添加了基于TS的存储机制,来对边缘节点收到的任务选择最佳的卸载策略和节点资源分配,以获得最优的系统时延。

3 系统模型

3.1 问题描述与分析

本文构建一个云边协同架构水库大坝视频监控系统基本模型,如图1所示,主要由区域公司大数据云平台、区域公司集控侧远程集控平台与区域站点视频监控系统三大部分组成。

图1 基于云边协同架构的水库大坝视频监控系统模型

区域公司大数据云平台部署了高性能服务器集群和数据库。在本文的云边协同架构中,云服务器始终作为整个系统计算和存储的中心,能够实时处理区域监测站点上传的任务。

区域公司集控侧部署了远程集控平台,能够实现基于需求的业务编排和网络资源调配。将SAGTSA算法部署在中央控制器上,对于边缘节点接收的任务进行业务编排,将一部分任务留在边缘节点,一部分加载至区域公司云平台进行处理。

区域监测站点视频监控系统作为整个云边协同架构中的边缘层,是部署在距离监测设备较近且是以数据中心为核心的轻量级分布式开放平台,能够为业务间的协同提供支撑。

3.2 卸载模型

3.2.1 云边协同计算卸载场景概述

针对图1所示的用于水库大坝视频监控业务的云边协同架构模型,本文采用的云边协同机损卸载模型如图2所示,其中包含一个云中心和J个边缘节点的边缘层。在边缘层中,每个边缘节点都配有服务器,且针对不同区域的地形和通信条件都具备不同的计算能力。与此同时,我们假设感知层的终端设备将任务上传至边缘节点,依据部署在边缘节点的卸载决策结果执行任务,使边缘节点中收到的任务一部分上传到云管理中心处理,其余部分留在边缘节点进行处理。

图2 云边协同计算卸载模型

假设同一时间内系统有J个边缘云覆盖范围下的能够参与计算调度的边缘节点的集合;Dj,i表示边缘节点j收到的第i个任务的数据量大小。设边缘节点j同时收到Ij个任务,根据卸载策略,其中一部分留在边缘节点完成,其余任务加载至云中心进行处理,其中∀i∈Ij,Ij={1,2,…,Nj},j∈J。

一般而言,边缘节点具备独立的通信模块和计算模块,所以边缘节点可以计算任务,与此同时,通信模块可以将任务传输至云中心进行处理。为了简化且不失一般性的求解,本文将Bj设置为每个边缘节点到云中心的带宽。在视频监控系统中,任务的计算结果足够小,因此下行链路的传输时延可以忽略。此外,本方案主要面向的是大坝实时监控流,实时性要求比较高,其能耗问题忽略不计。

3.2.2 云边协同计算卸载时延分析

当任务采用边缘节点计算执行(即Xi=1时),那么任务在边缘节点产生的计算时延为

其中,Xj,i表示卸载策略,边缘节点j的任务i的卸载策略,“1”和“0”分别表示任务留在边缘节点和加载至“云管理中心”处理。αj,i边缘节点j分配给任务i的计算能力占比,Dj,i表示边缘节点j上任务i的数据量大小,fjedge表示边缘节点j服务器的计算能力(CPU cycles/s)。

当任务采用云中心计算执行(即Xj,i=0时),任务在云中心产生的计算时延:

其中,βj,i表示云中心分配给边缘节点j的任务i的计算能力占比,fcore云管理中心服务器的计算能力(CPU cycles/s)。

关于任务产生的传输时延,若直接卸载到云计算中心,则时延为

其中,Bj边缘节点j到云中心的带宽。

若经边缘节点处理后再将结果上传到云中心,则时延为

其中Zj,i表示边缘节点j的第i个任务处理后,输出数据对输入数据的压缩率。

那么传输时延为

其中,Pj,i=1-Zj,i。

当任务数过多,云中心计算力会有些不足,则相应产生等候时延:

卸载到云中心的时延应为计算时延、传输时延与排队等候时延之和,即为

综上,完成单个任务所产生的时延为

则整个视频监控系统的时延优化问题可描述为P1:

其中,目标函数中的λj,i为权重。C1是对边缘节点j分配给任务i的计算能力占比αj,i的约束,C2是云中心分配给边缘节点j的任务i的计算能力占比βj,i的约束,C3是对任务时延权重λj,i的约束,C4是对卸载决策Xj,i的约束。为简化求解,我们假设以下分析中所有的任务的时延权重都是相同的。

4 基于SAGTSA的云边协同计算卸载方法

为解决水库大坝云边协同机制下视频监控系统业务时延优化问题,本文采用了一种基于SAGTSA(Simulated-annealing-based Adaptive Genetic Taboo Search Algorithm)的云边协同计算卸载方法。针对传统遗传算法过早收敛的问题,本文的SAGTSA算法通过充分结合了模拟退火算法的全局收敛性和适应性,以及禁忌搜索策略所具备的较强的攀爬能力和较高的效率,具有较强的收敛性和适应性。具体地,优化与改进了染色体编码方式、解的更新机制和自适应交叉概率以及自适应变异概率[15],使得系统寻找到最优计算卸载策略并提升系统时延有效性。

4.1 编码规则与适应度函数

在对优化变量进行编码时,由于采用边缘节点与云中心计算节点协同处理数据的计算卸载策略;因此首先需要对每个任务与其所在的边缘节点与云中心的计算能力分配比例进行编号,之后在每条染色体上用二进制编码的方式表示出来。若J个边缘节点共收到N个任务,其中,任务上传到的边云计算节点编号用计算卸载决策XN表示,且计算能力分配比例边云计算资源分配比例αN、βN表示。具体编码过程如图3所示,x1~xn,α1~αn,β1~βn分别表示任务计算卸载决策和对应边缘节点与云中心计算资源分配比例。在本文中,假设种群数量为S,A1,A2,…,Ai表示在当前种群中每个可能存在的解,个体i的适应度为,本文的选择操作采用fitness(Ai)轮盘赌的选择方式,个体被选中的概率为如式(10):

图3 优化变量编码图

其中适应度函数如式(11)所示:

4.2 自适应遗传算子

传统遗传算法的交叉概率和变异概率均为固定值。在演化过程中,很容易陷入局部最优状态。根据种群的适应度值对交叉概率和突变概率进行自适应调整,有利于算法跳出局部最优值。自适应的交叉概率PJ和变异概率Pm分别为

4.3 基于SA的更新机制与基于TS的存储机制

在进行交叉操作和变异操作后,根据玻尔兹曼机制,接受新染色体的概率如式(14)所示:

tg为第g次迭代中当前温度。

此外,算法通过设置禁忌表,避免了对局部最优解的重复搜索,并通过设置“大赦免标准”来确保搜索过程的多样性。

4.4 SAGTSA算法步骤

下面将具体介绍应用SAGTSA算法求解水库大坝时延优化问题的过程。

每条染色体表示一种计算卸载策略Ai包括卸载决策XN边缘节点与云中心计算能力分配比例αN、βN。此外,计算卸载策略Ai交叉变异前后的适应度可分别用fitness(Ai)与fitnessn(Ai)表示,具体步骤如下:

输入:边缘计算节点计算能力fjedge、计算能力fcore、任务数量N、边缘节点j到云管理中心的带宽Bj、经边缘节点j的第i个任务处理后输出数据对输入数据的压缩率Zj,i和任务数据量Dj,i。

输出:最优计算卸载决策XN、边云计算资源分配比例αN、βN表示、计算卸载策略对应时延tj,i(Ai)。

步骤1(参数设置):设置染色体数量S、最大迭代次数G、卸载策初始交叉概率PJ0、变异操作的初始概率Pm0,初始温度tg=t0,冷却率ε,禁忌表长度L并设置禁忌表为空。每次迭代不同的计算卸载策略数目;

步骤2(种群初始化):根据式(10)得出每种计算卸载策略对应的染色体的适应度。

步骤3(选择操作):将本次迭代中所有可能的计算卸载策略按照其概率Pi(可根据式(9)计算每种计算卸载策略的选择概率)大小进行累加排序。如果Pi>Pr(与本次迭代染色体数目相同0-1之间的随机数Pr,在排序时均匀产生),那么就选择该计算卸载策略进行后续操作,持续此选择操作直到能够选出足够数量的计算卸载策略,并根据轮盘赌的方法选出最优解。

步骤4(终止条件判断):判断是否满足终止条件,满足则终止算法,输出最优计算卸载策略Ai及系统对应时延,否则进行步骤5。

步骤5(交叉操作):每次将两个卸载策略分为一组,根据概率PJ令这两种卸载策略进行交叉操作来产生新的计算卸载策略,根据玻尔兹曼机制判断是否接受新的染色体。

步骤6(变异操作):在每种计算卸载策略的三个点位上以概率Pm来进行变异操作,并根据玻尔兹曼机制判断是否接受新的染色体。

步骤7(更新禁忌表):将已经选择的最优解放入禁忌表避免被重复选择。

步骤8(收敛性判断):如果满足收敛条件则执行步骤7,否则降低温度并返回步骤3。并选择出适应度值最小的计算卸载策略Ai并终止循环。

步骤9(确定候选解):将当前解作为TS算法的初始解,生成当前解的邻域,并从该邻域中确定候选解。

步骤10(判断是否满足大赦准则):判断候选解是否满足大赦准则,如果满足,则以候选解作为当前最优解,更新表和当前状态,返回步骤3,否则执行下一个操作。

步骤11:选择最优解作为当前解,然后返回到步骤3。

5 仿真与分析

根据水库大坝云边协同计算卸载模型,本文采用Matlab2019软件模拟了在水库大坝业务应用背景下边缘节点和云中心协同处理多个计算任务的网络场景[15]。设边缘节点数为J=6,每个节点任务数为10。其他仿真参数由表1所示。我们设置迭代次数G=100,这是由于SAGTSA算法经过多次实验验证发现其在迭代100次以内均可实现稳定收敛。SAGTSA算法中种群数量S=70,染色体的初始交叉概率为PJ0=0.6,初始变异概率为Pm0=0.07,变异点数目为3。禁忌表长度L=5,冷却率ε=0.98。

表1 主要仿真参数

本文对系统时延随边缘节点任务数的变化做出了仿真实验与分析,并为突出本文云边协同方案的优越性,找到三个对比方案,分别为:1)仅边方案(Only Edge Computation Scheme,OECS):边缘节点收到的任务不上传到云中心均在边缘节点执行,主要为信息获取业务,简称OECS;2)仅云方案(Only Cloud Computation Scheme,OCCS):边缘节点收到的任务都不经边缘节点处理都上传到云中心的服务器执行。主要为决策分析业务和大坝坝体变形监测业务等,简称OCCS;3)随机卸载方案(Random Unloading Scheme,RUS):边缘节点收到的任务随机上传至云中心或留在边缘节点进行处理,渠道站点视频监控业务为主。

本文对SAGTSA算法在边缘节点收到不同任务数的情况下的所得到的迭代收敛效果进行了验证分析,如图4所示,以证实在有限的迭代次数内SAGTSA算法能够实现稳定收敛。图4中,SAGTSA算法在边缘节点收到不同任务数的情况下得到的系统执行时延随着迭代次数的逐渐增大逐渐减小,除了一部分情况在迭代100次以内实现稳定收敛以外,大部分大约在迭代30次时均可实现其对应情况下的实现稳定收敛并得到其对应计算卸载最优解。经过仿真分析,可以看出SAGTSA算法的运算量较低,并且其在边缘节点收到不同的任务数的情况下都能实现在有限迭代次数内的达到速度较快的稳定收敛的指标。

图4 SAGTSA算法迭代收敛

如图5,方案OECS中,仿真发现当实验中每个边缘节点收到的任务数增加时,系统时延也随之增加,这是由于OECS仅依赖于边缘节点的计算资源,在增加任务数而节点数量不变的情况下,每个任务分配到的计算资源相对减少。

图5 不同卸载策略对系统时延的影响

方案OCCS中,实验中当回程通信能力固定时,同理,由于方案OCCS依赖于云中心的计算能力,系统时延随节点任务数增加(此时单个任务分到的计算资源减少)而增加。但当节点收到的任务数增加时,由于云中心计算能力远大于单个边缘节点,方案OCCS相较方案OECS而言影响较小,云中心计算资源远大于单个边缘节点计算资源。在方案RUS中,相较于前两种方案其具有更好的系统时效性。但随着节点任务数的增多边云各自需要处理的任务也会较多。此时并行处理的优势降低,其系统时延趋势逐渐趋向方案OCCS。而本文提出的云边协同方案克服了随机策略的缺陷,其可根据节点任务数和边云计算资源等参数自适应做出卸载决策,相较前三种方案有更低的系统时延。

此外,为突出本文SAGTSA算法的收敛效果,本文与三个经典传统算法做出效果对比,分别为:1)GA优化[15](Genetic Algorithm Optimization):将传统遗传算法应用到云边协同计算卸载策略中,简称GA;2)AFSA优化(Artificial Fish Swarm Algorithm Optimization):将文献[12]传统人工鱼群算法应用到云边协同计算卸载策略中,简称AFSA;3)PSO方案(Particle Swarm Optimization):将文献[16~17]中粒子群优化算法应用到视频监控系统的云边协同计算卸载策略中,简称PSO。

图6~图8是SAGTSA与其他算法之间优化效果对比。图7进一步验证了当J=6,任务数为10,Dj,i=500KB时的迭代收敛情况。随着迭代次数的增加,四种算法的平均适应度值均不同程度地增加,本文的SAGTSA算法对应的适应度值最高。这主要是由于SAGTSA算法结合模拟退火算法和禁忌搜索策略对传统GA算法进行了改进,使得其能跳出局部最优解的能力增强。其他方案由于参数相对固定,跳出局部最优解的能力有限。图7验证了不同算法随任务数的变化对时延的影响,可以看出随任务数的增加,各个算法产生的系统时延也随之增加,而本文的SAGTSA算法明显优于其他算法。图8中,验证了在任务数为5,J=6时,随节点输入数据量的变化任务平均时延的变化。可以看出,随数据量的增加,各个算法得出的任务平均时延均不同程度的增加,本文的SAGTSA算法在寻优方面体现了较强的优越性。

图6 不同算法间的迭代性能比较

图7 不同算法随任务数的变化对时延的影响

图8 随节点输入数据量任务平均时延的变化

6 结语

本文提出了一种在云边协同架构下水库大坝优化系统时延的方法,通过部署在区域公司集控侧的SAGTSA算法对边缘节点收到的任务进行卸载决策,利用边云协同处理来减小任务的计算时延,将一部分任务留在边缘节点处理,剩余的任务全部上传至云中心处理,仿真结果证明此方案使系统具有较高的系统时效性。

猜你喜欢
云边时延大坝
云边协同 构建交通“大脑”与“神经末梢” 交通云平台与边缘计算初探
水调歌头·一醉愿千年
过草原天路
基于GCC-nearest时延估计的室内声源定位
基于改进二次相关算法的TDOA时延估计
大坝:力与美的展现
FRFT在水声信道时延频移联合估计中的应用
基于分段CEEMD降噪的时延估计研究
七律 神顶峰看日出
正式挡水的马来西亚沐若大坝