基于数据驱动的云边智能协同综述

田鹏新，司冠南*，安兆亮，李建辛，周风余

基于数据驱动的云边智能协同综述

田鹏新1，司冠南1*，安兆亮1，李建辛1，周风余2

（1.山东交通学院 信息科学与电气工程学院，济南 250357； 2.山东大学 控制科学与工程学院，济南 250061）（ ∗ 通信作者电子邮箱siguannan@163.com）

随着物联网（IoT）的快速发展，大量在传感器等边缘场景产生的数据需要传输至云节点处理，这带来了极大的传输成本和处理时延，而云边协同为这些问题提供了有效的解决方案。首先，在全面调查和分析云边协同发展过程的基础上，结合当前云边智能协同中的研究思路与进展，重点分析和讨论了云边架构中的数据采集与分析、计算迁移技术以及基于模型的智能优化技术；其次，分别从边缘端和云端深入分析了各种技术在云边智能协同中的作用及应用，并探讨了云边智能协同技术在现实中的应用场景；最后，指出了云边智能协同目前存在的挑战及未来的发展方向。

云边协同；人工智能；计算迁移；模型训练与推理；数据驱动

0 引言

近年来，随着5G技术的发展和物联网（Internet of Things， IoT）的普及，各种终端产生了大量数据。物联网应用需要极快的响应速度，如果云端处理终端生成海量数据，不仅会提高网络负载，还会出现极高的数据处理时延。面对以上问题，相较于云计算，边缘计算不仅通信时延低，还避免了带宽瓶颈；然而边缘服务器的计算资源有限，安全性较低。为了充分发挥边缘计算与云计算之间的优势，使它们实现互补协同工作，云边协同［1］成了新的研究热点。云边协同分割复杂的任务，并结合云计算与边缘计算的优点完成用户的服务请求。

同时，人工智能（Artificial Intelligence，AI）［2］的快速发展也在一定程度上改变了日常生活方式。当前AI算法大多依赖于云计算中心等计算资源密集的平台实现，并且需要大量的计算，但是云计算中心等计算资源密集平台与终端用户之间存在较远的物理距离，而且边缘端的海量数据也极大地限制了AI算法的优势。为此，研究人员开始将AI与云边协同结合，从而推动了云边协同与AI融合应用的发展。

云边协同与AI的结合是多方面的。Zhou等［3］全面阐述了云边智能协同中的AI模型的训练与推理以及端边云协同的技术应用；Qing［4］介绍了云边缘协同平台，并在其中融合了大数据与AI，设计了云边协同的平台即服务（Platform as a Service， PaaS）电力系统云协同管控平台；Zhang等［5］在云边协同的基础上提出了一种设备管理服务系统，提高了工业系统的响应速度，有效解决了因数据上传至云端带来的高网络负载问题，实现了工业设备的精细化管理和工业数据的云端深度挖掘，使云平台和边缘平台发挥各自的优势，持续推动工业物联网向智能化发展。然而，云边智能协同领域的研究涉及广泛，至今还有很多问题有待解决。因此，本文对云边智能协同进行分类阐述，首先从数据流动的角度出发，介绍云边架构中的数据采集与分析方法，并分析利用计算迁移技术为AI提供释放潜力的平台；其次，总结了云边智能协同中的模型优化技术；最后，分析了云边智能协同在当前的应用场景。

1 云边智能协同总体架构

在云边协同出现前，人们主要依靠移动终端自身的能力解决计算问题。如内容分发网络（Content Delivery Network， CDN）［6］在靠近终端的位置设计了能够存储静态内容的网络节点，这是边缘计算的起源，也是边缘计算的功能缓存（function cache）的雏形。Satyanarayanan等［7］提出了由物联网设备与云计算相结合的Cloudlet，Cloudlet可以作为位于网络边缘的小型数据中心，为移动设备提供丰富的计算资源。随后，由LaMothes［8］首次提出了“edge computing”。Hu等［9］发表了关于移动边缘计算（Mobile Edge Computing， MEC）的白皮书。同时，边缘数据爆发式增长，边缘计算迅速发展，计算开始由云端下沉至边缘端，并逐渐向分布式计算架构发展，云边协同的概念开始普及。

如图1所示，为了全面阐述云边智能协同，本文从数据层次的角度阐述AI与云边协同的结合。首先从底层的数据采集与处理分析其中的智能技术；其次扩展到边缘端与云端，分析计算任务的迁移技术，使边缘也能高效应用AI技术；最后分析基于云边协同架构的智能优化技术，其中：边缘节点注重于算法的实现，云节点则侧重于对整体的调度与管理。与已有文献相比，本文更详细地描述了数据层次中的基于云边协同的AI应用，全面阐述了云边智能协同的完整架构；此外，本文在分析AI为云边协同所提供优化技术的同时，还分析了云边协同架构如何为AI应用提供优化技术。通过AI与云边协同架构的相辅相成为用户提供高质量的服务体验。

图1　云边智能协同总体架构

2 基于云边协同的数据采集与处理技术

当前数据在生产和处理场景存在资源负载不均衡的问题，大量数据在生产线等边缘场景产生，而数据处理通常在云节点完成，数据传输过程时延较大，难以满足实时感知变化并进行决策分析的要求，同时边缘侧数据易形成孤岛，无法全面利用数据价值。对于以上问题，云边协同可以让数据在云、边、端之间高效、实时地互联互通。

如图2所示，终端设备所产生的数据由边缘节点进行统一采集，从而得到M-data，即终端所采集到的视频、音频等信息，其次边缘节点对采集到的数据进行清洗和处理，进而产生C-data，之后将处理后的数据传输至云节点中，通过云节点对数据进行进一步的分析和存储，而K-data则表示对C-data数据融合后得到的知识数据。

2.1　数据的采集与处理

数据采集的目的是解决数据孤岛问题，如果没有被采集，各种来源的数据只能是独立、毫无意义的数据。另外，终端采集的数据由采集节点封装，其次传输至边缘节点处理和分析。当前采集节点的数量快速增长，大规模的数据传输为数据的有效处理带来了较高的成本。

孔令娜等［10］通过云边协同架构提出了一种面向工业互联网的数据感知采集与融合处理系统，能够智能化地实现数据采集与处理等任务的协同工作。底层的数据采集主要通过无线传感器实现，将数据传输至一个汇聚节点，统一采集传感器的数据［11］。然而，数据在传感器间的传输会造成较多的能量消耗。为了节能，Jiao等［12］采用多跳收集方法缩短每个传感器节点的传输距离，但是需要使用多跳转发的方式采集每个传感器节点到汇聚节点的数据；这种方式虽然降低了传感器节点中的传输能耗，但会导致传感器网络中各节点的能耗不平衡。为此，一些研究人员通过动态选取聚类节点解决个别节点因能耗过大而导致的停机问题［13-14］，在一定程度上解决了汇聚节点因能耗过大而能量不足的问题。此外，Wajgi等［15］使用聚类技术平衡网络负载以降低能耗。负载使用集群的备份节点平衡，当集群的能量水平达到阈值时，头部被备用节点取代；这种方法不仅增加了网络寿命，而且增加了数据吞吐量。Gattani等［16］使用基于分数的负载平衡算法收集数据，当数据从传感器节点到达簇头时，节点的负载被分配到两个最佳节点之间，簇头采集数据后，将压缩感知技术应用于簇头，压缩数据转发到汇聚节点，从而减少通信次数并增加网络寿命。

数据处理大多在边缘节点中进行，当前一些研究人员充分结合云计算与边缘计算的优势，利用边缘计算处理对时延要求较高的数据，并将一些较复杂的数据传输至云端处理［17］，在这个过程中，高效的数据处理方案必不可少。为了在边缘节点中处理对时延敏感的数据，Fan等［18］汇总边缘层采集的原始数据，利用随机森林算法对需要实时处理的数据分类处理，并将处理结果反馈给设备；同时，边缘层将需要处理的数据上传到云端；在云端利用长期短期记忆全卷积网络（Long Short-Term Memory Fully Convolutional Network， LSTM-FCN）数据分类模型对这些数据分类存储。该方法相较于传统的云中心数据处理在一定程度上解决了数据传输带来的时延问题；但是当解决一些回归问题时，可能导致在对某些特定噪声的数据建模时出现过度拟合。另外，Luo等［19］提出一种主动配电网边缘计算与云计算协同的模型，首先对边缘节点采集的用户用电量数据进行优化和归一化处理；其次将处理后的数据作为极限学习机（Extreme Learning Machine， ELM）网络的输入，实现对用户用电数据的实时分析。该方案能够在处理分析数据方面保证实时性和处理效率，但需要频繁且大规模的数据上传，带来了大量的通信成本。

图2　数据采集与处理架构

云计算与边缘计算协同处理终端数据不仅解决了云节点处理大规模数据带来的网络带宽问题，还解决了将全部数据上传到云中带来的高通信延迟问题。随着技术的不断成熟，边缘计算最大的难点是动态部署计算和存储能力，以及如何高效地无缝连接云和边缘设备。

2.2　数据的传输与分析

当前数据虽然主要在边缘处理，但是当数据在边缘节点中完成采集与处理之后，通常还需要将处理后的数据传输至云节点，由云节点进一步分析与存储。这样既能为模型训练提供充分的数据集，又能为数据提供大量的云存储。

由于大规模的数据上传到云端需要消耗大量的通信资源，一些研究者采用重复数据删除的方案，最大限度地减少从边缘发送到中央云的数据［20-21］；这种方法能够减少边缘节点部分数据的上传量，然而对于边缘节点处理后的数据效果较差。对此，Nguyen等［22］采用聚类与压缩感知的组合，将数据应用于压缩感知，其次转发至其他节点。另外，安全性也是数据传输过程的重要元素，Hui等［23］设计了一种两步加密通信方法，将边缘节点作为通信的中继节点，使用时间戳加密，增加了密钥空间；并且利用雾计算的低延迟和更快响应的优势，满足工业物联网中应急计算和实时通信的数据传输服务需求。综合考虑安全性与传输成本，Zhang等［24］提出了一种利用边缘计算技术的压缩感知数据两层安全传输框架，将高复杂度的重构算法和强加密算法分别传输到中心云和边缘云，通过基于压缩感知的加密和信息论的方案来保证从终端设备到本地边缘服务器以及从边缘服务器到中心服务器的数据机密性。

深度学习作为当前广泛使用的数据分析技术，能够通过学习样本数据实现挖掘与分析终端数据。Chatterjee等［25］利用深度学习检测文本对话中的情绪，并通过不同表达情绪的方式训练模型，达到较好效果。虽然深度学习在面临一些问题时具备强大的计算能力，但仍有很多需要改进的地方。Chen等［26］在深度学习的基础上提出一种工作负载预测算法，该算法首先设计了一种顶部稀疏自动编码器，从原始高维工作负载数据中提取工作负载的基本表示；其次将该编码器和门控循环单元块集成到循环神经网络中，以实现对高变量工作负载的自适应和准确预测，弥补循环神经网络对内存长期依赖的不足。此外，为了解决云数据中心的安全存储问题，Tao等［27］提出了一种新的云边协同存储方案，相较于当前大多需要边缘服务器管理用户的私钥的方案，该方案通过用户生成并自行管理私钥，并且采用可搜索公钥加密而非可搜索对称密钥加密；此外，用户附近的边缘服务器不需要获取所有边缘服务器的密钥，并且该方案还尽可能地将加密操作委托给附近的边缘服务器，以此节省物联网设备和用户的成本。

可以看出，智能技术也逐渐应用在数据传输与分析方向，另外，结合云边协同架构可以为用户带来更好的服务体验。随着5G的发展，数据传输与分析在数据容量与安全等方面有较为明显的优势。然而，当前的5G通信技术尚不成熟，仍处于发展阶段，有必要深层次研究5G环境下的传输与存储技术，以不断提高可靠性。

3 基于云边智能协同的计算迁移研究

云边智能协同并不是将云边协同与AI简单结合，除了AI为云边协同提供技术和方法之外，云边协同也为AI提供了场景和平台，例如智慧城市、智慧家居等应用场景，都可以极大地促进AI的进步与发展。如图3所示，云边协同综合了云计算与边缘计算两者的优势，使计算能力较高的AI应用可以从由边缘端迁移到其他节点执行，当边缘节点做出迁移决策时，结合云节点分析各个边缘节点状态，最终将任务迁移到合适的节点执行，从而为AI应用提供更有潜力的平台。其中，边缘节点的迁移决策用于判断该任务是否需要迁移，云节点中的迁移决策通过分析各个边缘节点的状态判断适合该任务的迁移地点。同样地，云节点中计算能力较低、实时性较高的AI应用也可以迁移到边缘端或终端执行，最终为用户提供更高质量的服务体验。

图3　计算迁移架构

3.1　计算迁移策略分析

云边架构中的计算迁移较难，通常需要综合考虑时延、能量消耗、计算/通信资源等因素。Liu等［28］采用马尔可夫决策过程，根据每个任务的时延与功耗制定迁移策略，最终以最小的响应时延完成迁移任务。Xu等［29］为了降低边缘服务器的能耗，选择最短路径卸载计算任务，并采用非支配排序遗传算法实现多目标优化，以此减少由于不同节点计算重复任务而导致的数据传输延迟。然而，目前的研究都忽略了边缘节点资源有限的事实。

对于云边协同服务迁移，一些研究者应用启发式算法分别从时延与能耗两方面优化服务迁移策略。Xu等［30］提出了一种两阶段博弈论云边协同卸载算法，首先获得边缘到终端最优卸载决策，其次找到所有选择向边缘卸载的终端设备的云边缘最优卸载决策，最终得到所有终端的最优决策，但是该任务没有考虑任务的优先级或不同类型的任务。从降低能耗的角度分析，Lyu等［31］提出了一种新颖的云边端集成架构，该架构可以使设备自行决定卸载时间与卸载目标，从而减少与边缘节点之间的通信开销，还可以在保证低时延的情况下减少设备能耗。为了权衡时延与能耗，Li等［32］在边缘计算的基础上提出了一种改进粒子群优化（Particle Swarm Optimization， PSO）的物联网计算卸载策略，首先构建系统模型和优化目标函数；其次使用PSO对粒子编码并计算适应度值，以更新粒子位置，从而找到任务卸载策略的最优解。Ning等［33］首先讨论单用户卸载问题，通过分支定界算法解决单用户中MEC资源不受限制的问题，并设计了一种迭代启发式资源分配算法解决多用户之间的资源竞争问题，从而在较好的执行延迟和卸载效率下实现部分计算卸载。

以上方案都是针对某一个优化目标的时延、能耗制定的，每个方案在各自的场景下都达到了各自的优化目标；然而，设计大规模的边缘架构的计算迁移决策可能需要较长的时间。结合AI技术指定迁移方案可以更好地保证计算迁移的性能，Qiu等［34］提出了一种新的基于无模型深度强化学习的在线计算迁移方法，将在线迁移问题指定为马尔可夫决策过程并考虑动态环境，为了采用动态环境并实现长期迁移性能，采用深度强化学习根据过去的迁移经验获得最佳迁移决策，从而避免为达到满意的最优值而进行大量迭代。针对目前高延迟和高能耗对实时移动物联网应用产生的负面影响，Alam等［35］利用了移动云计算提出基于深度强化学习的代码迁移方法，通过马尔可夫决策过程建模，深度强化学习求解问题，在考虑资源需求、资源可用性和网络状态的情况下作出卸载决策，以最大限度地减少服务计算的延迟。

3.2　资源分配策略分析

云数据中心与边缘服务节点的资源管理一直都是研究者们的研究重点，尤其是边缘节点资源有限，合理利用边缘节点的本地资源是边缘计算中的关键问题之一。Li等［36］提出边缘云架构中的资源扩缩模型，并通过预测资源负载情况灵活地进行边缘云的资源分配；此外，还考虑了因资源扩展导致集群负载不均衡和资源收缩导致的数据可靠性问题，弥补了当前资源管理的空缺。此外，云计算中的资源管理技术也是当前的研究热点。

为利用云边协同实现有效的资源管理，一些研究者从计算资源与通信资源两方面考虑资源管理优化。Zhao等［37］协同本地云和互联网云资源，利用本地云的低延迟和互联网云的丰富计算资源的优势，提高移动边缘计算的服务质量（Quality of Service， QoS）；此外，还根据应用程序的延迟需求应用优先级队列，有效地完成计算资源的分配。Zhu等［38］采取纳什议价博弈理论，并采用分时变量，从而获取近似最优议价资源分配策略，并最大限度地提高系统网络吞吐量；此外，作者还分析了该博弈模型解的存在唯一性。

以上方案在单边缘服务器场景下可以实现高效的资源分配，但在真实场景下多边缘服务器的情况较多。因此，结合当前的AI技术，Wang等［39］提出一种基于分布式深度学习的资源分配算法，调用多个并行深度神经网络生成最优的资源调度；此外，设计一个共享重放记忆机制以有效地存储新生成的资源分配决策，进一步用于训练和改进深度神经网络（Deep Neural Network， DNN）。Zhu等［40］将资源分配过程表述为一个马尔可夫决策过程，其中为每个边缘节点制定一个本地资源分配策略，并与云节点共享，之后边缘节点利用本地资源或云节点划分的资源完成任务，任务完成后，边缘节点和云节点都使用它们收到的奖励来更新它们的本地深度强化学习算法（Deep Q Network， DQN）。Wang等［41］从最大限度地提高整个网络的频谱效率和系统容量出发，研究了网络互连的最优资源分配策略，其次将该问题建模为马尔可夫决策过程。在该函数的状态和动作为连续值的情况下，采用策略梯度法通过与环境的相互作用来学习最优策略，从而在边缘计算系统完成最优资源分配，同时避免蜂窝用户的彼此干扰。

4 基于云边智能协同的智能优化技术

在云边智能协同的过程中，云端负责深度学习模型的训练，边缘节点则负责模型的推理，云端在完成模型的训练过程之后会将模型下发到边缘节点，进而完成模型在云边架构中的部署。如图4所示，在云边协同架构中，通过将推理阶段与训练阶段相结合，经过模型的训练与部署等过程不断反复，不断提升模型的精度与推理速度，提高服务质量。

图4　云边智能协同模型

4.1　推理优化技术

当前较为流行的深度神经网络模型大多为几兆字节甚至几百兆字节，为计算资源较少的边缘节点带来了较大的挑战。为了在边缘节点部署模型，除了与训练过程结合生成低稀疏性的紧致模型之外，对已有模型的处理主要包括模型压缩与切割等方案，此外可以通过模型选择或早期退出等方案降低推理时延。

为了保证模型在边缘服务器上高效地完成推理过程，当前研究者采用较多的方案为模型压缩技术。模型压缩技术又可以分为剪枝、量化和知识蒸馏等技术。剪枝技术可以分为剪枝粒度大的粗粒度剪枝和剪枝精度高的细粒度剪枝。细粒度剪枝可以删除任意位置的权重［42］，使剪枝较为精细，剪枝后精度高，但会造成模型结构的不规则化，所以需要特殊的硬件设计支持稀疏操作。粗粒度剪枝只需改变网络中卷积核和特征通道的数目，所得到的模型可以直接运行，无须特殊的算法设计，并且它的剪枝粒度较大，具有良好的加速效果。Peng等［43］定量分析了剪枝或保留通道对损失函数的联合影响，并利用这种通道间的依赖性确定需要剪枝的通道。He等［44］基于几何中值滤波剪枝压缩模型，有效地裁剪可替代的冗余的卷积核。然而，剪枝操作在降低推理时延的同时也会给推理精度带来不利影响，当前的主流方法是通过小样本训练稀疏化后的模型解决这个问题［45］，但仍有一定的计算代价，因此需要评估模型部署后的收益与重训练的代价。

量化可以分为权值共享方法和权值精减方法。Han等［46］通过只学习重要的连接修剪网络，其次对权重量化，实现权重共享。Chen等［47］使用低成本的哈希函数将连接权重随机分组到哈希桶中，并且同一个哈希桶内的所有连接共享一个参数值。在训练过程中，这些参数经过调整，以适应哈希网络权重共享架构和标准，使得哈希网络在基本保留泛化的同时大幅缩减了神经网络的存储需求。权值精简则是权值的低比特表示，如Dettmers等［48］开发并测试8-bit近似算法，通过压缩32位梯度和非线性激活到8位近似，从而更好地利用可用带宽；此外，还基于实验数据建立了一个加速预测模型，在保证模型预测精度的同时提高数据传输速度。Zhou等［49］提出了一种增量网络量化的方法，旨在将任何预训练的全精度卷积神经网络模型转换为一个低精度版本，并且能够保证更高的模型精度，有利于在移动平台的部署和加速。

相较于量化与剪枝技术，知识蒸馏技术作为新兴的压缩方法是当前领域的研究重点。Hinton等［50］首次提出知识蒸馏，知识蒸馏将知识从复杂的AI模型转移到紧凑的小型AI模型中，通过利用性能更好的大模型训练小模型，使小模型在大幅减少参数数量的同时获取与大模型相当的性能，最终实现模型压缩与加速。但这种方式即大模型可能存在缺陷，导致产生错误的指导，误导小模型走向次优表现。为此，Meng等［51］提出一种有条件的师生学习方案，当教师模型能够正确预测真实标签时，学生模型则学习该教师模型，否则学生模型仅学习真实标签；因此，学生模型能够有效地向教师模型学习，甚至有可能超越教师模型。Mirzadeh等［52］认为在知识蒸馏过程中，当学生与教师之间差距较大时，学生网络无法得到较高的性能。因此，可以利用一个中等规模的网络（教师助理）作为学生与教师之间的中转模型。此外，还研究了教师助理规模的影响，并将框架扩展到多步蒸馏，进一步压缩模型的尺寸。除了应用于模型压缩领域，研究者们还在模型增强领域研究如何利用知识蒸馏技术提升模型的性能。

模型分割技术与模型选择机制也是模型推理优化领域的研究热点。Zhao等［53］提出了采用纵切方式的轻量级框架，用于在边缘设备之间进行自适应的分布式卷积神经网络（Convolutional Neural Network， CNN）推理。Park等［54］提出了一种big/LITTER DNN概念，它试图最小化耗能大的DNN的执行，从而降低能耗，同时保持推理准确性；然而，由于模型的训练架构等条件不一致，如何在同一场景下选择合适的模型是需要考虑的问题。Taylor等［55］提出了一种自适应方案，通过所需的准确度和推理时间确定使用哪个DNN模型作为给定输入，然而该方案未考虑在不同场景下单节点面临多任务竞争推理的场景。Teerapittayanon等［56］增加了额外的侧分支分类器，利用提前退出机制使高可信度的样本通过这些分支提前退出网络，并使用更多或所有网络层提供正确预测的最佳可能性，在提高准确性的同时显著减少网络的推理时间。

在边缘计算场景下，当前应用较多的轻量化技术难以在复杂的业务场景中发挥作用。为了使以上技术能够灵活地应用于在不同场景，可以结合模型切割和提前退出机制，将一部分推理请求提前过滤，以进一步减少计算延迟。

4.2　训练优化技术

由于深度神经网络模型的训练需要大量计算与存储资源，计算资源丰富的云计算中心可以提供优质的保障。为了保证模型在边缘端高效地完成推理过程，提高模型的训练精度并保证高效的训练速度成了当前的研究重点。

当前采用较多的提高模型精度的方法是利用反向传播算法迭代更新权重，一些研究者开始研究并采用反向传播中梯度下降算法优化的方案，优化大型深度神经网络并提高训练效率［57］，减小训练误差［58］。

随着边缘智能的发展，在边缘上训练模型也成为可能，但是在边缘上训练需要大量的资源交换数据参数的，通常存在数据隐私暴露的风险。联邦学习是端‒边‒云之间的一种实用的深度学习训练机制，为边缘侧提供了数据的隐私保护，如图5所示。在联邦学习中，边缘节点接收云节点下发的全局参数并利用本地的训练数据训练模型，之后将模型下发至终端，终端将本地参数上传到云节点中，云节点进行参数加权聚合得到全局模型参数并下发至边缘节点中［59］。这种方式能够在不需要进行原始数据传输的情况下构建全局模型，实现数据隐私保护；但是当边缘节点本地训练的模型较大时，节点间的模型参数交换则会消耗大量的通信资源。为此，Mills等［60］将每个传输过程动态分解为几个部分，实现最佳的分层通信和计算重叠，解决在边缘网络上训练大型CNN的参数和梯度通信的分层调度问题。Reijonen等［61］从3个方面优化联邦学习：定期平均、部分设备参与和量化消息传递。

图5　联邦学习模型

另外，当相同的深度学习模型部署到不同的边缘节点时，由于边缘节点计算能力的不同，可能会导致参数上传时间差距过大，影响全局模型的聚合。为此，一些研究者提出忽略计算能力弱的边缘节点，虽然该方案能够解决全局模型聚合问题，但没有考虑边缘节点之间协作的问题，可能会因为忽略某些节点而导致关键信息缺失。Xu等［62］提出了一种异质性感知联邦学习框架解决落后者问题。该框架识别协作训练速度的落后者，并指定预期的神经网络模型训练量，通过旋转神经元训练的方法加速落后节点，同时保持本地训练和联邦协作的收敛性。此外，联邦学习虽然避免了因上传训练数据而导致的安全隐私问题，但该过程中的参数更新交换也带来了新的隐私问题。Kang等［63］首先引入了基于信誉的边缘节点选择方案，并采用多权重主观逻辑模型，根据直接交互历史和推荐的声誉意见计算边缘节点的声誉，从而利用联盟区块链以去中心化的方式管理节点的声誉。此外，为了实现可靠的联邦学习，可设计基于契约理论的激励机制，以激励拥有高精度和可靠本地培训数据的高声誉边缘节点加入学习过程。

5 基于云边智能协同的应用场景分析

当前，“大连接、低延时、高带宽”的需求越来越多，边缘计算已然成了这一时代发展的重要一环，与云计算、人工智能一起被越来越多的产业应用所需要。

当前云边智能协同最为广泛的应用领域是工业互联网领域，云边智能协同为工业互联网数据海量且异构的问题提供了较好的解决方案。在云边智能协同架构中，虽然目前在实际应用中边缘节点无法处理全部数据，仍然需要云节点实现信息的融合，但随着云边智能协同的研究发展，它正逐渐成为工业互联网的重要支柱。

云边智能协同也为智能家庭提供了新动力。用户不仅可以通过手机等终端设备来控制多个家庭设备，还可以实时访问云节点中存储的早期数据，边缘节点可以联合多个家庭设备组成家庭局域网，并通过与广域网相连实现与云节点进行数据交互，进而实现家庭终端互联及实时控制等功能。

在安防领域，通过有线或无线网络技术（Wireless Fidelity， WiFi）连接摄像头是当前采用较多的方式。然而有线虽然有较高的稳定性，但会占用大量资源，并且在布线时还有较高的成本。WiFi相较于有线虽然成本较低，但通常需要补充大量路由节点提高覆盖范围和稳定性。另外监控视频通常需要通过网络传输至云服务器中进行智能检测，给网络负载增加较大的压力。而云边智能协同通过将监控视频分流到边缘节点中，在降低网络负载的同时还有效降低了视频时延；另外，可以在边缘节点上搭建智能模块实现视频智能检测，从而应用于更多的业务场景。云节点可以负责模型的训练任务，并将训练后的模型下发至边缘端，二者相互协作，解决当前视频智能分析中的时延大的问题，提高用户的体验并实现多种本地AI典型应用。

在智慧交通领域，过去通常通过提高车辆的感知能力和计算能力实现智慧交通，研究成本较高。在实际应用中，可以通过在道路边缘铺设边缘节点，与行驶中的车辆进行实时的信息交互，边缘节点通过计算分析为车辆提供决策预警、辅助驾驶等多种服务。此外，边缘节点可以采集车辆数据与道路信息，为车辆扩展感知能力，实现车路协同。同时，边缘端可以与云端进行数据交互，云端通过分析边缘端的数据感知交通系统的运行状况，并结合大数据与AI算法分析并向边缘节点下发指令，从而保证交通系统的稳定运行，提高运行效率。

除了上述应用场景之外，云边智能协同也推动了传统能源产业、传统农业、医疗保健和娱乐行业向智能化发展。虽然目前云边智能协同技术已经在各个领域得到广泛应用，但是针对云边智能协同的技术标准仍然不明确，对于云边智能协同的研究需要从整体规划角度出发，根据不同的应用场景与需求完善它的能力，引导云边智能协同技术健康发展。

6 结语

6.1　总结

云边智能协同将AI与云边协同结合，提高了AI在边缘节点上的应用潜力。目前的研究集中在基于云边协同的AI模型训练与推理优化技术。为了全面了解AI在云边协同中的应用，本文首先介绍了云边协同的发展历程并指出了当前对云边协同与AI结合的不足以及云边智能协同的研究内容；其次，介绍了云边协同架构中边缘节点如何采集与处理终端数据；再次，介绍了云边协同架构对AI的促进作用，从而更好地在边缘节点激发AI的潜力；接着，分析了云边智能协同在工业、家庭、安防与交通等领域的应用场景；最后，总结了如何利用云与边缘节点之间的协同技术完成模型的训练与推理。

6.2　未来展望

目前针对云边智能协同的研究主要局限于通过优化边缘节点的训练与推理提高算法的性能，存在着一些有待进一步研究的方向：

1）在云边端架构中的计算迁移方面，计算卸载方案的可靠性与容错性紧密相连，而不同场景下通常有不同的卸载要求，如车联网与视频监控中卸载时延的要求较高，并且需要精准地完成卸载任务。在实际场景中，迁移过程要考虑网络环境等多种因素，因此在一些场景下的卸载任务应具备较强的适应性与可靠性。当前对计算的可靠卸载是该领域的一个重点研究方向，但目前相关研究较少。

2）在云原生方面，以kubernetes［64］为核心的云原生技术体系具有强大的容器编排能力，但它的体系庞大，组件复杂，另外kubernetes的各个组件占用资源较多，难以在网络受限的边缘环境下运行，因此将云原生体系下沉至边缘面临很大的挑战与困难。虽然kubeedge［65］的引入弥补了kubernetes部署在边缘的缺点，但kubeedge在面临大型边缘集群时无法进行智能调度。

3）在模型的训练与推理方面，在线学习与边缘计算的结合可以为边缘智能提供更广阔的适用场景。目前大多数研究将训练与推理过程分开研究，从而导致对于计算资源有限且动态性较强的场景难以适用，因此如何利用有限的资源部署和更新完成模型是该领域的研究热点，如感知计算、触觉网络等研究领域。

4）在安全与隐私方面，随着当前开放的环境和新软件技术的不断引进，大量数据会经过边缘计算传送到云计算中心。这些数据涉及终端的各种隐私信息，保护这些终端的隐私信息便是当前要解决的重点问题。目前对云边协同计算安全性的研究仍然存在不足，如在面临个人攻击时缺少有效的预防机制与解决方案。另外，虽然当前云边智能协同安全性的研究仍处于起步阶段，但结合安全机制以更统一的方式保护整个安全防御系统同样是当前的一个重点研究方向。

[1] CHEN Z， DI Y， YUAN H， et al. Intelligent cloud training system based on edge computing and cloud computing［C］// Proceedings of the IEEE 4th Information Technology， Networking， Electronic and Automation Control Conference. Piscataway： IEEE， 2020： 1550-1553.

[2] OLMOS J J V， CUGINI F， BUINING F， et al. Big data processing and artificial intelligence at the network edge［C］// Proceedings of the 22nd International Conference on Transparent Optical Networks. Piscataway： IEEE， 2020： 1-4.

[3] ZHOU Z， CHEN X， LI E， et al. Edge intelligence： paving the last mile of artificial intelligence with edge computing［J］. Proceedings of the IEEE， 2019， 107（8）： 1738-1762.

[4] QING L. A 5G PaaS collaborative management and control platform technology based on cloud edge collaboration based on particle swarm optimization algorithm［C］// Proceedings of the 2021 IEEE Asia-Pacific Conference on Image Processing， Electronics and Computers. Piscataway： IEEE， 2021： 144-147.

[5] ZHANG H， CHEN S， ZOU P， et al. Research and application of industrial equipment management service system based on cloud-edge collaboration［C］// Proceedings of the 2019 Chinese Automation Congress. Piscataway： IEEE， 2019： 5451-5456.

[6] PALLIS G， VAKALI A. Insight and perspectives for content delivery networks［J］. Communications of the ACM， 2006， 49（1）：101-106.

[7] SATYANARAYANAN M， BAHL P， CACERES R， et al. The case for VM-based cloudlets in mobile computing［J］. IEEE Pervasive Computing， 2009， 8（4）： 14-23.

[8] LaMOTHE R. Edge computing［EB/OL］. ［2022-07-11］.http：//vis.pnnl.gov/pdf/fliers/EdgeComputing.pdf.

[9] HU Y C， PATEL M， SABELLA D， et al. Mobile edge computing - a key technology towards 5G： ETSI White Paper No.11［R/OL］. ［2022-07-11］.https：//www.etsi.org/images/files/ETSIWhitePapers/etsi_wp11_mec_a_key_technology_towards_5g.pdf.

[10] 孔令娜，郭会明，焦函. 一种面向数据采集任务的云边协同计算框架［J］. 数字技术与应用， 2021， 39（2）：165-167.（KONG L N， GUO H M， JIAO H. A cloud-edge collaboration framework for data collection［J］. Digital Technology and Application， 2021， 39（2）：165-167.）

[11] LUO Y， ZHU X， LONG J. Data collection through mobile vehicles in edge network of smart city［J］. IEEE Access， 2019， 7：168467-168483.

[12] JIAO Z， DING H， DANG M， et al. Predictive big data collection in vehicular networks： a software defined networking based approach［C］// Proceedings of the 2016 IEEE Global Communications Conference. Piscataway： IEEE， 2016： 1-6.

[13] CAO L， YUE Y， ZHANG Y. A data collection strategy for heterogeneous wireless sensor networks based on energy efficiency and collaborative optimization［J］. Computational Intelligence and Neuroscience， 2021， 2021： No.9808449.

[14] ROOPALI， KUMAR R. Energy efficient dynamic cluster head and routing path selection strategy for WBANs［J］. Wireless Personal Communications， 2020， 113（1）：33-58.

[15] WAJGI D， THAKUR N V. Load balancing based approach to improve lifetime of wireless sensor network［J］. International Journal of Wireless and Mobile Networks， 2012， 4（4）： 155-167.

[16] GATTANI V S， JAFRI S M H. Data collection using score based load balancing algorithm in wireless sensor networks［C］// Proceedings of the 2016 International Conference on Computing Technologies and Intelligent Data Engineering. Piscataway： IEEE， 2016： 1-3.

[17] SHARMA S K， WANG X. Live data analytics with collaborative edge and cloud processing in wireless IoT networks［J］. IEEE Access， 2017， 5： 4621-4635.

[18] FAN C， LU Y， LENG X， et al. Data classification processing method for the Power IoT based on cloud-side collaborative architecture［C］// Proceedings of the IEEE 9th Joint International Information Technology and Artificial Intelligence Conference. Piscataway： IEEE， 2020： 684-687.

[19] LUO A， CHEN Z， YUAN J， et al. Analysis and processing of power distribution data based on edge computing［C］// Proceedings of the IEEE 6th International Conference on Computer and Communication Systems. Piscataway： IEEE， 2021： 12-16.

[20] LI S， LAN T， BALASUBRAMANIAN B， et al. Pushing collaborative data deduplication to the network edge： an optimization framework and system design［J］. IEEE Transactions on Network Science and Engineering， 2022， 9（4）： 2110-2122.

[21] APARNA R， SANJAY RAJ R， BANDOPADHYAY S， et al. BlockDrive： a deduplication framework for cloud using edge-level blockchain［C］// Proceedings of the 2021 International Conference on Communication Information and Computing Technology. Piscataway： IEEE， 2021： 1-6.

[22] NGUYEN M T， RAHNAVARD N. Cluster-based energy-efficient data collection in wireless sensor networks utilizing compressive sensing［C］// Proceedings of the 2013 IEEE Military Communications Conference. Piscataway： IEEE， 2013： 1708-1713.

[23] HUI H， ZHOU C， XU S， et al. A novel secure data transmission scheme in industrial internet of things［J］. China Communications， 2020， 17（1）： 73-88.

[24] ZHANG Y， WANG P， FANG L， et al. Secure transmission of compressed sampling data using edge clouds［J］. IEEE Transactions on Industrial Informatics， 2020， 16（10）： 6641-6651.

[25] CHATTERJEE A， GUPTA U， CHINNAKOTLA M K， et al. Understanding emotions in text using deep learning and big data［J］. Computers in Human Behavior， 2019， 93：309-317.

[26] CHEN Z， HU J， MIN G， et al. Towards accurate prediction for high-dimensional and highly-variable cloud workloads with deep learning［J］. IEEE Transactions on Parallel and Distributed Systems， 2020， 31（4）：923-934.

[27] TAO Y， XU P， JIN H. Secure data sharing and search for cloud-edge-collaborative storage［J］. IEEE Access， 2020， 8： 15963-15972.

[28] LIU J， MAO Y， ZHANG J， et al. Delay-optimal computation task scheduling for mobile-edge computing systems［C］// Proceedings of the 2016 IEEE International Symposium on Information Theory. Piscataway： IEEE， 2016：1451-1455.

[29] XU X， LI Y， HUANG T， et al. An energy-aware computation offloading method for smart edge computing in wireless metropolitan area networks［J］. Journal of Network and Computer Applications， 2019， 133： 75-85.

[30] XU F， XIE Y， SUN Y， et al. Two-stage computing offloading algorithm in cloud-edge collaborative scenarios based on game theory［J］. Computers and Electrical Engineering， 2022， 97： No.107624.

[31] LYU X， TIAN H， JIANG L， et al. Selective offloading in mobile edge computing for the green internet of things［J］. IEEE Network， 2018， 32（1）： 54-60.

[32] LI A， LI L， YI S. Computation offloading strategy for IoT using improved particle swarm algorithm in edge computing［J］. Wireless Communications and Mobile Computing， 2022， 2022： No.9319136.

[33] NING Z， DONG P， KONG X， et al. A cooperative partial computation offloading scheme for mobile edge computing enabled internet of things［J］. IEEE Internet of Things Journal， 2019， 6（3）： 4804-4814.

[34] QIU X， LIU L， CHEN W， et al. Online deep reinforcement learning for computation offloading in blockchain-empowered mobile edge computing［J］. IEEE Transactions on Vehicular Technology， 2019， 68（8）： 8050-8062.

[35] ALAM M G R， HASSAN M M， UDDIN M Z， et al. Autonomic computation offloading in mobile edge for IoT applications［J］. Future Generation Computer Systems， 2019， 90： 149-157.

[36] LI C， SUN H， CHEN Y， et al. Edge cloud resource expansion and shrinkage based on workload for minimizing the cost［J］. Future Generation Computer Systems， 2019， 101： 327-340.

[37] ZHAO T， ZHOU S， GUO X， et al. A cooperative scheduling scheme of local cloud and Internet cloud for delay-aware mobile cloud computing［C］// Proceedings of the 2015 IEEE Globecom Workshops. Piscataway： IEEE， 2015：1-6.

[38] ZHU Z， PENG J， GU X， et al. Fair resource allocation for system throughput maximization in mobile edge computing［J］. IEEE Access， 2018， 6： 5332-5340.

[39] WANG Z， LV T， CHANG Z. Computation offloading and resource allocation based on distributed deep learning and software defined mobile edge computing［J］. Computer Networks， 2022， 205： No.108732.

[40] ZHU T， ZHOU W， YE D， et al. Resource allocation in IoT edge computing via concurrent federated reinforcement learning［J］. IEEE Internet of Things Journal， 2022， 9（2）： 1414-1426.

[41] WANG D， QIN H， SONG B， et al. Resource allocation in information-centric wireless networking with D2D-enabled MEC： a deep reinforcement learning approach［J］. IEEE Access， 2019， 7： 114935-114944.

[42] WANG H， YANG X， SHI Y， et al. A proximal iteratively reweighted approach for efficient network sparsification［J］. IEEE Transactions on Computers， 2022， 71（1）： 185-196.

[43] PENG H， WU J， CHEN S， et al. Collaborative channel pruning for deep networks［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 5113-5122.

[44] HE Y， LIU P， WANG Z， et al. Filter pruning via geometric median for deep convolutional neural networks acceleration［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4335-4344.

[45] LI T， LI J， LIU Z， et al. Few sample knowledge distillation for efficient network compression［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 14627-14635.

[46] HAN S， MAO H， DALLY W J. Deep compression： compressing deep neural networks with pruning， trained quantization and Huffman coding［EB/OL］. （2016-02-15） ［2022-05-15］.https：//arxiv.org/pdf/1510.00149.pdf.

[47] CHEN W， WILSON J T， TYREE S， et al. Compressing neural networks with the hashing trick［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 2285-2294.

[48] DETTMERS T. 8-bit approximations for parallelism in deep learning［EB/OL］. （2016-02-19） ［2022-2-19］.https：//arxiv.org/pdf/1511.04561.pdf.

[49] ZHOU A， YAO A， GUO Y， et al. Incremental network quantization： Towards lossless CNNs with low-precision weights［EB/OL］. （2017-08-25） ［2022-08-25］.https：//arxiv.org/pdf/1702.03044.pdf.

[50] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network［EB/OL］. （2015-03-09） ［2022-03-11］.https：//arxiv.org/pdf/1503.02531.pdf.

[51] MENG Z， LI J， ZHAO Y， et al. Conditional teacher-student learning［C］// Proceedings of the 2019 IEEE International Conference on Acoustics， Speech， and Signal Processing. Piscataway： IEEE， 2019： 6445-6449.

[52] MIRZADEH S I， FARAJTABAR M， LI A， et al. Improved knowledge distillation via teacher assistant［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 5191-5198.

[53] ZHAO Z， BARIJOUGH K M， GERSTLAUER A. DeepThings： distributed adaptive deep learning inference on resource-constrained IoT edge clusters［J］. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems， 2018， 37（11）： 2348-2359.

[54] PARK E， KIM D， KIM S， et al. Big/little deep neural network for ultra low power inference［C］// Proceedings of the 2015 International Conference on Hardware/Software Codesign and System Synthesis. Piscataway： IEEE， 2015： 124-132.

[55] TAYLOR B， MARCO V S， WOLFF W， et al. Adaptive deep learning model selection on embedded systems［J］. ACM SIGPLAN Notices， 2018， 53（6）： 31-43.

[56] TEERAPITTAYANON S， McDANEL B， KUNG H T. BranchyNet： fast inference via early exiting from deep neural networks［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 2464-2469.

[57] YAN H， YU P， LONG D. Study on deep unsupervised learning optimization algorithm based on cloud computing［C］// Proceedings of the 2019 International Conference on Intelligent Transportation， Big Data and Smart City. Piscataway： IEEE， 2019： 679-681.

[58] SENHAJI K， RAMCHOUN H， ETTAOUIL M. Training feedforward neural network via multiobjective optimization model using non-smooth1/2regularization［J］. Neurocomputing， 2020， 410： 1-11.

[59] McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.

[60] MILLS J， HU J， MIN G. Multi-task federated learning for personalised deep neural networks in edge computing［J］. IEEE Transactions on Parallel and Distributed Systems， 2022， 33（3）： 630-641.

[61] REIJONEN J， OPSENICA M， MORABITO R， et al. Regression training using model parallelism in a distributed cloud［C］// Proceedings of the IEEE 17th International Conference on Dependable， Autonomic and Secure Computing/ IEEE 17th International Conference on Pervasive Intelligence and Computing/ IEEE 5th International Conference on Cloud and Big Data Computing/ IEEE 4th Cyber Science and Technology Congress. Piscataway： IEEE， 2019： 741-747.

[62] XU Z， YU F， XIONG J， et al. Helios： heterogeneity-aware federated learning with dynamically balanced collaboration［C］// Proceedings of the 58th ACM/IEEE Design Automation Conference. Piscataway： IEEE， 2021： 997-1002.

[63] KANG J， XIONG Z， NIVATO D， et al. Incentive mechanism for reliable federated learning： a joint optimization approach to combining reputation and contract theory［J］. IEEE Internet of Things Journal， 2019， 6（6）： 10700-10714.

[64] PEREIRA FERREIRA A， SINNOTT R. A performance evaluation of containers running on managed kubernetes services［C］// Proceedings of the 2019 IEEE International Conference on Cloud Computing Technology and Science. Piscataway： IEEE， 2019： 199-208.

[65] XIONG Y， SUN Y， XING L， et al. Extend cloud to edge with kubeedge［C］// Proceedings of the 3rd ACM/IEEE Symposium on Edge Computing. Piscataway： IEEE， 2018： 373-377.

Survey of data-driven intelligent cloud-edge collaboration

TIAN Pengxin1， SI Guannan1*， AN Zhaoliang1， LI Jianxin1， ZHOU Fengyu2

（1，，250357，；2，，250061，）

With the rapid development of Internet of Things （IoT）， a large amount of data generated in edge scenarios such as sensors often needs to be transmitted to cloud nodes for processing， which brings huge transmission cost and processing delay. Cloud-edge collaboration provides a solution for these problems. Firstly， on the basis of comprehensive investigation and analysis of the development process of cloud-edge collaboration， combined with the current research ideas and progress of intelligent cloud-edge collaboration， the data acquisition and analysis， computation offloading technology and model-based intelligent optimization technology in cloud edge architecture were analyzed and discussed emphatically. Secondly， the functions and applications of various technologies in intelligent cloud-edge collaboration were analyzed deeply from the edge and the cloud respectively， and the application scenarios of intelligent cloud-edge collaboration technology in reality were discussed. Finally， the current challenges and future development directions of intelligent cloud-edge collaboration were pointed out.

cloud-edge collaboration; Artificial Intelligence (AI); computation offloading; model training and inference; data-driven

This work is partially supported by Natural Science Foundation of Shandong Province （ZR2019MF064）.

TIAN Pengxin，born in 1999， M.S. candidate. His research interests include big data， edge computing.

SI Guannan， born in 1981， Ph. D.， professor. His research interests include big data， cloud computing.

AN Zhaoliang， born in 1998， M. S. candidate. His research interests include big data， cloud computing.

LI Jianxin， born in 1997， M. S. candidate. His research interests include machine learning， cognitive graph.

ZHOU Fengyu， born in 1969， Ph. D.， professor. His research interests include intelligent robots， cloud robots.

1001-9081（2023）10-3162-08

10.11772/j.issn.1001-9081.2022091418

2022⁃09⁃22；

2023⁃01⁃05；

山东省自然科学基金资助项目（ZR2019MF064）。

田鹏新（1999—），男，山东济宁人，硕士研究生，主要研究方向：大数据、边缘计算； 司冠南（1981—），男，山东济南人，教授，博士，主要研究方向：大数据、云计算； 安兆亮（1998—），男，山东济南人，硕士研究生，主要研究方向：大数据、云计算； 李建辛（1997—），男，山东枣庄人，硕士研究生，主要研究方向：机器学习、认知图谱； 周风余（1969—），男，山东沂南人，教授，博士，主要研究方向：智能机器人、云机器人。

TP399

A

2023⁃01⁃06。