基于6G的联邦学习部署和应用

牛煜霞，赵嵩

（中国电信股份有限公司研究院，北京 102209）

0 引言

伴随着5G 在全球范围内的广泛部署，业界已开启了下一代移动通信技术（6G）的研究和探索。2019 年3 月，在芬兰举行的全球首届6G 峰会上，70 位来自各国的通信专家共同商议拟订了全球首份6G 白皮书[1]，明确了6G 发展的基本方向。在此之后，围绕6G 概念与愿景、需求与挑战以及潜在关键技术等，陆续发布了6G 相关白皮书[2-5]。研究者们普遍认为，智能化将是6G 网络发展的重要方向，人工智能（AI）技术将是6G 网络的重要组成部分[5]。

6G 网络向智能化方向发展的关键在于对数据的合理采集、处理和应用。近年来，大数据的出现、AI 技术的演进以及算力的巨大提升，为6G 的智能化发展提供了新的驱动力，与此同时，重视数据隐私和数据安全也已经成为世界性趋势。传统的AI 技术需要中央服务器进行集中的数据收集和处理，但在大多数场景中由于行业竞争、数据隐私安全等，数据以孤岛的形式存在，不同数据源之间存在着难以打破的壁垒，实现数据整合几乎是不可能的，这也成为6G 网络向智能化方向发展的瓶颈之一。因此，在6G 网络智能化演进中如何引入分布式技术以及可信的AI 技术，在保证数据隐私安全的前提下解决数据孤岛是一个至关重要的问题。

近年来，业界专家将目光聚焦在“联邦学习”（FL,Federated Learning）这一新兴技术上。它的提出可以很好地解决数据孤岛问题，使各个参与方借助其他方的数据进行联合建模，而各参与方之间无需共享原始数据资源，从而保护数据隐私和数据安全[6]。本文以联邦学习在6G中的部署与应用为着眼点，具体分析了联邦学习在部署与应用时所面临的问题以及挑战，探讨了联邦学习技术在面向6G 部署时需要着重关注的问题和潜在研究方向。下面通过对联邦学习的原理进行介绍，阐述了在6G 中联邦学习的标准研究进展，并提出了6G 中联邦学习的主要研究内容和潜在研究方向。

1 联邦学习概述

联邦学习的核心是各个参与方可借助其他方的数据进行联合建模，各参与方无需共享原始数据资源，即在数据不离开本地的情况下进行数据联合训练，建立共享的机器学习模型，从而可以在满足数据隐私、安全和监管要求的前提下解决数据孤岛问题[6]。

根据数据分布特点的不同，可采取以下不同的联邦学习方法进行训练[7]：

（1）当两个数据集的用户特征重叠较多而用户重叠较少时，可以采用横向联邦学习方法（见图1），根据用户维度划分数据集，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练；

（2）当两个数据集的用户重叠较多而用户特征重叠较少时，可以采用纵向联邦学习方法（见图2），根据特征维度划分数据集，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练；

图2 纵向联邦学习系统架构

（3）当两个数据集的用户与用户特征重叠都较少时，可以采用联邦迁移学习方法，不对数据进行切分，而是利用迁移学习来克服数据或标签不足的问题。

联邦学习是一种分布式人工智能方法。联邦学习的参与方也是联邦学习模型训练的数据拥有方，各个参与方对其本地数据拥有完全的自治权限，可以自主决定是否加入、何时加入联邦学习进行建模，并且联邦学习不会对数据和模型本身进行传输，而是在加密机制下对参数进行传输。因此，联邦学习在解决数据量大、数据汇聚成本高的问题的同时，可以在保证数据隐私和数据安全的前提下高效地进行联合建模。

2 联邦学习的标准研究进展

6G 智能化发展的关键在于对数据的合理采集、处理和应用。但是，由于行业竞争、数据隐私安全等，异厂家、跨地域、跨运营商的数据往往以孤岛形式存在，难以实现不同数据源之间的数据整合。为了解决这一问题，业界专家将目光聚焦在联邦学习这一新兴技术上，希望能够在6G 中应用联邦学习技术，实现移动通信网络向智能化方向演进。

目前，在移动通信网领域，3GPP、CCSA 等国内外标准组织已经开始了对联邦学习的讨论和研究，具体如下[8]：

（1）3GPP SA1 Rel-18 的“人工智能/ 机器学习模型传输（AMMT,AI/ML Model Transfer）”项目研究了“分布式/联邦学习”对5GS 的功能需求及KPI 需求，如AI/ML 模型的监控需求、传输时延需求等[9]；

（2）3GPP SA2 的“网络自动化和智能化使能（eNA_Ph2,enabler of Network Automation Phase 2）”项目研究了支持联邦学习的分布式智能网络架构，并提出了应用场景及解决方案[10]；

（3）CCSA TC5 WG12 的“基于分布式联合学习的5G 及演进移动通信网关键技术研究”项目旨在研究面向未来网络的联邦学习技术体系及架构，并提出了应用场景及解决方案；

（4）从2021 年第四季度开始，联邦学习相关的Rel-18 课题也陆续在3GPP SA2 和3GPP SA5 中开始讨论立项[11-12]。

3 联邦学习的部署与应用

目前，业界和学术界关于6G 中联邦学习的研究主要聚焦在两个方面：一是针对网络智能化对移动网架构的影响，研究支持联邦学习的分布式智能化网络架构；二是针对智能化网络架构在应用和部署方面所面临的挑战，研究参与联邦学习的客户端选择和调度、资源管理和调度、安全防御和隐私保护等使能技术，实现联邦学习技术在6G 中的应用。

3.1 支持联邦学习的分布式智能化网络架构

在移动网络应用场景中，多个网络数据分析功能（NWDAF,Network Data Analytics Function）可 以 部署在同一个大型公共陆地移动网（PLMN,Public Land Mobile Network）中。从运营商的角度来看，由于行业竞争、数据隐私安全等，异厂家、跨地域、跨运营商的数据往往以孤岛形式存在，分布在不同区域的NWDAF 之间数据互通开销巨大，因此负责模型训练和数据分析的NWDAF 可能只依靠单一区域的数据来进行模型训练和数据分析，影响其模型训练和数据分析的准确性[10]。

3GPP SA2 工作组Rel-17 的eNA_Ph2 项目提出了基于联邦学习的分布式智能网络架构，试图将联合学习融入NWDAF 的分层体系结构中，同一个PLMN 中分层NWDAF 的部署架构如图3 所示[10]。

图3 同一个PLMN中分层NWDAF的部署架构

位于不同区域的NWDAF 使用自己收集处理的数据在本地训练ML 模型，并将模型训练的中间结果共享给中心NWDAF，然后中心NWDAF 对收到的中间结果进行聚合，再将聚合的结果发送给各个区域的NWDAF 用于分析推理。其主要思想是基于分布在不同区域的NWDAF数据建立机器学习模型，多个NWDAF 之间不需要共享原始数据，只需要共享模型训练的中间结果（如梯度、模型参数等），使分布在某一地区的NWDAF 可以与其他NWDAF 共享其模型或数据分析结果，从而解决了不同区域的NWDAF 数据无法集中的问题，在满足数据隐私和数据安全的情况下提高了NWDAF 分析的精准度。

3.2 联邦学习的使能技术

下面将列出一些在6G 中应用联邦学习时需要研究的使能技术，主要包括：参与联邦学习的客户端选择和调度、资源管理和调度、安全防御和隐私保护等[13-16]。

（1）客户端选择和调度

联邦学习的参与方可以是具备不同通信资源、不同计算资源以及不同数据分布的异构设备，参与联邦学习的客户端设备上可用的资源量决定了客户端可以完成的任务量。因此，为了尽可能地提高联邦学习的性能，需要设计合理的客户端选择和调度方法以选择合适的客户端，并能够在客户端之间合理地分配学习任务，实现最大限度地提高联邦学习的性能，并尽可能缩短收敛时间为目标。

在客户端选择和调度过程中，需要确定参与客户端的最佳数量、管理客户端设备上有限的资源以及合理地分配任务的方法。在文献[14] 中，针对客户端选择和资源分配来构造优化问题，并采用匈牙利算法来解决；而在文献[15]中，针对信道选择和资源消耗来构造优化问题，并采用强化学习来解决。以上方法均可以在不显著降低联邦学习性能和收敛时间的情况下，尽可能地减少客户端设备上的能量和带宽等方面的资源消耗。其中，能量消耗在模型训练和模型更新上，而带宽消耗在模型上传和模型下载上。

（2）资源管理和调度

在联邦学习中，模型更新对于优化全局模型很重要。为了使联邦学习得到的模型具有更好的学习性能，各个参与方在联合建模的过程中，需要进行足够多轮次的模型训练和模型聚合，尤其是当各个参与方的数据为非独立同分布时，需要的模型训练和模型聚合的次数会更多。

然而，受限于不同的带宽资源和计算资源等异构特性，联邦学习的参与方之间可能难以进行高效的通信。因此，为了提高联邦学习参与方之间的通信效率，需要考虑带宽资源、计算资源、能量状态等的资源管理和任务调度方法。文献[16] 提出了基于随机梯度下降算法来减少模型训练和模型聚合的轮次，而文献[17] 提出了一种梯度压缩方法来压缩模型上传和模型下载的通信内容，这些方法都可以在一定程度上提升通信效率。

（3）安全防御和隐私保护

联邦学习的参与方使用本地数据来训练机器学习模型，每一个参与方拥有的数据都不会离开该参与方，只将训练的中间结果（如模型权重、梯度等）以加密方式与其他参与方共享，以保护数据隐私和数据安全。

但是，传递的中间结果仍然可能遭到攻击，即根据获得的中间结果推测出其他参与方的原始数据。在文献[18] 中，采用轻量级加法同态加密技术和差分隐私技术相结合的方式避免了原始数据的泄露，同时提高了联邦学习的效率和准确性。

4 联邦学习的部署与应用思考

6G 对网络智能化、隐私保护以及数据安全具有更高的要求，联邦学习得益于其隐私保护等特性，成为了6G潜在的关键技术之一。它允许各参与方在进行机器学习的过程中借助其他参与方数据进行联合建模，而各参与方之间无需共享原始数据资源，从而可以保护数据隐私和数据安全。

4.1 联邦学习在6G领域中的挑战

与5G 相比，6G 具有更高的传输速率、更低的传输延迟以及更高的连接密度，可以为用户提供更高质量的服务。在6G 领域中部署应用联邦学习时，需要满足6G网络高传输速率、低传输时延以及大规模连接的要求。

为了满足上述要求，当联邦学习在6G 中广泛部署应用时，高效的模型训练和模型传输是必要的。然而，由于数据分布、设备分布、计算方法、通信机制的不同会对训练效率和通信效率有不同的影响，因此对于联邦学习系统来说，6G 的大规模异构特性会给联邦学习实现高效的模型训练和模型传输带来一定的挑战，比如：如何解决联邦学习各个参与方之间的非同步问题、如何提高联邦学习各个参与方之间的通信效率以及如何降低联邦学习各个参与方之间的通信成本等。

此外，在实际应用中，联邦学习系统的众多参与者中可能存在不可靠的设备，这些设备可能会因为自身计算资源和通信资源的消耗而选择退出联邦学习任务，也可能会因为数据安全和隐私保护问题而选择退出联邦学习任务，因此如何鼓励它们参与到联邦学习任务中并分享它们的模型也是一大挑战。

4.2 联邦学习在6G领域应用的其他思考

为了应对上述挑战，在6G 移动通信网中支持联邦学习，下面将列出一些用来实现通信高效、数据安全和隐私增强的联邦学习方法，主要包括分层联邦学习框架和联邦学习激励机制。

（1）分层联邦学习框架

在联邦学习的实际应用过程中，由于各个参与方之间的非同步特性，联邦学习系统需要等待各个参与方都完成训练之后才能进行模型融合，等待时间过长会造成时间资源和计算资源的浪费。此外，在联邦学习中，为了使得到的模型具有更好的性能，需要进行足够多轮次的模型训练和模型聚合，频繁的模型训练和模型聚合会给网络带来巨大的开销及沉重的负担。因此，如何提高通信效率以及降低通信成本是联邦学习在6G 中应用的一项重要挑战。

在文献[16] 和[17] 中，通过减少模型聚合轮次或者压缩每轮模型聚合的通信内容，可以在一定程度上提升通信效率，但模型精度和收敛速度等学习性能可能会受到影响。为了提升联邦学习系统的通信效率，文献[19]提出了一种分层联邦学习框架，此框架分为上下两层，由数据拥有方（参与方）、分簇簇头和中央控制节点构成。其中，下层由参与方和分簇簇头构成，参与方可以自由选择加入哪一个分簇，簇头用来支持对参与方中间结果进行聚合；上层由分簇簇头和中央控制节点构成，分簇簇头可以选择为一个中央控制节点服务。

分层联邦学习框架减少了对中央控制节点的依赖，但仍有一些问题需要做进一步研究，如分簇簇头选择方法的影响因素等。

（2）联邦学习激励机制

联邦学习的价值在于打破数据孤岛，通过鼓励具有相同数据结构或不同数据结构的多个客户端共同参与训练，提高模型的整体效果。然而，在实际应用中，客户端参与联邦学习任务时不可避免地会面临通信、计算等资源消耗的问题，还会面临数据安全和隐私保护的问题，如果没有足够的吸引条件，客户端可能不愿意参与到联邦学习任务中分享他们的模型。

在文献[20] 中，介绍了收益分享博弈方法和反向拍卖方法，这两种方法均可用于开发联邦学习的激励机制和激励分配方法，根据不同参与方的贡献程度公平公正地分配奖励给参与方，可以提高参与方的贡献热情，其中参与方的贡献可以依据数据质量和数据量来评价。在文献[21] 中，提出了一种公平的联邦学习激励方案，最小化各参与方之间的不平等对待，吸引具有高质量数据的参与方向联邦贡献数据；在文献[22] 中，提出了一种基于博弈论和深度强化学习的联邦学习激励机制，鼓励参与方向联邦贡献更多的数据。

目前联邦学习激励机制的研究尚处于起步阶段，如何估计参与方加入联邦学习任务的成本以及参与方对联邦学习任务的贡献等问题仍有待研究。

5 结束语

本文基于联邦学习的技术原理，对其在6G 中的部署及应用进行分析，探讨了基于联邦学习的分布式智能网络架构研究以及联邦学习的使能技术。除此之外，本文还对联邦学习在6G 中的标准研究进展、部署及应用时可能面临的问题进行了分析，并阐明了需要关注的研究重点和潜在研究方向。