面向高效通信边缘学习网络的通信计算一体化设计

（深圳市大数据研究院，中国深圳518172）

作为全新一代移动通信技术，5G将开启万物互联、深度融合的发展新阶段。受5G的推动，全球数据流量将呈现出爆炸式增长的趋势。据国际数据公司预测，到2025年，将有800亿台设备接入互联网，全球数据将达到163 ZB，是2016年数据的10倍。大数据的洪流加上不断取得突破的人工智能（AI）技术激发了人们对泛在计算和智能的憧憬。在此愿景的推动下，越来越多的智能应用将被部署在网络边缘，而为之奠定基础的边缘智能技术也正成为业界和学术界共同关注的热点[1]。

边缘智能旨在为移动终端提供超快速、智能化和环境/位置感知的服务，这些服务包括虚拟现实（VR）/增强现实（AR）、自动驾驶、多媒体内容传输、智能家居和都市、工业自动化、电子银行、视频流分析。这些技术大多数都需要通过边缘机器学习来实现，具体来说是将机器学习算法部署在网络边缘（如基站和智能终端）以快速地利用分布式的移动数据来连续地训练和调整边缘云（基站）中的人工智能模型（如图1所示）。机器学习所需的大量数据是由数百万到数十亿的物联网传感器和移动设备产生的。例如，谷歌公司为智能键盘而训练的人工智能模型要求数百万的移动设备同时上传用户交互数据。又如，特斯拉公司通过使用数百万特斯拉车辆在行驶过程中上传的雷达和激光雷达传感数据来不断改善其自动驾驶人工智能模型。由于数据量的巨大，将这些数据上传到边缘云给无线通信系统提出了极大的挑战。随着智能终端设备的爆炸式增长，多址接入延迟是实现低时延边缘机器学习的主要瓶颈。近10余年来，无线通信领域在空分多址（SDMA）、正交频分多址（OFDMA）和码分多址（CDMA）等多址接入技术方面取得了突破性进展。然而，对于这些正交接入技术而言，控制多址接入延迟需要无线资源随着设备数量线性增加。这意味着在有限频谱资源的限制下，正交多址接入技术难以扩展至大规模用户场景。

▲图1 边缘智能系统

▲图2 先通信后计算方案对比空中计算方案

克服边缘机器学习的通信瓶颈需要从根本上突破现有多址接入的设计原理和方法。正交多址接入技术是传统可靠通信设计理念的产物，其设计目标是在保证个体数据可靠传输的前提下最大化传输速率。在这一传统设计理念下，通信和计算是两个独立的过程：前者仅仅是为后者提供数据的“传输管道”。正是传统通信计算分离的设计思想造成了边缘机器学习中的通信瓶颈。这类技术无法对边缘学习系统的接收数据的后续计算应用进行整体考量，因而也无法进行更高效率的跨层优化。对于边缘学习系统来说，最终的任务是从海量数据中提炼出准确的AI模型，而非完成个体数据的可靠传输。为了实现AI模型的准确训练，边缘服务器往往只对分布式数据所构成的某些特定函数而不是数据本身感兴趣。以目前最受关注的联邦式边缘学习为例，在其分布式模型训练的过程中，边缘服务器只需要从边缘设备上获取本地数据计算出的模型/梯度的平均值，而非所有存储在本地的个体数据[2]。换言之，直接将基于个体数据可靠传输理念设计的通信技术套用到边缘学习系统中，将导致过低的频谱利用率以及不必要的通信时延。

综上所述，为了突破边缘学习中的通信瓶颈，亟待在计算与通信技术上进行改革与创新。为此，以计算和通信在空中的高度“融合”为特征的空中计算技术提供了一种解决之道。

1 空中计算概述

空中计算的概念最早起源于传感器网络中的数据聚合应用，其核心思想是利用无线多址接入信道的波形叠加特性以及多用户的并发传输以实现高速数据空中聚合[3]。如图2所示，与传统的“先通信再计算”方案相比，它拥有极高的频谱利用效率，空中计算方案的接入时延不会随着网络规模的增加而线性增加。早期的空中计算研究多聚焦于从信息论的角度分析其渐近计算性能。例如，在文献[4]中，基于高斯多址接入信道以及独立同分布的数据源假设，作者推导出了空中计算理论上的渐近计算速率，并证明了增加接入设备的数量能提高函数计算准确度这一令人鼓舞的结论。随后，无编码的模拟信号空中计算被证明可以在数据源服从单一高斯分布的情况下实现最小的计算误差[5]。在空中计算的普适性方面，文献[6]的作者率先证明了通过适当的预处理和后处理，空中计算技术可以用于计算包括算术平均数和几何平均数在内的一系列被称为nomographic函数的统计函数。常见的nomographic函数如表1所示。在此基础上，文献[7]的作者进一步证明了任意函数都可以拆分为多个nomographic函数之和，这意味着空中计算具有处理任何函数计算的能力。这一里程碑式的发现大大拓宽了空中计算的应用场景。

空中计算令人满意的理论性能推动了一系列后续研究。这些研究专注于解决实际信号处理问题和提高系统的鲁棒性，其中包括传感设备的功率控制设计[8]、接入设备同步方案设计[9]，以及信道估计方案设计[10]。除了在无线传感网络中的应用，空中计算中对并发干扰进行利用的思想也被广泛应用到现有的通信系统。例如，空中计算在中继系统上的应用催生了著名的计算转发中继方案，并大大提升了系统的抗噪性能[11]。另一方面，通过空中计算中继的应用，始于有线网络的网络编码技术得以引入到无线网络中，并衍生出了广受关注的物理层网络编码研究领域[12]。最新的一系列研究聚焦于利用多天线技术及其带来的复用增益，将传统基于标量函数计算的空中计算技术拓展至矢量函数计算[13-16]，这对未来的多模传感网络数据聚合至关重要。

表1 常见的可用于空中计算的nomographic函数

▲图3 联邦式边缘学习

2 通信计算一体化设计关键技术方案

通过将差分隐私和分布式学习相结合，联邦式边缘学习成为目前最为流行的边缘学习范式。联邦式边缘学习的主要特点是将模型训练任务分配到参与训练的终端上，并以本地模型上传代替原始数据上传，这保障了数据隐私性的同时也有效利用了终端本地的计算资源。如图3所示，联邦式边缘学习中边缘服务器与边缘设备之间的交互在两个阶段之间交替进行。在第1阶段，边缘服务器将全局模型的当前版本广播给参与训练的边缘设备。基于当前广播模型，每个边缘设备使用随机梯度下降法并利用本地数据对本地模型进行更新。在第2阶段，边缘设备将其本地更新（梯度估计或模型更新）上传到边缘服务器，并进一步聚合以更新全局模型。这两个步骤的每次迭代称为一个通信回合，迭代一直持续到全局模型收敛。

鉴于模型/梯度更新的高维度性（一个典型的深度学习模型/梯度包含数百万至上亿个参数），由密集设备模型/梯度更新上传所带来的通信瓶颈是目前联邦式边缘学习所面临的一大挑战。现共有3种方法可以解决该问题：第1种方法是放弃响应速度慢的边缘设备的更新，以丢失部分更新信息为代价实现快速更新同步[17]；第2种方法是利用所提供模型/梯度更新的重要性而不是计算速度来对设备进行调度[18-19]；第3种方法致力于利用梯度更新的稀疏性[20]和低分辨率梯度参数量化[21]，来实现更新参数压缩。上述3种方法代表了现有研究通过“节流”的方式解决通信瓶颈问题，即通过设备调度策略和数据压缩以减少接入设备数和传输数据量，从而减轻通信负担。在这些方案中，无线信道仅被抽象为数据传输的“管道”，其特性并没有被充分利用来进行高效(模型/梯度)更新聚合方案的设计。另外，在联邦式边缘学习中，边缘服务器感兴趣的只是不同本地更新的平均值，而非本地更新自身的可靠传输，因此传统的基于个体数据可靠传输理论设计的正交多址接入技术将会带来不必要的通信延迟。为此，基于空中计算的更新聚合技术应运而生，其高效的频谱利用率使其成为当前一大研究热点[22-24]。目前已有初步的研究展示了基于空中计算的更新聚合技术在理论上的超低时延性能，然而该技术的落地仍然面临着不少实际的挑战。接下来我们将一一介绍其中的3大挑战，并对可能的解决方案进行论述。

2.1 空中计算的数字化和宽带化改造

传统针对无线传感网络数据聚合应用的空中计算方案主要面向窄带非频选信道，并且需要对发射信号进行高精度的模拟调制，即发射机可以根据需要调制载波波形，并自由选择同相/正交系数作为任意实数。然而现有的无线设备都带有嵌入式数字调制芯片，无法实现任意精度的模拟调制。另外，鉴于模型/梯度更新的高维度性，需要利用宽带信道对其进行传输，而由此产生的频选衰落将影响空中计算的精确度。因此，需要对传统窄带模拟空中计算技术进行数字化和宽带化的改造以实现联邦式边缘学习的通信计算一体化应用需求。

在现行的蜂窝系统中，主流的调制和宽带传输方案是正交幅度调制（QAM）和正交频分复用（OFDM）技术。为了更好地兼容现行的设备方案，我们提出一种基于QAM调制和OFDM架构的宽带数字空中计算系统方案。该新方案受符号随机梯度下降（signSGD）[21]的启发，在边缘设备端进行1 bit信息量化，并在边缘服务器上进行基于多数表决的解码。下面我们以基于梯度平均的联邦学习为例对该系统的收发机设计方案进行详细描述。

2.1.1 发射机方案

发射机方案如图4（a）所示。该设计建立在传统的OFDM发射机的基础上，采用截断信道逆变功率控制。然而，与传统的通信系统需要先进行信道编码不同，我们将无编码的原始量化比特馈送到OFDM单元。特别地，我们先对边缘设备的梯度更新进行1 bit量化，即对每个梯度更新元素我们只取其符号位，如式（1）：

其中，gk是第k个设备的梯度更新矢量，而是其一比特量化后的对应矢量，sign(·)代表的是取符号位操作。随后，每两个二进制梯度参数为一组被调制成一个4 QAM符号的同相和正交系数。假设OFDM系统共有M个子载波，调制后的长符号序列将被划分为块，每个块含有M个符号并作为单个OFDM符号被发送（其中每个频率子载波发送一个符号）。

假设发射机拥有完美的信道状态信息，我们可以通过信道逆变功率控制使得不同设备发送的梯度更新参数以相同的幅度被接受，从而实现空中计算所需的信道衰落对齐。为了在给定的功率约束下实现信道逆变，我们采用截断信道逆变功控策略，即只有当一个子信道的信道增益大于某一给定阈值时我们才对信道逆变，否则我们将放弃使用该子信道（分配零功率）。

2.1.2 接收机方案

接受机方案如图4（b）所示。该方案具有与传统OFDM接收机相同的架构，只是数字检测器被替换为基于多数表决的解码器，用于根据接收信号估计全局梯度更新。

考虑一个任意的通信回合，假设所有的参与设备同步并发传输，并使用截断信道逆变功控策略，服务器所接收到的叠加的信号表示如式（2）：

▲图4 数字化宽带空中计算的收发机设计

其中，ρ0为采用截断信道逆变功控后的信道对齐水平是一比特量化梯度的“截断”版本，其被截断的元素被置为零，并取决于所属子信道的增益。最后，为了从中获得全局梯度估计值用于模型更新，我们采用基于多数表决的解码器如式（3）：

在文献[25]中,我们通过基于实际数据集的实验仿真，对基于空中计算的更新聚合方案和传统基于正交频分多址接入的聚合方案进行性能比较。在模型训练准确度相当的前提下，与后者相比，前者在时延上获得数10倍的降低，展现了通信计算一体化设计的巨大潜力。

2.2 安全空中计算

在联邦式边缘学习中应用空中计算技术的时候，需要关注的另一个实际问题是模型/梯度聚合的安全性。一些恶意用户可能通过故意上传不准确的模型/梯度更新或随机噪声来对模型训练进行攻击。这些恶意攻击可能导致学习算法无法收敛，并使整个训练过程崩溃。为了保证模型训练的顺利进行，需要建立安全可靠的计算机制以防范来自恶意用户的攻击。

为此，一个可能的方案是采用直接序列扩频（简称扩频）技术对上传的模型/梯度更新进行编码。如图5所示，在该方案中，所有合法用户将使用由服务器分配的特殊扩频序列（也称作码片）进行扩频编码，以保护其上传更新的合法性；而不知道扩频序列的恶意用户所产生的攻击和干扰会在服务器的解扩频过程中得到有效抑制。以下是基于扩频技术的空中计算方案的具体设计：

1）网络中的所有合法用户都由服务器分配一个合法的扩频序列，即一串取值+1或-1的伪随机噪声码序列，恶意用户对该序列未知；

2）所有合法用户将其模型/梯度更新信息与被分配的扩频序列相乘以进行扩频编码，然后所有合法用户并发上传扩频后的更新信息；

3）最后，边缘服务器使用约定的扩频序列，对接收到的包含所有并发上传用户的叠加信号进行解扩频。

如图6所示，基于扩频技术的空中计算的实现，仅需要在图5（a）所示的OFDM框架上在调制模块和逆快速傅里叶变换（IFFT）模块中间添加一个额外的扩频模块即可。图6还展示了扩频技术背后的原理：将上传更新信息和扩频序列相乘等价于用更大的带宽完成更新信息的上传。其中，带宽扩展的倍数被称为扩频因子，由符号时长T和码片时长τc的比率所决定，即γ =T/τc。

所有合法用户使用同一个扩频序列进行编码，因此边缘服务器对接收到的叠加信号进行解扩频后，能够自动聚合来自合法用户的模型/梯度更新，并同时以扩频因子的倍数抑制来自恶意用户的攻击。

▲图5 基于扩频技术的安全空中计算示意图

▲图6 基于扩频技术的安全空中计算的系统实现

值得一提的是，扩展因子的设计需要平衡时延代价和对恶意攻击抑制的强度之间的折中关系。具体而言，利用扩频技术后，系统在模型/梯度更新上传时占用的带宽是原来的γ倍。这在某种程度上削弱了空中计算相对于多用户正交传输所取得的时延优势。然而，以此代价换来的补偿为系统对恶意攻击的鲁棒性以及以扩频因子数倍升的信噪比。

2.3 弱信道受限的信道衰落对齐

基于空中计算的更新聚合方案需要通过功率控制补偿不同用户的信道衰落，以满足空中计算所需的信道一致性，因此其性能会受限于小区边缘设备的弱信道。如果边缘服务器上装备有多天线阵列，则可以通过波束赋型设计来缓解小区边缘设备带来的性能瓶颈。该设计的核心思想是对这些小区边缘设备进行波束聚焦，以补偿它们的路径损耗，从而提升小区边缘设备的信道质量。

值得注意的是，用于小区边缘设备信道增强的空中计算波束赋型在设计原理上不同于传统的空分多址波束赋型。空中计算波束赋型本质上是要尽量对齐不同设备到服务器之间的信道强度，从而利用并发“干扰”进行计算；而空分多址则试图利用波束赋型正交化多用户信道以抑制多用户间的串扰，以便来自不同用户的数据的可靠传输。具体的差异可以通过下面的波束赋型问题建模来进一步阐述。

我们考虑如下的一个多天线系统，一个装备有多天线的基站服务多个单天线的用户，其输入输出关系可表示如式（4）：

其中，F∈CN×K是待设计的波束赋型矩阵，N代表装备在边缘服务器的天线数，K代表边缘设备数。H∈CN×K代表信道矩阵，其中第k列代表的是第k个设备的信道向量。x∈CK代表发射信号向量，其中的第k个元素代表第k个设备的发射信号。n代表零均值的加性高斯白噪声向量，其方差为E(nHn)=N0I。

▲图7 空中计算波束赋型对比空分复用波束赋型

基于上述模型，用于小区边缘设备信道增强的空中计算波束赋型可以通过求解式（5）中的无约束最大化信噪比问题来设计：

而对于空分多址波束赋型，则要设计K个相互正交的波束矢量，且每个都要在增强目标用户信道的同时迫零其余的干扰信道。我们将矩阵F的第k列表示为fk,则空分多址的波束赋型设计可以建模为式（6）中的K个有约束最大化信道比问题：

通过比较式（5）和式（6）两个问题建模可发现，空分多址的实现需要天线数N大于用户数K，以确保有足够的空域自由度来满足信道正交约束，这对于拥有大量用户的大型网络来说并不可行。相比之下，空中计算波束赋型总是可行的，而更多的空域自由度可以用来增强弱用户的信噪比。

两种问题建模将导致截然不同的波束模式，具体如图7所示。一般来说，由于全空域自由度均用于信噪比增强，空中计算波束赋型可以形成更锐利和更强的波束以增强小区边缘用户的信噪比。与之相比，由于正交化约束消耗了相当的空域自由度，仅剩下部分自由度用于信噪比增强，空分多址的波束赋型对目标用户形成的波束相对较平坦，增幅较弱。此外，受限于天线阵列的空间分辨率，相邻（地理位置）的用户可能导致空分多址中的可分辨性问题。然而，由于空中计算波束赋型无需区分不同用户，并无此局限性。

3 结束语

在5G+AI的发展浪潮中，边缘学习是从分布在终端的海量数据中提炼AI的重要途径，也是将AI从云端推向网络边缘并实现泛在边缘智能愿景的重要技术；而通信时延瓶颈的解决是边缘学习向大规模用户场景扩展的关键突破。本文中我们所提倡的空中计算技术顺应了当前通信计算一体化的发展潮流，巧妙地利用并发传输造成的“干扰”进行快速数据聚合，大大提高了频谱利用效率并避免了计算中心对大量原始数据的存储，降低了大数据处理的负担。然而，高精度的可靠空中计算需要精确的信道估计、功率控制，以及设备间同步来支撑，因而如何提升空中计算在非完美条件下的鲁棒性是该技术走向成熟面临的关键问题。