曹晓雯/CAO Xiaowen,莫小鹏/MO Xiaopeng,许杰/XU Jie
(1.香港中文大学(深圳),中国深圳440307;2.广东工业大学,中国广州510006)
随着人工智能和物联网等技术的快速发展,信息技术与通信技术不断融合,通信网络已不再局限于提供数据传输服务,而正逐渐演变为支撑下一代互联网、智能城市、自动驾驶、工业自动化的核心基础设施。近年来,通信网络支撑的终端设备数目和承载的业务量都急剧增加。据思科预测,到2023年,全球联网设备总数将达到293亿,而从2017—2022年,平均每年全球业务量增长将达到42%[1];因此,未来通信网络需要支持海量设备节点的随时随地接入,并提供超可靠低时延的信息感知、传输、处理、控制。
在通信网络中融入智能能力,是实现自动驾驶和工业自动化等新型应用的关键。未来的智能通信网络需要根据基站和终端设备所采集的海量数据进行学习和理解,进行智能的推理、规划和决策,并对物理世界进行反馈和执行控制。例如,在自动驾驶场景中,网络将汇总车辆的环境感知信息,并结合超高分辨率地图和实时交通信息,利用人工智能算法进行智能推理和决策,辅助车辆进行导航路径规划和精准避障驾驶[2]。由于海量数据产生于无线网络边缘,为实现快速的智能信息处理和实时控制,人们需要将传统云服务器的计算、存储和智能能力下沉到网络边缘的基站和终端设备;因此,边缘网络智能(或边缘智能)成为大势所趋,并成为未来6G研究的一个重要方向[3-5]。与传统单机智能相比,边缘智能能够避免单个终端设备存储计算能力受限问题,打破设备间的数据孤岛;与传统云智能相比,边缘智能能够有效降低网络带宽需求,降低网络时延,保护数据隐私安全。
从技术上看,边缘智能主要包括在无线网络边缘对人工智能或机器学习模型进行分布式的智能训练和智能推理两个过程。其中,机器学习模型的智能训练对数据量和计算量有很高的要求,因此,本文中我们着重讨论机器学习模型的智能训练。在多种不同的分布式模型训练方法中,联邦学习[6]在保障用户隐私和数据安全方面具有独特的优势,因此获得了非常广泛的关注。在联邦学习中,海量终端设备利用各自的本地数据,在边缘服务器的协调下,联合训练共同的机器学习模型。联邦学习的训练过程可以基于分布式梯度下降法迭代进行:在每一次迭代中,不同终端设备根据各自的本地数据,更新局部模型参数,并通过无线信道将各自的局部模型参数上传至边缘服务器进行模型汇总,以更新全局模型参数。上述步骤迭代进行,直至全局模型参数收敛。联邦学习能够在终端设备不进行原始数据共享的情况下,充分挖掘边缘网络蕴藏的分布式计算存储能力,进行高效的模型训练。
空中计算是解决上述问题的一种有效技术[9]。与传统多址接入方式对多用户数据单独解码、通信计算分离设计不同,空中计算技术可以利用无线链路上行多址接入信道的信号叠加特性,直接在空中进行计算,完成终端数据的快速汇总平均。空中计算技术通过通信和计算的一体化设计,可以有效降低分布式训练过程中的通信开销和时延,提高边缘智能网络和联邦学习的训练效率;因此,基于空中计算的联邦学习,已成为边缘智能的一个重要研究热点。
在实际的空中计算过程中,系统受到无线信道的衰落特性以及接收机噪声的影响,而终端设备的发送功率也往往有限;因此,如何在实际系统约束下,设计发送信号和接收机算法,是有效恢复期望信号f的关键。在无线网络中,空中计算具体有两种实现方式:模拟和数字的空中计算。
对于模拟的空中计算,每个终端设备不需要对感知到的环境数据进行编码,只需要对原始数据进行预处理,紧接着通过无线信道发送到边缘服务器,并进行平均处理[10-11]。针对模拟空中计算,一般使用计算失真率作为主要衡量指标,以有效衡量空中计算的链路性能。例如,计算均方误差(MSE)是一种有效衡量空中计算失真的指标,其定义为MSE=E[(^-f)2]。针对单天线加性高斯白噪声信道,本地信息{Xk}独立的场景,计算均方误差可以表示为[11]:
公式(1)中,σ2为噪声功率。在这种情况下,可以利用发送端的自适应功率分配,平衡信号的不对准以及噪声的影响,有效降低系统均方误差[11]。除此之外,为进一步提高空中计算性能,文献[12-14]采用多天线技术,利用多天线的空间复用和阵列增益,联合设计发送端和接收端波束赋形,可以同时实现多模态传感信息的矢量值函数计算,最大程度地降低均方误差。
2)传感器包括捷联惯导、超声波传感器、激光测距传感器和视觉测量系统,其中视觉测量系统由防爆除尘相机和16点红外LED标靶组成,相机安装在掘进机机身上,红外LED标靶安装在截割臂靠近回转台的位置。前期研究[4]表明,多点状红外LED标靶可以防止因灰尘过大而导致视觉计算不正确,并且视觉测量的精度为垂直摆角误差在±0.8°以内,水平摆角误差为±0.5°。
公式(2)中,(x)+=max(x,0)。针对不同场景,功率分配、多天线、非正交多址接入技术[16]都是提高计算速率的有效手段。
边缘智能是指通过挖掘基站和终端设备散布的数据和通信计算资源,在边缘网络中对人工智能或机器学习模型进行分布式的训练和推演。本节中我们主要关注联邦学习的分布式训练过程[6]。如图2所示,系统中的K个终端设备利用各自的本地数据,在边缘服务器的协调下,联合训练一个共同的机器学习模型。
▲图1 空中计算示意图
▲图2 联邦学习示意图
近年来,利用空中计算进行高效的模型参数传输聚合,已成为解决联邦学习的通信瓶颈的一个研究热门[18-22]。文献[18-22]研究了基于(模拟的)空中计算技术的边缘联邦学习,充分利用多址接入信道的信号叠加特性,提高联邦学习的收敛速度和准确度。由于在信息汇总过程中,信道较差的终端上传的模型参数将会产生较大的失真,影响网络整体的模型训练收敛速度。针对此问题,文献[18-22]分别从用户调度和功率控制的角度进行了研究。例如,文献[18]结合用户筛选和接收端波束赋形设计,在满足计算均方误差要求的情况下,最大化参与联邦学习的终端设备数目,以提高模型训练的性能;在功率控制方面,文献[19]针对一个宽带正交频分多址接入系统,提出一种截断功率控制方法,排除遭受深度衰落信道的终端设备,在学习性能和聚合误差之间取得良好的折衷;文献[20]研究了联邦学习中基于梯度统计信息的空中计算功率控制问题,关注衰落信道下的最优功率控制问题,通过联合设计发射端的功率控制和接收端的降噪处理,最小化计算误差,进而提高收敛速度;此外,针对模拟空中计算中出现的噪声干扰问题,文献[21]研究了联邦学习中由于采用空中计算进行信息汇总出现的迭代噪声问题,依据子空间学习与跟踪技术解决了存在的传输数据缺失情况;文献[22]研究了基于空中计算的联邦学习出现的隐私保护问题,为了防止边缘服务器等聚合中心恶意揣测用户的隐私数据,通过对终端用户的功率进行控制,进而控制接收机接收到的注入到在聚合的全局模型中的噪声干扰,从而实现对保密级别和信噪比之间的最佳权衡。
空中计算驱动的边缘智能具有巨大的应用前景,但其研究还处于初始阶段。例如,如何将数字空中计算与边缘智能进行有效结合?如何建立准确的性能度量体系,刻画空中计算下分布式边缘智能网络的性能极限?这些都还需要研究。除此之外,本节中我们对空中计算驱动的边缘智能的几个未来研究方向进行展望。
1)分层网络的空中计算
已有工作主要研究单个边缘服务器和多个终端设备协作进行机器学习模型训练的场景。为充分挖掘边缘智能的潜力,需要利用大规模网络中海量终端设备的分布数据进行学习。在这种情况下,单个边缘服务器可能无法满足海量设备连接和计算能力的要求,因此,人们需要设计新的分层网络架构,通过依靠多个边缘服务器甚至云服务器,实现海量节点的分布式数据聚合和模型训练。针对分层网络,空中计算是提高分布式模型训练性能的一种有效手段。以图3的三层网络为例,每个边缘服务器连接了不同的终端设备,而不同边缘服务器连接到上层服务器进行数据和模型的汇总更新。该三层网络可以通过两跳的空中计算实现大规模终端设备的模型汇总平均:在模型训练过程中,不同终端可以利用第一跳的空中计算,将更新后的局部模型参数上传至中间边缘服务器;边缘服务器则进行第二跳的空中计算,将其部分汇总的模型参数上传至上层服务器,进行全局模型汇总聚合。在这种情况下,如何确定中间边缘服务器的转发策略(基于模拟空中计算的放大转发或基于数字空中计算的解码转发)?如何确保两跳空中计算的时间同步?如何抑制或利用终端设备到不同中间边缘服务器的共道干扰?这些都是值得深入探索的问题。
2)设备间通信辅助的多跳空中计算
未来网络将存在海量终端设备,其中部分设备可能距离边缘服务器较远,这将大大影响空中计算和边缘智能的性能。为解决该问题,可以采用设备间通信技术,利用附近的一些闲置终端设备帮助偏远的设备终端进行信息汇总。例如,通过在网络中将终端设备划分为多个簇,每个簇具有一个簇头和多个邻近的簇成员。由于相同簇中的终端设备之间距离很近,利用设备间通信能够保证较好的传输性能。如图4所示,簇成员通过将各自信息经由空中计算汇总到簇头端。所有簇头作为一个信息汇总中继节点,将接收到的信息通过空中计算汇总到边缘服务器。如何根据网络规模,设计分簇大小并选择适当的簇头节点?如何基于分簇情况,联合优化通信和计算资源,并设计设备间通信与空中计算技术的融合机制?这些都是未来重要的研究方向。此外,已有研究表明,通过在有限的信任簇群中通过设备间通信传输对数据进行共享,能有效改善分布式机器学习面临的数据非独立同分布问题[23];因此,针对一些需要进行数据共享的边缘智能应用场景,如何有效结合设备间通信以及数据分布重塑增益,提升设备间通信辅助的空中计算性能,也是未来值得研究的方向。
▲图3 三层网络下的空中计算
3)隐私保护
在边缘智能网络中,移动终端训练的模型数据需要通过无线信道发送到边缘服务器进行聚合汇总。尽管在联邦学习中,终端设备不需要将其私有数据公开,但其仍然面临隐私泄露的风险。这是由于终端设备上传的模型参数仍然存在有用信息,边缘服务器(或环境中的窃听者)可以从接收到的每个终端设备发送的信息中恶意地推断出终端设备的私有信息(例如数据的标签等)。空中计算则可以利用无线信道的叠加特性避免这一方面的隐私泄露。当网络中的终端设备将信息发送到空中后,边缘服务器接收到的是所有信息的叠加信号,无法从中推断出具体某一个终端设备的信息,从而避免终端设备的隐私被恶意推测;因此,在这种情况下,如何通过配置最优无线资源分配实现保密性高的空中计算?如何刻画联邦学习训练的收敛性、无线资源优化和隐私保护之间的最优折衷关系?这些都是值得深入探讨的关键问题。
4)能量效率问题
在未来大规模物联网应用中,终端设备尤其是低功耗物联网节点的能量效率问题,显得至关重要。针对空中计算驱动的边缘智能网络,如何提高系统的能量效率是一个重要的问题。例如,联合优化终端的计算和通信资源分配是一个有效的方案。此外,也可以利用先进的能量技术(如能量采集和无线能量传输等),从能量供给侧提高边缘智能网络的能量效率和成本效益[24]。例如,图5给出了一个可持续边缘智能网络的示意图,其中,边缘服务器利用环境中的可再生能源(比如太阳能、风能等)进行供能,而终端设备则利用无线能量传输供能,或利用无线反射通信进行模型上传。由于可再生能量到达具有随机性和间歇性,而无线能量传输效率则取决于发射端的功率和距离,因此,如何联合优化能量管理和空中计算的无线资源是一个值得深入研究的课题。
空中计算打破了传统无线网络通信计算分离的架构,实现“通信计算一体化”,能有效降低边缘智能网络的通信计算开销,进而提高训练性能。目前,针对空中计算驱动的边缘智能研究尚处于起步阶段。针对分层网络和设备间通信等不同网络架构,考虑隐私保护和能量效率等实际因素,研究先进的空中计算方法,刻画边缘智能的性能极限,是未来研究亟待深入探讨的理论问题。这对推动空中计算走向6G应用具有重要的实际价值。
▲图4 设备间通信辅助的空中计算
▲图5 可持续边缘智能网络示意图