基于云网边端协同计算的智能分发网络研究

黄晓庆，魏旭宾，朱 磊，王 伟，杨光华

(达闼机器人有限公司，上海200245)

0 引言

智能服务机器人将成为社会发展的重要组成部分，它们将协助人类从事严重缺乏生产力或者人类不愿从事的重复、高危、困难或不洁净的工作等。通常智能服务机器人的“大脑”位于机器人的本体上，由机器人本体独立处理图像、语音、地图等信息并完成服务任务。但是机器人本体的“大脑”受到计算能力、存储空间及能源消耗等因素的制约，无法适应更复杂的应用场景，为此云端机器人应运而生。云端机器人是将云计算技术应用于机器人的技术。运用云计算技术的强大运算和存储能力，能够给机器人提供一个更智能的“大脑”[1]，但云端机器人存在分配云与端的计算任务、保证网络传输效果、降低传输带宽成本、云端实时响应等问题需要解决。

在现有云端机器人理论研究的基础上，本文先通过对“云-网-边-端”机器人架构的介绍，提出智能分发网络的概念，解决算力、通信、存储三大问题，再对智能分发网络与内容分发网络的管理对象、管理目标和流量模型进行对比和讨论，最后阐述在智能分发网络架构下机器人的典型应用场景，以激发更多研究和思考，共同促进云端机器人的发展。

1 云端机器人

1.1 智能服务机器人现状及问题

据《2020中国服务机器人产业发展研究报告》介绍，从市场层面来看，全球范围内，中国服务机器人行业增速高于全球平均增速，市场规模占全球比例超25%[2]。从技术层面来看，环境感知、运动控制、人机交互、操作系统及芯片几大技术模块的技术发展成熟度决定着服务机器人产品的应用落地程度[2]。本文将主要从服务机器人的软件系统层面进行研究。

智能服务机器人的主要能力包括语言能力、视觉能力、运动能力及情感能力等。智能机器人为实现这些能力，通过感知、推理、执行三步完成[3]。为了实现智能服务机器人全方位的感知，其本体将集成大量的传感器，例如高清摄像头、激光雷达、多麦克风阵列及红外传感器等。这些部件在正常运行时将产生大量的采集数据，如何处理数据、计算并下发决策将面临以下三大问题。

首先是计算能力不足问题，业界常用的海量数据处理是完全基于终端的本地化处理，该方法受制于智能终端本体的计算能力、能源消耗、样本空间的大小，其计算能力及处理结果的准确性都无法达到很高的水平。利用图形处理器(Graphics Processing unit，GPu)执行更快的基于区域的卷积神经网络(Faster Region-based Convolutional Neural Networks，Faster R-CNN)算法以进行图像识别，处理能力可以达到5 fps， 但是功耗达到200 W以上[4]。虽然机器人本体的计算能力不断增强，但是也很难满足人工智能(Artificial Intelligence，AI)算法对算力的需求。

其次是网络通信问题，智能机器人不是信息孤岛，需要通过网络与外界通信来获取信息。这些过程都受到机器人接入网络质量的影响，时延、抖动、丢包等因素都可能造成网络通信不畅通、反映在机器人的响应效果卡顿、无响应等。

最后是数据存储及数据安全问题，智能机器人本体的存储空间有限，数据时效性也可能过期，需要及时获取更新数据。数据在本地的存储和在网络中的传输都面临着被盗窃、劫持、篡改的风险。一旦数据泄露或机器人被劫持，将会对用户的隐私及安全造成巨大的损失。

1.2 智能服务机器人云端化趋势

通过分析智能服务机器人的问题和挑战，真正解决智能机器人对算力、通信、存储等能力的需求与现有机器人架构不完善之间的矛盾，使机器人更好地为人类服务，需要从系统架构的角度把机器人、通信、AI和边缘计算、云计算技术结合起来，形成一个完整的计算通信体系，将智能机器人最终转变成云端机器人。利用“云-网-边-端”架构实现云端机器人的多级智能，将位于终端的“小脑”、位于边缘的“中脑”和位于云端的“大脑”相结合，串联多级“脑”组成智能分发网络(Intelligence Distribution Network，IDN)。目的是利用云端的强大计算能力和存储能力解决机器人计算能力不足和数据存储的问题，利用5G和云边协同技术解决机器人到云端的通信问题。IDN是实现云端智能机器人大规模商用的必经之路和关键技术。

2 智能分发网络(IDN)

2.1 IDN概念

智能分发网络是构建在现有网络基础之上的分布式智能分发和计算系统。在构建的云端、边缘、终端多级智能架构基础之上，集中化AI训练、分布式AI推理，以降低中心云负载和上行网络带宽，提高云端机器人的反应速度和云端大脑的智能程度。

IDN的本质是一个基于网络连接的云、边、端分布式计算系统。IDN中分发 “智能”的本质是“算法+数据”的AI单元，通过网络连接，将“智能”在网络中按需分发。

IDN概念的核心是AI的处理能力被按需分布在不同的中心云、若干边缘云和智能终端上，智能分发管理平台和嵌入在各级的管理代理负责动态控制中云、边缘云和终端的具体分工，以及AI概念模块的分布。由于将算力从云端逐层下放，减轻了云端压力，提升了响应速度，降低了上行带宽，进而降低了运营成本。

例如：云端机器人通过终端侧采集，将视频、音频、图像等数据作为IDN的输入先在终端进行预处理，终端将需要分析的数据上传至边缘，边缘根据预先加载的“智能”进行推理。而预先加载的“智能”计算单元则是经过云端海量数据训练的AI模型，经过更充足的样本空间、更强大的GPU计算等资源，训练出更加精准的模型，预先推送到边缘。由于每一层级别都根据更加精准的“算法+数据”去推理输入的数据，从而输出更加精准的结果。经过研究，IDN较为合理的处理模式分为以下3种。

快速反应模式对于需要快速反应的智能处理，如支持动作或导航有关的智能功能，在智能终端处理可以增加反应速度，扩展应用的适用范围，该模式中本地计算承担全部的工作任务。

多层智能处理模式很多智能处理需要经过多层次提炼和聚焦。底层终端偏重数据处理和提炼，高层边缘云做语义和综合智能的处理。在这个模式中，形成了全网统一的算力面和数据面。另外，为解决数据在不同的云端或边缘相互独立存储、管理形成数据孤岛，多层智能处理模式引入联邦学习[5]，打破数据屏障的同时，将多参与方在不提供加密形态和底层数据的前提下，多方共同建模，既保护了用户的隐私数据，又提高了模型的精准度，还突破了计算能力的边界。

中心高层智能处理模式中心高层的智能处理，基于大规模的模型，需要大量各方汇总的数据和实时数据，经常只能在中心云处理。根据具体的应用场景，所需的AI功能和性能、网络状况等，智能分发管理平台动态地在以上3种模式之间进行选择和配置，如图1所示。

图1 智能分发网络概念图Fig.1 Concept of Intelligence Distribution Network

2.2 IDN架构

IDN的技术关键在于如何将3种处理模式有效地结合，故将IDN的总体架构体系划分为资源层、平台层和应用层三层，并包括纵向贯穿3层、横向端到端的安全防护体系,如图2所示。

图2 IDN的总体架构Fig.2 Architecture of intelligence distribution network

资源层包含计算、存储、网络和数据中心等基础设施资源。平台层在资源层之上，为智能机器人提供高速、安全、可靠的端到端虚拟网络连接，提供统一认证，并针对云端智能机器人智能应用分发、运行和管理的要求，提供中心云和边缘云的统一管理和多云协同能力。应用层支撑智能应用的运行，并能够根据策略和系统状态智能编排应用在多云协作分布计算环境下的分发，实现云边端的协同作业。IDN聚焦于云边端系统中智能的管理，IDN将智能作为一种可创建、可分发、可回收、可监测、可调配的资源进行全局统一管理，提供给智能机器人进行调用。

IDN架构中充分考虑安全防护问题。大规模服务型机器人的运营体系对整体的安全需求是一个复杂、多样化、涉及从网络到应用层面的问题。而隐私数据保护是安全防护的重中之重，为IDN构建一个可靠的、机器人有自主权的身份管理系统是必要的。万维网联盟(World Wide Web Consortium，W3C)提出了去中心化标识符(Decentrailized Identifier，DID)[6]的概念，其中DID强调用户自主的身份管理，用户身份不属于任何服务提供商，这构成隐私保护的重要基础，也是打破传统的身份管理孤岛格局。同时DID对用户各种证书的管理机制成为整体系统安全的基础。例如，云端机器人在实现DID的过程中采用了区块链技术[7]，充分利用区块链的不可篡改性和去中心化的特征，为每1个机器人分配一个唯一的DID，机器人接入IDN时使用DID进行身份识别，在IDN的每个节点实现软件定义边界(Software Defined Perimeter，SDP)功能[8]，只有认证通过的DID访问才会得到动态授权访问IDN，以此来实现零信任接入，达到安全防护的目的。

2.3 IDN的云边端协同

IDN架构下的云边端协同包括应用层的智能协同和数据协同，平台层的编排协同、部署协同、调度协同，资源层协同、安全协同和监控协同。

数据协同是边缘云或中心云采集智能设备数据，并在本地存储和分析，中心云与边缘云之间可以协同配置数据、策略数据、业务数据，以及在智能分发网络内的IDN节点分布式处理智能应用和数据；智能协同是IDN智能分发网络分发各智能到边缘云后，中心云与边缘云上的智能应用基于“微服务”的架构、分布式方式实现AI能力协作。中心云和边缘云基于云原生[9]的容器编排技术，在多云环境下由中心云的管理平台来控制编排、部署、调度策略，协同边缘云控制器执行，由边缘云的“容器云”完成编排协同、部署协同和调度协同的流程。此外，中心云统一规划管理所有环境的资源、管理安全信息以及所有环境的监控告警策略，边缘云侧使用并上报资源状态，使用并执行安全和进口策略，以实现资源协同、安全协同和监控协同。中心云对边缘云及终端有总体的管控能力，边缘云对边缘节点环境有自治能力。在网络忠诚连接的情况下，由统一的控制中心完成对中心云、边缘云和端侧的监测和协同管理。

3 IDN与CDN的对比

3.1 CDN概念和架构

内容分发网络(Content Delivery Network，CDN)是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发及调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率[10]。CDN的关键技术主要有内容存储和分发技术。如图3所示，在用户与原始内容提供的源站之间增加CDN层，通过添加CNAME域名解析的方式将用户流量劫持，调度系统根据来源用户的IP地址将流量引导到最优一级Cache节点，Cache节点通过预加载的方式将用户所需内容预先从源站获取并本地缓存，如果本地没有命中则该节点向上级Cache节点或者源站获取内容并逐级返回，直至将内容返回给用户。CDN系统通过多级缓存的方式，提升Cache系统的性能、可靠性和减少回到源站获取内容的次数，以达到减轻源站压力，快速响应用户的目的。

图3 内容分发网络概念图Fig.3 Concept of content delivery network

3.2 IDN与CDN的区别

经过20多年的持续发展，CDN技术已经非常成熟，虽然IDN与CDN有共同的分布式计算的理论基础，但是又存在本质上的不同。本文总结出IDN与CDN具有如下三点不同之处。

① 管理对象不同。CDN中的管理对象为内容资源，内容资源具有全局不变、可重复、允许失效等特点[11]；而IDN中的管理对象为智能，智能是一个或者一系列智能应用及其运行配置、关联数据的封装。因此，IDN的智能分发包含智能应用镜像分发、应用运行配置管理以及应用关联数据的转移。智能应用镜像分发与CDN中的内容下发类似，但还需要考虑应用执行环境差异、分发过程安全性等因素；应用运行配置的管理则需要通过通用模板和个性化参数来实现不同环境的差异化配置管理；关联数据是智能应用运行时依赖的原始数据。根据智能应用的不同业务特点，关联数据的来源可以分为终端上传、中心下发和边缘产生，这三类数据的数据量、实时性等特点各不相同，而根据这些特点，IDN对于关联数据的转移管理包括向上汇聚、向下分发和水平移动等方式。由此可见，IDN的管理对象比CDN更加复杂。

② 管理目标不同。CDN的指导思想是让数据尽可能贴近终端用户，以存储来换时间并降低下行带宽需求[12]；而IDN的管理目标则是让特定智能可以更加自由、更加高效地运行在整个“云-网-边-端”环境中。这里的“自由”是指通过IDN，可以快速地将云端智能下沉到边缘，以及将边缘的智能转移至云端，也可以将IDN延申到终端，通过这种方式来打破云边端的应用鸿沟。在“自由”的基础上，IDN将“智能”转到更贴近业务需要的环境中运行，将云端智能下沉到边缘来换取带宽节省、降低时延，将边缘的智能转移至云端来换取更强的处理性能、更大的数据集合和数据共享，通过这种方式来实现更“高效”的智能。

③ 网络流量模型不同。CDN的主要流量是以所服务的源服务器为源头，自上而下地分发到终端用户(不排除以上传流量为主的CDN业务，此为宏观总体流量)，而IDN的主要流量则是以智能终端为源点，自下而上的网络流量占据主要。据统计2019年互联网中下行流量是上行流量的14倍[13]，而IDN的流量模型中自下而上的网络流量为主要占比，据机器人运营商达闼机器人统计，智能机器的平均上行网络流量是平均下行网络流量的10～100倍。达闼机器人运营的不同种类机器人的IDN上下行流量对比，如表1所示。经过IDN的使用，可以有效地降低骨干网上行带宽，达到提升骨干网带宽利用率并节省成本的目的。

表1 不同种类机器人上下行带宽对比表

4 IDN赋能云端机器人

4.1 IDN应用于云端机器人

2020年12月2日，达闼科技发布了云端机器人海睿操作系统HARIX。这也是在电脑操作系统Windows、手机上的安卓操作系统Android和苹果操作系统IOS之后，全球首个面向机器人的操作系统。

本文以海睿操作系统下的云端服务机器人Ginger为例，在实验室场景下，进行一次“帮助客人取茶杯”的抓取实验，通过对比使用IDN前后完成的效果来证明IDN对机器人反应速度的提升。

机器人Ginger的任务是自主完成指令识别、茶杯的寻找和定位、逼近、抓取、递送等功能，将茶杯从指定的桌子抓取并送到目标人的手中。实验环境包括： 100 m2的房间、一个茶杯、一张1 m高桌子、一台Ginger机器人以及IDN系统。

Ginger机器人是达闼机器人自主设计研发的云端服务型机器人。机器人本体通过远程控制单元(Remote Control Unit，RCU)与云端大脑HARIX连接，RCU与HARIX之间通过智能分发网络IDN进行连接，IDN包括中心云和边缘云机器人云端大脑HARIX。HARIX实现了数字孪生技术[14]，在云端虚拟一个和实验环境相同的虚拟世界，并对环境中所有事物进行扫描和建模，对桌子、茶杯等物体的位置、高度等信息进行了标记。HARIX作为云端大脑还包括各种智能技能：云端自动语音识别技术(Cloud Automatic Speech Recognition，Cloud ASR)、云端自然语言处理(Cloud Natural Lauguage Processing，Cloud NLP)、云端自然语言理解(Cloud Natural Language Understanding，Cloud NLU)、云端同步定位与地图绘制(Cloud Simultaneous Localization and Mapping，Cloud SLAM)、云端计算机视觉(Cloud Computer Vision，Cloud CV)等，这些智能彼此独立，既可以单独对外提供服务，又可以相互调用。IDN的智能管理中心将机器人所需的智能以镜像加数据模型的方式推送到所需节点，并以服务的方式启动后对外提供接口。

4.2 云端机器人抓取实验

本实验设计了Ginger机器人完成任务所需的流程，并对流程进行详细拆解，如图4所示。

图4 Ginger机器人抓取投递流程Fig.4 Process of Ginger robot grasping and delivery process

其中语音识别和深度图像识别在云端进行。而目标的寻找需要调整机器人的头部并通过深度相机进行拍摄，每200 ms一张高清深度图像，如果云端未能识别出茶杯则需要调整头部循环进行，由于机器人寻找物体过程为主要耗时过程，故分析机器人寻物的耗时。机器人寻物总时间公式为：

(1)

式中，T为机器人寻物的总体时间，t1为机器人头部移动时间，t2为RGBD相机拍摄彩色图像、深度图像并合成的时间，t3为一次云端推理的时间(此处为一次图像识别的时间)，n为寻物尝试的次数，理想情况下n=1，S为图像的大小(单位是MByte)，RTT为延迟，Loss为网络丢包率,此处Loss不为0，MSS为TCP最大报文长度，参数C通常为1，注意此处带宽计算公式根据Mathis 公式[15]，为理论最大带宽，且在不受基础传输网络最大带宽限制的情况下。为体现IDN对于机器人计算和传输方面的效果，文中将机器人的实现消耗进一步细分为机器人本体用时和云端用时。完成一次云端调用所需时间如式(2)所示，此处Loss不为0。

(2)

实验一所有智能技能部署在中心云。IDN智能管理中心将Cloud ASR、Cloud NLP、Cloud NLU、Cloud SLAM和Cloud CV程序以及数据推送并部署在中心云节点。为模拟机器人在5G接入时实际工作中的场景，设定从终端到云端的平均时延RTT为150 ms，平均丢包率Loss为1×10-6，MSS为1 460 Byte，不设置骨干网传输最大带宽上限。

实验二IDN智能管理中心将Cloud CV技能推送并部署在边缘云节点，其他技能在中心云节点。设定从终端到边缘的平均时延10 ms，从终端到云端的平均时延150 ms，平均丢包率Loss为1×10-6，MSS为1 460 Byte，不设置骨干网传输最大带宽上限。

实验三IDN智能管理中心将所有智能技能推送并部署在边缘云，设定从终端到边缘的时延10 ms，丢包率Loss为1×10-6，MSS为1 460 Byte，不设置骨干网传输最大带宽上限。

实验总结如表2所示，根据实验一和实验二对比所得，将大文件的图像识别下发到边缘进行计算，云端调用总时长优化22.99%。根据实验二和实验三所得，将小文件的语音识别下发到边缘进行计算，总优化比仅占3.10%。

表2 实验结果

因此得出结论：将计算复杂、上传大文件、调用频繁的智能运算下发到边缘更合适；相反，计算简单、上传小文件、调用不频繁的智能运算在云端更合适。虽然实验三整体的时效性最优，但是考虑实际情况，相当于把全部智能计算在所有的边缘都部署一整套，在资源消耗方面反而得不偿失。由此可见IDN根据云边端的统一调度，在响应速度与资源消耗方面的优势。

5 结束语

本文从让机器人更加智能的目的出发，提出了智能分发网络IDN概念，总结了智能分发网络在解决云端机器人计算能力问题、网络通信问题、数据存储及安全问题方面的优势：智能分发网络IDN，通过站在全局视角的智能分发中心协同云、网、边、端的计算能力，利用云端更强大的运算能力、存储能力进行模型训练，通过私有骨干网络将训练后的模型和智能程序在中心节点和边缘节点传输，最终利用运营商5G网络加速终端访问和响应。通过对比IDN与CDN的区别，得出IDN在管理对象、管理目标、流量模型的特征，通过服务型机器人在实物抓取场景下使用IDN的应用范例说明IDN对于智能调度的灵活性和必要性。

目前云端智能机器人已经逐渐在服务机器人领域进行了商用。基于这些丰富的机器人设计、开发、运营经验建设的智能分发网络IDN，已经成为云端机器人的“神经系统”。这充分说明IDN是实现云端智能机器人大规模商用的必经之路和关键技术。在机器人向云端智能发展的大趋势之下，充分串联“小脑” “中脑” “大脑”，助力云端机器人更迅速发展的同时，对机器人更可管、更可控、更安全，从而更好地服务于人类。智能分发网络IDN还处于初级发展阶段，还存在很多局限性和不足。未来云端机器人数量将达到百万、千万，甚至更高数量级别，如何保障每一台机器人都可以得到精准的智能调度？期待业界共同研究协作，共同促进云端机器人和智能分发网络IDN的发展。