电磁大数据云边端协同应用架构研究*

李高云，旷生玉，江 果，何 欢

（中国电子科技集团公司第二十九研究所，四川 成都 610036）

0 引言

学术界和产业界普遍观点认为云计算已经难以满足一些实时性比较敏感的应用，此外将全部数据都搬上云中心也会给现有网络带宽带来巨大压力。IDC 在最近发布的一项研究报告中预测，到2025 年，全球智能终端接入数量将达到1 500 亿台，而60%以上数据需要在边缘进行分析、处理和存储。2018 年，阿里云宣布战略投入边缘计算领域，拓宽计算优势，横跨“云边端”。探索“云边端”协同算力网络的全新IT 架构，可将算力扩展到边缘，在靠近客户端/设备端的地方去建立算力，让计算变得更近，从而让网络延时不再成为障碍，更及时地响应时敏业务，做出最优行动决策。

分布式电磁大数据场景下，传统云计算具有强大资源服务优势，适合处理长周期、资源需求量大的任务，例如海量数据挖掘、智能算法训练等；而新兴的边缘计算，本质上是网络、计算、存储资源下沉到装备或者数据源处的一种分布式计算架构，具有低传输时延、高时效优势，更擅长短周期、本地化的实时处理，例如实时威胁告警、战术决策等。随着大数据、人工智能和5G 通信等新技术快速发展，“云”与“边”将在架构和技术层面深度融合。香港新天域互联也认为，数据归途为终端上，而终端的未来在于边缘计算。构建云边端协同算力网络，对于电磁大数据的处理，将更具备及时性和整体效率。

本文拟通过剖析电磁大数据带来的问题与挑战，进而探讨基于云边端协同的电磁大数据应用架构，以及急需解决的核心关键技术，并对典型应用场景进行探讨。旨在为电磁大数据资源体系的建设与应用提供技术参考和架构借鉴。

1 电磁大数据带来的挑战与需求分析

在复杂多变的电子战领域，电磁大数据具有海量、多源、分布式、价值密度稀疏等特征，且战术应用时效性要求极高。传统云计算模式采用中心式架构，受网络带宽、延迟和抖动影响，以及数据权属、安全性等制约，在电磁大数据汇集、处理和应用等环节暴露出了诸多弊端，面临着严峻的挑战，促使产生全新的IT 架构变革。

1）海量数据网络传输超载

伴随全军数据资产意识的增强，以及采集、存储成本的进一步降低，电子战装备端产生的大量急需处理数据（全脉冲、中频数据）、装备状态数据和电磁环境数据等呈现出爆发式增长趋势。传统集中式电磁大数据资源汇集模式，对网络传输带宽带来了巨大挑战。

2016 年，在拉斯维加斯Invent 年度技术大会上，亚马逊云计算展示了一辆专门为EB 级数据传输而定制的硬盘运输卡车。据专业测算，在当前技术下即使专网架设1 000 Mbps 光纤，按理论最大下行速率传输，1 TB 数据网络传输需要2.28 h，1 PB 需要97 天，1 EB 需要272 年才能完成。而当前单个硬盘容量可达18 TB，网络传输约需41 h，同城快递运输明显优于网络传输。可见大容量数据集中存储即便存储容量支持，网络传输也是一个难以逾越的瓶颈。

由于分布式数据采集加之传输网络的效率制约，当前电磁大数据处理模式已经从“数据靠近计算”转变为“计算靠近数据”、由“流程驱动系统”转变为“数据驱动系统”。变革传统中心式结构模式，已成为大数据时代的必然选择。

2）战术时敏业务时延苛刻

速度是战争的生命线，对于视速度为生命的军事领域，赢得作战胜利的第一原则就是比对手更快地采取下一步行动。电磁空间战术博弈异常激烈，敌我双方攻防角色瞬息转换，电磁波以光速聚能/释能，瞬息“秒杀”是电磁域典型的战术形态。

战术行动中越来越多的资源密集型计算、时延敏感型任务需要低时延、低能耗、高可靠的处理，这给远程部署的“云”带来了巨大挑战。虽然云计算能力强大，但是在电磁大数据军事应用领域，大型云中心只能处于战略后方，而实时获取战场信息的电子战装备平台却远在交战的前沿。因此，完全依赖于云计算中心进行数据处理，就必然要求具有完全不受干扰、不会中断的超大带宽通信网络支撑，这在高度对抗的军事领域显然是不现实的。即使这样的通信网络存在，大环路、大规模数据传输的延时，也往往难以满足前方电子战装备平台实时交战的需要。

高价值时敏目标对抗、干扰释放时机掌控、猝发战时信号截获、欺骗信号实时生成，以及多装备协同等战术时敏业务，对及时响应、低延迟的指标要求极为苛刻。未来信息作战闭环时间还将会不断缩短，计算密集型业务的实时战术决策，将只会更加依赖于边缘或者装备端。

3）体系资源运用亟待优化

电磁大数据处理体系，上层云中心集聚了丰富的数据、算力、存储甚至专家资源，但是网络受限数据不能及时传上来；下面装备有数据，但资源与力量均不足，数据价值难以发挥和转化为作战优势。然而将装备终端节点产生的海量原始侦察数据进行无差别地集中是不科学的，这迫使数据处理体系内计算密集型时敏业务去除中心化结构、分散到边缘，演化为分布式云边端协同算力网络。未来计算资源跟存储资源也并不会同步增长，各自应同业务增长曲线匹配。计算与存储分离，将会成为电磁大数据的发展趋势。

数据按需控制流向需要的地方，做到精准传送和存储，减少数据对传输网络和存储资源的无谓占用。算力网络在装备端/边缘处注重数据的实时性和底层业务处理能力，而上级云侧重统筹管理及辅助决策能力，形成优势互补。整个体系资源的优化运用尤为迫切，涉及到网络结构、数据传输、资源分配、模型部署、分布式联邦训练等一系列新的挑战。

2 应用架构与核心技术分析

2.1 云边端协同应用架构

云上配置超级智能大脑集中式挖掘分析与学习训练，在边缘和装备端部署多个智能体，在有限网络资源情况下，通过推送云上挖掘训练好的模型/规则/算法包等小数据，运用边缘计算就地实现分布式、协同智能推理或前向计算，降低数据生产与应用决策之间的延迟。电磁大数据云边端协同应用架构如图1所示。

图1 电磁大数据云边端协同应用架构

节点端主要实现装备海量数据采集与就近贴源存储管理，并完成原始数据标注与编目、元数据生成和必要的基本处理，对于计算密集型时敏任务直接将计算卸载到边缘计算层。侦察数据处理结论数据，关键数据的索引/摘要实时传输上报，原始数据目录和关联标注信息及时入网发布，全量实体数据视条件延迟按需传输。

边缘层主要面向计算密集型战术时敏业务，靠近装备节点部署，近实时提供网络传输、算力平台和AI 模型/规则/算法包应用服务，并可根据任务的特点进行任务编排、实时处理、计算迁移等，实现低延时、低能耗、高可靠的边缘计算服务。

核心云主要开展全局数据资产运维、电磁大数据挖掘分析、AI 模型训练、专家知识规则生成等，采取推送服务缓存于边缘层，发布AI 模型/规则/算法包等高价值小数据到边或端，实现云上训练、边缘赋智。

一言蔽之，电磁大数据云边端协同应用架构，可实现云上训练挖掘与全局资源应用、边缘贴源处理与战术时敏应用、端侧数据采集标注与规则/模型使用。

2.2 核心关键技术分析

2.2.1 跨域数据贯通技术

电磁数据包括海量原始侦察二进制块状数据、各级分析处理结论数据、非格式化资料文本/影像数据等以及与之关联的大量标注/标签信息。全网数据贯通，受限于现实网络设施条件，全量实体数据迁移集中存储基本不太现实，也违背了云边端协同计算理念的初衷，当前分布式存储、数据资产目录全网感知、实体数据按需鉴权获取，仍是电磁大数据跨域贯通的主流解决思路。

具体涉及到非格式化文本资料类数据的自动标签提取、电磁数据核心元数据生成、跨域数据编目与同步、多层次的动态数据标注、细粒度数据鉴权等。建议采取“物化”贯通思路，开发软硬一体模块化、微型化功能封装的小盒子（预置专业处理模型、规则、算法、标准等），以“实物标准”确保低成本的实现跨域数据贯通。

2.2.2 计算卸载与迁移技术

装备终端可以将计算任务卸载到附近边缘节点或者云中心上执行，然后再接收处理结果，实现资源密集型计算任务从资源受限的装备终端到边缘或云上的迁移。此过程涉及数据、存储、算力、网络、时间等资源的分配，范围从CPU 周期到通道带宽。简单的分配，由于网络条件变化和资源的限制，任务可能很难以低成本进行计算卸载，甚至难以兼容。

传统云计算模式中的机制，很难匹配边缘计算生产环境。鉴于不同边缘节点之间的软、硬件环境通常存在异构性，采取容器技术屏蔽操作系统层及硬件层的差异，将应用服务及依赖包，打包到一个可移植的容器中，采用沙箱机制，相互之间解除耦合性。具体涉及到计算业务编排协同、虚拟机或轻量级容器技术，实现计算任务兼容、部署、调度、迁移以及预测性维护等。军事应用还应考虑数据安全性和专用网络设施的建设投入，对于区域中心站的部署和建设，还涉及数量和分布的优化问题。

2.2.3 智能化边缘计算技术

边缘计算并不是简单地将服务器放到边缘机房，而应具备“低时延、大带宽和低成本”等特征，主流观点认为流量不需要在骨干网上绕行，直接从装备位置就近送入边缘计算节点。

智能化边缘计算涉及2 个层面，一方面是AI 赋能边缘计算，借助AI 解决边缘计算面临的各类调度约束优化问题，提供更为智能的分布式边缘解决方案；另一方面是AI 的边缘化部署框架，关注如何在边缘部署运行AI 模型，构建云-边-端协同运行AI 的模型训练和推理服务框架，获取性能、成本、隐私、效率等方面的效益。

此外，推理服务是AI 技术落地的“最后一公里”，通过向已经训练收敛并部署在网络中的AI 模型，发送携带数据样本的服务请求，AI 模型在接收到请求之后，进行推理或者前向计算，之后返回推理结果。例如，雷达全脉冲数据的型号识别、信号参数的工作模式判别、雷达用途判断等AI 推理服务。开发者可将AI 模型的学习、训练过程放在云端，将生成的模型部署在边缘网关直接执行，优化资源提升性能。

边缘计算固有分布式特征，边缘层中资源具有稀疏性和离散性，需要研究如何整合离散的分布计算、支持动态和智能的资源管理。AI赋能边缘计算，具体涉及到资源协同、数据协同、智能协同、应用管理协同、服务协同等技术研究，以提高多边缘设备协同性和可靠性。

边 缘/端 的AI 推 理 服务，涉及到边缘/端服务缓存、微服务化、AI 模型压缩、样本压缩、模型转化等，以确保推理实例规模更小、创建和迁移速度也更快。

2.2.4 协同调度指标体系

计算资源分配和网络、算力负载均衡调度指标，目前该方面优化研究的指标主要集中于时延和能耗2个维度。

电磁大数据典型的全脉冲分选流式节拍处理、脉内采样数据智能训练、型号识别样本数据实时计算、规律/行为离线海量数据挖掘、复杂体系目标人机结合网络分析等多种计算场景，对于数据、存储、算力、网络、时间、专家等资源的需求量相差甚远，合理的协同调度指标体系，是引导和促进云边端协同算力网络体系效益最大化发挥的前提条件。

业务层面重点开展电磁大数据的应用业务场景研究，梳理计算量、实时性要求等。技术层面开展“云-边-端”智能协同应用研究，实现云上离线训练（识别模型、知识规则、算法包等），边缘/端侧加载智能在线推理运用。进行计算密集型任务卸载至边缘节点/云服务器的策略研究，例如对于计算卸载任务，由边缘节点确定自行处理还是由边缘节点和云服务器协同处理。

3 典型应用场景探讨

云边端协同应用架构为电磁大数据领域应用和服务提供了新技术、新思路和新方案。典型的应用方式是在侦察装备/武器平台构建智能端、在部队级构建区域边缘计算节点、在战区及以上构建核心云中心，形成云边端协同应用体系，典型应用方式场景示意图如图2 所示。

图2 典型应用场景示意图

下面就云边端协同，具体探讨几种典型的应用使用方式场景。

1）电子战体系对抗作战应用

体系对抗是电磁空间作战的典型特点，非对称体系破袭，既需要前端电子对抗装备平台的敏捷战术行动，也需要后台强大算力“大脑”开展体系薄弱、关键环节、战场威胁等分析支援。

随着军用网络的发展，云边端协同应用架构将装备端算力上移、中心云算力下沉，在边缘层形成算力融合层，实现多层级的协同“算力网络”。云上训练挖掘与全局资源应用、边缘贴源处理与战术时敏应用、端侧数据采集标注与规则/模型使用等成为现实。其中端侧的工程实施，一种是在有条件的情况下扩展端存储能力；另一种是就近依托边缘节点，解决存储容量需求问题。可确保全军整个电子战力量协同融合应用，最终形成顽存抗毁的电子战体系。

2）机动指挥所边缘加强处理

局部军事冲突或者部队演习演练，通常需在部队指挥所快速临时开设专业化的机动区域中心边缘处理节点。在联网条件受限情况下，云边端协同应用架构将本地大容量数据进行就地预处理，少量结论级关键数据上传，形成边缘节点的计算、存储和时敏业务应用能力。

利用边缘计算节点更加适合小规模智能分析和本地化服务的优势。通过机动搬移、重定义、模块化组合等快速开设，针对不同情况灵活组织适配指挥流程，形成快速接入、实时处理、智能分析等边缘处理能力，将战术计算密集型任务卸载到机动边缘节点，提升对指挥所的快速响应和数据就近机动保障能力。

3）网络受限下野战战术行动

云边端协同能够适应更加复杂的网络环境，通过AI 模型的边缘/端部署，使得电子战装备拥有“天然”智能，能够适应设备间歇性网络连接的场景，甚至即使战时出现断网也可智能运行。

把一部分AI 推理服务做成轻量化的推理引擎，并部署于边缘节点或终端节点，在网络带宽受限或断网情况下，运用有限的算力和存储资源，进行自主化、智能化的独立处理和战术行动优化。在边缘域进行数据和资源协同，减轻回程链路压力，降低网络带宽消耗，即使与云中心断开连接，在一段时间内仍可以提供相关数据和信息支持，保证作战的连贯性和稳定性。通信恢复时，再将关键数据发回边缘/云处理中心。

4）电磁大数据资源体系构建

随着电子战装备智能化发展，装备节点具备的计算能力越来越强，不仅能完成电磁信号数据采集，还能将其进行初级处理和转化为结构化数据。为追求军事行动的快速响应，不同于商业大数据，尽可能把电磁数据标准化、结构化是军用电磁大数据应用的重要环节。伴随边缘向数据源头的加速部署，算力下沉到边缘/装备端，电磁大数据源头治理不够、标注不全的问题将得到有效地解决。传统ETL 限制了未建模数据价值的提取和发挥（仅对认识到价值的字段进行转换处理，丢弃了大量未知字段），而边缘能力提升，也使得ELT 成为可能，以将数据价值充分的保存和供事后深度挖掘分析，将极大地促进电磁大数据资源体系构建。

云边端协同“算力网络”，在边缘/端可以进行数据的预先过滤与分析，减少了设备与云端之间的数据流量，使得计算任务的响应时间更短。将经过预处理后的少量高价值密度数据上传，极大减轻了海量原始数据给网络带宽造成的压力、避免了网络拥塞，可有力发挥出电磁大数据资源体系的整体效能。

4 结束语

架构合理性直接关乎需求实现的复杂度、系统的稳健性与可扩展性等。装备端数据贴源采集、治理，计算密集型时敏业务及时卸载，避免处理能力不匹配贻误战机；边缘实现数据就近实时处理，在网络边缘完成数据筛选与数据集成，组装结构化数据，加速异构数据融合，缓解云服务器压力；云中心聚焦全局资源应用与知识训练挖掘。三者优势互补，在具备低时延、低能耗、高可靠、安全性等的同时还具备较强的体系顽存抗毁能力。云边端协同应用架构，形成算力网络为电磁大数据应用和数据资源体系建设提供了新技术、新思路、新方案，尤其是云上训练多智能体部署协同运用，对于推进电磁大数据智能化应用发展具有重要意义。