面向数字孪生流域的云网融合架构研究

2023-08-26 12:39段瑞丰霍建伟张亚杰
水利信息化 2023年4期
关键词:云网算力水利

段瑞丰,霍建伟,张 强,张亚杰

(云河(河南)信息科技有限公司,河南 郑州 450003)

0 引言

数字孪生是将物理场景中的人、机、物、工况、环境等要素映射到虚拟空间的一种信息技术[1]。依靠历史、实时数据及算法模型,数字孪生技术可以实现精准映射、虚实互动、智能决策等功能,已成为构建新一代信息化基础设施的使能技术[2-4]。数字孪生流域是数字孪生技术在智慧水利方面的应用场景创新,定义为以物理流域为单元,时空数据为底座,水利模型为核心,水利知识为驱动,对物理流域全要素和水利治理管理活动全过程进行数字化映射、智慧化模拟,实现与物理流域的同步仿真运行、虚实交互、迭代优化,实现对物理流域的实时监控、问题发现、优化调度[5]。

随着云计算、大数据、人工智能等新一代信息技术在智慧水利建设方面的广泛应用,网络、云、算力等新型信息化基础设施成为数字孪生流域高效稳定运行的重要支撑[6]。为了将物理空间中的流域自然地理、干支流水系、水利工程、经济社会信息、水管理活动等要素数字化映射至虚拟空间中,形成以基础空间和水利专业等数据为底板的数字化场景,流域内信息化基础设施应覆盖并有效服务各类信息及时高效传输应用,推进并保障信息技术与水利业务的深度融合。然而,受流域地理位置和环境的影响,流域数据呈现出数据量庞大、数据类型多样、价值密度低的大数据特征,流域网络更加依赖大带宽、低时延,以保证通信传输的实时性和仿真映射的精准性,总的来说,流域数据采集感知、模型算法仿真计算、通信传输会商资源等方面的需求对网络和云的结合提出了更高的要求[7]。

云网融合技术来源于云服务商对云平台的网络需求和业务弹性及敏捷交付的追求,云网融合可以为多样化的云计算应用场景提供高效的基础连接和一体化的云网资源管控能力。从应用驱动看,云网融合是为适应云计算技术快速发展的需要,充分整合业务需求和利用网络服务资源对网络架构的一种创新性技术变革,是面向云和网的基础资源层形成的虚拟化、云化、一体化的技术架构,实现了网络与云的高度协同、敏捷打通、按需互联[8]。云网融合具有智能化、自服务、高速、灵活的特性,被认为是网络、云和算力基础设施之间的粘合剂,成为新型信息化基础设施的底座[9]。因此,本研究提出面向数字孪生流域的云网融合逻辑架构,以期为解决当前数字孪生流域建设过程中算据要素和精度尚不满足要求、模型算法距高保真目标有差距、计算存储算力不强等问题提供参考。

1 面向数字孪生流域的云网融合需求

面向数字孪生流域的云网融合需求体现在以下3 个方面:

1) 流域物联感知方面。随着“天空地”一体化水利感知网的建设,逐步实现了对物理流域信息的自动在线监测与采集,取得了丰富的物联感知数据,尤其在卫星、无人机、无人船等遥感技术的应用下,物理流域及其影响区域的数字化表达得到了充分体现。但是,由于流域产生的数据大多是传感器采集的实时数据,特别是水资源管理和水旱灾害分析所依赖的遥感卫星数据,这些数据包含时间、位置、环境和行为等明显颗粒型的信息,同时呈现鲜明的异构型、多样性、非结构化及价值密度低的特征。因此,为灵活支撑对带宽和时延有严格要求的数字孪生流域应用场景,需要对数据进行智慧化采集和在网络边缘侧进行分析、处理与存储,还应对数据进行实时高效的清洗和计算,以强化数据更新,保持与物理流域的同步性、及时性[10]。

2) 通信网络传输方面。以基础网络和物理连接为核心的网络模式逐步集中到虚拟化、平台化的云上,私有云、公有云、混合云承载了流域内的网络体系,流域内的网络基础设施需要满足数字孪生高带宽、低时延、精确仿真等多种性能要求[11]。例如,在数字孪生场景构建中,高时空分辨率数据的处理是一个复杂的链路过程,需要大带宽、低时延的通信网络,才能保证从星上数据获取处理到分发应用的实时性和有效性[12]。同时,随着水利云支撑数字孪生流域各类业务场景的不断更新,流域内网络基础设施需要更好地适应云计算应用的需求,网络要为云及云上的各类应用提供按需连接和服务质量开放的能力,云不仅需要驱动网络连接并自动部署,还要为上层应用提供开放平台。因此,通过网络资源云化部署,破除网络与地理位置和物理形态的绑定,在网络互联互通的基础上,按照数字孪生流域业务应用需求,实现网络信息多维感知、协作通信、智能计算功能的深度融合,确保网络的灵活性、智能性和可运维性。

3) 算力资源管理方面。物理流域作为数字孪生虚拟仿真的研究主体,是一个高度复杂的机体对象,包含复杂的基础数据体系,存在数据体量大、业务类型多、价值密度低、处理速度快等特征。同时,数字孪生流域模拟和物理等过程要求实现高保真,数字孪生流域数学模型计算、“四预” 等重要业务应用场景构建需要高性能计算环境作为支撑。因此,承载数字孪生流域泛在计算、存储的各类服务及应用的水利云,需有效应用分布式、并行、大数据实时等计算技术,使数字孪生模型与算法服务在云计算技术体系的推动下,演进为可进行算力运营和服务编排的云化模式,满足高精度仿真计算需求,提高网络和计算资源利用率[13]。

2 面向数字孪生流域的云网融合架构

依据水利部印发的《数字孪生流域建设技术大纲(试行)》关于数字孪生流域建设框架内容,数字孪生流域建设框架由数字孪生平台和信息化基础设施两部分组成,其中数字孪生平台由数据底板、模型平台、知识平台组成,信息化基础设施包括水利感知网、水利信息网、水利云[14]。以数字孪生流域建设内容和目标为基础,结合数字孪生流域云网需求,充分发挥云网融合功能特性,从物联感知、通信网络、资源池化及算力资源管理 4 个维度展示云网融合在数字孪生流域的应用服务过程,具体架构如图1 所示。

图1 面向数字孪生流域的云网融合逻辑架构

2.1 水利感知网的云网融合服务实现

算据是数字孪生流域的基础。水利感知网利用各种感知设备、技术手段和方法,动态监测和实时采集江河湖泊水系、水利工程设施、水利管理活动三大类水利感知对象的业务特征及事件信息,强化数字孪生平台的数据底板更新,充分应用各种新型监测手段与传感器技术,使物理流域内要素的监测内容和数据类型不断丰富,水利监测站网的网络末端产生海量异构数据。若大量的数据分析处理完全依赖于水利云计算平台,网络带宽会被大量占用,增加时延,从而无法满足数字孪生场景对数据实时计算服务的要求,特别是对带宽资源要求很高的监测预警、视频监控、图像识别等场景。云网融合从云—边—端一体的角度考虑,将资源密集型任务从云端的计算框架卸载迁移至边缘计算平台和物联设备端侧,同时,依靠云原生平台架构,提供全网资源管控调度的能力,实现云—边—端资源共享。

云—边—端流域物联感知体系架构如图2 所示,具体架构包含以下 3 层:

图2 云-边-端流域物联感知体系架构

1) 物联设备层。物联设备层包含大量泛在流域物联感知设备,主要是面向物理流域的数据采集、智能实时响应、简单数据计算处理的设备。

2) 边缘云计算层。边缘云计算层是中间层,实现数据缓存、分布式数据处理、智能算法部署和计算,提供扩展端的数据计算处理能力。

3) 云计算层。云计算层是水利云平台中心,可提供海量的数据计算存储能力,是支撑数字孪生平台的核心与关键。

云—边—端流域物联感知在逻辑功能上分为以下3 层:

1) 接入层。接入层是设备之间、设备与云之间有线或者无线连接的接入媒介,为数据采集提供数据传输链路,包含接入、感知功能。

2) 资源抽象层。资源抽象层依赖虚拟化技术,将基础设施与网络功能解耦、数据平面与控制平面分离,实现对宏观资源的抽象。

3) 服务编排层。服务编排层利用容器技术进行资源的隔离、调度和编排,高效利用设备弹性空闲资源,实现物联感知设备的数据智能分析,并在边缘节点处过滤数据,策略性调整端到云的数据流量,减少网络资源占用,降低时延。具体逻辑层次如图3 所示。

图3 云-边-端流域物联感知体系逻辑层次

2.2 水利信息网的云网融合服务实现

水利信息网为智慧水利各类数据在主客体中的传递提供传输服务,实现国家、流域、省、地市、区县等的全面互联,数字孪生流域通信网络是底层的连接支撑,保障数据可以从感知采集端高效实时传输至数字孪生平台数据底板。以基础物理网络连接的模式,提升网络带宽,可以满足对通信流量要求不高的业务和应用资源需求,但是,数字孪生流域对高带宽、低时延、精确仿真等有严格的性能要求,数字孪生平台业务和应用的资源也逐渐汇聚至水利云上,网络布局和架构必须适应云计算技术要求,在满足网络服务质量(QoS)的同时,需要具备充分的弹性和灵活性。云网融合通过云网络可靠的云接入和基础连接能力,构建覆盖各级水行政主管部门、各类水利工程管理单位、相关涉水单位全面互联互通的水利网络大平台,建成适应智慧水利业务动态变化的泛在互联的智能水利信息网,为业务应用上云、云间互联、云边协同提供高质量的可靠的承载能力,基于云原生开发环境,构建弹性伸缩、灵活高效的网络能力资源池,使业务具备调用底层网络资源的能力,实现云网设备和资源智慧化管控。云网融合通信网络架构如图4 所示。

图4 云网融合通信网络架构

具体架构分为以下 3 层:

1) 流域网络连接。网络连接中,部门网、城域网、广域网组成流域网络体系,网络入云和云间互联破除流域地理位置界限,网络边界深入云内,突出灵活接入、带宽可调的特性,使得流域基础网络具备弹性和差异化的网络服务保证能力。

2) 网络编排调度。网络编排调度承接网络的虚拟化功能并进行网络资源的调度,以实现诸如“四预”业务应用、通信会商、安全策略、计算资源等数字孪生流域的多场景网络资源智能编排,完成按需分配的网络资源配置,提升多场景网络资源的利用效率。

3) 网络协作管控。网络协作管控建立俯瞰云网态势全局的云网管理平台,通过对网络信息的实时采集和分析,感知网络需求,把场景需求、网络状态和资源数据转换为可响应的网络参数,生成更优的网络资源配置策略,例如,针对视频会商重要场景,可智能配置更高服务质量等级的网络连接。最后通过开放式的API(应用程序编程接口),提供云网更加开放、智能、灵活的调度和控制能力。

2.3 数字孪生平台算力服务实现

为保障数字孪生流域运行,数字孪生平台承载的模型包括水利专业、智能识别、可视化等模型,这些模型不仅业务应用场景种类多,而且有的模型结构复杂,很多参数还具有时变性。不同的模型有不同的特点,例如:描述流域要素变化、活动规律的水利模型以机理分析为主,水文、泥沙动力学等模型以数学计算为主,水土保持、水利工程安全等模型融合机理分析和数学计算。同时,不同处理器擅长处理的任务也不同,CPU 可以处理简单串行逻辑任务,GPU(图形处理器)则更加胜任精细时空分析、海量数据分析、大场景渲染等并行处理的复杂任务。

因此,针对数字孪生平台,云网融合可以提供统一编排、灵活调度的算力资源管理方案,将不同模型快速、高效地分配到不同平台环境中处理。基于云原生平台搭建的资源编排中心,根据数字孪生平台持续演进需求,对流域实体中提取的标准化模型进行分析,统一编排调度顺序,调度顺序为模型整合、分类管理、编排设计、资源分配、部署交付。以水利专业模型为例,统一编排、调度的算力资源管理方案如图5 所示。

具体方案分析如下:

1) 对水文、水资源、水利学等各类专业模型进行梳理整合,根据模型所属业务类型对整合后的模型进行分类管理。

2) 以水文模型为例,将水文模型分解为降水、洪水、枯水、冰凌、咸潮等预报子模型,对这些子模型进行分类管理并标识分析出需要的 CPU 和 GPU 等算力类型。

3) 基于业务编排组件,按照事件触发机制,将子模型以事件的形式通过若干策略微服务组件,调度到计算资源池不同的算力环境中,同时,灵活调度、存储资源池中或其他模型处理后的数据,完成模型的构建。

4) 集成模型的计算结果和服务,实现模型的应用部署交付,完成数字孪生平台对物理流域的数字映射,最终实现流域数字化场景的搭建,为数字孪生流域提供稳定可靠的算力保障。

3 面向数字孪生流域的云网融合关键技术

3.1 流域泛在连接与协同技术

当前,随着流域信息化的建设,基于移动通信网络、宽带光纤网络、物联网及“空天地”一体化信息网络,流域网络成为泛在连接的、立体化的融合网络。数字孪生流域建设所需的云-边-端算力,特别是端侧的算力,受地理位置的限制,在整个流域网络中分散得非常广泛,网络的泛在连接与协同面临许多挑战。基于层级化的连接架构体系,通过划分区域范围,使网络编排在保证自身处理性能的前提下尽可能多地容纳算力节点,下级系统接入上级系统,上级系统负责下级系统的统一管理[15]。同时,随着网络规模的扩大,以控制和编排为核心的网络操作系统,可以渗透到数字流域建设所需的各个网络场景中,实现低成本、区域性网络覆盖,满足泛在互联接入需求。

3.2 入云接入与云间互联技术

充分考虑数字孪生流域建设网络入云和扩容需求,实现包括骨干网、流域省区网、地区网、城域网、边缘网、数据中心网络等多场景跨域横向协同,以及光传输、数通、业务等平面的跨层纵向协同。基于软件定义广域网络(SD—WAN)技术可以塑造新型网络连接架构,弹性连接广域范围的水利网络、数据中心及云服务等,统一管理广域网络的接入服务,保障网络性能和可靠性[16]。同时,基于 SRv6 协议具备可编程、易部署、易维护、协议简化的特点,在网络控制面基于以太虚拟私有网络(EVPN)控制器的集中控制,实现路径的按需规划和调度,有效统一云内、云间、入云等网络的承载协议,提供云网一体化网络的云间互联方案[17]。

3.3 云网资源供给与差异化服务技术

云网融合可为数字孪生业务系统提供完整的大规模资源池,把业务接入资源池,可不关注提供服务的资源池所在的物理位置。云作为服务承载的节点,网作为服务间信息交互的纽带,对于多样性、差异性的业务需求,所需要的云网资源是不同的,因此需要基于数字孪生流域各业务系统的功能特性去构筑云网差异化资源服务提供能力。基于差异化算力调用技术,以 1 个业务应用为单位,将每个业务应用单元调度到某个资源池中进行处理;或者通过编排系统实现负载分担,将业务应用拆分为不同的服务或进程分发到不同的资源池中进行处理。同时基于承载网络切片技术,可构成满足特定业务服务质量需求的网络切片,从而为不同的切片租户提供差异化的承载服务。每个网络切片可看作是不同的网络需求,梳理出水利业务应用网络需求,使得网络具备时延按需选路、实时可视、地图路径可调等网络差异化服务保障能力[18]。

4 结语

当前数字孪生流域建设相关技术和实践处于快速发展阶段,云网融合技术的应用不仅可为数字孪生流域建设提供高质量、超可靠承载能力的通信传输网络,还可实现水利业务应用需求对网络流量的自适应引导和质量保证,提高业务灵活调度能力。本研究提出面向数字孪生流域的云网融合逻辑架构,介绍几种场景下云网融合服务实现方式和过程及关键技术,为云网融合技术在数字孪生流域建设方面的应用提供了理论支持和技术积累。然而,建设数字孪生流域也是一项极为复杂的系统性工程,当前云网融合技术在水利信息化上的研究还处于应用探索阶段,为满足复杂水利业务和部署场景不断扩展的需求,需要推进与深化以容器、微服务为代表的云原生技术在云网融合场景下的应用研究,从而有序提升建设数字孪生流域所需的信息化基础设施能力。

猜你喜欢
云网算力水利
基于网络5.0的重叠网形态算力网络
卫星通信在算力网络中的应用研究
下期要目
新型云网融合编排与调度系统架构与分析
中国电信董事长柯瑞文:算力成为数字经济的主要生产力
基于SiteAI算力终端的交通态势感知系统
基于ONAP开源架构的云网操作系统研究
航天云网科技发展有限责任公司
为夺取双胜利提供坚实水利保障(Ⅱ)
为夺取双胜利提供坚实水利保障(Ⅰ)