水利专业模型标准化元数据建模技术研究与应用

2024-09-27 00:00:00冯快乐季振宇唐海华黄瑶丁小玲
人民长江 2024年9期

摘要:不同业务类型的水利专业模型在水利工程对象类型、模型静态参数、动态边界条件等输入侧存在差异,无法采用统一的构建模式进行通用化处理,影响模型的可复用性,降低了数字孪生平台的通用化水平。为此,提出了一种水利专业模型的建模技术,通过提取多类型专业模型在输入侧的类型、组织和格式特征,利用元数据的信息描述特性,建立针对水利专业模型建模过程的标准化元数据集,并基于元数据集设计和实现了通用化的建模过程接口,支撑水利专业模型的建模。该标准化元数据建模技术已成功应用于数字孪生岳城水库的预报、调度专业模型建模过程中,通过元数据屏蔽了模型各类输入数据的差异,提升了建模的效率和模型的可复用性。

关 键 词:水利专业模型; 元数据; 标准化; 数字孪生平台; 岳城水库

中图法分类号: TV697

文献标志码: A

DOI:10.16232/j.cnki.1001-4179.2024.09.030

0 引 言

数字孪生平台是数字孪生流域、数字孪生工程和数字孪生水网总体框架中的核心构成[1-3]。纵向上既要为各种基础数据赋能,又要为防洪、水资源管理与调配、综合决策等高级应用提供平台支撑。横向上,采用原生地图引擎、游戏虚幻引擎或二次开发组件呈现可视化孪生场景,同时需要实现水利专业模型的建模功能,将原始的专业算法与对象、数据进行结合,提供可调用且可复用的模型资源。构建水利专业模型是数字孪生流域建设的重点任务[1],目前基于成熟的可视化软件底层框架,可视化孪生场景建设取得了较好的成效[4-5],但针对水利专业模型的建模,由于只有在生产项目的实践中才能最大化其价值,还鲜有标准化建模的研究见诸文献。

随着信息技术的进步,水利专业模型建模技术也得到了较大发展。周超等构建了水利业务问题与决策流程的孪生建模平台,有效支撑了长江流域水工程防灾联合调度系统的建设[6]。刘昌军等基于高性能并行计算的水文水动力学实时模拟预报技术,开发了淮河流域智慧防汛系统,在淮河正阳关以上流域取得了良好的应用效果[7]。太浦河“四预”孪生系统通过模型平台和可视化引擎,形成以事件为驱动的太浦河防洪及供水预报、预警、预演、预案的业务应用,服务太浦河综合调度需要[8]。

已有的专业模型建模方法没有考虑对模型的算法、数据和对象进行区分和解耦,所建立的模型往往仅适用于特定水利工程对象的特定时间范围,在实际工作中面临重复建设的问题,建模成果也无法作为公共模型资源进行复用,不利于专业成果的积累。

不同业务类型的水利专业模型的对象类型、模型静态参数、动态边界条件等存在差异,如何对输入输出进行规范化处理,是通用化建模过程的关键。本文引入在水利信息管理中有广泛应用的元数据[9-10],将模型关联对象、模型率定参数、模型输入边界、模型返回结果等数据的命名、定义、处理工具进行统一规定,在建模过程中严格遵循元数据的属性,按照固定流程进行模型状态校验、数据校验、输入抽取和模型驱动、输出处理等,对建模过程的数据交互进行规范,可为相应的通用化水利专业模型提供建模过程接口。

1 水利专业模型元数据

1.1 元数据的概念及分类

元数据(metadata)又称中介数据或中继数据,是一种用来描述数据的数据[11]。元数据提供了关于数据背景、结构、内容和意义的描述,使用元数据有利于在进行数据交换时,交互双方对数据内涵的准确理解和解释。元数据的信息描述特性,可以为水利专业模型建模过程的相关数据管理、发现和使用提供一种通用标准界面,使模型数据的交互技术规范化成为可能。

水利专业模型建模过程主要涉及模型关联对象、模型率定参数、模型输入边界、模型返回结果等数据。根据数据在建模过程中的不同作用,将数据划分为如下几类:全局变量、数据单位、水利工程对象、专业模型参数,并分别得到对应类型的元数据。表1展示了水利专业模型建模的部分元数据,其中,全局变量元数据规定了建模过程的共有属性,以枚举的形式限制变量的取值范围;数据单位元数据规定了水位、流量等数据的基准单位,保证建模过程中度量统一;水利工程对象元数据描述了各类水利工程的编码、名称、特征值、特征曲线等通用属性,为建模提供水利工程对象基本信息;专业模型参数元数据描述了模型计算的边界条件定义,是模型输入侧和输出侧的交互格式标准。

1.2 模型参数元数据集

将不同数据类型的元数据进行汇总整合,可形成包含洪水预报、防洪调度、水资源管理等多种专业模型的元数据集。在水利专业模型建模过程中,全局变量、数据单位和水利工程对象相对固定,其对应的元数据可直接作为规范化的元数据集,而模型参数因与模型的耦合度较高,需要将专业模型的输入参数格式进行细分和归类,从中提取公共数据类型并定义为通用元数据,才能合并到元数据集。

提取隶属于不同业务功能的模型参数元数据,以水库调洪演算模型和一维水动力模型为例,表2展示了驱动两个模型计算分别需要的参数,其中每种参数项有唯一编码和对应的数据类型,可按数据特性分为单数值、单字符、过程数值、对象等类型。参数对应的数据基类可对数据的取值进行限制,其中double代表实数类型,String代表字符类型,JSON代表对象类型[12],根据数据基类衍生出对应的数组类型。可以看到,从模型提取的参数元数据不与水利工程对象耦合,且不限制在某一研究区域,具有较好的规范性和通用性,将所有的参数项进行汇集,即得到模型参数的元数据集。

1.3 元数据的标准化方法

为支撑标准化元数据建模,需要对所提取的元数据集进行标准化命名、定义和管理。为此,本文采用基于功能描述的标准化命名,赋予每个元数据具有功能内涵的名称,运用增量式属性,为元数据动态扩展定义,开发通用的处理工具,使用标准化方法进行元数据管理。

对模型元数据的命名进行标准化,有利于在建模过程中保持数据含义的一致性。本文采用分段定义的方法,按元数据所属业务类型、对象类型、数据编码、数据类型进行多段式命名,为方便使用,采用具有相关含义的简化字符进行命名。以部分元数据为例(图1),其中FR、RD前缀分别表示预报和调度业务类型;RR、ZQ字符分别表示水库站和水文站对象类型;数据编码INQ代表入库流量、AVGINQ代表平均入库流量、Z代表水位、Q代表天然流量;数据类型中S和P分别代表单值数据和过程数据。

在标准化元数据名称的基础上,需要为每个元数据添加属性信息,对元数据进行详细描述,其中属性可根据建模需求增量式扩展。初步定义了名称、数据基类、对象类型、数据单位和数据类型属性,并按照元数据编码(名称、数据基类、对象类型、数据单位、数据类型)的格式进行聚合,部分元数据的属性示例如下所示:

(1) RD_RR_UPQBEG_S(坝上期初流量,double,水库,m3/s,单数值)

(2) RD_RR_INQ_P(瞬时入库过程,double[],水库,m3/s,过程数值)

(3) RD_RR_AVGINQ_P(平均入库过程,double[],水库,m3/s,过程数值)

(4) FR_ZQ_Z_P(站点水位过程,double[],水文站,m,过程数值)

(5) FR_ZQ_Q_P(站点流量过程,double[],水文站,m,过程数值)

元数据作为汇总的数据描述,其属性指定了具体的数据对象,因此元数据集也包含了相应的数据信息,提供模型建模的数据来源。为实现模型数据的标准化管理,需要对管理工具的功能进行统一定义,规定数据的创建、查询、更新、销毁等各生命周期的公共方法,如图2所示。数据对象的创建,首先需要从元数据集中找到对应的元数据项,然后实例化为数据对象合并到数据对象集中,数据对象的查询和更新统一从数据对象集获取,对于不再使用的数据对象,使用统一的方法进行对象销毁。

2 基于标准化元数据的建模技术研究

基于标准化元数据的水利专业模型建模,是将专业算法与水利工程对象、模型参数、边界条件进行结合,得到可执行的模型实例的过程。需要经过模型运行状态校验、模型输入组织、输入数据校验、模型驱动运行、模型输出后处理等几个核心环节。基于前述元数据集及其标准化方法,设计了如图3所示的通用化建模过程,其中模型输入输出采用标准化元数据进行交互,通过校验模型运行状态,判断模型是否可用,通过校验模型输入数据,判断是否达到驱动模型运行的条件。为流程中的每个环节定义标准化接口方法,可供建模过程统一调用,实现基于标准化元数据的水利专业模型建模。

2.1 模型运行状态校验接口

专业模型建模中,核心算法程序的正常运行是执行后续建模过程的重要前提,对其运行状态进行实时监听,对于状态异常的算法程序及时反馈,本文采用主流的周期性定时心跳技术[13],定义一种标准化的模型运行状态校验接口,实现实时的状态校验。

模型状态校验流程如图4所示,其中周期定时器会按照固定的频率发送状态查询请求,通过接收到的返回信息更新运行状态。由于心跳请求频率比较高,将算法程序中的心跳维持接口与模型核心算法进行拆分,心跳维持接口负责对状态查询请求进行快速响应,模型核心算法只有在模型驱动时才会执行。

2.2 模型输入数据抽取技术

对于通过模型运行状态校验的算法程序,需要抽取模型的输入数据,根据每个模型需求的输入数据项,采用统一定义的元数据管理方法,在模型元数据集中查询对应的元数据,并获取对应的数据对象。基于元数据的处理技术,随着集成的模型数量不断增加,可以形成通用化的元数据集合,不同业务功能的专业模型采用同一组元数据,为模型的复用提供数据层面的统一机制。

基于元数据的模型输入数据处理技术流程如图5所示。由模型核心算法确定水利工程对象类型、参数类型、边界数据类型、数据基类等详细需求,并找到符合数据特征的元数据项,通过元数据自动抽取实际数据并按需求进行组织,得到模型输入数据实例。

2.3 模型输入数据校验与模型驱动

得到模型输入数据实例后,为保证模型能够正确驱动,需要依次对数据实例的存在性、类型、长度和异常值进行检查,只有所有检查都通过,才能达到模型驱动的条件,执行后续驱动流程。模型输入数据校验与模型驱动流程如图6所示,模型的输入是数据校验的需求来源,元数据集中的属性定义是数据校验的依据。

输入数据校验的第1步是存在性检查,将模型的输入需求和已经抽取的数据对象集合进行对比,如果缺少数据项则校验失败,如果所有的的输入需求都能找到对应的数据对象,则进入下一校验环节。第2步是类型检查,根据元数据中定义的业务类型、对象类型和数据类型,检查数据对象中相应位置是否匹配,例如对于入库流量数据,其元数据属性为“入库过程,double[],水库,m3/s,过程数值”,需要检查数据是否为过程数据,是否为实数数组,是否从水库对象抽取,任意一项检查不通过则校验失败。第3步是长度检查,检查单值数据长度是否为1,对于有时间属性的数据,检查数据长度是否一致。第四步是异常值检查,对每种类型的数据,判断是否处在非常规的取值范围,对于过程数据还需要判断是否出现突变点。

输入数据校验的所有环节都通过之后,则认为当前抽取的数据对象足以支撑算法运行,将所有的数据对象按模型数据需求进行汇集和传递,进而驱动模型运行并获取模型结果。

2.4 模型输出后处理

驱动模型运行后,为保证模型输出的规范性,需要对模型返回的计算结果进行校验和处理,采用与模型输入相同的处理技术,根据元数据集中的属性定义进行数据对象的校验,将通过所有校验环节的数据作为模型的最终返回结果,为建模过程提供标准的结果获取接口。

3 系统应用案例

岳城水库位于河北省邯郸市磁县与河南省安阳市殷都区交界处,是海河流域漳卫河水系漳河上的控制工程,控制流域面积18 100 km2,占漳河流域面积的99.4%,总库容13亿m3。为响应加快推进智慧水利信息化建设的号召,数字孪生岳城水库运用物联网、大数据、云计算、数字孪生等新一代信息技术,建立和完善感知体系、智慧大脑体系、智慧业务平台、数字孪生平台,以四预(预报、预警、预演、预案)为手段,提升水旱灾害防御能力。

在防洪业务的构建过程中,首先利用河北雨洪模型或新安江三水源模型进行水文预报产汇流计算。然后基于岳城水库调度规程进行防洪调度规则模型求解,在保证水库安全前提下,调用相应目标(如最大下泄流量最小化、最高水位最低化、防洪库容耗用最小化、最小成灾历时等)的优化调度模型,支撑预报调度业务功能。通过汇集和梳理业务流程调用涉及的所有数据对象,利用建模元数据的标准命名方法和属性定义规范,得到如表3所示的防洪业务模型建模元数据集。不同的专业模型可按照建模需求从中抽取对应的元数据,建模过程有据可循,建模成果在预报、调度等不同功能模块中得到重复使用。

通过专业模型的标准化建模,利用统一的建模过程接口,实现了专业核心算法、水利工程对象和模型输入参数的标准化集成,搭建了如图7所示的预报调度功能模块,其中每个模型的调用都经过状态校验、输入数据抽取、算法驱动、输出结果汇集等公共环节。该套系统支撑了岳城水库的实际管理工作,提升了主管部门在日常管理工作中的业务应用智能化水平,相比传统手段建设的水利信息系统,在建模过程规范性和建模成果通用性上得到了较大提升。

4 结 语

本文主要提出了一种水利专业模型的标准化元数据建模技术,利用元数据对模型关联对象、模型率定参数、模型输入边界、模型返回结果进行规范化命名、定义和处理,在建模过程中遵循元数据的定义实现各建模环节,并据此提供了一套包含模型状态校验、模型输入输出校验、模型驱动等的标准化建模过程接口,为水利专业模型核心算法的通用化开发和集成,提供了一种可遵循的建模规范。

该建模方法已应用在数字孪生岳城水库项目中,提升了整体建模效率,实现了建模成果在多个业务模块中的重复利用。未来,将进一步分析和提取不同业务类型的水利专业模型数据交互需求,提升公共元数据集的通用性和实用性,为数字孪生平台的构建提供一种建模规范的参考。

参考文献:

[1] 蔡阳,成建国,曾焱,等.加快构建具有"四预"功能的智慧水利体系[J].中国水利,2021(20):1-5.

[2] 成建国.数字孪生水网建设思路初探[J].中国水利,2022(20):18-22,10.

[3] 冶运涛,蒋云钟,寇怀忠,等.数字孪生流域的基础模型、演化路径与评判准则[J].华北水利水电大学学报(自然科学版),2023,44(4):27-38,46.

[4] 徐瑞,叶芳毅.基于数字孪生技术的三维可视化水利安全监测系统[J].水利水电快报,2022,43(1):87-91.

[5] 杨楚骅,饶凡威,傅志浩,等.基于BIM的水利工程施工监管平台设计与实现[J].人民珠江,2022,43(2):17-23.

[6] 周超,唐海华,李琪,等.水利业务数字孪生建模平台技术与应用[J].人民长江,2022,53(2):203-208.

[7] 刘昌军,吕娟.数字孪生淮河流域智慧防洪体系研究与实践[J].中国防汛抗旱,2022,32(1):47-53.

[8] 黄志兴,冯大蔚,马媛,等.数字孪生太浦河防洪及供水“四预”业务应用设计与实现[J].水利信息化,2023(4):1-6.

[9] 张立志,李俊,吕燕枚,等.基于元数据和模型驱动的水利信息共享平台[J].水利信息化,2015(4):8-10,28.

[10]冯钧,唐志贤,黄如春,等.水利信息资源元数据管理方法研究[J].水利信息化,2011(5):1-4,15.

[11]刘嘉.元数据:理念与应用[J].中国图书馆学报,2001,27(5):32-36,45.

[12]邢四为.基于JSON的信息交互系统的研究与实现[D].合肥:安徽大学,2013.

[13]李煦侃.基于串口的心跳监听设计及其在QNX中的实现[J].自动化仪表,2019,40(8):79-82,88.

(编辑:黄文晋)

Research and application of standardized metadata modeling technology for water conservancy professional models

FENG Kuaile,JI Zhenyu,TANG Haihua,HUANG Liyao,DING Xiaoling

(Changjiang Survey,Planning,Design and Research Co.,Ltd.,Wuhan 430010,China)

Abstract:

Due to the differences in the inputs of different business types of water conservancy professional models in terms of water conservancy engineering object types,model static parameters,dynamic boundary conditions,etc.,it is not possible to adopt a unified construction mode for generalization,which greatly affects the re-usability of the model and reduces the level of generalization of the digital twin platform.In this paper,we propose a modeling technique for water conservancy professional models,by extracting the type,organization,and format characteristics of multi-type professional models on the input side,and utilizing the information description characteristics of metadata,we establish a standardized metadata set for the modeling process of water conservancy professional models.Further,we design and realize a generalized modeling process interface based on the metadata set,which can support the modeling of water conservancy professional models.The standardized metadata modeling technology proposed in this paper was successfully applied to the modeling process of the forecasting and dispatching professional model of the Digital Twin Yuecheng Reservoir,and the metadata avoided the differences between various types of input data of the model,which improved the efficiency of modeling and the reusability of the model.

Key words:

water conservancy professional model; metadata; standardization; digital twin platform; Yuecheng Reservoir