基于全国产化生态的水资源环境测控物联网平台研究

2024-01-08 08:51王柏顺曾佑聪石瑞格张侃侃张晋福
科技创新与应用 2024年1期
关键词:规约中间件国产化

王柏顺,曾佑聪,石瑞格,张侃侃,张晋福

(中国电建集团中南勘测设计研究院有限公司,长沙 410002)

本项目旨在探索研究全国产化生态下的水资源环境测控物联网平台,从而满足信息安全自主可控、IT 系统国产化、私有化部署等需求。研究内容主要包括以下几个方面:首先对国产化相关政策背景和主流技术进行分析;其次,设计并实现一套基于全国产化生态的水资源环境测控物联网平台;然后对工程应用中的实践过程进行分析;最后是研究内容的总结。

项目研究基于中国电力建设集团有限公司科技研发项目和中南勘测设计研究院有限公司科技研发项目,并以大渡河全过程监测项目、黄河流域生态环境全过程监测项目作为研究成果应用试点工程。

1 研究背景

1.1 国产化替代背景

从中兴、华为等一系列高科技企业被美国制裁,到俄乌冲突事件爆发后,西方各国相继宣布制裁俄罗斯。以Oracle、IBM、微软和SAP 为代表的科技巨头暂停在俄服务,微软宣布退出俄罗斯市场,暂停相关商品销售及服务;SUSE 和RedHat 宣布不再为俄罗斯提供任何业务支持,Ubuntu 的开发方Canonical 公开表示将终止为俄罗斯企业提供服务。这一系列动作敲响了加速国产化替代的警钟,警醒可能面临的贸易封锁,故此自主化打造势在必行。

近年来,中央出台多项信创相关政策,大力支持信创产业持续发展,努力实现国产替代。“十四五”规划和2035 年远景目标纲要也明确提出:“坚持自主可控、安全高效,推进产业基础高级化、产业链现代化。”党的二十大报告强调,加快实施创新驱动发展战略。加快实现高水平科技自立自强。以国家战略需求为导向,集聚力量进行原创性引领性科技攻关,坚决打赢关键核心技术攻坚战。

1.2 国产化环境技术分析

随着技术的不断进步和政策的支持,国产操作系统和国产数据库得到了广泛的应用和发展,国内以麒麟、深度、达梦、华为和浪潮等一批企业自主研发的软件取得了重大的突破,已经可以满足全国产化替代的需求。

1.2.1 国产操作系统

麒麟、深度等操作系统已占据主导市场份额,系统根据国内用户的习惯和应用需求进行了大量定制,包括优化界面、增加本地化应用、增强安全性等,并经过多轮公安部和军方的安全测评认证,具备国内领先的高安全性,已成功应用于办公、国防、航天和政务等领域。

1.2.2 国产数据库

达梦数据库和人大金仓数据库在企业应用也占有较高份额,产品全面适配各种软硬件体系,支持主流结构化查询语言(SQL)标准和通用编程语言、接口,并通过国家安全认证,安全等级极高。主要应用于金融、能源、航空、通信和党政机关等数十个领域。

1.2.3 国产服务器

随着国产CPU 如神威、鲲鹏和飞腾等,以及国产存储如长江、长鑫等国产硬件的性能提升,以华为、黄河、浪潮等企业研发的国产服务器已广泛应用于政企环境,并通过CCC、CCEE 等认证。服务器作为IT 基础设施的核心设备,其关键技术的掌控关系到国家信息安全,国产服务器的广泛应用可以减少潜在的信息安全隐患,确保数据和系统的安全。

2 平台设计

2.1 研究内容

本项目研究旨在探索全国产化生态下的“物联网+水资源环境”测控新模式,研究通过物联网平台构建技术和水资源环境行业信息化技术融合,构建基于全国产化生态的水资源环境测控物联网平台。

①研究实现平台全国产化兼容,实现在华为、黄河、浪潮等国产服务器上安装麒麟、深度等主流国产操作系统,并利用达梦、人大金仓等主流国产数据库进行数据存储;②研究实现10 万以上连接的高效可靠通信技术;③采用大数据技术,实现测站高频监测数据的快速存储、高效分析及秒级查询;④研究SL 651—2014《水文监测数据通信规约》(以下简称“SL 651 规约”)、SZY 206—2016《 水资源监测数据传输规约》(以下简称“SZY 206 规约”)和HJ 212—2017《污染物在线监控(监测)系统数据传输标准》(以下简称“HJ 212 协议”)等涉水行业规约和标准,实现不同测站类型对应的数据解析;⑤研究物联网信息安全技术,其中南向面向设备,研究涉水行业规约中的身份验证机制;北向面向业务系统,研究相关接口安全鉴权技术。

2.2 平台功能

平台功能主要包括设备管理、通信管理、测站管理、运行管理和系统管理等,平台架构如图1 所示。

图1 平台架构图

2.2.1 设备管理

实现对平台接入设备的管理,包括设备信息配置、设备状态监控与日志记录等功能。设备信息配置将设备的参数、通信参数等信息配置录入,为数据采集与监控提供基础信息;设备状态监控可以实时监控设备的连接状态,并记录设备的异常日志。

2.2.2 通信管理

实现对平台与接入设备之间通信协议、通道的管理。可以根据不同设备选择对应的通信协议,如水雨情监测设备选择SL 651 规约,水温监测设备选择SZY 206规约,水质监测设备选择HJ 212 协议等。通道管理用于配置平台与设备之间的通信渠道,如GPRS、4G、5G和北斗卫星等。

2.2.3 测站管理

实现对监测站点的管理,包括站点信息配置、数据查看等功能。站点信息配置用于配置监测站点的基本信息,如站点编码、站点名称、地理位置信息等;数据查看提供时间序列曲线、列表表格、空间分布图等多维展示手段,用户可以选择时间段、测点、监测要素等查询条件,获取对应的监测数据趋势或列表。

2.2.4 运行管理

实现对各监测站点的运行状态进行实时监测,包括数据上报监测、设备在线监测等。数据上报监测监视各站点数据上传频率与延时,发现长时间未上传数据站点进行预警提示;设备在线监测监视各站点设备的实时在线状态,离线设备进行故障报警。

2.2.5 系统管理

实现对平台系统的权限管理、日志管理、系统维护等管理功能。权限管理用于配置不同用户的访问权限;日志管理用于记录平台的系统日志和操作日志;系统维护用于平台的备份、恢复、软件升级等维护操作。

3 国产化实践

根据基金项目和工程应用要求,开展基于全国产化生态的水资源环境测控物联网平台研究和实践,平台可在麒麟、深度等主流国产操作系统上运行,并保障数据能够在达梦、人大金仓等主流国产数据库中存储使用。

3.1 技术难点

在研究适配国产化环境时面临系统配置、中间件配置、数据类型和数据操作等因素的制约,主要技术难点如下:①国产操作系统环境不同、系统配置不同、权限不同等原因导致平台无法稳定正常运行;②国产数据库之间由于数据类型、SQL 指令不同导致程序功能执行异常;③中间件因各国产操作系统配置和安装配置不同造成无法正常使用;④各国产数据库连接库不同,导致程序编码需要进行反复适配,且代码侵入度极高增加了bug 隐患,无法做到一套代码集中维护。

3.2 解决方案

为保障平台能在国产化环境下稳定运行,研发团队对在兼容适配过程中的主要问题分解并提出解决方案,实现国产环境下无缝的平滑迁移能力,同时业务侵入改动最小,只需要修改数据库连接串即可把系统平滑迁移到新的操作系统和数据库平台。

3.2.1 操作系统权限问题

①部分中间件安装时,由于操作系统的文件、进程和内存限制,导致部署后无法启动,需要在root 用户下修改系统配置文件;②安装达梦数据库和人大金仓数据库时,普通用户权限不足导致安装失败;③在启动和创建达梦数据库和人大金仓数据库实例时,由于默认设定数据目录在普通用户下无权限导致数据库异常;④部分中间件在root 下运行异常,因root 权限太高容易产生安全性问题。

解决方案:针对国产操作系统用户权限不一致问题,创建统一安全用户,合理分配各系统中间件和应用中间件使用权限,解决因权限不足导致文件操作失败和越权导致的程序安全隐患问题。

3.2.2 操作系统环境配置问题

①由于操作系统的环境变量、文件、进程和内存限制,导致部分中间件部署后无法启动,需要进行启动项配置;②由于操作系统默认自带的中间件版本和平台所需中间件版本不一致,导致中间件启动异常或配置无法生效。

解决方案:针对国产操作系统因环境变量配置失效而导致的程序异常问题,针对国产操作系统环境配置不同,统一配置中间件运行时环境变量,解决Java开发工具包(JDK)、全文搜索引擎(ES)、非关系型数据库(Redis)等中间件运行异常问题。

3.2.3 数据类型问题

主要问题:主流MySQL、SQLServer 等数据库数据迁移到国产数据库时,由于数据类型不同、数据长度、数据类型缺失等问题,导致了一部分数据在迁移过程中丢失和乱码;如SQLServer 的bigint、nvarchar、nchar等数据类型转换到达梦数据库时不能很好地兼容,会丢失数据。

解决方案:为使主流MySQL、SQLServer 等数据库数据迁移到国产数据库,开发一套数据转换引擎,数据转换引擎根据数据源自动识别并解析数据表底层数据定义语言(DDL),实现数据无缝对接和兼容,从而解决各数据库之间因数据类型不同导致的数据存储失败、数据丢失问题。

3.2.4 数据库操作问题

主要问题:在执行查询、插入、更新和删除SQL 语句时,主流MySQL、SQLServer 等数据库和国产数据库有差异,主要体现在表名和字段名大小写敏感、分页查询不一致、数据库函数不一致等方面,导致了数据查询、数据更新失败。

解决方案:为解决国产数据库和主流MySQL、SQLServer 等数据库由于SQL 执行语句异同、字段大小写敏感、关键字和保留字等原因导致的数据操作失败问题,研发一套支持多源数据库的对象关系映射框架(ORM);框架根据数据源类型和数据表类型实现字段的映射和转换,同时对接各数据库厂商软件开发工具包(SDK),对数据表的增加、删除、修改和查询等操作的SQL 语句进行统一处理和执行,最终只需修改配置文件即可实现多数据源之间的无缝切换。

3.3 工程应用

本项目研究成果依托大渡河全过程监测项目和黄河流域生态环境全过程监测项目进行试点应用,平台基于中标麒麟系统和达梦数据库环境部署安装,实时接入水雨情监测站、水质监测站和水温监测站监测数据。项目已交付稳定运行一年以上,极大提升了监测数据接入能力,同时也有效保障了数据安全性。平台实施过程如下。

3.3.1 软件部署

在服务器上安装中标麒麟操作系统和达梦数据库,并部署水资源环境测控物联网平台。

3.3.2 测站管理

根据站点情况把测站信息录入到平台,包括测站编码、测站名称、测站类型、看管电话、行政区和流域等信息,测站列表如图2 所示。

图2 测站列表

3.3.3 设备接入

根据测站采集设备情况配置对应的接入信息,包括通信方式、数据传输规约、监测要素等信息。数据传输规约直接关系到报文的编解码,平台收到报文后会根据已配置的规约进行解析,其中水雨情报文按照SL 651 规约进行报文解析,水温报文按照水资源SZY 206 规约进行报文解析,水质报文按照环保HJ 212 协议进行报文解析。

3.3.4 数据展示

①综合数据表,以列表数据方式展示监测数据,包括监测要素、数据时间等信息,可根据时段进行检索和导出;②综合过程线,以图表方式展示监测数据,更直观地展示监测数据趋势,如图3 所示。

图3 综合过程线

4 结束语

经过多年的研发和积累,中南院成功研发了基于全国产化生态的水资源环境测控物联网平台,平台具备以下主要特点:①具备完善的数据采集和处理功能,能够快速稳定接入10 万级设备连接,并按照涉水行业规约进行智能解析,实现高效的采集、解析、存储。②采用全国产化技术,国产自主可控,在保障系统正常运行的同时也提高了数据安全性。③具有强大的远程管理和监控能力,可以对系统进行远程配置、升级、维护和管理,提高系统的可靠性和稳定性。④具有良好的扩展性和可定制性,可以根据不同的应用场景和需求进行定制化开发和集成,满足用户的个性化需求。

平台在大渡河流域、黄河流域生态环境全过程监测项目中得到成功应用,对水资源环境信息收集、整理、分析和处理等环节中实现了有效监控管理,显著提升了相关监测数据安全性、可靠性,具有重要的意义和价值。

猜你喜欢
规约中间件国产化
特大型桥梁供电系统国产化改造探讨
元器件国产化推进工作实践探索
ASM-600油站换热器的国产化改进
基于国产化ITCS的卫星导航仿真研究
电力系统通信规约库抽象设计与实现
一种在复杂环境中支持容错的高性能规约框架
RFID中间件技术及其应用研究
基于VanConnect中间件的设计与开发
一种改进的LLL模糊度规约算法
修辞的敞开与遮蔽*——对公共话语规约意义的批判性解读