王祝先
(黑龙江省气象数据中心,哈尔滨 150001)
黑龙江省CIMISS前端通信系统设计
王祝先
(黑龙江省气象数据中心,哈尔滨 150001)
为进一步优化上下行数据的收发,迫切需要在CIMISS前端开发通信系统。实施气象现代化建设是落实省局相关指示精神的重要方面,而省市县管理业务一体化平台需要一个系统提供数据收发监控信息。基于上述业务需求,设计CIMISS前端通信系统,改造原有老旧的9210体系,实现了气象数据业务的通信稳定、可靠与即时。
CIMISS;气象数据传输;系统设计
Abstract: In order to further optimize the transmission and output of uplink and downlink data, it is urgent to develop communication system in front of CIMISS. The implementation of meteorological modernization is an important aspect of the implementation of the relevant instructions of the provincial bureau, and the provincial and municipal management business integration platform needs a system to provide data transceiver monitoring information. Based on the above business needs, it should design CIMISS front-end communication system, transform the old 9210 system, so as to achieve the stability and reliability of meteorological data.
Keywords: CIMISS; Meteorological data transmission; System design
新一代天气雷达信息共享平台(CIMISS,下文简称CIMISS)是气象事业发展规划中的重要业务系统建设工程,是新一代天气雷达数据和其他各种气象数据的收集、分发、处理、管理、共享平台。可实现各种气象观测数据和产品(包括新一代天气雷达的基础数据和产品)的实时收集、分发及这些气象信息的规范化存储管理和气象行业内部的高效获取,并可通过多种方式,面向水利、民航、农业、林业、海洋等不同行业用户实现数据的共享服务。CIMISS系统在2015年1月1日业务化运行,其收集的数据主要来源于本省观测数据及国家信息中心cmacast广播数据。我省气象数据通信系统较为老化僵硬,无法提供准确、即时的气象数据。此外,随着我省管理业务一体化平台的推广与应用,更加迫切地需要观测数据收发的集约化和一体化管理。
当前,我省的气象数据流程较为混乱,其依托的是9210的两台服务器提供ftp服务。观测数据的收集部署在三台服务器,分别为(172.19.112.3)(以下简称点三)、(172.19.112.7)(以下简称点七)及新一代服务器。收集软件也不尽相同,其中点三服务器运行了本单位自行开发的气象通信程序,点七服务器运行了国家新一代通信系统的单机版本,而新一代服务器运行的是国家新一代通信系统的集群版本。
在此基础上的业务,包括省域气象数据共享、行业气象数据共享等,其数据流程也较为复杂。而CIMISS系统运行后,本地给CIMISS的数据就更为混乱。系统的复杂性导致了故障的偶然性增加,运行维护的难度也随之加大。因此,有必要对我省气象数据通信系统进行整合开发,使其具备为CIMISS系统提供即时准确数据的能力。
2.1 设计目标
建立敏捷化的数据交换体系,通过高效、敏捷的数据交换体系,实现观测系统和信息业务系统的规范化接入,以及各个业务系统协调运行的实时气象数据收集与分发业务;建立网络化的传输监控体系,数据传输的是否准确、即时,需要一套完善和稳定的传输监控系统。当前,我省所用的231监控平台,存在着设备老化、软件缺乏更新等问题,无法满足CIMISS系统的要求。建立一个全网络、高可用的传输监控系统,是CIMISS前端通信的重要方面。
2.2 设计原则
2.2.1 稳定性与高时效性
气象资料的收发处理和存储存在时效性要求,在数据文件大量到达时,系统应该能够提供稳定和高速的处理能力。通过采用高效的开发及算法语言、数据库与文件库的优化配置、预置初始化资源池、动态调整作业优先级、动态调整执行作业数、作业负载均衡、硬件合理的冗余配置等措施提高系统的处理时效。
2.2.2 标准
CIMISS前端通信系统对所管理的气象数据遵循CIMISS标准。在此基础之上,制订了管理数据标准。其主旨是兼顾地理信息为基础的地域特征,在此基础之上以自上而下的层级为主要的管理标准。
2.3 流程设计
流程图如下:本省的观测数据及其他上行数据通过ftp方式发送到省气象信息中心的CIMISS前端系统;前端通信系统经过收集、处理后,再按照配置分发到CIMISS系统、新一代系统、水文系统、省域气象用户等各个系统;CIMISS前端通信系统收集数据通信日志,解析后通过信息上报系统传输给数据存储系统;监控平台为省级用户、地市级用户展示数据上报、信息查询等信息。
图1 业务流程图Fig.1 Business flow chart
3.1 数据收发子系统
数据收集与分发子系统是完成实时资料收集、业务处理、分发和补调,实现对雷达、地面、高空、卫星、农业气象与生态、大气成分、海洋资料、辐射资料等观探测资料以及数值预报产品、灾害资料、气象业务服务产品的实时收集和传输业务处理,实现各类观探测数据和产品的实时分发,实现灵活的基于优先级的收集和分发策略,具备并发收集与分发处理能力,主要包括数据收集、数据业务处理、数据分发、数据补调、数据存档与编辑、系统管理等功能。
3.2 信息上报子系统
由两部分组成,独立的轻型消息中间件和上报进程。轻型消息中间件是采用套接字开发的独立系统,能够实现消息队列的功能,并且满足本文相应的时效性。DI上报:DI上报即收发详细信息上报,上报的信息包括:文件收集信息、文件发送信息、公报接收信息、站号收集信息、站号发送信息、发送目的主机监视信息、分发状态信息等。EI上报:EI上报即收发系统的异常信息上报,上报的内容包括:异常信息、错报信息、进程异常信息。CI上报:CI上报即收发系统的配置信息上报,上报的内容包括:DIR_CONFIG,HOST_CONFIG文件。当以上文件有更新时,须上报这三个文件的最新版本。其中,DIR_CONFIG中配置了哪些文件需要做什么处理的信息,HOST_CONFIG中配置了文件要发送到哪里的信息。
3.3 数据存储子系统
存储管理系统位于“数据收集和分发层”和“监控管理层”之间,是CIMISS前端系统的数据核心。一方面对来自于上游的数据收发系统的日志数据进行规范化存储管理,同时另一方面也为下游的监控管理系统及其他使用者提供统一的数据监控访问服务。
3.4 监控管理子系统
分主机监控设计:由于数据分发较为庞杂,故CIMISS前端系统不仅能够监控数据到CIMISS的情况,也能够监控数据分发到其他主机的详细情况。分级监控设计:采用省市县三级用户管理,实现了数据监控的分层管理,避免了监控界面的复杂混乱。收集、分发监控独立设计:收集监控的是所有收集的信息,包括站级报文、文件级报文、cmacast报文和其他未识别的报文,包括了重复报、错误报等一切系统收集到的报文。
我省CIMISS前端通信系统的设计与开发,使本省气象数据省级中心的处理更加具有紧凑化、清晰化、集约化的特点。其高效稳定地进行数据传输、实时准确地进行传输监控,不仅解决了当前信息中心较为混乱的数据传输问题,更为CIMISS的运行提供了强有力的保障。
[1] 王宏记.基于CIMISS的长江流域气象水文信息共享系统设计与实现研究[J].安徽农业科学,2014,42(32):11565-11570.
[2] 申彦.大规模数据集高效数据挖掘算法研究[D].镇江:江苏大学,2013.
DesignofCIMISSfront-endcommunicationsysteminHeilongjiangprovince
WANG Zhu-xian
(Meteorological Data Center of Heilongjiang Province, Harbin 150001, China)
P414
A
1674-8646(2017)17-0062-02
2017-06-27