邹红 青娉楚 卢淞岩
摘 要:雷达气象资料是短临预报、灾害天气预警的重要资料,气象雷达数据管理和个例资料整编系统采用WinForm编程语言和MSSQL Server 2008数据库开发技术建立了相应的南充雷达气象资料数据库,同时可以有效实现基数据、产品数据、历史个例资料等气象雷达数据的整编、压缩、入库、查询、统计、下载等功能,减少人为操作,提高业务工作效率.为各级气象业务人员下载雷达资料和查询历史个例信息提供了便利,能够满足业务应用中对雷达气象资料存储和检索的要求。达到了对台站雷达资料高效管理的目的。
关键词:基数据 产品数据 历史个例 整编 系统设计
中图分类号:P412.25
Design of the Meteorological Radar Data Management and Case Data Complilation System
ZOU Hong QING Pingchu LU Songyan
(Nanchong Meteorological Office, Nanchong,Sichuan Province, 637000 China)
Abstract: Meteorological radar data is important data for short-impending prediction and disaster weather warning. The meteorological radar data management and case data integration system establishes the corresponding meteorological radar data database of Nanchong by using WinForm programming language and MSSQL Server 2008 database development technology, and it can effectively realize the compilation, compression, storage, query, statistics, download and other functions of meteorological radar data such as basic data, product data and historical case data, reduce manual operation and improve business efficiency, which provides convenience for meteorological operators at all levels to download radar data and query historical case information, meets the requirements for the storage and retrieval of meteorological radar data in business applications, and achieves the purpose of the efficient management of radar data at stations.
Key Words: Base data; Product data; Historical case; Compilation; System design
在新一代天气雷达业务观测中,采用降水观测模式2(VCP21),一天有近260个基数据和约有9000个数据产品,且基数据、产品数据与资料整编文件名格式上的差异很大,如果仅依靠人工进行收集整编,不仅文件多,信息量大,校对审核工作也尤为繁杂。南充雷达从2006年开始运行以来,雷达资料都是每天人工通过复制、粘贴、刻录等方式保存在光盘里。目前预报服务人员通过网站、省局PUPviewcimiss等系统查看天气状况,但是基数据和产品数据都保存时间较短,对于历史个例资料就更加不方便查看。各级业务人员只有通过去档案室复制基数据光盘,然后再经过RPG、PUP等程序处理出来,这样就大大限制了天气雷达数据使用效率同时增加了档案室的工作量。近年来,有相关研究学者根据自身工作需求研发了适用于本地的雷达资料整编系统[1-4],也有其他相关研究学者也开发了雷达数据管理系统[5-8],还有相关研究学者在雷达运行管理、运行监控等方面进行了深入研究[9-12]。这些文献提到的方法只考虑了基数据和个例的存储管理,对产品数据资料的管理方式很少提及,也并不适合当前雷达业务需求。随着时间推移雷达基数据资料、产品数据资料和历史个例资料会越来越多,目前管理雷达资料的方式已经不能适应目前气象业务的发展需求,因此研发一套系统将雷达基数据、产品数据和个例资料整编入库显得比较紧迫和重要。
系统从着力于解决业务工作中的问题出发,拟研发一个数据和个例资料平台,减少业务工作人员因人为操作引起的错误,提高自身工作效率的同时还为各级天气预报人员更有效地开展短临预报业务提供了便捷,也为其他科研业务人员提供了详细和全面的气象雷达观测数据支撑。
1 系统总体结构
系统采用了层次化的设计思路,其总体框架由应用软件及其支撑环境共同组成。
1.1 应用软件主要分为数据层、应用层和服务层
数据库层为系统提供数据环境的支撑,主要存储了基础空间数据、雷达资料数据、存档数据、 服务管理数据,采用 SQL Server 2008 数据库和文件系统进行统一存储管理。应用层包括基数据自动入库、产品数据和历史个例的手动批量处理、气象雷达数据的增加、删除、管理和可视化支撑等功能。服务层实现雷达数据查询、统计、下载功能,通过选择日期、数据类型等信息到数据库进行查询、统计并展现到界面,以便用户下载。
1.2 系统框架
整个系统构站级服务器或计算机、通信网络设备组成的基础设备平台上,采用WinForm、C#编程语言、MSSQL Server 2008数据库,在 Microsoft Visual Studio 2010 (简称 VS2010)平台开发,实现集雷达基数据、雷达产品数据和历史个例资料数据三种不同格式数据的整编功能于一体,并辅以名称选择、时间选择、目录路径选择和运行结果信息报告等功能的综合系统。
首先用Visual Studio2010开发工具,搭建系统框架,创建系统主要菜单,包括基数据模块、产品数据模块、个例资料模块、系统基础信息栏、登录栏、状态栏、主界面以及它们的下一级子菜单;同时使用C#开发语言对所有菜单功能进行编辑,实现条件筛选、批量压缩、存储和重命名等功能;再使用SQL Server 2008 数据库工具通用方法实现新增、修改、删除、查询和下载数据库中的数据;综合采用WINZIP压缩技术、目录监控技术、自动批处理技术来实现数据资料的整编设计,最终实现系统功能。
2 系统的设计与实现
系统分三大模块,一是实现基数据、产品数据、雷达状态信息数据的分类自动存储和数据备份。二是实现个例数据收集备份,通过选择过程开始和结束时间自动下载和解压重要天气过程雷达数据再调用个例整编子程序进行个例资料整编。三是实现雷达基数据整编,雷达产品数据整编,个例资料的整编、入库、统计、查询和下载等功能;
2.1 雷达数据分类存储
天气雷达数据采集单元rtshow实施控制程序采集数据并生成标准格式基数据和05V格式基数据,然后通过FTP软件或电脑磁盘映射的方式分发给产品生成程序RPGCW,RPGCW通过一系列算法再生产雷达产品并分发给显示程序PUP,最后得到雷达回波图。05V基数据存放在rtshow实施控制程序电脑data文件夹中,标准数据格式基数据可存放在rtshow实施控制程序电脑bizp2文件夹中或者RPGCW机的achive2文件夹中。产品数据存储在PUP电脑archive文件夹里。南充天气雷达软件业务已经升级到ROSE2.1,与之前业务相比较,需要保存的基数据容量就更大了。
2.2雷达基数据整编设计
南充雷达运行已达15年,有大量历史数据资料,系统基于工作实际出发将基数据整理模块分为雷达实时基数据的自动入库和历史基数据手动入库,通过程序实现文件上传,通过sql server2008数据库对文件上传信息进行记录。实时基数据的自动入库实现方法为系统通过调用子程序定时访问雷达数据采集单元rtshow实施控制程序电脑基数据生成data文件夹和bizp2文件夹,根据中国气象局相关业务规定将新生成的基数据复制并整理成以天为单位的基数据并压缩到指定文件夹,再通过整理程序入库。历史基数据手动入库就需要在本系统中点击基数据上传资料,再通过选择历史数据存放路径的方式来实现历史基数据资料的入库。同时实现基数据的统计、查询和下载功能。
2.3雷达产品数据整编设计
在业务运行过程中雷达产品数据并没有规定要求长期保存,但是个例预报人员在做技术总结和研究工作时,往往需要回看大量的雷达回波图,如果通过基数据回放返演等方式无形当中就会降低工作效率,但是如果保存了产品数据,预报人员就可以通过PUP软件直接回看雷达回波。为了各级预报、服务和科研人员快速查看雷达回波图,本系统将雷达产品数据以天为单位整理入库。雷达实时产品数据的自动入库和历史产品数据手动入库。系统实时产品数据入库是通过访问产品生成archive备份文件夹,将新生成的产品数据复制并整理成以天为单位的产品数据压缩文件,再通过整理程序入库。历史产品数据手动入库就需要在本系统中点击产品数据上传资料,再通过选择历史数据存放路径的方式来实现历史产品数据资料的入库。同时实现产品数据的统计、查询和下载功能。
2.4个例资料整编设计
按照中国气象局监测网络司制定的《新一代天气雷达灾害性天气过程个例整编管理暂行规定》,雷达站需要将重大天气过程所涉及的雷达基数据、产品数据、状态信息进行收集整编。整编内容包含了发生灾害的时间段、发生地、天气过程说明和雷达运行情况等信息。其中工作量较大的就是对基数据、产品、状态文件进行改名压缩处理过程。存在天气过程的时间段内有大的基数据和产品文件,台站存储的基数据和产品文件名格式与个例整编规定要求的基数据和产品数据命名方式不同,个例整编模块设计思路是先收集个例天气实况、过程描述、服务情况、高空地面资料、基数据、产品数据、雷达状态文件、灾情数据等并建立源文件夹,再根据个例整编规定建立三级目录目标文件夹,通过调用个例整编子程序通过批处理方式完成了数据的自动解压、更名、压缩等工作,最后按照灾害类型将历史个例进行分类管理,灾害类型包括暴雨、大风、冰雹,通过条件筛选、批量拷贝的方式添加到不同灾害类型的个例库中。用户通过选择日期或灾害类型来查询、统计和下载历史个例资料的功能。
2.5系统具体实现方法
文章通过定时处理程序把另外一台电脑映射网络驱动器的方式 把archive2 目录、archive目录和UP_Back目录映射到一个网络磁盘中,使在 RPG和 PUP 中不增加任何开销。(1)访问RPGCW机的achive2文件夹,通过另一台电脑映射网络驱动器的方式将achive2目录中基数据按天整理存储在网络磁盘中,系统将网络磁盘中基数据整理并入库,系统数据文件夹结构设置为按天分目录,再根据数据生成时间,系统生成以天为目录的文件夹,并将数据复制放入相应日期的文件夹中并将数据压缩。(2)访问PUP电脑产品数据archive文件夹 ,通过另一台电脑映射网络驱动器的方式将achive目录中产品数据按天整理存储在网络磁盘中,将网络磁盘中产品数据整理并入库,系统生成以天为目录的文件夹,并将数据复制放入相应日期的文件夹中并将数据压缩。(3)访问存储在rtshow实施控制程序电脑雷达状态信息数据UP_Back文件夹,通过另一台电脑映射网络驱动器的方式将UP_Back目录中状态信息按按月整理存储在网络磁盘中,将网络磁盘中状态信息数据整理并入库,系统生成以月为目录的文件夹,无压缩。(4)下载保存地面高空及雨量资料到相应磁盘文件夹。(5) 数据备份后,按照中国气象局相关业务规范,对新一代天气雷达灾害性天气过程个例资料进行整编。再按照程序个例整编模块设计模块进行编程。
3 自动化批量数据处理的关键技术与编程开发
系统开发的关键技术就是实现源数据的自动搜索、识别和抓取、定时执行、批量化处理、数据查询、增加、删除、下载,批量化处理又包括目标数据的更名、压缩和整理。
利用timer实现操作的定时执行雷达数据的抓取,Timer控件是一种通过引发Timer事件,可以有规律地隔一段时间执行一次代码的控件。代码: lbl_GetType.Text = "雷达数据"; FormAutoProduct frmSelectName = new FormAutoProduct()。
数据的压缩重点代码: private void ZipMultiFiles(string file, ZipOutputStream zipStream, string lastName = "")。
文件的自动搜索和整理重点代码 :string SetRadarUrl = ConfigurationManager.AppSettings["SetRadarUrl"]。
资料下载重点代码:label_Add.Text = "源地址:";label_Cpy_Add.Text = "下载到:";label_Cpy_Lc.Text = "下载进程:";label_Write.Text = "已经下载:";label_FileSize.Text = "源文件总大小:"。
4 个例资料整编数据格式对比分析
整编前基数据:2021082012000.05V,数据大小是12M左右,更名整编后数据格式:Z_RADR_I_Z9817_20210820120000_O_DOR_H_SC_VCP_21.bin.bz2,数据大小是850KB左右。产品数据,如19号整编前产品数据20210728.140149.01.19.817,数据大小20KB;产品数据更名整编后是Z_RADR_I_Z9817_20210728060149_P_DOR_H_SC_R_3_75_5.817.bin.bz2,数据大小是10KB左右。经分析发现整编后数据文件比整编前缩小10到16倍,目录也更加清晰简单。为各级预报员和科研人员查询,下载个例资料提供了很大的便捷。
5 结语
系统建立了相应的南充雷达气象资料数据库,同时可以有效实现基数据、产品数据、历史个例资料等气象雷达数据的整编、压缩、入库、查询、统计、下载等功能,减少人为操作,该系统自开发完毕并投入业务试运行一年以来,提高了业务工作效率.为各级气象业务人员下载雷达资料和查询历史个例信息提供了便利,能够满足业务应用中对雷达气象资料存储和检索的要求,达到了对台站雷达资料高效管理的目的。
参考文献
[1] 于希,赵晋,肖丽,等.基于Web的邵阳天气雷达数据管理系统的设计与应用[J].气象水文海洋仪器,2022,39(1):98-100.
[2] 范秀丽,陈欣,李世盛,等.新媒体环境下高校档案文化传播策略及途径分析[J].文化创新比较研究,2023,7(14):60-64.
[4] 李玮,唐辟如,李皓.移动式X波段双偏振雷达资料处理[J].中低纬山地气象,2021,45(3):111-116.
[5] 梁慧.新一代天气雷达个例资料整编系统设计[J].气象研究与应用,2021,42(2):110-114.
[6] 花红霞,李朝晖,田曦章,等.新一代天气雷达资料整编软件的应用[J].智能城市,2020,6(4):46-47.
[7] 戴永欣,牟凤军,许丽景,等.沧州新一代天气雷达数据 整理与个例整编软件设计与实现[C]//中国气象学会.第35届中国气象学会年会 S20 深度信息化:应用支持与智能发展.北京:中国气象学会,2018:35-40.
[8] 王海燕,雒仪.甘肃省自动监测站资料整编方法探索与应用[J].甘肃水利水电技术,2020,56(6):1-4,22.
[9] 姜小云,吴俞.新一代天气雷达基数据管理与个例整编系统设计[J].气象科技,2015,43(4):612-616.
[10] 李春艳,来志云,次仁措姆,等.西藏地区多普勒天气雷达资料的自动处理和入库[J].成都信息工程学院学报,2012,27(2):180-185.
[11] 王兆华,齐晓华,边智.新一代天气雷达原始数据自动整理程序[J].气象水文海洋仪器,2010,27(4):108-109.
[12] 邹书平,武孔亮,罗京义,等.雷达个例资料整编批处理技术与业务应用[J].气象科技,2012,40(4):548-553.