省级气象观测资料集约化监控平台设计

雷卫延，杨家伟，曾乐，王明辉

（1.广东省气象探测数据中心，广东广州 510080；2.惠州市气象局，广东惠州 516002；3.国家气象信息中心，北京 100081）

近年来气象资料的种类和数量呈现出指数增长，监控系统或平台层出不穷。李源鸿等［1］研究开发广东省地面气象综合探测全网实时监控系统；陈冰怀等［2］研究开发风廓线雷达实时监控系统；李建勇等［3］研究开发基于网络提取技术的GPS/MET水汽站自动监测报警系统。2011年以来中国气象局相继部署综合气象观测运行监控系统（ASOM）［4-5］、全国综合气象信息共享平台（CIMISS）［6］、气象综合业务实时监控系统（天镜）等，虽然实现了高效的一体化监控，但国家、省、台站仍只看到本级资料的相关信息，无法实现数据从源端采集到终端应用的全流程实时监控。

本研究基于CIMISS业务系统设计，制定监控信息标准化通信协议，采用监控信息批量传输方式，对关键参数进行测试，使气象观测资料达到全流程分钟级监控的预期效果。气象集约化监控系统按照数据传输流程采用台站级、省级和国家级三级部署，台站级负责采集台站级各类资料监控信息，通过标准化通信协议上传至省级集约化监控平台；省级集约化监控平台负责采集省级各类资料监控信息，融合台站级监控信息后，通过标准化通信协议上传至国家级集约化监控平台；国家级集约化监控平台负责采集国家级、省级和台站级各类资料监控信息和一体化应用。相比CIMISS和“天镜”系统，本研究设计的集约化监控平台优势在于能够获取各类资料在台站级、省级、国家级3级传输节点的数据流信息，及时定位数据传输和处理过程中的故障环节以及所关联的软件等信息。

1 监控平台设计

1.1 设计方案

省级集约化监控平台通过UDP协议收集台站级各类资料监控信息，每分钟定时访问省级CIMISS系统实时数据库，查询省级最近时次15大类气象观测数据的监控信息，按照一定规则将二者融合处理后再统一上传到国家级监控平台，是台站级、省级和国家级全流程集约化监控的最为关键一环。在约定时间内，如果台站级监控信息和省级监控信息均正常采集，需要把二者融合为一条监控信息，数据融合的依据是省级和台站级监控信息的资料站号、观测时间、资料类型等要素，上述3个元监控信息完全一致则匹配成功，启动数据融合，转换成标准JSON格式的监控信息，及时上传到国家级监控平台。如果省级和台站级监控信息任意一条缺失，则不需要数据融合，而是将该条省级或台站级标准JSON格式的监控信息经数据格式转换上传至国家级监控平台［5-7］，在国家级应用平台上可以查看缺失资料的省级或台站级监控信息，准确及时发现资料缺失的具体原因，如根据接收时间、发送时间判断由省级还是台站级引起；根据业务系统判断哪个环节出现问题；根据处理环节获取监控信息来源等，从而提高数据在线监控水平和维修保障效率。

1.2 监控信息格式

通过梳理省级气象观测监控业务流程，获取台站级国家自动气象站、新一代天气雷达、区域自动气象站等主要气象观测数据的监控信息，提取省级15大类、498子类、1 500个细目等所有气象观测数据的监控信息，省级集约化监控平台按照一定规则将台站和省级监控信息进行融合形成省级数据流监控信息，并利用标准化通信协议上传至国家级集约化监控平台［7］。集约化监控系统由台站级、省级、国家级3级组成，每级监控信息都有元监控信息和资料监控信息两部分组成，元监控信息指资料本身的属性信息，包括资料站号、观测时间、记录时间、省属代码、资料类别等；资料监控信息指要获取的数据流传输信息，包括业务系统、处理环节、接收时间、发送时间、上一级资料监控信息等。

1.3 标准化通信协议

台站级与省级、省级与国家级集约化监控信息的对接都是基于标准化通信协议，如表1所示。省级与国家级基于HTTP通信协议，采用POST方法主动将省级监控信息推送到国家级监控平台，相对GET方法，具安全性高、传输数据量大等优点。鉴于气象部门拥有可靠、稳定的VPN网络，UDP传输协议具有消耗资源少、延迟小、传输效率高等特点，因此台站级与省级通信协议采用无连接的UDP协议，更适合台站级和省级多对一的数据传输。

表1 监控信息标准化通信协议

1.4 监控信息批量传输

省级庞大的气象资料监控信息若采用逐条方式上传，则造成系统和网络资源的极大浪费，传输效率低下。采用HttpWebRequest类和POST方法批量推送监控信息，按照批量传输协议每次上传100条，接收端按照批量处理协议同样每次处理100条，大大节约传输时间。采用批量传输处理机制，经过实际验证，最大上传速率可达到700条/s，经过实际测试对于每分钟产生的约1 000条监控信息，不到2 s就能上传到服务器端，加上监控信息提取和数据融合平均耗时15.38 s，从省级监控信息提取到数据融合再到上传国家级监控平台总耗时仅需17.38 s，完全满足1 min集约化监控的时效要求。

1.5 参数测试分析

省级监控平台需要对掌握省级各类资料入库延时参数（简称“延时参数”）和提取省级各类监控信息耗时参数（简称“耗时参数”）等关键信息。气象观测资料从采集源端到省级入库会造成一定的延时，延时参数的取值非常关键，关系到采集气象资料监控信息的准确性和时效性，取值越大意味着获取的监控信息更加准确，但时效性会变差。延时参数的选取需要经过实际测试，在监控信息的准确性和时效性之间取得平衡。分析CIMISS系统资料到报延时情况，如图1所示，当延时时间为5～9 min时，资料到报数量变化不大，说明5 min后全省各类气象资料已基本完成入库，延时参数取5 min比较合适，在此情况下对采集省级所有资料监控信息进行长时间测试，以5 min为周期约有地面、高空、雷达、大气成分、海洋、辐射、农气、服务产品等共计4 800～5 200条。

图1 CIMISS系统资料到报延时分析

提取省级所有资料监控信息所耗费的时间尤其关键，该耗时参数大小决定能否满足1 min超高时间分辨率监控的需求。通过代码不断优化和反复测试，基于迭代查询方式大大节约了数据库海量数据的查询时间，一次性从CIMISS系统数据库获取省级全部业务资料监控信息平均耗时由最初的70 s降低到15 s左右，为实现各类观测资料监控信息分钟级超高时间分辨率的集约化平台奠定基础［8-10］。

1.6 传输处理流程

省级气象观测资料集约化监控平台监控信息传输处理流程如图2所示。

根据统计结果，省级监控平台每天产生大约140万条监控信息，能否把如此庞大的数据流信息及时有效的上传到国家级集约化监控平台，关系到能否达到1 min频次的监控时效。针对此问题，主要采用两种策略，一是剔除每次采集结果中重复的监控信息，避免重复上传；二是采用批量处理、批量上传的高效传输模式［11-13］，大大提高传输效率。

图2 监控信息传输处理流程示意图

2 结论

省级气象观测资料集约化监控平台基于CIMISS数据库设计，监控的时效性取决于省级CIMISS系统对各类资料的采集入库时间，对于少部分可能延迟入库的数据资料，选取合适的延时参数确保观测资料监控信息的完整性。监控平台设计难点在于及时有效的提取省级各类业务资料的监控信息，通过关联分析法将台站推送过来的各类监控信息与省级监控信息有效融合，并把融合后的省级全流程监控信息及时推送给国家级监控平台，为最终实现全国各类气象业务资料1 min高时间分辨率的集约化监控和一体化应用奠定基础。集约化监控平台基于标准化通信协议和全国统一运行业务环境设计，能够及时监控各类资料省级和台站级的传输驻留信息，及时发现资料传输故障节点信息，将极大提高数据在线监控水平和维修保障效率。