基于元数据管理的气象数据广播精细化监控

贺俊彦，刘 然，陈永涛，李小汝

(国家气象信息中心，北京 100081)

0 引 言

中国气象局气象资料卫星数据广播系统(China Meteorological Administration Satellite Broadcast System，下文简称CMACast)是基于先进的DVB-S2标准建设的气象数据卫星广播系统。系统用户分布在国内各级气象部门、非气象行业用户及部分亚太地区国家，CMACast是他们获取自动站、雷达、数值模式产品等气象资料的主要途径。自2012年业务化运行以来，CMACast系统一直承担着气象数据实时传输的重要责任，并作为全球对地观测数据广播系统(GEONETCast)的三大组成部分之一，与欧洲气象卫星应用组织(EUMETCast)和美国GEONETCast Americas共同形成GEONETCast对全球的覆盖。

随着气象数据传输需求的旺盛，CMACast每日广播数据量已经超过400 GB，但与国际同行相比，CMACast在气象数据传输精细化监控和数据资源的管理方面存在较大差距[1]。为此，笔者通过对CMACast系统运行状态、数据传输状态、广播节目表等进行精细化监视的设计和开发，提升了CMACast系统的精细化监控能力。

1 系统设计

1.1 业务现状

作为单向数据广播系统，CMACast系统将从上游通信系统接收到气象数据，遵循DVB-S2标准进行数据广播，各小站用户按需接收数据，实现一对多的实时数据传输[2-3]。其业务流程如图1所示，其中播发平台位于国家气象信息中心，用于气象数据广播业务的调度、用户管理以及系统监控。

图1 CMACast系统结构

CMACast原有监控系统完成了授权管理、主站播发调度、主站状态监控等主要功能，但随着广播数据量的激增和精细化运维的需要，原有监控系统也逐渐显露出瓶颈，其体现在以下三个方面。

(1)气象数据资源的管理能力不足。

通过CMACast广播的数据达到12大类，涵盖地面、高空、海洋、辐射等四百余种气象资料。为了让用户明了广播数据清单，管理人员以word文档的方式制作了广播节目表，并定期进行发布。但随着广播资料量的增大，广播节目表中需要收录和描述的条目越来越多，word文档已超过300页。不仅用户使用十分不便，管理员对节目表的版本管理难度也很大。类比国际上相似的大型气象数据服务系统，Eumetsat可以提供在线数据清单以供用户订阅，GEONETCast Americas也同样提供在线数据样例，在方便用户使用的同时极大地提升了数据展示力度。

(2)文件级播发监视力度粗犷。

原监视平台对于用户十分关心的部分关键资料播发情况缺少有效的监视[4]。例如，对天气预报人员十分重要的大气模式确定性预报产品如出现停发、缺乏、迟发等情况，无法通过监控平台及时发现，往往是小站人员在使用资料时才能发现。反观与CMACast规模近似的Eumetsat，其官网上设置了专门的栏目，针对部分重点资料提供播发完整性、播发及时性以及缺发文件清单的在线查看，数据监控的精细化程度可见一斑。

(3)对小站状态的监管能力不足。

CMACast是单向广播系统，通过卫星信道无法将小站端的接收情况返回给主站[5-7]，导致主站无法对小站的接收情况进行有效的监视。当接收小站因天气原因、电磁干扰等问题无法正常接收时，主站却因无法感知到异常状态而继续下发大量的数据。为掌握重点用户(例如省级气象部门)的接收情况，技术人员只能手工对小站进行监视信息的调取和查看。

1.2 整体设计

为解决以上问题，笔者对CMACast监控系统进行了改造升级，在原有平台基础上设计了CMACast精细化监控系统的总体结构，提供面向主站及小站用户的CMACast播发性能监视及告警，同时提供在线广播节目表，兼具日常业务监视和展示功能，为用户提供更加便捷的气象数据服务。

该系统的设计难点在于，需要在原有国家级主站和省级接收小站应用中增加新的功能模块，并确保新模块“即插即用”，不影响原有业务运行。为此，该文在系统设计中采用了低耦合度的方法，在原有业务软件基础上，增加了三类数据流程，并开发新的功能模块，做到功能的平滑上线。其系统结构如图2所示，其中虚线部分为新增功能模块。

图2 系统结构

在原有的单方向资料下发流程之外，新增三种数据传输流程，如下所述：

(1)小站状态信息上报流程。

为充分利用现有气象部门国省间气象通信系统及地面线路，笔者将小站状态信息作为一类特殊数据进行收集，并由国家级气象通信系统将状态信息发送至CMACast播发主站进行数据解析，以便解决小站状态信息回传问题。其数据流程如图2中虚线箭头所示。

(2)主站监控信息处置流程。

CMACast主站原有的网管监控数据库中主要存储的是主站播发状态信息和小站用户身份及授权信息。在该数据库基础上，笔者增加了关键资料监控特征及小站状态信息的写入流程，同时也将结构化的广播节目表数据进行了存储(如图2中加粗虚线箭头所示)。该流程在不影响原有业务流程的情况下，为关键资料精细化监控、运行状态展示、在线广播节目表等功能模块提供数据支撑。

(3)监控配置下发流程。

在保留原有数据下发流程的基础上，笔者还增加了关键资料监控配置数据的下发流程(如图2中点划线箭头所示)。这些配置数据包含了关键资料的监控特征等信息，与下发的气象数据一起通过卫星链路发送给各小站，小站端利用新增的处理模块对这些监控配置进行处置。

1.3 功能设计

CMACast精细化监控系统采用B/S结构，在原有CMACast广播系统的基础上，完善广播节目表管理和发布、主站广播系统性能监视、主站文件级播发监视、小站监控等功能，其系统总体功能模块如图3所示。

图3 系统总体功能模块

该系统可分为主站和小站两大子系统，各系统功能构成如下：

(1)主站监控子系统。

主站监控子系统由监控管理和节目表管理两部分组成。监控管理是精细化监控系统的核心，负责对CMACast系统的播发平台、卫星主站的业务监控，包括系统运行状态、数据播发状态、数据播发统计分析、关键资料播发监控及告警等。节目表管理是提供对CMACast广播的资料元数据在线管理功能，包括节目表制作、节目表更新管理、节目表导出、节目表条件查询、小站授权管理。

(2)小站监控子系统。

小站监控子系统主要实现对接收小站的系统状态、关键资料接收状态的回传监控。主要包括小站接收状态监控、关键资料接收监控、数据接收统计分析、小站监控信息回传等模块。

2 关键技术

2.1 基于元数据的广播节目表管理

通过CMACast下发的资料种类繁多。为了对这些资料进行有效的管理，CMACast将这些数据划分到200余个逻辑通道中下发，这些逻辑通道类似于数字电视网络中的电视频道。而在各个通道中不同时间点开始下发的数据，则像是一个个电视节目。为了让接收用户更方便地找到需要的数据，CMACast编制了电子文档形式的广播节目表，对资料的名称、内容说明、获取渠道、播发时间等进行了描述。但对于这样的电子文档进行版本控制和大范围分发都是十分困难的。

为此，笔者采用元数据方式对广播节目表进行了优化，并参照国标和气象行标[8-9]建立了广播资料元数据。元数据是一种数据管理技术，它可以对数据特征进行抽象化的描述，被广泛应用于国内气象部门数据管理及业务系统的建设中[10]。广播资料元数据包含：(1)气象数据基础信息，描述资料属性的关键要素。包括所属资料类型、资料名称、四级编码、生产中心、简式报头、文件名称、文件名命名规则、文件内容格式说明、编码格式等信息。(2)广播信息，描述在CMACast系统中传输的业务属性。包括广播通道、通道目录、存储路径、广播时间、广播状态、补调路径等信息。(3)管理信息，描述资料使用权限等属性。包括授权范围、下发文号、说明附件等信息。

同时，笔者在元数据中还设计了一种四段式编码作为广播元数据的唯一标识[11]。该编码由四段字符组成，以符号“.”间隔，格式为X.NNNN.nnnn.Yaaa。其资料分类符合QX/T 133-2011 《气象要素分类与编码》的规定，并可体现出资料之间的血缘关系，涵盖了所有气象数据，数据字典如表1所示。例如大气模式确定性预报产品，属于数值分析预报类(F)，一级分类属于欧洲中心天气模式产品(0010)，二级分类属于高分辨率产品(0002)，其元数据在CMACast系统内四级编码为F.0010.0002.B001。

表1 四级编码数据字典

在此基础上，笔者采用XML技术对所有CMACast广播下发的气象元数据进行了制作，从而将原有的电子文档形式的广播节目表全部实现在线WEB方式浏览，并提供数据样例下载等服务，方便用户查询、了解资料信息，同时保持了节目表内容的一致性。

2.2 数据播发精细化监控

数据播发的精细化监控指标主要包括播发的完整性、及时性以及正确性。其中完整性监视是指在规定的时间段内，某个资料实际播发文件数是否不少于设定的应发数。及时性监视是指在规定的时间段内，某个资料是否开始进行数据播发，若有则视为及时，否则视为不及时[12]。正确性监视则是指广播系统获取的某个资料是否符合节目表中指定的文件命名，若符合则视为正确，否则视为不正确。

为此，笔者对各类播发资料进行了分析，得出四种具有鲜明特点的播发规律[13]。这四种播发规律分别是：

(1)24小时内间隔固定时间播发，每时间段内应发文件数量固定。

符合这种播发规律的资料播发间隔时间固定，且每日的播发量固定。多数卫星资料产品，大部分常规资料通道中播发的资料等播发时间符合此类规律。例如，SATE_FY2D_SVS通道的FY2D 1级数据S-VISSR数据流资料，文件名形如FY2D_YYYY_MM_DD_HH_MM.vsr$NNNN，自每日00:30开始播发，间隔时间为1小时，每个播发时间段内播发文件2 762个。

(2)24小时内固定离散时间点播发，应发文件数量固定。

符合这种播发规律的资料每天在固定的一个或多个时间段内播发，且每时间段内播发数量固定。多数数值预报产品资料均可归类于此种规律。例如，NWP_MCTR_002通道的大气模式确定性预报产品，文件名形如W_NAFP_C_ECMF_yyyyMMddhhmmss_P_C1DMMDDHHIImmddhhii1.bin，其00Z时次产品播发的时间段为05:40-07:00，12Z时次产品播发的时间段为17:40-19:00，每个播发时间段内播发文件各播发文件54个。

(3)每月固定离散天中的播发。

符合这种播发规律的资料在每月固定的一个或多个离散的天内播发，且在该天内播发时间固定。例如，生态与农业气象大气要素观测资料、单站基本气象要素数据文件-农气资料等符合此类播发规律特征。例如，OBS_DOM_PUB通道的生态与农业气象大气要素观测资料，文件名形如Z_ECO_C_CCCC_YYYYMMDDHHmmss_O_AWS.TXT。其播发时间是每旬1日、11日、21日，而且会在每日的01:30前播发。

(4)每日固定时间点前播发。

符合这种播发规律的资料在每天固定的一个时间点前播发完毕。部分数据预报资料符合此类规律。例如，SEVP_WE_001通道的全国城镇精细化预报产品，文件名形如Z_SEVP_C_BABJ_YYYYMMDDhhmmss_P_RFFC-SCMOC-YYYYMMDDhhmm-FFFxx.TXT。该产品每日00时次的资料在18:30前播发。

对应这些特征，笔者采用资料文件名正则表达式、监控时间窗、应发数等指标对其进行了数字化描述，其处理逻辑如图4所示。

(1)管理员通过精细化监控前台设置关键资料的监控参数，程序将监控参数发给监控后台程序。

(2)广播的文件信息由预处理和播发引擎发出，关键资料监控程序进行数据分析和处理。关键资料监控程序会对每个文件进行规则匹配，符合监控规则的文件会分发到相应的规则队列，程序会轮询计算监控指标，判断是否超过指标阈值。

图4 关键资料监控处理逻辑

(3)后台程序将关键资料的精细化监控信息写入数据库，监控信息包括关键资料广播数据及关键资料的及时性、完整性、正确性的计算结果。

(4)关键资料精细化监控信息在界面上以列表的方式进行展示。

2.3 小站监视信息采集回传

典型的卫星单向数据广播系统都是不具备回传信道的，要想解决这个问题，一般有两种思路。其一为采用DVB-RCS(Interactive Satellite System)技术，其依托卫星信道，有国际标准可循，安全性也最高，但需要大量卫星通信设备支持，造价昂贵[14-15]。另一种思路则是借助地面线路，由应用软件加以实现。其特点是实现简单，但没有标准的数据协议支持。地面线路又可再分为互联网和地面专线两种。从安全性考虑，地面专线方式无疑较互联网方式具有更高的安全性。表2是对这三种实现方式的特征分析，笔者最终依托中国气象局地面宽带网CMANet实现了小站接收状况的自动回传，有效解决了传统单向广播系统无回传手段的问题。

表2 信息回传技术方案对比

在小站新增加的监控模块可定时采集运行状态信息，并按照固定的格式封装为气象短报文，并上报给省级气象通信系统。省级通信系统按照气象数据文件业务上行流程[16]，将其与其他气象数据一起，通过国省之间的CMANet网络上传到国家级通信系统。该状态信息经过处理后，将其卡号与主站数据库中的小站名称匹配，并按照其登记的建站经纬度在GIS地图上进行显示。同时，将小站分为良好、一般、较差三种状态。计算小站信噪比和未完整接收率，当这两项指标全部高于设定阈值时判定为正常，任意一项低于阈值判定为较差，其余情况则判定为一般。图5为小站回传信息的数据流程。

图5 小站回传信息数据流程

3 应用效果

3.1 气象广播数据在线管理

广播节目表是用户了解CMACast系统广播资料内容及资料获取途径的有效方式。在线版的广播节目表不仅便于用户查看，也更便于管理员维护数据。此次将节目表通过页面嵌入的方式发布到国家气象业务内网，让用户可以更便捷的访问，也确保了CMACast精细化监控系统与气象业务内网之间的松耦合程度。

CMACast现有12大类气象数据资料，下发的资料种类达到435种。主站业务管理人员可对广播节目表进行制作和版本管理，供小站用户在此系统中进行定制化的检索和下载，新增资料也会在页面醒目位置进行提醒。

节目表按照资料类型以树形结构对广播资料进行分类展现，用户可以根据资料种类进行查找，最终通过资料类型来定位到资料所在的通道。相较于旧有word版节目表展现方式，这种使用方式更加便捷。在线节目表界面如图6所示。

图6 在线节目表界面

3.2 播发精细化监控

CMACast精细化监控系统，具备广播性能监视及文件级播发监视、告警能力，同时提供CMACast播发性能数据统计分析功能，兼具日常业务监视和展示功能。

针对重点的常规资料、卫星及数值预报、旬月报、精细化预报资料进行精细化监控。出现停发、缺发、迟发现象后自动进行告警。以“大气模式确定性预报产品”监视为例，运维人员可在精细化监控系统直观查看每个时次的实发情况，也可以查看更细致的文件清单以及历史播发情况。小站关维护人员也可以通过对比主站播发情况和小站接收情况来协助定位气象数据缺收问题。关键资料监控页面如图7所示。

图7 关键资料监控页面

3.3 系统综合监控能力提升

精细化监控系统横向涵盖了播发主站、接收小站的监控，纵向对系统硬件状态、关键进程、资料播发状态进行实时监控展示，确保监控的全面覆盖，提高了全系统的综合运维能力。

系统部分界面如图8所示。

主站和小站运维人员均可通过精细化监控系统查看当前CMACast运行状态和数据广播状态。CMACast全系统运行状态、数据广播情况对用户开放，不仅可以减轻运维工作人员压力，提高工作效率，作为对外展示的窗口，也推进了CMACast系统数据服务，为用户提供更及时、完整的气象数据。

图8 CMACast精细化监控界面

4 结束语

CMACast精细化监控系统以数据为中心，建立气象广播元数据，通过四段编码式标识,实现统一的元数据组织管理，建立起气象数据的血缘关系。广播数据包含地面、高空、海洋等12类气象数据，精细化监控系统实现对多种类、多格式的气象资料一体化管理。系统业务化后，保障了CMACast系统的稳定运行，降低了人工运维成本和难度，在为气象预报预测业务提供可靠的数据服务中发挥了重要作用。