基于Hadoop技术的气象数据实时传输监控系统设计

陶 淘，彭 颖，张晨亮

(1.新疆维吾尔自治区气象信息中心，乌鲁木齐 830002；2.西南民族大学 计算机科学与工程学院，成都 610041；3.新疆维吾尔自治区气象技术装备保障中心，乌鲁木齐 830002)

0 引言

气象数据是通过对大气、海洋等自然环境的观测、分析和处理，得到的描述气象现象和气象变化的数字化信息[1-2]。气象数据包括天气资料与气候资料，是反映天气情况的数据参量。气象仪设备所采集到的气象数据可以用来描述气象问题的表现情况，然而，在气象数据的传输过程中，可能会出现数据丢失、重复、错误等问题，因此，需要对传输的气象数据进行监控，及时发现和处理问题，保证气象数据的准确性和完整性。在监控风、雨、雪、雷等气象问题时，保证数据样本的真实性，才是保证监控效果的必要条件。

文献[3]设计了基于Hybrid模式精细化移动气象服务系统，在Hybrid开发模式的基础上，开发MVC应用插件，再联合HTML5融合技术，实现了气象信息在移动终端的交互性展示，由于Hybrid模式的功能复用性相对较高，所以在气象数据迭代传输的过程中，主机元件可以对信息参量所表现出的气象问题进行实时监控。文献[4]设计了面向局部定点区域的微型气象监测系统，基于Raspberry Pi 4B平台，开发微型气象数据采集装置，可以实现对多种气象参数的同时采集，也能够利用Qt程序开发服务端软件，实现对气象数据监控结果的图形化显示。然而在面对风、雨、雪、雷等现象同时存在的复杂气象问题时，上述两种系统不能准确分析气象问题的表现情况。

Hadoop是一种分布式应用架构，具有较强的自主运行能力，底层用户对象可以在不了解节点连接细节的情况下，自由开发分布式程序，在实际应用过程中，该类型框架结构能够展现出分布式集群的高速运算与存储能力[5]。HDFS作为Hadoop架构体系的核心应用组件，具有高容错性的连接特点，由于该类型部件直接部署于主机单元等硬件结构上，且能够为接入数据提供较高的访问吞吐量，所以只要HDFS部件保持相对稳定的连接状态，Hadoop架构体系就可以对传输数据进行快速转存与处理。相较于其他类型的架构体系，Hadoop分布式平台的可靠性等级更高，即使是在单一数据样本存储失败的情况下，只要保证其他访问节点保持连接状态，就可以依靠分布式集群的连带作用，实现对数据信息参量的按需处理[6]。基于上述分析，在Hadoop技术的基础上，设计一种新型的气象数据实时传输监控系统。

1 气象数据实时传输监控系统硬件设计

气象数据实时传输监控系统的硬件部分包括JTAG电路、数据采集器、风速风向监控设备、雨、雪监控设备等多个应用结构，本章节将针对其具体设计方法展开研究。

1.1 JTAG电路调试

JTAG电路调试是按照气象数据的实时传输需求，规范基础电路结构的连接形式，在为气象仪设备提供足量电力信号的同时，确保监控所得气象数据能够传输至目标显示区域中，从而使得实时性要求得到最大化满足。JTAG主板在反相器设备的驱动下，持续向外输出电量信号，整个过程中，TCK元件、DGND元件、TDI元件保持连续闭合状态。TCK元件负责感知电量信号的实时传输状态，对于气象仪设备而言，其对于气象数据的采集行为必须受到电量信号的完全驱动作用，所以只有在电信号输出总量足够大的情况下，气象仪设备才能实现对气象数据的准确监控。DGND元件接受JTAG主板的直接驱动，在恒压、恒流情况下，该元件整合TCK元件输出的所有电信号参量，并对其进行初步的过滤处理，以确保气象仪设备能获得稳定的电量供应。TDI元件负载于JTAG主板与AT24C512设备之间，当TDFN设备中的电信号聚合总量达到实际需求标准后，AT24C512设备进入持续连接状态，当前情况下，TDI元件将所接收到的交流电联信号转换为直流状态，以供气象仪设备在采集气象数据的过程中可以直接调取与利用。JTAG电路连接形式如图1所示。

图1 JTAG电路结构图

在气象数据实时传输监控系统中，JTAG电路所输出的电量信号可供气象仪设备直接应用，所以为使气象仪设备能够准确监控气象数据，调试电路结构时，应严格要求TCK元件、DGND元件、TDI元件的实时连接关系。

1.2 数据采集器设计

数据采集器是气象仪设备的核心组成结构，对于气象数据实时传输监控系统而言，该部件的应用能力决定了气象仪设备能否对气象数据进行实时采集。Hadoop架构体系为数据采集器提供了分布式连接环境，这就表示管理模块组织之间的连接关系需满足分布式执行需求。整个数据采集器由气象数据采集终端、串口单元两部分组成。气象数据采集终端在8位微控制器元件的作用下，同时协调AVR mega 1 280、RISC、AVR三类应用部件。其中，AVR mega 1 280部件直接响应JTAG电路输出的电量信号，为气象仪设备提供采集气象数据所需的驱动作用，随着待测数据样本总量的增大，该部件所负载的电信号总量也会不断增大[7]。RISC部件接收8位微控制器元件输出的实时监控指令，可以感知气象仪设备对于气象数据的采集需求，从而在准确分析气象问题表现情况的同时，对采集到的气象数据参量进行分类处理。AVR部件管理下级串口单元，能够联合AVR mega 1 280与RISC结构，感知系统主机对气象数据的实时监控需求，从而避免电量信号出现过度传输的情况，使得气象仪设备能够对气象数据进行按需采集。数据采集器结构如图2所示。

图2 数据采集器结构模型

RS-45串口、RS-232串口、RS-257串口存在于气象数据采集器与数据采集终端之间，具有双向传输数据信息参量的能力，一方面可以将JTAG电路输出的电量信号传输至气象数据采集器中，以供其对气象问题进行实时监控，另一方面也可以将气象数据采集器采集到的气象数据传输至数据采集终端中[8]。因此，数据采集器的设计，必须保证RS-45串口、RS-232串口、RS-257串口之间的实时连接关系。

1.3 四要素监控模块设计

1.3.1 风速风向监控设备设计

风速风向监控设备应用于系统主机监控风类气象数据的过程中，由供电箱、风速测量仪、风向测量仪、预警装置共同组成，其监控所得气象数据样本会在Hadoop分布式协调服务请求的作用下，直接回传至系统监控主机中。预警装置存在于风速风向监控设备的最左端，当风力等级高于设备元件的可测量范围时，预警装置发出警告。供电箱存在于预警装置右侧，借助传输导线与JTAG电路相连，在数据采集器采集气象数据的过程中，供电箱保持连续运行状态。风速测量仪、风向测量仪借助外接导线与供电箱相连，前者存在于风速风向监控设备的最右端，非监控状态下，该装置保持横向水平状态，表示当前情况下，风速水平为零，在监控气象数据实时传输行为的过程中，该装置不断发生偏转，其最终所处位置与初始位置之间的差值可以用来表示当前情况下的风速水平[9-10]。风向测量仪存在于风速测量仪左端，二者运行原理基本相同，非监控状态下，该装置也保持横向水平状态，而在监控气象数据实时传输行为的过程中，该装置不停旋转，其最终所处位置就表示当前情况下的实时风向。风速风向监控设备如图3所示。

如果气象数据传输过程中，风速风向监控数据继续发生变化，那么监控设备所得测量结果也会不断发生改变，当前情况下，为保证监控结果的实时性，可以断开数据采集器与风速风向监控设备之间的连接关系。故而，风速风向监控设备的设计，应在风速测量仪、风向测量仪处于横向水平状态后，开始监控。

1.3.2 雨、雪监控设备设计

雨、雪监控设备由降雨量监控、降雪量监控两部分组成，应用于系统主机监控雨雪类气象数据的过程中，接受JTAG电路的直接控制，能够在DATA-9201监测终端的配合下，将降雨量、降雪量测量结果转化成气象数据样本，从而使得数据采集器元件能够对其进行按需提取。雨量筒负责收集监控区域内的实时降雨，所得数据样本经过超声波质量测量计元件的处理后，传输至DATA-9201监测终端中。雪量筒负责收集监控区域内的实时降雪，所得数据样本在经过超声波液位计元件的处理后，也传输至DATA-9201监测终端中[11-12]。由于“雨”、“雪”是两类完全不同的气象问题，所以气象仪设备针对这两种天气行为所采集到的气象数据也不相同，故而为使系统主机能够对气象数据实时传输行为进行准确监控，雨、雪监控设备必须具备两套完全独立的数据传输模式，且二者之间不得存在相互影响关系。对于雨、雪监控设备的作用原则如图4所示。

图4 雨、雪监控设备作用原则

DATA-9201监测终端是多样性监控设备，同时接收超声波质量测量计、超声波液位计输出的气象数据，在气象数据实时传输监控系统中，该终端结构的响应能力受到JTAG电路内电信号实时输出水平的影响。此外，在雨、雪气象问题同时存在的情况下(如雨夹雪)，雨量筒，雪量筒都会测得一定的数据对象，当前情况下，超声波质量测量仪、超声波液位计也同时向DATA-9201监测终端反馈气象数据样本，设计雨、雪监控设备，也必须保障DATA-9201监测终端对雨量气象数据、雪量气象数据的实时处理能力。

1.3.3 雷电监控设备设计

雷电监控设备负责检测雷电类气象问题，记录仪元件所记录的雷电气象数据在CDMA网络终端内大量汇集，此时实时传输监控系统的雷电数据处理器快速运行，直至实时监控平台中能够显示出清晰的雷电图像。出于精准性考虑，雷电监控设备外部同时负载多台雷电信号记录仪元件。在实际测量过程中，若不存在雷电问题，JTAG电路也就不会向雷电监控设备传输电量信号，雷电信号记录仪元件也就处于完全静止状态[13]。为保证气象数据实时传输监控结果的有效性，即便是在极其轻微的雷电情况下，所有雷电信号记录仪也会同时进入运行状态，一方面能够避免非精准监测情况的出现，另一方面也可使CDMA网络终端对所得气象数据进行多样化整合处理。雷电信号记录仪与CDMA网络终端之间存在气象数据传输关系，为满足Hadoop协调服务请求的分布式传输需求，数据样本传输行为只能保持单向性特征[14]。CDMA网络终端与雷电数据处理器之间的数据传输关系则具有双向性特征，当雷电气象问题相对较为严重时，气象数据由CDMA网络终端传输至雷电数据处理器，否则气象数据则保持反向传输状态，这也是非雷达气象问题情况下，雷电监控设备也接受气象数据实时传输监控系统按需调度的主要原因。雷电监控设备设计结构如图5所示。

图5 雷电监控设备结构简图

雷电监控设备的设计，要求实时监控平台作为气象数据实时传输监控系统与处理器元件之间的数据传输通路，应将所接收到的雷电类气象数据反馈回监控系统的核心运行主机，以供主机元件能够制定统一的监控指令执行方案。

1.3.4 温、湿度监控设备设计

温、湿度监控设备以温湿度传感器作为核心应用元件，在气象数据实时传输监控系统中，传感器前端的一体式探头感知外界气象问题，并将所得气象数据以温度信号、湿度信号的形式，传输至数据采集器终端中，再经过非线性校正、运算放大等多次处理后，经由端口组织被系统核心监控主机获取，从而生成完整的气象数据实时传输监控信号。温度、湿度是实时传输监控系统最主要的气象测量数据，自然环境中，任何细微的气象变化都会导致温度、湿度水平随之改变，因此在设计温、湿度监控设备时，要求数据样本的实时传输接口必须与数据采集器部件保持紧密的信息互传关系[15]。

温、湿度监控设备对于气象数据的监控是一种感知性行为，在满足实时传输需求的情况下，sensor终端同时采集大量的气象数据，但受到终端元件运行特性的影响，所得信息参量的排列顺序符合时间性原则，即采集时间越靠前的气象数据的输出顺序越靠前。对于气象数据实时传输监控系统而言，其在单位运行周期内可能需要大量的温、湿度采集数据作为依据，才能生成准确的监控指令，所以sensor终端对于气象数据的采集还具有持续性的特征[16]。随着气象数据实时累积量的增大，温、湿度监控设备的运行速率可能会出现一定程度的下降，但由于该设备接受JTAG电路的统一调度与调试，所以持续连接的信道组织会在气象数据传输速率降低至额定数值标准之下时，就将信息参量反馈回监控系统的核心处理终端中，这也是温、湿度监控设备实时运行速率不会出现明显下降状态的主要原因。

2 Hadoop下的实时气象数据处理

气象数据实时传输监控系统硬件的运行，接受Hadoop架构体系的统一调度，因此，为实现对气象数据的实时监控，在Hadoop技术支持下，完成对监控数据样本的预处理。

2.1 Hadoop架构体系搭建

Hadoop架构体系由业务模型层、任务调度层、数据处理层、数据存储层、资源管理层5个层级组织共同组成，在Hadoop分布式协调服务请求的配合下，所有层级组织保持同步运行状态，在气象数据实时传输监控系统中，负责对气象仪设备采集到的气象数据进行分布式传输。Hadoop分布式协调服务请求同时面对5个不同的层级组织，在监控气象数据的过程中，保持服务请求的完整性，才能使Hadoop架构的分布式运行能力得到充分发挥。业务模型层负载气象数据实时传输请求与业务逻辑处理请求，联合任务调度层制定与气象数据实时监控相关的任务调度指令。数据处理层同时执行Map Reduce计算、Spark Core计算与Storm计算指令，在Hadoop技术支持下，该层级组织同时协调所有系统应用部件[17-18]。数据存储层配合资源管理层实时对气象数据的实时监控，在Hadoop架构体系作用下，气象数据实时传输监控系统的运行能力受到四要素监控模块中气象数据检索结果的直接影响。Hadoop架构体系的逻辑连接结构如图6所示。

图6 Hadoop架构体系的逻辑连接结构

Hadoop架构体系作为气象数据实时传输监控系统的软件运行环境，担负任务调度、数据存储等多项执行指令，所以在各级应用部件监控气象数据的过程中，Hadoop架构体系的逻辑连接形式必须完成稳定状态。

2.2 数据预处理

实时传输监控系统的数据预处理，是按照Hadoop架构体系的搭建需求，将主机元件所采集到的气象数据整合成既定传输形式。Hadoop技术处理气象数据时，要求四要素监控模块必须同时与数据采集器保持实时连接关系，一方面维持数据样本的稳定传输状态，另一方面也可以保证分布式协调服务对数据信息参量的处理能力[19-20]。

(1)

利用公式(1)，推导数据预处理表达式为：

(2)

Hadoop技术下，实现对气象数据的处理，要求数据预处理条件不等于零的取值条件恒成立，特别是在四要素监控模块所采集气象数据样本总量不平均的情况下，数据预处理表达式不等于零是保证传输监控系统能够对气象数据进行实时处理的必要条件。

3 业务信息表配置

实现系统主机对气象数据的实时传输监控功能，在Hadoop技术的支持下，连接数据库体系，并以此为基础，完成对业务信息表单的配置。

3.1 数据库连接

实时传输监控系统数据库存储主机元件采集到的所有气象数据样本，但由于四要素监控模块所提供数据样本具有差异性，所以连接数据库体系时，必须对风速风向监控设备、雨、雪监控设备、雷电监控设备、温、湿度监控设备所输出信息对象进行明确区分。

风速风向类气象数据定义式：

(3)

式中，χ1表示数据库体系对风速风向类气象数据的存储参数，E′表示四要素监控模块所提供气象数据样本总量，γ1表示风速风向类气象数据实时响应参数，w1表示风速风向类气象数据检索特征。

雨、雪类气象数据定义式：

I2=χ2|E′|-γ2w2

(4)

式中，χ2、γ2分别表示雨、雪类气象数据存储参数与实时响应参数，w2表示该类数据样本的检索特征。

雷电类气象数据定义式：

(5)

式中，χ3、γ3、w3分别表示雷电类气象数据的存储参数、实时响应参数与检索特征。

温、湿度类气象数据定义式：

(6)

式中，χ4表示数据库体系对温、湿度类气象数据的存储参数，γ4、χ4分别表示该类数据样本的实时响应参数与检索特征。

联立公式(2)、公式(3)、公式(4)、公式(5)、公式(6)，求解实时传输监控系统数据库连接式。

(7)

其中：φ1、φ2、φ3、φ4分别表示与I1、I2、I3、I4匹配的气象数据样本实时连接参数。为实现对气象数据样本的无差别存储，连接数据库体系时，要求φ1≠0、φ2≠0、φ3≠0、φ4≠0的不等式取值条件同时成立[21-22]。

3.2 信息表配置

业务信息表定义了气象数据实时传输监控系统运行所需的连接条件，配合Hadoop技术完成数据库连接后，主机元件必须按照业务信息表配置标准，才能根据气象仪设备采集到的气象数据，分析气象问题的表现情况。由于数据库体系中同时包含4种气象数据样本，所以配置业务信息表，必须保证主机元件对已存储气象数据的无差别监控能力[23]。

无差别监控参数为：

(8)

式中，s1表示风速风向类气象数据识别参数，s2表示雨、雪类气象数据识别参数，s3表示雷电类气象数据识别参数，s4表示温、湿度类气象数据识别参数，ε表示无差别判别参量。

如果气象仪设备没有采集到某一类气象数据，那么与该类数据样本匹配的识别参数取值为零[24]。

联立公式(7)、公式(8)，推导业务信息表配置表达式：

(9)

其中：ι表示气象数据采集系数，f表示气象数据样本的业务信息参量，g表示配置条件核准参数。

系统主机的最基本应用是实现对气象数据的实时传输监控，因此，在配置业务信息表时，各级系统应用部件应保持稳定运行状态。

4 实验分析

为了验证设计的基于Hadoop技术的气象数据实时传输监控系统的有效性，进行实验分析。气象仪设备采集到的气象数据，可以用来分析气象问题表现情况，对于系统主机而言，这些气象数据能够作为监控风、雨、雪、雷4种气象问题的主要依据。分别选择本文设计的基于Hadoop技术的气象数据实时传输监控系统(实验组)、文献[3]设计的基于Hybrid模式精细化移动气象服务系统(对照1组)、文献[4]设计的面向局部定点区域的微型气象监测系统(对照2组)作为实验对象，将上述3种系统的执行程序分别输入PRA软件中，显示指令框后，开始录入气象数据，气象数据输入如图7所示。

图7 气象数据输入

PRA软件对于气象数据的监控准确性较高，但其运行需要一定的响应时间，在PRA软件未达到稳定运行状态之前，所得监控数据不符合本次实验的需求。规定：PRA软件对气象数据的监控准确度达到90%时，所得监控结果才具有参考价值，且考虑其稳定性，还要求该准确度条件必须具有长期持续的特征。

PRA软件监控气象数据时的运行特性如图8所示。

图8 PRA软件运行特性

根据图8可知，PRA软件开始运行30 min后，其对于气象数据的监控准确性才能达到90%，因此在完成气象数据输入后，等待30 min，才开始记录PRA软件对于气象问题的分析结果。

选取A、B、C三个场景，作为监控目标，分别对这3个场景中的气象数据进行取样，如表1所示。

表1 实验场景的气象数据取样

其中：“*”表示该场景无法取得该类气象数据，即该场景不存在该类气象问题。

PRA软件处于稳定运行状态后，将A、B、C三个场景采集到的气象数据输入软件，再分别应用实验组、对照1组、对照2组软件的执行程序，调节PRA软件对于所输入气象数据的实时传输监控能力，从而确定所选系统对风、雨、雪、雷4种气象问题的监控能力。

将气象数据监控结果和监控系统响应时间作为系统设计的技术参数，其中，气象数据监控结果越接近表1中气象数据取样结果，说明系统的实用性越强；监控系统响应时间越小，说明系统的实时性越好。

实验组、对照1组、对照2组系统作用下，PRA软件对于所输入气象数据的监控结果如图9所示。

图9 不同系统的气象数据监控结果

分析图9可知，实验组执行程序作用下，A、B、C三个场景的风力、降雨、降雪、雷电等级监控结果均与表1所示取样结果保持一致。对照1组执行程序作用下，A、B、C三个场景的风力等级监控结果均与实际取样结果不同，但降雨、降雪、雷电等级监控结果与表1保持一致。对照2组执行程序作用下，A、B、C三个场景的风力等级监控结果与表1保持一致，而降雨、降雪、雷电等级的监控结果与实际取样结果不同。此外，若某场景中无法取得某一项气象数据，那么实验组、对照1组、对照2组系统对这一类气象问题的监测结果都不会出现差错。

实验组、对照1组、对照2组系统作用下，不同系统的响应时间对比结果如表2所示。

表2 不同系统的响应时间对比结果

根据表2中的数据可知，针对风、雨、雪、雷4种气象数据，对照1组和对照2组的平均响应时间分别为70 ms和76.5 ms，而实验组的平均响应时间仅为61.3 ms。由此可知，实验组的监控系统响应时间较小，说明实验组监控系统的实时性较好。

综合上述分析可知，基于Hadoop技术的气象数据实时传输监控系统能够根据气象仪设备采集到的气象数据，准确分析气象问题的表现情况，在实时监控风、雨、雪、雷4种气象问题方面，确实具有较强的实用性价值和较好的实时性。由于气象问题具有偶发性，所以本次实验结果不可以用来描述实验区域的气象特点。

5 结束语

为了准确分析气象问题的表现情况，设计了基于Hadoop技术的气象数据实时传输监控系统。联合JTAG电路，调节数据采集器与四要素监控模块的连接状态，通过配置信息表单的方式，确定数据库体系对于气象数据样本的存储能力。通过实验验证了基于Hadoop技术的监控系统可以根据已输入的气象数据样本，分析该区域内气象问题的表现情况，能够准确获取在面对风、雨、雪、雷4种气象问题同时存在的复杂天气环境时的监控结果，且具有较好的实时性，确保符合实际应用需求。