樊磊?王壮壮?魏波
摘 要 本文基于地面气象测报自动化的现实状况,有针对性地对地面气象测报信息化数据处理的价值意义以及数据质量进行了探索,并从气象大数据的角度,探索了气象测报地面信息化数据处理技术当中的一些核心技术,仅供参考。
关键词 地面气象测报自动化;数据质量;数据处理技术
1地面气象测报自动化
1.1 地面气象测报自动化概述
地面气象测报一般是地面自动气象站进行观测,包括了温度、气压、湿度、风向、风速、地温、辐射、降水、云、能见度、天气现象等等,目前地面自动化气象站,在观测频次上较人工观测约增加4~8倍,观测数据传输用时由以前的分钟级,优化为秒级,数据采集流程以不落地方式直接传输至省级气象局。很显然这种形式是高效探测与信息化数据处理为主要方向的新模式。
地面气象观测数据在自动化当中是要永久保存在数据库当中,其使用率非常高,除了常规的天气预报业务需要用到,气候预测、气象农业、环境气象、 交通气象以及科研等等领域都需要用到地面气象观测数据,当然地面观测数据也通常会作为遥感数据的订正依据。地面气象测报数据的结构化使用特征,使其从最初的信息采集和传输,到信息加工处理、存储管理以及最终提供服务等各个环节,都对气象IT业务提出了非常高的要求,比如数据检索,传统的IT架构,很难满足大量数据信息检索时效需求。大数据和云计算带来了新的解决方案。
1.2 地面气象测报自动化对气象数据的要求
地面气象测报自动化后,带来了一个较为核心的问题。具体而言因为观测自动化后,人工观测少了,所有的观测都依靠自动气象站来执行,这里就不得不思考一个问题,即自动气象站的数据质量问题。自动化有一个问题是任何一个系统软件都可能因为一些因素而导致出现故障,而一旦这些自动化的观测设备出现故障将影响观测的准确性。不准确的观测数据实际上是没有价值的,因而自动化就必须要保证数据的质量,而要保证数据质量,就必须要保证自动观测站不出异常情况,但没有自动观测站是完全不出异常故障的,比如气象站位于高楼大厦之间或者是新建的大厦遮挡了观测站的观测角度,会直接影响观测站的正常观测,导致数据质量差,观测站的软件出现问题是非常正常的情况,如传感器出现异常,系统接受的气象要素信息数据缺失或者不正常,这种情况大部分是软件出现了问题,如宕机,一旦软件宕机,从宕机到重启的过程中,数据是缺失的,无法保证质量。为了实现气象大数据分析,数据质量是非常关键的,而且因为地面气象测报数据要永久保留在数据库中供很多领域使用,其数据质量更加关键。
2地面气象测报信息化数据处理技术
2.1 地面气象测报信息化数据处理技术核心
结合上文地面气象测报自动化背景,地面气象测报信息化数据处理技术的核心是计算机信息处理技术。第三次科技革命诞生了计算机,在计算机技术的不断发展中,计算机的功能从单一的数值计算,发展出逻辑运算,存储记忆等功能,在大数据、云计算乃至人工智能的研究中,促使计算机信息处理技术进一步发展,现阶段的计算机系统,每秒可以达到万亿次运算,即便是个人计算机也能达到每秒几亿次,可解决大量复杂计算问题,比如24H天气预报的计算[1]。计算机信息处理技术是地面气象测报信息化数据处理的关键基础技术,数据的采集、存储、分析、挖掘都离不开计算机信息处理技术,地面气象测报数据量越来越庞大,对计算机的运算能力要求越来越高。当然不仅仅是运算能力,对存储能力的要求也是越来越高。
地面气象测报数据按照目前的情况来说,数据信息不落地直接上传至省级气象局,这意味着一个强大的气象信息交互网络已经形成,当然也可以称这一网络为地面气象测报物联网,每一个自动气象站都是一个传感器节点,带通讯模块,传感器获取实时的气象信息,并通过通讯模块上传数据。这些实时数据保存在实时数据库,气象局的数据中心,根据数据库中存储的数据,进行数据挖掘处理,得到可以进行可视化分析的数据,直接用来进行可视化分析,当然随着机器学习算法的不断完善,计算机直接通过实时数据库与历史数据库数据的对比就可直接预测气象情况。
因为地面气象测报数据异常庞大,需要用一定的数据索引技术来有针对性地对数据进行提取,否则无异于大海捞针,目前数据索引的热点是互补式聚簇和聚簇索引,这两个方面是气象大数据应用当中研究的热点,也是地面气象测报信息化数据处理的核心技术之一。
数据挖掘是地面气象测报信息化数据处理的又一核心技术点,数据挖掘一般叫作算法,即计算方法,这种计算方法是基于统计学的统计方法,但与数据统计存在明显区别,即数据挖掘针对非随机抽样样本,而数据统计针对随机抽样样本。当然在数据挖掘上现在比较推崇机器学习算法。
2.2 地面气象测报数据的质量控制
在地面气象测报信息化数据处理当中,数据质量是非常关键的,必须要重视数据质量的控制,结合上文的分析,笔者认为必须要完善自动气象站日常维护管理规章制度,并严格执行,重点要求气象站设备的清洁维护,出台操作手册,确保设备维护操作规范,强调定时使用气象站设备内检程序对设备进行自检,若检验出异常应立即处理,确保气象站设备始终处在正常运行状态[2]。对设备软件要进行科学的维护,要安装防护软件,保证数据正常,应定时校准设备时间,确保时间与标准时间一致,注意时钟校验过程中要注意备份数据文件,做好软件管理,适时升级软件,并备份好旧版本软件,方便还原。要构建远程监控系统,自动监测气象站运行状况,自动分析气象站上传的气象信息,并进行误码纠错。
3结束语
综上所述,气象测报地面信息化数据处理技术以计算机信息处理技术为基础,以大数据的应用为发展方向。当然就气象大数据来说,计算机信息处理技术也是最为重要的基础,信息的采集、存储、挖掘、分析等等都需要计算机的强大运算能力。进一步来说在气象大数据的應用中,气象测报地面信息化数据处理必须要保证气象站上传数据的质量,否则将影响气象测报的准确性,抵消大数据分析的优势。
参考文献
[1] 曹玉.气象测报地面信息化处理技术及常见问题分析[J].科学时代,2015(11).
[2] 边巴普赤,李妮娜.浅谈地面气象测报现状及措施[J].西藏科技,2017(7):62-63.
作者简介
樊磊,男;学历:本科,工程师9级,现就职单位:新疆尉犁县铁干里克气象站,研究方向:气象地面综合观测工作。