任燕 谢永德 任萍
摘 要:在实际的气象服务实践中用户的需求是千变万化的,经常会需要非常规的统计资料,气象部门没办法面面俱到地事先建立起包含各种统计数据的数据库供使用者查询,为了能满足用户的各种需要,需要构建出一个数据加工平台。该平台实现的手段:一是针对不同要素的物理意义及特点尽可能多地增加统计数据的品种,丰富数据库内容;二是设计出复杂的丰富的逻辑查询方法从数据库中提取数据;三是设计出针对数据库中基本数据的自由选择时间段的向导式的统计查询的方法;四是设计出一个可交互的数据工作表以及二次加工算法工具,对通过各种方式查询显示在工作表中的数据进行二次加工,由使用者根据需要自行设计统计方法,得出较复杂的统计序列。
关键词:气象观测 信息服务 数据处理 加工平台
中图分类号:P413 文献标识码:A 文章编号:1674-098X(2015)08(a)-0092-02
在实际的气象服务实践中服务对象的需求是千变万化的,经常会需要非常规的统计资料,气象部门没办法面面俱到地事先建立起包含各种统计数据的数据库供服务人员查询,通过采取以下四种措施构建了一个数据加工平台:一是针对不同要素的物理意义及特点尽可能多地增加统计数据的品种,丰富数据库内容;二是设计出复杂的逻辑查询方法从数据库中提取数据;三是设计出针对数据库中基本数据的自由选择时间段的向导式的统计查询的方法;四是设计出一个可交互的数据工作表以及二次加工算法工具,由服务人员根据需要自行设计统计方法,得出较复杂的统计序列。
1 数据加工平台框架
数据加工平台由数据源、数据集、数据库服务器和软件系统四部分组成。数据源由信息化数据文件组成;数据集是由信息化数据文件经过统计加工形成的数据文件;数据库内的数据来源于数据集;软件系统由若干程序模块组成,是整个系统的核心。
2 数据集的设计与制作
数据集的设计与制作是构建数据加工平台的一个重要环节,其质量的高低将直接影响数据加工平台的性能。在数据加工与统计产品研究的基础上,根据数据库内容及结构的需要设计制作,利用经过质量控制的信息化数据文件进行统计加工形成16个文本文件。
2.1 源数据的质量控制
数据集制作用到的是地面气象观测数据文件(A、A0、A1、A6、A7文件),在进行数据集加工之前,必须对所使用的资料进行质量控制。对原始观测资料的质量控制方法有:要素允许值范围检查、气候学界限值检查、极值检查、内部一致性检查、时间一致性检查、空间一致性检查等。数据集加工用到的数据应是具有质量控制标识的数据,其中标识为正确和可疑的数据参加统计,对标识为错误的数据进行订正,无法订正时,按缺测处理。
2.2 数据集的结构组成及内容设计
日数据集内含定时观测数据及日统计数据,利用这些数据可以进行千变万化的统计加工;旬数据集内含定时及日统计值的旬统计值;月数据集包含定时及日平均、日极值等的月统计值以及有关要素的回数、次数、日数、频率、极值、日期等的月统计值;年数据集包括常规气象要素的年统计值以及有关要素的回数、次数、日数、频率、极值、日期等的年统计值。
3 数据库构建
3.1 数据库设计的方法原则
数据加工平台的数据库设计主要是静态的数据库模型设计,一旦设计完成,在实际的应用当中数据库的结构基本是固定的,而变化的只是气象资料的续加。数据库的设计和应用程序的设计紧密相连,以保证实现应用程序的全部功能。
3.2 数据库的安全访问策略
数据加工平台数据库的安全策略由四层安全验证体系组成。
(1)客户端软件级别。数据加工平台采用公共用户和公共密钥的方式进行访问,公共用户和公共密钥由系统管理员提供给用户,真实的登录密码隐含在密钥当中,由客户端应用程序软件系统负责解释,这样就保证了数据库服务器的安全。
(2)数据库服务器级别。由数据库服务器SQLServer2000进行身份的认证,确保非法用户无法登录。
(3)数据库级别。访问数据库的用户必须是在指定的数据库上已经注册的合法用户,否则无法访问。
(4)数据对象级别。数据库的合法用户并不能访问所有数据,而只能访问获得访问许可的以单站划分的数据对象。
4 软件系统应用环境构建及应用
数据加工平台的所有功能都是通过软件系统来实现的,软件系统提供了一个集成的系统应用环境,其承载着数据查询和数据加工的责任,同时又是一个开放的系统,允许使用者利用自身的想象力进行统计方法的设计与开发,从而满足用户的不同需求。
4.1 软件系统的结构模型
软件系统是一个多功能模块的组合体。其组成见图1。
4.2 软件模块功能设计及应用
4.2.1 参数设置
参数设置模块用于设置客户端软件运行时所需要的参数数据。
4.2.2 连接数据库服务器
该模块负责打开远程的数据库,并建立连接。
4.2.3 数据库维护模块
主要包括:
(1)管理员入口,该模块是专门提供给数据加工平台的管理员使用的。
(2)预处理A0文件,为了保证数据统计的一致性和正确性,在进行数据集加工之前需要对A0文件进行必要的处理,统一A0文件的格式。
(3)建数据集,利用原始数据文件统计加工形成建数据库的数据文件。
(4)数据集入库,将16个数据集内的数据写入数据库服务器。
4.2.4 数据库应用模块
(1)工作簿操作。
一个客户端软件实例可以新建或打开多个工作簿,每一个工作簿包含多个工作表,在形式和功能上很像Microsoft office Excel工作簿。工作表是查询结果的载体,也是对查询结果进行进一步加工的平台。工作表由若干行若干列交叉形成单元格,查询出的数据最终显示在单元格内,每一个单元格内的数据都是可以交互的,单元格可以被选中、多重选中,单元格里的内容可以删除、修改、移动等。
客户端软件的工作簿很好的兼容了Excel工作簿,这样查询结果就很容易被传播和共享。
(2)常规查询。
常规查询的功能:
①分别指定被查询资料的起止日期,被查询出的资料是不同年份的同一时间段。
②一次可以查询多个要素,在列表中任意选择。多要素查询时每个要素在工作表内占一列,按时间顺序从上到下显示;单要素查询时可以按列显示,也可以按行显示,即查询出的同一年的数据显示在一行内,从左到右日期由先到后,这种方式为在工作表上对资料进行二次加工,比如累年统计,提供了极大的方便。
③对每一个被查询的要素都可以同时指定查询条件,查询条件用逻辑表达式表示。在查询同一时间不同要素时,每个要素都可以指定查询条件,要素之间的查询条件可以是与的关系也可以是或的关系,通过这些查询条件的设定可以做出非常复杂的查询结果。
(3)统计查询。
统计查询和一般查询不同的是它更具灵活性,它输出的数据不是数据库中事先统计好的数据,而是根据用户需求对数据库中日数据表中的日数据进行进一步统计加工的结果,该模块提供了丰富的统计项目列表,针对不同的气象要素的物理意义设计出丰富多彩的统计项目,并且各统计项目中加进了大量的可由用户定制的参数,使统计计算出的结果千变万化。
①任意时间段要素统计。
任意时间段要素统计是对日数据表中某一时间段的四次定时数据或日统计数据的进一步加工,统计时间跨度是任意的,可以跨年跨月,也可以将时间段设成逐月的方式,从而直接统计出一年当中逐月的统计值,是对常规查询的重要补充。
②初终日期统计。
该统计模块允许用户任意设定要素的界限值,从而可以统计出满足用户需求的各种统计数据。初终日期统计包括天气现象出现的初终日期和气象要素值达到某一标准的初终日期。
③初终日(初日固定日期)间要素统计。
初终日(初日固定日期)间要素统计就是先统计出历年某种现象出现或某要素达到标准的初终日期(方法见5.2.4.3.2),然后再统计该初终日期间(或初日到某一固定日期间)某气象要素的统计值,例如:日平均气温稳定通过10 ℃期间的积温、降水量合计、日照时数等等。
(4)工作表函数计算。
工作表的函数计算功能是本系统最为突出的特点,它是利用嵌入在表内的统计函数和运算符号对表内的数据进行二次统计加工,可以满足复杂统计的需求。它使得客户端软件加工出的数据千变万化。
统计工具能识别数据系列(日期的统计只对日期格式的单元格有效),当焦点单元格在数据行尾或数据列尾时可以自动选择需要统计的数据行或数据列并将统计值显示在焦点单元格内。
5 结论
通过对地面气象资料产品的即时加工技术研究,得到以下结论:
(1)突破以往的数据查询系统局限,即构造一个地面气象数据加工平台,而不是一个简单的查询系统,满足用户千变万化的特殊需求。
(2)除了常规的统计值,针对不同的要素设计出不同的统计产品,比如:气温最强连续升高数值、气温最强连续降低数值、最多连续降水量、取暖度日数、土壤解冻(冻结)初终日期等等。
(3)在地面气象资料数据共享方面提出了具体的做法。通过构建数据库,搭建数据库服务器,开发基于网络的软件系统实现了数据的共享。
参考文献
[1] 李集明,沈文海,王国复.气象信息共享平台及其关键技术研究[J].应用气象学报,2006,17(5):621-628.
[2]李集明.基于Internet面向社会公益性共享的气象科学数据存储检索策略研究[J].气象科技,2007,35(4):589-592.
[3]刘昊钰,马强,常飙,等.国家级气象资料存储检索系统监视分系统的设计和实现[J].应用气象学报,2007,18(2):251-256.