基于IBUS实现省级气象共享数据中心方法研究

梁心雄，徐美红，罗胜平

(1.广东省气象信息中心，广东 广州 510080；2.华南理工大学,广东 广州 510640)

基于IBUS实现省级气象共享数据中心方法研究

梁心雄1，徐美红1，罗胜平2

(1.广东省气象信息中心，广东 广州 510080；2.华南理工大学,广东 广州 510640)

由于气象信息数据种类繁多，格式不统一，用户需求不统一，文中提出Information Buffet Service(信息自助服务)概念。面向全省的气象业务人员逐步建设统一规范的数据环境和应用基础平台，开发统一的通信系统，减少重复建设气象信息资源数据库，达到集约化。省级各业务单位之间互联互通，可以在逻辑上形成唯一的“业务交换中心”。通过气象信息服务总线，实现省内气象资料的自由、自助共享，为省级的主要气象业务提供“集中的”基础设施框架。

信息自助服务;气象信息服务总线;资源溶解；数据联邦

0 引 言

IBUS主体思想是气象各业务单位以减法为主的数据集约在异构数据库基础上提供统一服务，逐渐统一数据库结构形成数据中心，避免信息孤岛的数据诸侯，形成异构数据的数据联邦和同构数据的数据中心[1]。部署在形式框架为可视规范的软件组件或应用程序提供了统一数据服务接口和统一应用服务接口，由一个信息整合并转化为自助式的应用的服务体系,实现一个与平台和语言无关、松藕合的开放系统集成框架与应用环境,它是目前计算机界研究的热点[2]问题之一。

1 IBUS结构基本概念

IBUS是指信息自助服务(Information Buffet Service)。省级信息网络系统从信息流环节和业务类型来看，其组成系统有各自完整的功能、结构和流程。但从顶层设计的高度，从数据应用的角度，全省的信息网络支撑系统与业务应用系统应当作为一个完整的大系统来设计，应当包含三大块内容：IBUS省级服务、IBUS核心服务、IBUS流程监控。

1.1 IBUS省级服务

一致性数据服务接口和统一的应用服务接口构成统一公共IT资源服务，这也是构成省级气象算法云计算平台的基础。关键在于对有重用价值的信息产品和业务系统功能进行省级集成与分类分解，并作服务化改造，开放服务接口并注册于服务总线，实现对全省各级气象业务单位的综合信息服务[3]。综合业务服务系统的性能的关键在于动态调配和高效负载均衡的虚拟化资源池的建设和应用。

省级服务结构图如图1所示。

图1 省级服务结构图

省级气象服务信息服务总线(MISB)是企业服务总线(ESB)在气象业务中的一种实现。MISB通过支持JMS、TCP、Mcast、FTP、SOAP、MQSeries等协议以及协议转换，在气象业务至少实现两大功能：基于文件和数据流两种形式并具有实时压缩能力的数据传输功能，基于消息和事件驱动的即时通信功能。实现业务应用系统之间的联动协同以及气象短信息的即时共享能力。以MISB为基础构建省、市、县各级气象部门统一通信系统主干；以MISB为通道实现省级综合服务系统提供的数据、应用和硬件服务的发布。

一致性数据服务接口是气象数据访问服务为不同的业务应用提供统一、灵活、可扩展的访问接口。为达到互操作性目的，使各种业务应用不需要了解数据存放的位置以及数据具体格式，通过统一访问接口就能访问和操作数据，实现实时、准确、安全、高效的数据访问，形成透明和无缝读写省级数据环境以及各业务系统之间的协作能力。一致性数据服务接口主要是通过对数据资源进行封装，面向业务系统和气象业务内网提供SOAP、REST、OGC等多种协议，安全、透明和快速地存取服务，包括对数据的获取、计算、存储以及元数据信息服务等。此外，在此基础上通过进一步的封装，为用户提供脚本调用接口服务。

统一应用服务接口可以获取应用服务信息。API程序调用接口是支撑业务系统自动获取数据的主要方式，订阅应用服务接口主要是支撑气象业务内网中的订阅服务。API程序调用接口包含一系列的通用接口和个性化定制接口。订阅应用服务接口是为气象业务内网的订阅服务提供数据访问接口，按照订阅不同触发条件，组织并生成数据文件，推送给目标服务器或共享盘阵目录。根据各主要业务系统的资料应用特点，在通用数据获取接口的基础上，提供业务中常用的任意时段的平均值、总量值、极值、日数、频率、距平、距平百分率、顺位等通用气象数据统计计算功能[4]，提供给CIPAS、MICAPS、MESIS等业务系统使用。为用户应用的业务系统开发标准格式的产品存储接口，使用户业务系统不需关注底层的具体结构和存储资源，直接通过该接口，即可完成业务产品的存储。文件共享应用接口为支撑MICAPS等业务系统直接访问文件目录的应用模式设计文件共享服务接口。通过访问权限的控制和目录映射等技术，使文件共享服务安全、便捷。按照访问权限，文件应用服务接口可分为读写接口和只读接口两类。

产品应用服务系统(业务门户)基于Portal架构，发布省级所有主要的数据产品和业务产品，提供丰富的在线访问和交互式分析服务。此外，还面向业务领域(气象、气候等)以及个人，提供个性化定制自己业务门户的服务。主要功能包括：目录导航和检索定位服务、数据获取服务、气象数据统计计算服务、产品可视化服务、产品交互分析服务和产品输出服务。此外，用户还可以实现数据产品多条件检索和长时间序列下载以及个性化定制构建自己的业务门户。统一应用服务软件包括：GIS平台，部署成熟的GIS平台及应用软件，配置多尺度和权威的地理信息数据、高程数据和影像数据等，提供GIS调用服务接口；产品可视化组件，开发和部署气象数据和产品的通用可视化组件，包括GRIB、NetCDF、HDF等通用格式[5]资料的显示，雷达资料等自定义格式资料的显示，动画显示，时空剖面显示，统计图形显示，模式资料的对比显示等；产品输出组件，对交互分析的结果可转换成WORD、PDF、GIF等多种格式的产品。

1.2 IBUS核心服务

IBUS核心服务包括个性化的UI界面和各市局的服务接口[4]。UI界面可以提供数据流落地为行为规范数据文件，格式为MICAPS。信息网络神经系统延伸到各个业务点神经末梢。利用省级网站图形WEBSERVIC开发各种终端APP；利用数据中心和气象算法云平台建立二次开发环境。业务单位获得省级集约化数据资源平台软件开发，为用户提供动态计算机资源调配及高性能计算。

各市局的服务接口重点是SWAN和GIFT的灾害天气短时临近预报业务系统，可以实现[5]阈值过滤、区域选择、锁定区域、加权平均、凹槽凸脊、系统新生、梯度法修改、手绘跟随流场、差值调整和中尺度叠加以及脚本公式修改。“中尺度分析”和“强天气落区预报”两种预报工作基于MICAPS-SWAN分析平台，实现以街道办为最小单元的地质灾害精细化分区预警；在QPE/QPF的基础上，根据地质灾害的降雨阈值结合全市的重要地质灾害易发区进行预警分区提示，制作与发布分区的地质灾害预警。GIFT能够实现选区控制点进行时间序列调整，获得任意时刻的控制点的序列值，然后序列值客观分析到细网格上，这样也可以获得精细化的结果。对高分辨的预报基础进行相对大尺度的调整，能够接入多模式、多时间尺度的数值预报模式产品及其解释用产品基于GPU的矩阵运算使得高速高质量的图形渲染和编辑操作实时动态成为可能，利用时间序列对全场或者选择区域进行预报值的整体平均值调整。

核心服务结构图如图2所示。

图2 核心服务结构图

2 IBUS集成关键技术

从现状看，省气象信息中心大多以结构化关系数据库(如Oracle,SQL Server)存储基于站点的观测与预报数据(如探空观测资料、自动站观测资料、风廓线仪探测资料和站点预报等)，而数值预报、雷达数据和卫星资料等规范的多维网格类数据，则按时间点以原始格式方式保存数据文件。前面章节[6]描述的数据存储系统的功能结构流程并未具体深入到数据存储格式和管理策略。从应用角度，现代天气气候的监测与分析不再是以站点为主的传统监测方式，而是涉及大数据的多维空间的时序分析，单层单时次的文件存储管理形式不利于天气气候的实时交互分析效率(涉及过多的文件I/O)。此外，气象计算大多是计算密集型或是数据密集型的计算方式[7]，而擅长事务密集型的关系数据库也不是最佳存储方式[7]。因此，适合科学计算和大数据存储，并内置了时空维度的NetCDF和HDF等格式，可针对实际业务需求，被应用到多时次、多时效的数值预报产品，雷达数据和卫星资料存储管理中。

2.1 虚拟化集成

虚拟化[8](Virtualization)的演进和高速网络的发展推动了瘦客户端的多样化。服务器虚拟化、桌面虚拟化，乃至用户应用的虚拟化，在带来更优的能效，更好的安全性和更高的可靠性的同时，也推动了瘦客户端的多样化发展(传统桌面应用，移动终端的APP，乃至简单短信，甚至能控制大型服务器科学计算和海量数据的运算以及交互分析)。这为气象部门信息网络系统集约化设计提供了思路。虚拟化技术和网络为中心的面向服务架构[9](Service Oriented Architecture,SOA)从概念走向实用，推动了云计算理念的普及。在云计算模型下，IT硬件资源和软件资源(算法资源+数据资源)成为按需配置、易于扩展的计算资源池，为气象部门实现计算密集型(科学计算)、数据密集型(数据挖掘)和事务密集型(并发处理)等高性能计算的普及提供了一条崭新的方向。

2.2 统一化集成

采用Oracle数据库与文件库结合的方式建立了基于站点实时观测数据资料库，其他部门也存在自建的数据库系统，数据各自为政，重复建设，标准规范不一，既不利于资源的统一管理，也不利于信息共享。针对目前业务应用现状，为保持业务正常平滑过渡[9]采取逐步联合、数据集中的方式，最终建立统一集中实时历史资料一体化的气象数据资源中心，通过统一标准规范的数据接口提供气象数据服务。气象信息分类规划从业务上的需求来分类，省级气象信息主要可以分成4类[10]：

第一类静态信息主要包括数字高程模型、GIS信息和气象站点元数据等。这些资料一般定型后，不会再改变，但会增加信息量。其中一些GIS信息转为适合栅格保存的NetCDF格式。

第二类历史资料包括再分析产品、观测站资料、雷达与卫星资料，经过网格化后，以NetCDF保存，其中卫星资料采用可压缩的NetCDF4.0格式，观测资料永久在线保存，存放于高速磁盘阵列。

第三类实时资料主要是指实时观测信息，以观测站、雷达和卫星资料为主。其中，站点观测以Oracle数据库保存，与质量控制后的历史资料衔接，雷达和卫星资料存储于NetCDF文件包中，滚动更新。

第四类预报资料主要包括数值预报和近期省台开始通过业务流程调整提供的格点化预报产品：精细化气象要素格点化产品和灾害性天气落区格点产品。为了满足镇镇有预报和村村有服务的需求，预先将精细格点的预报产品插值，并通过规则转换，生成常规语言表述的站点预报产品，细化到镇。

2.3 IT资源溶解

第一步是数据库服务化改造，简单联盟，IT资源溶解，对业务单位已经建成并投入全省服务的数据库系统，进行集约化整合与服务化改造，提供统一标准服务接口；保持信息中心核心数据库与业务单位数据库(包括关系数据库和文件系统)的同步传输，确保各业务部门基础数据具有唯一权威来源。通过负载均衡后端部署多个业务应用连接到多个业务单位数据库提供应用。加强对业务单位专题数据需求的统一支持，逐渐减少各业务单位自有数据库中大量重复核心数据库的内容[11]。

第二步是IP重新部署。把各个部门的应用服务器和数据库服务器从各自中心比较复杂的网络中解脱出来，重新部署在较为空闲的网段，并且高速互联，直接出口，与全省的预报服务应用终端相连。通过公共的业务，逐渐把各单位的自有服务器资源共享出来，产权各自表述，资源共同服务，否则，各部门必然继续孤岛系统的建设，这一步骤可以称之为“IT资源”溶解过程。

2.4 数据联邦

建立唯一权威来源的基础核心库存储和管理最为完整的资料数据集[12]，创建服务接口中间件，封装并连接信息中心核心数据库和各业务单位的服务接口，形成异构数据库(数据存储方式不同、数据库选型不同、数据库库表结构不同)的数据联邦，统一对外提供数据服务。信息中心不断丰富针对业务单位需要的实测与预报基础数据服务接口，逐步减少来自业务单位数据库服务接口。按照统一的存储方式、一致的数据库选型、规范的库表结构和标准的服务接口，通过提供统一规范的入库接口逐步将各业务单位数据库存储的信息统一整合存储到信息中心核心数据库中。对业务单位的异构数据库进行同构化改造，逐步消除部门间业务数据环境差异，向统一的数据中心过渡。考虑数据服务压力的均衡分担，设计从核心数据库同步数据到专题服务数据库，所有数据来源于核心数据库，保证数据的一致性。

3 IBUS形成业务交换中心

3.1 业务交换中心提出高时效服务

气象灾害监测能力是衡量气象事业发展水平的一个重要尺度，也是一个国家和地区科技创新能力的综合体现[12]。目前广东省的气象监测水平在全国处于领先地位，拥有全国四个气象卫星地面接收站中最大、功能最全的广州卫星地面接收站。气象雷达站网密度达到先进国家水平，基本实现镇镇建有自动气象测站，大气成分监测网、GPS/MET水汽观测网、风能资源观测网、海洋气象浮标阵列、闪电定位网等专业气象新监测体系初具规模，初步形成了具有国际影响力的天基、空基和地基一体化气象综合探测系统。目对常规气象灾害的监测从原来的3 h 1次提高到1 h 1次，雷达网的监测能力从原来的3 h 1次提高到全天候不间断监测，基本实现了对重大灾害性天气监测不漏网。卫星、雷达、自动气象站等产生大容量、高频次数据，需要及时有效地进行汇集传输，满足对极端天气的监测和预警的需求；为保障观测系统稳定运行和开展观测资料质量控制，需要收集台站元数据、观测系统状态等信息，并对重大观测设备故障的远程视频诊断提供传输支持。及时传输山洪地质灾害防治和中小河流治理的专项建设观测站、边远台站、基础设施薄弱地区观测站、海洋观测站、应急移动平台以及实景观测系统等获得的观测资料，需要提高数据通信能力。

3.2 业务交换中心提出敏捷性服务

当代气象预报技术的发展依赖于高性能计算技术、自动化技术、遥感技术、信息网络等高科技手段，是衡量科学技术实力的重要标志。近年来，广东省大力推进气象科技创新，着力建设一流装备、一流技术、一流人才、一流台站，发展完善强对流天气实时监测和短时临近预警、定量降水估测预报、气象要素精细化预报等预报业务体系。自主研发的灾害性天气综合临近预报系统“雨燕”(GRAPES-SWIFT)在国内处于领先水平，实现逐6 min自动滚动更新十多种灾害性天气短时临近预报数值定量产品[13]。数值预报模式业务运行和研发需要充足的计算资源和存储资源。广东省为区域中心，承担区域中尺度模式开发任务，天气模式、气候系统模式和集合预报等的业务运行和研发，需要计算资源能力达到100万亿次、数据存储容量达到1 PB。灾害性天气监测预报迫切需要省际观测资料实时共享。灾害性天气监测预报迫切需要为省、地级预报提供集约化数据环境支撑，确保雷达资料省内3 min省际5 min、自动站资料2 min送达预报员桌面。交互式的天气预报系统(GIFT)也对信息系统的应用接口提出了高效、简便访问的需求，对大数据量的实时交互访问，提出了秒级的即时响应要求，对网络支持提出了应用系统间实时交互、即时通信、协同工作的需求。预报预测系统的网络化趋势加快，MICAPS、SWAN等应用将陆续推出WEB版本，对于大并发、高集中的数据服务能力提出了更高的要求。

3.3 业务交换中心提出全方位服务

气象服务通常分为公益气象服务、应用气象服务和商业气象服务。广东省作为华南气象区域中心(全国八大气象区域中心之一)，不仅负责全省范围和南海海域的天气预报、警报的制作发布，还要向政府和公众提供及时有效的气象服务。近年来，气象部门着力在提高公共气象服务能力上下功夫，服务手段不断丰富，服务渠道不断拓宽，服务机制不断健全，服务能力不断增强，服务成效愈加显著。目前基本形成“政府主导、部门联动、社会参与”的公共气象服务机制，建立了以广东为区域中心的华南气象灾害联防工作机制。服务领域已覆盖工业、农业、能源、交通、海洋、环境、旅游等领域。目前，全省每天接收气象服务的公众已超过6 000万人次，其中每天接收手机气象短信的固定用户达1 590万。据省社科院省情调查研究中心民意调查结果显示，气象服务群众满意度在广东省40个政府公共服务部门中连续3年名列前茅。“广东天气”官方微博在2011年新浪微博风云榜“政府影响力排行”中位居全国第3位。气象信息已成为公众日常生活的“必需品”，对提高老百姓生活质量发挥了重要作用。提高公共气象服务水平，需要不断加强气象信息网络系统能力建设和利用自有资源和社会资源的能力。在信息发布手段、时效和覆盖范围，重大灾情收集与信息上传的有效性、时效性，以及预报预测产品和气象频道信息传输等方面需要更多样化的解决思路。农业气象、交通气象等专业气象的发展对各种观测资料和预报产品的需求越来越高；专业气象服务用户面广、量大，对服务产品分发方式和时效提出了更高的要求。

4 结束语

IBUS气象信息服务系统建设完成后，可以实现资源及信息管理集中化[14]，统一部署，统一管理，统一运行，统一维护。通过数据总线实现气象信息的集中共享，快速处理和分发；通过业务门户网站实现气象信息服务门户化；通过综合业务管理实现统一监控；通过基础设施整合实现气象部门绿色信息中心；通过气象信息服务总线，实现省内气象资料的自由、自助共享；通过数据中心的建立开展气象云计算平台的研究及应用，最终建立广东省“智慧”气象数据中心。构建省、地、县三级的全流程协作和监视环境，省级各业务单位之间互联互通，在逻辑上形成唯一的“业务交换中心”，为省级的主要气象业务提供“集中的”基础设施框架。

[1] 燕东渭,陈高峰,杨银见,等.基于SDH线路的省级气象宽带网设计[J].计算机系统应用，2008(3):15-18.

[2] 李宏力.计算机网络综合布线系统[M].北京:清华大学出版社,2003:221-226.

[3] 王 能.计算机网络原理[M].北京:电子工业出版社,2002:181-186.

[4] 文远保,张 炫.单调比率调度算法研究及改进[J].计算机工程与科学,2006,28(10):68-70.

[5] 肖 青,杨长兴,杨 炼.一种基于遗传算法的网格任务调度算法[J].计算机技术与发展,2008,18(8):32-34.

[6] 卢 鹏.计算机网络安全及其防护策略探析[J].硅谷,2009(12):62-63.

[7] 陈宇寒.网格计算技术研究[J].计算机技术与发展,2008,18(5):82-85.

[8] 姜 巍,秦雅娟,刘 颖.基于IPFIX的用户网络行为分析系统模型研究[J].计算机技术与发展,2011,21(9):233-236.

[9] 白 涛.网络化控制系统的性能分析与调度优化[D].上海:上海交通大学，2005.

[10] 王万良,蒋一波.网络控制与调度方法及其应用[M].北京:科学出版社,2009.

[11]ZengYujun.Networkedcontrolsystemsbasedonscheduling[J].Control&Automation,2006,22(31):95-96.

[12]SetoD,LehoczkyJP,ShaL,etal.Ontaskscheduleabilityinrealtimecontrolsystems[C]//ProceedingsoftheIEEEreal-timesystemssymposium.Washington,USA:IEEEPress,2006:13-21.

[13]LeeC,LehoczkyJ,SiewiorekD,etal.Ascalablesolutiontothemulti-resourceQoSproblem[C]//ProceedingsoftheIEEEreal-timesystemssymposium.Phoenix,USA:IEEEPress,1999:315-326.

[14]LimD,AnbukyA.Adistributedindustrialbatterymanagementnetwork[J].IEEETransactionsonIndustrialElectronics,2004,51(6):1181-1193.

Method of Shared Data Center of Provincial Meteorology Based on IBUS

LIANG Xin-xiong1,XU Mei-hong1,LUO Sheng-ping2

(1.Meteorological Information Center of Guangdong,Guangzhou 510080,China; 2.South China University of Technology,Guangzhou 510640,China)

The kind of data of meteorological information is various,the format is not unified,and the user needs are not unified,so the concept of Information Buffet Service is proposed.The unified and standardized data environment and basic application platform is built gradually for the province’s meteorological service personnel,developing unified communication system,reducing duplication of the construction of meteorological information resource database,to achieve intensive.Through the interconnection between the various business units,the only “business exchange center” in logic is formed.By the meteorological information service bus,the free and self-help sharing for province meteorological data is realized,which provides “infrastructure focused” with the main meteorological service at the provincial level.

information buffet service；meteorological information service bus；resources solution；data federal

2014-11-13

2015-05-13

时间：2016-04-00

广东省科技计划资助项目(2014GZ0028)

梁心雄(1972-)，男，工程师，通讯作者，研究方向为气象信息网络。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1517.016.html

TP39

A

1673-629X(2016)04-0148-05

10.3969/j.issn.1673-629X.2016.04.033