基于消息调度的远洋渔业数据采集 体系

魏振华，汪健平，张学利，马 娜，王志辉

1. 山东省海洋资源与环境研究院，山东 烟台 264006

2. 有色金属华东地质勘查局，江苏 南京 210007

引言

海洋是海洋生物生存活动的场所，海洋环境与海洋生物的生存息息相关。海洋环境中的任何环境参数变化，都会引起海洋生物的分布、洄游、移动等变化。卫星遥感技术，能够对地表提供长时间、大范围的监测，利用遥感卫星对海洋参数进行监测、分析成为远洋渔场环境和渔场预报等应用的重要方式，也使得渔业遥感技术成为海洋渔业信息化的研究热点[1-2]。

基于遥感技术获取海洋环境数据，涉及到遥感卫星数据获取、加工预处理、海洋遥感产品处理和服务发布等环节，不同环节需要不同的处理方式，存在编程语言、开发环境等异构问题，因此专业人员需要在不同的软件环境、不同的处理软件和不同的网络环境下完成海洋遥感数据产品的生产过程。如何创建一个兼容异构环境的体系，解决海洋遥感从获取到产品化再到服务发布成为海洋渔业信息化一个重要研究难题。

本文提出了一种基于消息调度机制的远洋渔业数据采集体系，解决了异构环境下通信问题，能够将海温、叶绿素、海风、海浪等海洋渔业数据从采集、加工、产品化和服务发布流程串联起来，初步解决了远洋渔业数据自动化生产问题。

文章首先简要分析了消息机制的原理，设计了远洋渔业数据采集应用架构，描述了渔业数据生产流程并介绍了相关功能模块。最后，以海温数据自动化加工为实例,简述了海温数据生产的流程、海温数据在远洋渔业服务系统中应用。实践证明,该模式可以很好的解决远洋渔业数据的获取过程,为渔业鱼种预报提供数据支撑。

1 消息调度机制

消息调度，又称消息队列调度，它属于系统中间件部分，是分布式系统中重要的组件。其工作原理是通过消息来协调系统中各个组件或模块之间的应用。主要解决应用耦合、异步消息、流量削锋等问题，实现高性能、高可用、可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件[3-5]。消息队列一般包括四种模式：单向调度模式、回调模式、轮询模式、发布/订阅模式 (如图1)。每个模式包含三个角色：消息队列 (Queue)、发送者 (Sender)、接收者 (Receiver)。

单向调用模式，该模式是消息发送者发送处理请求给消息队列，消息接收者接收到消息，然后执行处理,无任何返回给消息发送者；轮询模式又称“Poll”模式，该模式下消息发送者多采用轮询操作，每隔一段时间向消息队列发送服务请求，当消息接收者收到消息队列处理消息后,开始执行相应的操作并及时返回消息发送者一个状态地址，消息发送者继续执行其他操作,并可通过状态地址获取服务的最新执行状态；回调模式，又称“Push”模式，该模式下消息发送者无需频繁与服务端进行交互，而是提交一个回调地址，服务端在请求处理完成后会将结果推送至此回调地址；发布/订阅模式又称“sub/pub”模式，首先需要将该消息队列注册到消息调度服务器中，消息接收者通过监听的方式实现该消息队列处理的订阅，当消息发送者发布消息时，消息接收者监听到消息处理，执行处理请求。针对消息模式的特点，结合远洋渔业采集流程，采用了发布/订阅模式。

图1 消息队列模式图Fig.1 Pattern of message queue

2 应用架构设计

2.1 体系架构设计

基于消息调度的远洋渔业采集体系，其架构主要是由四个主体部分构成[6-8]：应用前台、队列消息传递、消息处理服务器和海洋产品加工处理模块 (如图2)。应用前台,主要是网站口令发送和海洋产品服务可视化，是 Linux 环境下 Java 应用程序；队列消息传递，主要是包含卫星数据相关参数和数据的消息传递，参数包括消息队列的名称、数据下载地址参数项、数据的存储地址参数项等；消息处理服务器主要承载消息体的周转、异常处理和负载均衡；海洋产品加工处理模块，包括海洋数据采集处理的所有处理方法，涉及到不同的操作环境、不同的编程语言，属于异构处理模块：其中卫星数据下载是在 linux 环境下基于 python 编程环境下的处理模块，数据预处理模块主要是在 windows 环境下基于 c# 环境的处理模块，数据产品与服务发布是基于 windows 下的 python 环境的处理模块。虽然各个模块环境异构，但是通过统一消息接口进行监听，依据消息指令执行相关数据处理。最终将数据以 Open Geospatial Consortium Web Map Service (简称 OGC WMS 或 WMS)服务形式注册到门户网站上，进行海洋产品可视化。

2.2 渔业数据采集流程及功能模块设计

图2 渔业数据采集体系架构图Fig.2 Architecture of fishery data acquisition system

远洋渔业海洋产品生产流程，首先是多源卫星数据获取数据，卫星数据源主要采用 Modis 卫星数据、海洋卫星二号数据、高分三号卫星数据；然后通过自动化处理请求，下载到本地，形成全球尺度海洋原始库，原始库中主要包括叶绿素、海流、海风和海流等遥感数据；接着对数据进行加工与质量控制，主要功能模块包括异常值处理、平均化、空间插值、格式转化等方法，力争通过这些处理操作，得到标准化数据，为数据产品化提供数据基础；其次就是远洋渔业海洋系列产品的生产过程，主要功能模块包括符号化、Mxd 工程化等操作得到海温等值线、海温等值面、海温、叶绿素等系列产品；再通过服务发布形成数据服务，主要是 OGC WMS 服务，最后将这些 WMS 地址注册，通过浏览器前台解析地址,将海洋产品服务展示到浏览器界面中。

3 应用实例

海温与渔业生产关系十分密切。水温变化直接影响鱼类的生长、摄食、产卵、洄游、死亡等,并影响鱼类种群的变化，最终影响到渔业资源的数量、质量及其开发利用。应用实例中介绍了基于遥感的海温数据采集处理流程步骤及其海洋数据服务在相关应用系统中的使用。

3.1 海温数据采集流程化过程

海温数据采集、生产流程主要包括四个步骤 (如图4)：(1)Modis 卫星数据下载原始数据：该步骤首先通过搭建代理服务器确保本地环境能够访问 Modis 相关数据网站，然后利用 python 的 GDAL、netCDF4、requests 等包下载海温相关原始数据。(2)数据加工和质量控制：主要包括对海温数据进行异常值剔除、格式转化 、空间化、平均化操作、nc 转 tif 空间化、裁剪等过程，是利用 c# 调用 ArcGIS Engine 开发模块实现。(3)海温产品化过程：包括空间插值、分级设色、Mxd 工程化等制作过程，也是利用 c# 调用 ArcGIS 相关功能模块二次开发实现。(4)海温服务的自动化发布，利用 Python 调用 ArcPy 进行服务的自动发布成 OGC WMS 服务。最后将服务地址注册到应用网站中。应用网站开发是基于 Java。四个步骤虽然在不同的环境或不同的编程语言实现，但通过监听消息指令可协同完成相关处理。

图3 远洋渔业海洋产品生产流程图Fig.3 Flow chart of Ocean fishery marine products

3.2 海温数据在远洋渔业服务系统中的应用

经过数据服务发布后的海温数据，按照日时间序列集成到远洋渔业综合服务平台中提供应用。该系统不但支持对海温数据的放大、缩小、浏览、查询，还提供海洋海温、海流、叶绿素、海浪等多要素叠加显示、图层导航、海洋量算和渔场预报等功能，最终为远洋渔业捕捞、海洋生态环境监测提供数据和应用服务。

4 结束语

图4 海温数据采集、生产流程图Fig.4 Flow Chart OfSea Temperature Data Acquisition and Production

图5 海温数据在远洋渔业服务系统中应用图Fig.5 Application of sea temperaturedata in fisheries service system

本文提出了一种基于消息调度机制的远洋渔业数据采集体系，解决了异构环境下通信问题，能够将海温、叶绿素、海风、海浪等远洋渔业数据从采集、加工、产品化到服务发布流程串联起来，初步解决了远洋渔业数据自动化生产问题。与传统的远洋渔业数据生产过程相比，利用计算机程序自动化进行了相关数据处理操作，解脱了远洋渔业资源相关人员繁重的数据下载、加工处理等基础性工作，他们可以将精力集中于远洋渔业模型模拟、鱼种分布变化规律等专业研究问题中，同时，数据定时下载与处理可以有规律的提供远洋渔业数据源，为远洋渔业分析提供了数据支撑。同时，系统创新点在于提出了一种消息调度机制，解决了异构环境下通信问题，并能够通过该机制串联起远洋渔业体系的采集流程，极大的便利了数据处理过程，可在其他遥感数据采集与应用中推广使用。