黄磊,邹斌
(国家卫星海洋应用中心 北京市 100081)
海洋遥感数据快速分发与服务技术系统设计与实现
黄磊,邹斌
(国家卫星海洋应用中心 北京市 100081)
海洋遥感数据快速分发与服务技术系统是针对我国海洋系列卫星数据实时获取和应用中存在的瓶颈问题设计的一套数据共享与服务系统,整个系统覆盖了从多源数据管理、专题产品处理、数据快速分发到数据综合分析应用全业务链条。通过地面专网和宽带卫星通信与北斗短报文的数据发布系统,向用户提供及时的海洋遥感数据服务与技术支撑,解决海洋遥感数据分发的 “最后一公里”问题,提高海洋遥感数据的分发和共享服务能力。
卫星数据广播; 海洋遥感;快速分发;卫星通信;北斗
随着海洋遥感技术的逐步发展,海洋遥感资料的应用范围在不断扩大和深入,海洋遥感应用卫星数据源已逐步拓展到国内外多行业多领域多传感器的卫星数据,目前国际上多个国家都在实施长时间序列的海洋遥感卫星系列观测计划,而我国分别在2002年、2008年和2011年发射了自主海洋卫星HY-1A水色卫星、HY-1B水色卫卫星和HY-2A动力环境卫星。在2020年前,我国还将发射不少于5 颗遥感卫星,所搭载的载荷覆盖了可见光、红外、主被动微波等多种探测器,每天可提供大量的实时海洋遥感监测数据,可为多元海洋应用提供海量高效的数据支持。但作为海洋遥感业务应用与研究中必不可少的一环,海洋遥感卫星数据的快速分发能力却稍显不足,如何让用户第一时间拿到遥感数据并开展应用,已成为制约海洋遥感数据业务应用能力提升的一个关键因素。
传统的遥感数据分发主要是基于地面网络,各个卫星数据接收处理中心建立数据网络分发平台,为用户提供包括相关遥感数据的检索和下载服务。例如美国的国家气象数据中心 (NCDC)提供 NOAA、AVHRR、SSMI/S、VIIRS、ATMS等多颗卫星的数据产品,日本的宇宙航空研究开发机构 (JAXA)提供了AMSR、AMSR-E、AMSR2等多个传感器的微波遥感观测数据。在我国,资源卫星应用中心、中国科学院对地观测与数字地球科学中心、国家气象卫星中心等部门已通过各自的网络平台,实现了我国资源系列卫星、风云系列卫星、环境与灾害预报小卫星等卫星数据的查询检索和分发服务[3]。国家卫星海洋应用中心通过互联网向用户提供海洋一号A(HY-1A)卫星数据、海洋一号B(HY-1B)卫星数据和海洋二号 (HY-2)卫星数据的查询检索和下载服务[1],目前相关数据已广泛应用于海洋环境监测、海洋气候预报、海洋防灾减灾等方面。
随着广播通信卫星技术的发展,通过通信卫星进行大范围数据分发与服务已经成为可能,二十世纪末,中国气象局已建立了气象信息共享平台,对海量、异构、分散信息资源进行整合,面向全国气象用户提供资源信息共享[2],先后建立了PCVSAT,DVB-S和FENGYUNCast 3套卫星广播系统,并于2011年,基于DVBS2标准,在整合3个原有广播分发系统后,建立了CMACAST气象卫星广播系统,通过卫星广播近实时向用户广播分发气象资料数据,目前国内外共有近2 700个接收小站,同时各接收小站用户在分发系统的基础上,开展了业务拓展服务[2],大大提高了我国气象资料数据分发和共享能力[3]。在国际上,欧洲的气象卫星组织 (EUMETSAT)也于2005年建立了EUMETCast,向欧洲用户广播分发NOAA、METOP等欧洲遥感卫星遥感数据资料。2005年,中国气象局、欧洲气象卫星组织和美国国家海洋与大气管理局联合组建了GEONETCast,作为全球综合地球观测数据和信息卫星分发系统,向9个社会受益领域用户分发数据[4],广播区域覆盖了欧洲、非洲、南北美洲等全球大部分区域。
传统的虽然地面网络数据分发技术已相对成熟,但采用单一的数据分发手段,在海洋遥感广泛的现实业务应用中还存在诸多制约因素,如批量用户同步实施获取数据受制于网络带宽的限制,传统的被动式FTP服务器和网站发布方式受限于互联网带宽和用户并访问数,业务化保障能力不够,在台风等海洋遥感卫星应急监测同化预报业务中,无法满足应急监测任务的紧迫性;再者地面网络服务精细程度和扩展能力不足,受制于地面网络覆盖和节点设置,数据仅直达省市一级用户,对于县级末梢用户、边缘地区和海岛等没有地面网络支持的区域,数据难以及时获取,且分发网络扩容复杂且成本高,对于船只、汽车等移动平台的用户无法提供有效的数据服务;
卫星广播数据分发可以解决海量用户并发数据获取的难题,但广播分发手段的交互不足,传统的单向广播分发手段缺少反向链路,无法快速获取用户反馈,而具有反向传输的广播接收双向站地面铺设要求严格,成本高,维护复杂,目前无法大范围推广应用。
紧靠单一分发渠道无法满足遥感数据用户需求的多样化。台风等中尺度海洋灾害监测和预报重点在于数据的时效,而气候变化和环境分析等长时间序列海洋环境研究工作则对光谱分辨率、空间分辨率和探测精度要求更高,如何满足差异化的用户需求,提升用户应用效能是我们亟待解决的问题。
针对上述制约因素,借鉴气象数据共享服务经验,为解决海洋遥感数据分发的问题,提高海洋遥感数据的分发和共享服务能力,国家卫星海洋应用中心研发了海洋遥感数据快速分发与服务技术系统,以地面专网点对点分发和卫星宽带数据广播的点对多点分发相结合形成快速分发网络,配以完善的多源海洋遥感数据获取管理和数据综合分析处理技术支持,可无缝对接用户业务系统,打通整个海洋遥感数据信息服务链条,实现海洋遥感数据的近实时数据分发,提升海洋遥感数据信息服务能力。
整个海洋遥感快速分发与服务技术系统,以数据分发服务为出发点,覆盖了从多源数据收集整理、专题产品处理、数据快速分发到综合分析应用的整个遥感数据业务应用链条,系统搜集整理多源海洋遥感数据,并进行专题加工处理,通过地面网络和宽带卫星通信链路,向用户快速分发海洋遥感数据,用户在接收到数据后,通过海洋遥感综合分析平台进行数据的处理分析,并最终开展业务化应用。
其具体组成包括:
(1)异构环境下多源海洋遥感数据管理子系统
卫星遥感数据共享的关键问题在于海量多源数据的数据标准和服务标准的制定[4],异构环境下多源海洋遥感数据管理子系统主要是针对我国自主海洋卫星数据、欧洲共享交换数据、高分数据及其它商业或网络收集的卫星遥感数据存储方式的异构性,通过异构环境下多源海洋遥感数据管理服务技术,建立的一套标准的元数据信息和数据管理服务系统,为海量遥感数据快速分发提供数据支撑。
(2)多源遥感专题产品制作子系统
多源遥感专题产品制作子系统主要是针对海洋遥感业务应用细分的需求,在原始遥感观测数据的基础上,生产加工多种融合数据和区域专题产品,大幅压缩数据量,并精准定位用户感兴趣的区域,提高数据传输效率。
(3)海洋遥感数据快速分发平台
海洋遥感数据快速分发平台负责整个数据分发的组织,其采用分级的用户管理方式,制定分布式协同交互的表示模型与调度控制策略,基于地面网络与卫星通信链路开展协同交互条件下的数据快速分发服务,地面网络通过地面英特网络和各专线网络,以网页浏览检索的形式提供数据FTP下载服务,卫星广播分发通过主站广播、小站接收的形式,为用户提供近实时数据分发服务(此服务由宽带卫星通信数据传输技术平台负责),整个平台采用数据优化组织、流式压缩和多播等技术,解决系统的数据分发效率问题。
(4)宽带卫星通信数据传输平台
宽带卫星通信数据传输平台负责全部的数据广播分发业务,平台包括海洋遥感数据分发地面主控站和用户实时接收小站,其中用户接收小站又包括单向站和双向站,单向站仅支持广播数据接收,双向站除接收功能外,还可以向主站进行数据回传,具备一定的交互功能。整个平台基于数字卫星广播标准,通过亚洲7号卫星对中国及亚太地区进行海洋遥感数据的广播分发,数据是进行加密传输,用户通过授权进行接收解密,平台同时还配有北斗信息模块,可以基于北斗短报文进行反向信息回传,从而保障在单收站的情况下,可以完成小站位置信息、接收信息和状态信息的反馈。
(5)海洋遥感综合分析平台
图1 海洋遥感数据快速分发与服务技术系统结构组成
海洋遥感综合分析平台是一个灵活易用的海洋遥感数据综合应用工具,其主要是面向快速分发系统提供的海洋遥感数据和定制化专题产品,采用"微内核+插件"的技术架构,实现多源数据的二维、三维可视化综合分析,平台包含了海冰、赤潮、台风监测等多个海洋遥感业务化应用模块,可为用户提供完善的数据解决方案。
海洋遥感数据快速分发技术系统是在原有地面互联网海洋遥感数据分发的基础下,拓展卫星广播分发技术,实现多源遥感数据近实时的数据分发服务,两种方式各有所长,相互补充:海洋遥感数据广播分发时效高、服务面广、扩展灵活、接入方便;地面网络分发数据服务全面、交互性好、不受天气影响。两种方式通过各自的技术实现,满足了多元用户的差异化数据需求,实现在各种应用环境下的全面数据服务。
整个系统根据遥感数据的时效性和应用需求,采用弹性互补的数据分发策略。其中海洋遥感数据广播分发链路采用的是宽带卫星通信数据传输技术,其充分考虑了用户需求和广播数据链路的特性,采用前向链路大带宽,高速率,反向链路低配速的策略。在发送端,经过异构环境下多源海洋遥感数据管理子系统汇集和组织后的多源海洋遥感数据,在海洋遥感数据快速分发平台的调配下,通过前向卫星广播主站天线,上星进入卫星信道广播。接收端,用户通过接收小站天线进行数据的接收和管理,并通过北斗回传系统,反馈定位、授权、资源请求、业务点播等信息。宽带卫星通信数据传输平台由广播主控站、单向接收小站、固定双向小站组成。主控站采用GSTAR宽带卫星通信系统,前向卫星广播采用A-TDM广播体制,实现广域、高效的信息广播分发能力,涵盖短消息、文件和流媒体视频等多种丰富的业务,主控站主要功能就是向各用户接收小站广播遥感数据文件,包括遥感卫星的数据产品和专题数据产品,并匹配相应的快视图和源数据信息文件进行同步传输;单向接收小站主要负责卫星广播信息的接收,同时可接收北斗定位信息及短消息,并通过北斗反向链路提供的信息点播和回传。广播信息接收单向接收站采用Ku频段接收前向广播信息,具备支持C、Ka等频段的扩展能力,完全覆盖中国海域,并具有全球覆盖扩展的能力,同时具备流媒体信号的接收与播放功能。此外还有扩展的地面面固定双向站,具有单向地面接收站的全部功能,同时根据业务需要可通过宽带卫星链路与主控站实现数据、话音、视频的双向传输,进而可以拓展实现视频会议、视频电话等功能。
负责海量存档遥感卫星数据专题产品分发服务的地面网络分发链路主要是依托互联网,提供以B/S(Browser/Server)结构为服务方式的海洋遥感数据共享平台,web界面由HTML静态页面组成,包含了数据的展示和用户交互式操作功能,为用户提供海洋遥感存档数据产品的查询、检索、下载服务。用户通过网页浏览器,即可完成数据服务获取的全部功能,整个过程简单、灵活。此外还根据不同用户的需求,web服务平台还设计了定制产品加工模块,通过用户对多元遥感数据源、数据处理算法、要素、时间、空间的要求进行设计组合,形成业务化的定制产品加工处理流程,每天向用户提供个性化的数据服务,直接对接用户的遥感业务应用和决策系统。
两种分发方式通过集成互补的方式,向用户同步分发国家卫星海洋应用中心实时接收到的HY-1B、HY-2A和MODIS卫星遥感数据,同时提供 HY-1、 HY-2、 MODIS、 高分、 AMSR2、ASCAT、JASON2、GOCI等国内外多源海洋遥感数据的专题产品和融合数据产品。
为了提升两种分发手段的融合程度,优化用户体验,最大限度的发挥快速分发服务系统的效能,我们针对多种关键技术进行了攻关:
(1)多层级组播
通过多层级用户管理,定义每个用户的区域、行业、性质、级别等属性信息,可以实现对不同层级的用户进行差别化的分组数据广播服务,极大的拓展了遥感数据定制化应用服务的空间,未来可以分海区、分行业开展同步个性化的数据服务。
(2)基于北斗信息模块的单收站远端控制链路设计
在单收小站配有北斗信息模块,卫星广播链路调整的情况下,可通过北大信息模块远程控制调整各远端站参数配置,实现远程控制,各远端站在接收广播信息的同时可根据需要反向发送信息,通过北斗定位校时、北斗短报文通信服务向中心站进行反馈,实现主控站对全部小站运行状态的实时监控和管理、业务信息申请及点播、业务信息应用评估、终端用户的位置及管理等功能。
(3)信道加密技术
平台采用16位移位寄存器构建出长度为216-1 m的序列,该序列对物理层数据信息的超帧模式字段和超帧数据体进行连续逐符号模二加运算,并生成数据扰码,将数据信息由明码变为密码,授权的单收站 (或者双向站)用户采用配对的密钥对该数据信息进行解扰处理,而未经授权的用户即使接收到信号也无法转换为可用的数据产品,避免了非授权用户盗用和窃取该信息,可以满足军队等高安全要求的应用需求。
(4)平行并发技术
平台通过QoS控制和流量控制两大核心技术,在硬件平台的单一数据通道,实现多种类、多路业务的并发传输,任务线程采用Producer-Consumer设计模式进行控制,极大地提高了CPU的有效利用率,并通过WRR加权调度算法,根据QoS权值对不同业务种类进行轮询调度,从而实现基于QoS控制的高效业务并行传输,最大化的提升数据分发的效率。
(5)点对多点的大数据量卫星宽带分发模式
采用点对多点的卫星广播数据分发模式,突破了传统地面网络分发带宽和用户容量的限制,用户仅需配备接收小站,即可纳入分发平台,直接获取数据服务,且服务效率不会随着用户数量的增加而降低,同时具备低成本和高效性的特点,有利于海洋卫星数据大范围的推广应用。
海洋遥感数据快速分发与服务技术系统目前已部署在沿海多个涉海业务应用部门:在渤海海冰监测中,通过广播分发链路,每日实时为用户推送HY-1B、MODIS和高分遥感卫星数据,用于提取渤海的外缘线和分布面积,服务于渤海海冰业务化监测中的预警报分析,同时通过地面网络数据共享服务平台,提供多源遥感卫星多年渤海海冰遥感监测影像数据,为海冰数值模拟和统计分析提供基础分析数据和背景场,服务于冬季冰情发展趋势研判;在南海台风监测中,实时为用户分发我国自主的海洋动力卫星HY-2A散射计风场产品,整个数据在卫星地面系统处理完成后,1个小时以内就可以发送到用户手中,准确获取台风的精确位置、强度和结构特征,配合风云二号卫星FY-2G、高分三号卫星GF-3以及欧洲气象卫星开发组织 (EUMETSAT)提供的MetOp-A、MetOp-B卫星的近实时数据,可以对台风实现实时、同步、连续的监测,大幅提前台风的预警时间。
海洋遥感数据快速分发与服务技术系统采用了地面网络与卫星广播技术相结合的数据分发服务手段,为国内海洋及其他涉海用户提供了完善便捷的数据获取渠道,并通过北斗系统,实时接收广播用户小站的反馈信息,实现广播分发系统批量用户的管控与交互,整个目前系统已在渤海、黄海、东海和南海开展多种海洋遥感应用示范,后期将逐步推广到沿海其他省、市、县,随着国家一带一路的战略发展,系统将来还可为东盟和亚太地区的用户提供服务,并可以拓展到船舶、汽车等移动平台,为远海航行、捕捞、护航、科考等提供保障服务。
目前,海洋遥感数据快速分发与服务技术系统采用的是成熟的Ku频段的广播分发链路,其天线设计口面小,便于安装和应用推广,可提供数10兆的通信带宽,但受雨衰影响,同类的C频段受雨衰影响小,但天线口面大,受地面信号干扰大,天线指向固定,而Ka频段可利用的频带更宽,速率更高,天线指向灵活,未来如何优化利用多种频段的广播分发链路,充分发挥广播分发数据的优势,服务于多元海洋遥感应用将是我们需要进一步研究的方向。
[1] 黄磊. 邹斌. 基于 “数字海洋”的卫星遥感数据共享框架研究, 2012年海洋遥感技术交流会, 2009.
[2] 李集明, 沈文海, 王国复. 气象信息共享平台及其关键技术研究. 应用气象学报[J], 2006. 17(5): 621-628.
[3] 王春芳, 李湘, 陈勇涛等. 中国气象局卫星广播系统(CMACast) 设 计 . 应 用 气 象 学 报 [J], 2012, 23(1):113-120.
[4] 范锦龙. 地球观测数据卫星分发系统发展综述. 地球科学进展[J], 2012, 27(7): 712-716.
[5] 张成伟, 戴维士, 徐萌等. 极轨气象卫星数据Web共享平台的建设. 气象科学[J], 2010, 1: 25-31.
[6] 冯春, 郭伟, 龙小祥等. 我国遥感数据共享探讨. 中国科技资源导刊[J], 2010, 42(3). 66-72.
[7] 戴芹, 刘建波, 刘士彬. 海量卫星遥感数据共享的关键技术. 计算机工程[J], 2008, 34(6): 283-285.
2017-07-07
海洋公益性行业科研专项 “海洋遥感数据快速分发与服务技术系统” (201505014)。