国土资源动态遥感监测原型系统设计与实现

2014-06-27 03:11杨文晖姚丹丹程付超
物探化探计算技术 2014年3期
关键词:分布式计算数据服务图斑

陈 垦,苗 放,杨文晖,姚丹丹,程付超,王 方

(1.“地质灾害防治与地质环境保护”国家重点实验室 成都理工大学,成都 610059;2.“地学空间信息与技术”国土资源部重点实验室 成都理工大学,成都 610059;3.“地球探测与信息技术”教育部重点实验室 成都理工大学,成都 610059;4. 西南民族大学 计算机科学与技术学院,成都 610041)

0 引言

国土数据资源具有采集更新快、多分辨率、信息丰富、数据类型多、监测能力强等特点,具有广泛的产业化应用前景。但由于国土数据资源获取困难、技术难度大、建设成本高、开发周期长和动态更新不及时等问题,制约了其普及应用和产业发展。“十二五”期间,中国计划发射多颗遥感卫星,包括气象、陆地、海洋和环境等成系列的、行业性的卫星体系和组合星座,将形成多分辨率、多类型,高覆盖度的海量多源遥感数据[1],为国土资源应用与产业化服务提供了基础。

国土资源动态遥感监测是新一轮国土资源大调查的核心内容,旨在运用现代高新技术实现对重点地区、特定目标变化的快速检测,为国民经济建设和社会可持续发展提供真实、准确、动态更新的基础数据,辅助地方政府快速、准确、完整地完成土地调查。主要监测技术与手段涉及地球空间信息技术、空天地一体化遥感技术、全球卫星导航定位技术、网格GIS技术、地理信息网络服务、多维时空数据挖掘技术、空间信息云计算技术等[2]。动态监测涉及到国家的方方面面,首当其冲的便是关系国计民生的粮食问题,确保国家的1.2×106km2耕地面积直接关系到国家的大政方针,对于国家的安定发展与长治久安也有重要的历史意义[3-4]。

随着大数据时代的到来,国土数据资源的高效服务机制便成为国土资源应用研究中亟待解决的一个基础问题。但是在大数据背景下,解决这一问题的技术难度却成倍提高,数据的量变也会引起问题的质变。主要有以下难点:①国土数据资源预处理方法众多,不同数据源难以实现通用处理方法;②国土数据资源存储规模大且管理复杂,遥感影像数据分辨率较高,数据量较大,超出单节点图形工作站的处理能力;③动态遥感监测图斑数量庞大,人工提取、分析与判识方法效率较低,难以实现具有大数据特征的国土资源调查整体性统计分析;④国土数据资源多为涉密信息,数据隐私与安全急需有一个有力的保障机制。

针对动态遥感监测研究中存在的这些问题和难点,提出了一种面向数据的架构(Data Oriented Architecture, DOA)[5]。本次研究在该方法的基础上,综合运用前期成果“数字国土平台”和“面向海量遥感影像的分布式计算框架[6-7]”等技术手段,设计并实现了一种动态遥感监测判识系统。经验证,该系统能够以高分辨率国土遥感影像为基础,在选定监测区域内进行监测图斑自动提取和类型的自动判识,从而为国土数据资源的采集、存储、监测以及安全保障等研究提供技术支持。

1 理论与技术背景

1.1 图斑分类方法

通过套合、对比分析前后两时相遥感影像图与上年度土地调查数据库、临时图斑等,按照统一的图斑提取原则,借助原型系统,采用人机交互为主的信息发现方式,提取多种类型的土地利用信息图斑。首当其冲的便是科学、合理的对图斑进行有效分类,如表1所示,共分为了五个大类14个小类。

1.2 基于DOA的数字国土平台

数字国土平台采用面向数据的架构DOA,运用了作者自行提出的标识影像金字塔(IdentifyingImage Pyramid, IIP)和面向空间实体的密度聚类算法(Density-Based Clustering for Spatial Surface Entity, DBCSSE)[6]等理论与技术,测试结果表明DOA能较好地满足大数据下影像处理的需求。

面向空间信息服务的数字国土平台是一种基于新型空间信息网络服务G/S模式的三维可视化大数据展示与服务平台[8-9]。数字国土平台采用分布式服务器群、数据注册中心和客户终端三部分构成:

(1)分布式服务器群是由多台服务器构成的数据存储系统,支持结构化数据和非结构化数据的存储,能够提供较大访问量的数据访问服务。

表1 图斑分类定义表

(2)数据注册中心是一个高性能、分布式的元数据库,用于提供高效的多源数据定位和查询服务。

(3)客户终端是提供数据可视化和数据互操作的应用软件系统,包括数据可视化、信息管理、分析计算及人机交互等基本功能。

信息汇聚的数字国土平台提供了一种针对国土资源研究的集观察、分析于一体并提供各类应用和服务的有力工具。本课题研究的动态遥感监测原型系统以数字国土平台为支撑,将信息展示和人机互操作部分通过该平台完成,从而增加了系统的可用性与用户体验度。

1.3 面向国土数据资源的分布式计算框架

面向国土数据资源的分布式计算框架(简称分布式计算框架)是一种用于实现遥感影像分布式处理的编程框架,它通过提供一种透明化的编程环境,使用者不用去处理分布式计算中的若干细节问题,只需按照框架接口与规范编写处理算法就能够较容易的遥感影像的分布式处理[6]。分布式计算框架的影像处理过程包括遥感影像分割、分布式计算和冗余结果归并三个步骤:①遥感影像分割,对原始影像数据进行分层分块,将其转化为多层冗余的剖分影像金字塔结构,作为分布式计算的输入数据;②分布式计算,将分割后的遥感影像数据块封装为Key-Value格式,并按照使用者的处理算法在Hadoop平台上进行计算和处理;③冗余结果归并,采用聚类算法找出计算后的冗余结果,并按照使用者定义的归并算法对冗余结果进行处理。

由于国家每年的遥感动态监测影像数据量巨大,通常都是PB,甚至EB数量级以上,传统的处理方法很难支持如此大数据量下图斑自动提取和类型判识的运算量,而面向国土数据资源的分布式计算框架较好的解决了这个问题,为动态遥感监测原型系统的实现提供了技术支持。

2 系统设计

2.1 功能需求

动态遥感监测原型系统的主要用途是对选定监测区域的土地利用现状做变化信息提取,并判识其图斑的类型情况,其主要功能包括数据管理、图斑自动判识、地理国情监测展示以及人机交互操作等功能。

(1)地理国情监测展示。原型系统应具备综合信息可视化展示功能,包括国土遥感影像展示,国土资源高程信息展示,图斑提取结果展示和其他信息展示等,用于向使用者提供较为直观的操作界面和使用反馈。

(2)变化信息提取。该功能是进行图斑判识的先决条件,系统需具备对选定区域内土地利用现状进行提取的功能。该功能并不需要对土地利用进行准确的分类定义等,而只需要根据遥感数据提取出前后时相的变化差异。

(3)图斑自动判识。结合土地利用变化信息的提取差异结果,对图斑进行自动判识,原型系统需要按照给定的图斑分类方法,结合预先录入的特征库等,通过算法比对实现对图斑的一级分类与二级划分。

(4)数据管理。原型系统还应具有一定的数据管理功能,以便使用者能够对使用的多源遥感影像数据、DEM数据、全国二调数据、图斑提取数据等进行管理,包括上传、下载、更新和删除等相关数据服务。

(5)人机交互操作。原型系统应具备较方便的人机交互方式,除提供遥感影像处理系统常见的移动、缩放、旋转等操作方式外,还应提供变化信息提取和图斑自动判识相关的操作方式,包括监测区域选择操作和判识提交操作等。

图1 系统结构图Fig.1 Systemstructuredrawing

2.2 系统体系结构设计

系统主要提供基于基础数据和业务数据的二次开发功能。可根据建设用地报批、建设供地系统等相关耕地保护业务系统运行结果,自动同步土地转、征用数据库、建设供地数据库等业务数据库。对新增建设用地数据、建设占用耕地数据、土地供应数据、农用地转用数据、违法用地数据等信息按时间点、时间段、区域等条件进行分类、关联、汇总、统计,以掌握相关土地利用变化信息,并以空间图形和图表的方式,实时监控某一区域内已批准建设用地、已供的建设用地、耕地的补充情况、新增建设用地的空间分布、行业分布等信息,为参与宏观调控提供信息支持,原型系统有效结合数字国土平台与分布式文件系统的优点部分(图1)。在图1中:①数据注册中心,是原型系统的核心模块,通过元数据库对系统的数据调用进行管理,将系统中的其他模块进行有机的组合,为数据的展示和计算提供支持;②数据存储模块,是一个面向海量异构数据的分布式存储系统,用于存储判识系统中需要使用的各类数据,是系统的数据支撑;③数据处理模块,是系统的计算模块,既能实现数据预处理,同时又能通过计算机图形图像算法,实现对遥感影像前后时相变化信息的提取与判识;④数据服务模块,是一个多种信息汇聚的可视化展示与人机操作平台,是系统的图形化用户接口,系统中的功能都通过此模块提供给用户;⑤数据安全模块,是国土数据资源共享的保障,要做到既允许用户自由地使用共享数据,又不允许用户私自拥有和转移数据。

2.3 系统模块

2.3.1 数据注册中心

数据注册中心是整个动态遥感监测原型系统的核心,其本质是一个对数据、计算和存储资源进行整合和管理的元数据库管理系统,其中记录了各类资源的访问和使用方式,同时具备与多个模块进行通信的接口,能够在各模块间实现资源的调用与共享,从而将数字国土平台和分布式计算框架整合到一起,实现遥感影像数据的高效利用与计算。在系统中,数据注册中心主要具备以下几方面的功能:

(1)对数据资源进行高效管理。原型系统中的各种数据都统一经过资源调用模块进行管理,对数据的读写操作,包括数据服务模块中遥感影像的加载,数据处理模块中计算区域的载入等都需要首先向资源调用模块发起查询,并获得数据实际位置后才能正确的执行。

(2)对计算任务及其结果进行管理。使用者通过数据服务模块提交的判识任务,需要经过数据注册中心分配给数据处理模块。计算完成后,结果数据也需要数据注册中心进行管理:发给数据存储模块进行转存或是返回给数据服务模块进行展示。

(3)通过数据注册中心实现了原型系统中客户端程序与后台存储、计算程序间的信息交换,起到了类似于消息中间件的作用。

2.3.2 数据存储模块

系统研究数据主要为卫星影像数据及其相关的矢量数据、全国二调数据、DEM数据等基础数据。卫星影像数据选用国产卫星数据结合国外卫星数据,国产卫星影像包括天绘一号、遥感二号、资源三号、资源一号02C、遥感八号、HJ-1/2星等数据,国外卫星影像则包括GeoEye-1、WorldView-1、WorldView-2、Pleiades-1、QuickBird、IKONOS、SPOT5、IRS-P5、RapidEye等。国外卫星影像主要是对国产卫星数据的稳定性和有效性进行辅助验证,通过基于DOA的分布式计算框架进行存储。数据存储模块针对两种存储方式提供了不同的外部访问接口,包括查询、添加、删除和修改等,以便数据处理模块与数据服务模块调用。

2.3.3 数据处理模块

系统提供面向基础数据、原始影像数据的预处理服务与变化信息提取服务,主要具备以下功能:

(1)控制点采集与正射纠正。系统根据纠正过程中记录的控制点残差文件,检查正射纠正控制点点位精度。要求纠正控制点残差中误差应不大于规范要求,若控制点残差超限,须进行二次选点。

(2)系统根据不同类型的数据源自动分配预先录入的方法模型,做影像配准、融合与镶嵌、裁切。

(3)使用分布式计算框架提供的开发接口[7]与一种基于特征匹配的自动提取算法[10],来实现变化信息提取算法和图斑类型判识算法,再设计冗余结果的处理算法,从而实现对高分遥感影像的计算与处理。

2.3.4 数据服务模块

数据服务模块是原型系统的用户接口,以插件形式接入到数字国土平台客户端中,从而通过平台客户端提供遥感影像和高程信息的可视化展示和基本交互操作等功能,数据服务模块主要具备以下几方面的功能:

(1)图斑判识及标注相关操作。数据服务模块提供所有与土地利用变化信息提取相关的人机交互操作,包括启动按钮与菜单,图斑判识窗口界面,监测区域选取功能等。其中监测区域选取功能包括两种类型:①通过输入经纬度坐标精确选取动态监测区域;②通过鼠标拉框选取处理区域(图2)。

图2 图斑判识及标注示意图Fig.2 Diagram of map spot judge and identify

(2)地理国情监测展示。数据服务模块可以为使用者提供丰富的多源数据展示、矢栅一体化等功能,基本实现国土一张图的监测理念。

2.3.5 数据安全模块

数据安全模块是对数字国土能够有效实施与推广应用的重要措施。主要具备以下功能:

(1)全生命周期加密设计。数据和产品在生产、存储、传输和应用过程中全程加密,只在用户的终端上才能被显示和理解,即使是系统管理员也无法解密。

(2)访问授权精细管理。对数据和信息按照数据集、用户和访问类型逐一授权,针对不同数据和用户,对发布、修改和应用权限进行精细管理,以满足安全保密的要求。

(3)分类存储策略。根据需要,用户可以将密级较高的数据和信息自行保存在终端上或部门的服务器上,进行单独管理。在应用时与平台密级较低的数据和信息之间执行分隔管理的安全策略。

(4)非对称安全存储设计。通常的数据加密实际上是一种基于密码的变换,只要信息是完整的,就有可能被解密。采用基于DOA的非对称分布式存储技术,利用其暗箱特性,将数据和信息进行比特级划分,使每个分布式存储的数据块均不包含局部的完整信息,独立信息的不完整性可保证无法被解密。

3 系统实现与测试

原型系统基于DOA开发,以LRML作为数据共享与交换规范,以分布式服务器群为数据存储平台,通过计算机网络在客户端实现服务聚合与数据汇聚, 并利用可视化与数据分层分级技术,实现海量基础数据及业务、专题数据的调度与可视化展示,为国土行业应用中的数据共享提供了一种参考规范。

3.1 系统模块实现

根据动态遥感原型系统的需求设计,分别对各模块进行了实现。

(1)数据注册中心基于数字国土平台进行实现,具体包括对系统元数据库的构建和相关接口的实现。①系统资源元数据库搭建在MongoDB NoSQL数据库上,通过建立遥感影像元数据集合,DEM元数据集合,存储资源元数据集合,计算引擎元数据集合和输出结果元数据集合,实现对各类资源的统一入库;②系统资源库接口基于超地理传输协议[5-6]进行实现,通过其控制层协议实现资源调用模块、数据存储模块和数据处理模块间的数据传输,并通过其传输层协议实现数据服务模块与其他模块间的通信。

(2)数据存储模块通过MySQL、HDFS及其相关接口实现。①MySQL用于存储结构化数据,对变化信息和图斑建立独立特征库,变化信息库用于表示影像基于前后时相有信息变化,图斑库用于存储图斑分类信息;②HDFS用于存储系统中的非结构化数据,包括遥感影像,DEM数据,二调数据等。用于计算的数据与用于展示的数据在组织方式上有所不同,需对两种不同用途的数据分别进行存储;③数据访问接口通过对MySQL和HDFS的原始接口进行二次封装实现,并提供多语言支持。

(3)数据处理模块通过分布式计算框架的开发接口进行实现,以保证其能够通过分布式计算框架进行分布式处理。具体内容包括对控制点采集与正射纠正、影像配准、融合与镶嵌、裁切和冗余结果处理算法的实现。由于需要与Hadoop MapReduce框架兼容[6],本模块需要在CentOS 6.4平台上使用Java语言来实现,经过测试和优化后的最终算法代码约18 000行。

(4)数据服务模块按照数字国土平台的插件设计规范,在Windows平台上使用Java语言来实现。优化后的最终代码规模约6 000行。实现过程中主要使用了国土平台图层渲染相关接口(Render)[7],以实现图斑自动判识与标注数据的叠加。

(5)数据安全模块,针对国土数据资源不同数据类型特性进行设计并实现。①针对栅格数据采用Montgomery方法提高海量遥感数据的加解密速度,有效解决了海量遥感影像数据的安全保密问题;②针对DEM数据采用明暗恢复形状(SFS)原理和遥感影像灰度信息加密更新基础DEM数据的方法,以及在其基础上的一种基于单幅遥感影像三维重建的DEM数据加密方法,实现了获取更高分辨率的数字高程模型;③针对矢量数据采用完整性验证的水晶数字水印算法,将矢量地图分块并采用MD5生成水印信息并嵌入在矢量地图数据中,验证了矢量地图的完整性,将篡改的定位能力精确到数据块[11]。

3.2 系统界面实现

原型采用Eclipse RCP富客户端技术开发,RCP本质上是Eclipse的插件,利用RCP开发应用程序时,可以充分利用Eclipse平台UI外观和框架快速开发,采用SWT+JFace开发GUI也完全能够替代传统的AWT+Swing,能够实现与本地操作系统统一风格的用户界面。

RCP程序运行主要通过下述类实现:①Plugin类:用于创建整个插件的对象,是插件的全局对象,可以通过其静态方法获得插件对象的引用,然后获得插件各种信息;②Application类:应用程序类,用于创建Display对象并创建工作台对象;③ ApplicationWorkbeanchAdvisor类:工作台类,定义默认透视图ID并创建工作台窗口类;④ApplicationWorkbenchWindowAdvisor类:工作台窗口类,对工作台进行设置并定义窗口变化时对应的调用方法;⑤ApplicationActionBarAdvisor类:操作类,用于创建及管理菜单栏、工具栏及状态栏;⑥Perspective类:透视图类,创建工作台对象时指定的默认透视图对象,用于管理窗口组件显示布局关系;⑦SWT_AWT类:基于JOGL开发的三维操作球体,对AWT支持较好,在与SWT应用程序的结合中,通过SWT_AWT类实现球体画布Frame到RCP View类中的嵌套与通信。

3.3 系统测试与验证

原型系统部署在包括八个节点的实验集群上,其中数据管理模块单独部署在一个节点上,数据存储模块和数据处理模块共同部署在其余七个节点上,以保证硬件资源的高效利用。服务器节点的硬件指标为:Intel Xeon E5600、16 GB DDR3和2 TB SAS。数据服务模块安装在一台PC兼容机上,作为测试客户端使用。测试过程中,通过拉框操作选择监测区域进行了图斑自动提取和图斑类型标注,结果如图3所示。与纯人工识别方法相比,采用本课题的人机交互方式的动态遥感监测原型系统进行处理,图斑准确提取成功率能够达到85%左右,对已提取图斑的类型判识的准确率达到约78%。可以看出,对于动态遥感监测及图斑自动判识都有一定可用性与前瞻性,具有一定的科研应用与推广价值。

4 结束语

针对数字国土平台与动态遥感监测研究中存在的难点与问题,本次研究综合运用项目组前期积累的理论和技术成果,设计并实现了一种动态遥感监测原型系统。该系统以本年度卫星遥感数据、二次调查底图、DEM等控制资料为基础,提供相应的数据服务功能,以及动态遥感监测图斑自动提取和图斑类型自动判识服务功能等,具有以下特点:

(1)实现了人机交互的动态遥感监测自动判识。

(2)能够较好地支持大规模、高分辨率遥感影像数据的计算与分析。

(3)通过统一数据管理模块对系统整体资源进行管理,减少了系统模块间的耦合度。

(4)提供较直观的信息展示方式和较便捷的人机交互操作,同时顾及了数据安全的问题。

下一步的研究工作将继续改进图斑类型自动判识算法,以提高判识的准确率,并提高系统运行可用性与稳定性。

参考文献:

[1] REN FUHU. Turning Remote Sensing to Cloud Services[J]. Technical Research and Experiment. Journal of Remote Sensing,2012, 16(6): 1331-1336.

[2] 李德仁, 眭海刚, 单杰. 论地理国情监测的技术支撑[J]. 武汉大学学报:信息科学版, 2012, 37(5): 505-512

[3] 颜伟, 李琼,谭靖,等. 土地整理遥感监测系统设计与实现[J]. 微计算机信息, 2012(4): 107-110.

[4] 温家宝.政府工作报告, 第十届全国人民代表大会第五次会议[EB/OL].2007.3.17,http://news.xinhuanet.com/.

[5] 陈垦, 苗放, 杨文晖,等. 基于DOA的应急管理指挥系统设计与实现[J]. 中国地质灾害与防治学报, 2013, 24(3): 93-99.

[6] CHENG FU-CHAO, MIAO FANG, YANG WEN-HUI. Split Process Cluster: a Distributed Computing Platform for Edge Extraction of Massive Remote Sensing Images[C]. Proceedings of the 2013 International Symposium on Vehicle, Mechanical, and Electrical Engineering, 2013.

[7] 程付超, 苗放, 陈垦. 顾及结果完整性的遥感影像分布式边缘提取方法[J]. 计算机工程与设计, 2014(3): 123-126.

[8] 苗放, 叶成名, 刘瑞, 等. 新一代数字地球平台与“数字中国”技术体系架构探讨[J]. 测绘科学, 2007, 32(6): 157-158.

[9] 陈垦, 苗放, 程付超,等. 基于G/S的应急管理应用[J]. 中国地质灾害与防治学报, 2013, 24(2): 102-106.

[10] 鲁宇航, 苗放, 都骏,等. 基于特征匹配的月球撞击坑自动提取研究[J]. 测绘科学, 2014,35(1):52-56.

[11] 张佐理, 孙树森, 汪亚明,等. 二维矢量数字地图的零水印算法[J]. 计算机工程与设计, 2009, 30(6) : 1473-1475.

猜你喜欢
分布式计算数据服务图斑
地理空间大数据服务自然资源调查监测的方向分析
地理国情监测中异形图斑的处理方法
基于C#编程的按位置及属性值自动合并图斑方法探究
基于数据中台的数据服务建设规范研究
土地利用图斑自动检测算法研究
如何运用税收大数据服务供给侧结构性改革
基于云计算的移动学习平台设计与实现
云计算中MapReduce分布式并行处理框架的研究与搭建
基于频繁子图挖掘的数据服务Mashup推荐
面向异构分布式计算环境的并行任务调度优化方法