地理省情监测变化统计分析系统的设计与实现——以山东省为例

赵君

(山东省国土测绘院，山东 济南 250013)

0 引言

现阶段，省级第一次全国地理国情普查已基本完成，其成果在各行各业得到广泛应用[1-2]。按照国务院对地理省情监测工作总体部署和测绘地理信息事业转型发展需要，从2016年起地理国情信息获取进入常态化监测阶段，在地理国情普查的基础上，进行地理省情监测业务化运行建设，形成常态化地理省情监测机制，提供地理省情信息业务化、常态化服务[3-4]。

伴随山东省地理国情监测工作的深化，山东省已积累了大量地理省情监测数据，这些数据具备多时态、多版本、多年份的特点[5]。管理、利用好这些庞大、复杂、多样化的省情监测数据，成为亟待解决的重点问题。为解决好地理省情监测数据的管理问题，并综合考虑山东省省级地理信息时空大数据中心的相关要求，该文研发了地理省情监测变化统计分析系统。系统建设围绕基础性地理省情监测数据，对多年份地理省情监测成果进行变化统计分析，掌握山东省地表自然和人文地理要素年度变化情况，揭示要素变化规律和趋势，以更好地为政府和社会提供地理省情信息服务。

1 总体设计

1.1 技术路线

以山东省地理国情(省情)普查成果和基础性监测成果为基础，以县级行政单元作为变化统计工作区域，综合运用空间分析、时间序列分析、数值统计等统计分析模型和方法，对地理省情监测要素的物理结构、空间关系及差异特性等内容进行变化统计分析。统计类型包括要素级变化统计和地类级变化统计，主要分析属性变化、伸缩移位、新生、灭失、纠错、打断与未变化情况；统计内容包括植被覆盖、居民地设施、铁路与道路、水域、荒漠与裸露地表等地理要素的面积、长度和个数等指标[6-8]。

1.2 总体架构设计

地理省情监测变化统计分析系统数据库管理系统采用商业化成熟的关系型数据库，通过功能组件和服务接口等组件服务，实现数据存储与访问。整个数据库管理系统由支撑层、数据层、接口层和应用层构成。系统总体技术架构如图1所示。

图1 系统技术架构图

(1)支撑层：用于保障地理省情监测变化统计分析系统的正常运行，由基础软件环境、硬件环境及网络环境组成。

(2)数据层：是系统的数据资源，并提供数据的存储和管理能力。数据内容包括普查与监测时期的多年份地表覆盖、地理省情要素、路网和水网数据、遥感影像数据、地形地貌数据、遥感影像解译样本、专题数据、统计分析成果数据以及系统管理数据。

(3)接口层：提供功能组件和服务接口，具有灵活性强、便于使用的特点。

(4)应用层：实现多年份数据时空化建库，多时相数据入库质检、预处理、数据入库、查询、提取，及地理省情监测数据变化信息统计等。

1.3 数据库设计

山东省地理省情监测变化统计分析系统建库内容主要涉及普查成果数据、基础性监测成果、统计分析成果(图2)。普查成果是山东省第一次地理国情普查工程中形成的成果，成果包含国情要素数据、地表覆盖数据、解译样本数据、遥感影像数据以及地形地貌数据5大类主要数据[9-10]。基础性监测成果是以普查成果为基础，每年开展常态化地理省情监测形成的，由各数据生产单位汇交的直接数据成果，成果内容包含地理省情要素数据、地表覆盖数据、元数据、遥感影像与解译样本数据、专题数据、行业专题数据、基本统计分析成果数据等七大类数据[11-13]。统计分析成果是普查时期、监测时期建库完成后进行的下一阶段常规成果，主要包含基本统计成果、变化统计成果[14]。各个统计成果数据库中包含统计成果数据集、统计成果图件、报告、报表等。

图2 系统数据库内容

从存储角度，地理国情数据分为矢量数据、栅格数据、网络数据、表格数据和文件数据等5种，根据数据库的逻辑设计，对5种类型的数据进行物理分开存储。考虑每种数据的数据量，将地理省情监测时空数据库划分为7类表空间，分别为：不分区的地理国情矢量数据、分区的地理国情矢量数据、统计分析数据表空间、遥感影像数据表空间、地形地貌数据表空间以及数据库空间索引和属性索引数据表空间等。

2 关键技术分析

2.1 分布式集群架构

系统以数据版本匹配技术为基础，围绕任务调度这一核心，通过分布式集群架构，采用共享文件系统作为支撑，完成以数据为驱动的变化统计分析任务。通过版本匹配、并行调度框架、负载均衡任务调度、国情统计分析任务并行方式的优化、共享文件系统的分布式存储等策略，实现高效的地理省情变化统计分析。

2.2 版本匹配变化统计

通过版本匹配技术进行空间分析，可以将几个版本数据直接对比，也可以将FEATID作为标识信息加以对比，对整个山东省所有要素在各个版本中的发展变化信息进行监测。从时空变化角度反映地理省情要素空间分布、空间结构、空间关系的变化数量、变化特征、变化趋势，分析其变化原因和影响因素。

2.3 高性能高可用的并行调度框架

并行调度框架是一个中间件，用于对地理大数据进行并行处理，目标是为大数据量的计算密集型的业务应用提供一个基础开发平台[15]。它可为上层应用系统提供模型管理、任务调度与进度监控等功能接口，提供并行调度环境部署与管理工具。框架对底层分布式通信、资源分配的复杂性进行了封装，简化业务系统的构建过程。

2.4 负载均衡任务调度策略

结合地理省情监测数据的特点，基于负载均衡策略，合理分解计算任务，同时考虑节点资源情况选取最合适的计算节点，然后在集群中的所有计算节点上动态分配计算任务。同时，计算节点可以根据需要，动态的增加或减少，以便合理有效地利用机器资源。并行调度系统可以实时监控节点资源状态，以便为任务调度提供决策数据依据。

2.5 基于共享文件系统的分布式存储

为解决数据集中式存储所带来的IO瓶颈问题，以共享文件系统为支撑，实现分布式存储、管理空间数据。通过在各个计算节点上，分布式存储待处理的数据，一方面可以解决单个节点存储空间不足，以及网络传输的压力问题；另一方面，在执行统计任务时，将任务分配到最近的计算节点上，减少传输耗时，降低整体网络压力，同时提高运算性能[16]。

3 系统的设计与实现

3.1 系统的开发环境与工具

地理省情监测变化统计分析系统采用的数据库为Oracle 11g，在数据库服务器上选装ArcSDE 10.3。Web服务器和应用服务器上需要安装的服务软件包括ArcGIS Server10.3、JDK(Java Development Kit)，并且部署Oracle 11g数据库客户端软件。客户端上需要安装部署ArcMap、ArcEngine、Microsoft Office、Microsoft.NET Framework等(表1)。

表1 主要软件环境构成情况

3.2 系统功能设计与实现

该系统借助空间统计、任务并行等技术手段，对比分析监测范围内的历史数据与现势数据，发现各个版本数据之间的区别，对监测范围内数据要素级、地类级变化情况加以监测。系统涉及统计计算模块、成果生成模块、任务管理模块及配置维护模块。

3.2.1 统计计算模块

统计分析模块从地理省情监测时空数据库中抽取行政区域范围作为监测区域，指定数据库中的各类地理省情监测成果数据图层作为监测对象，通过对划定区域内的监测对象的历史数据与现势数据监测对比，并采用图形、表格等多种方式展现变化情况，为地理省情长期持续的监测提供服务。支持按行政区划和自定义范围对比历史数据与现势数据；支持统计要素级和地类级数据变化情况；支持变化统计任务多机、多进程执行。

要素级变化统计，构建不同版本数据之间各类要素的变化分析指标，统计要素在各种空间变化下的数量变化、长度变化、面积变化等，以对比图斑的形式展现监测对象的变化结果。地类级变化统计，基于监测数据或基本统计成果，统计各地类的数量变化和空间分布变化。变化统计模块主要包括统计方案、数据方案和统计指标3个功能。统计方案是统计指标的组合，分为地理省情要素、地表覆盖分类变化、地表覆盖转移变化。数据方案是根据实际需要统计分析的内容创建数据方案，实现数据与计算模板的匹配。统计指标是统计计算的核心功能，按照具体的数据类型，地类分类情况，年份信息构建变化统计指标。

3.2.2 成果生成模块

成果生成模块提供图表制作、报表制作、图件制作、报告制作4个功能。

图表制作：地理省情变化统计分析系统的图表制作功能可以根据不同的统计范围对统计结果中各种变化类型的数量、长度和面积进行自动汇总，系统根据汇总的数据自动生成折线图、直方图、饼状图和柱状图。

报表制作功能：地理省情变化统计分析系统提供完善、灵活的报表制作能力，支持省情特色报表模板的制作，满足多样化展示的应用需求。执行完成变化统计后，可以输出统计报表，采用.XLS文件格式。

同时，该模块也支持对报表模板的修改、设计，提供设计器进行编辑，支持完善、灵活的报表制作能力。除此之外，还支持支持一键生成、输出报表内容(图3)。

图3 报表生成

3.2.3 任务管理模块

任务管理模块主要是对统计计算的任务进行管理，包括未执行任务、执行中任务、已完成任务和所有任务。选择某一个具体的任务，点击该任务，可以查看相应任务的日志详情。

支持按照任务的分类分别进行查看任务的名称、任务类型、任务描述、统计范围、创建人、创建时间、开始时间、状态、任务进度、结束时间和任务结果信息。同时，支持对任务进行全选、启动、删除、刷新操作。其中是否展示创建人信息，与登录的用户权限有关，若是用户权限为管理员权限，则展示创建人信息，若是用户权限为普通用户权限，则不展示创建人信息

3.2.4 配置维护模块

配置管理模块主要完善系统运行维护方面的功能，包括安全管理、建库配置、时空配置、组织管理等功能，保障系统稳定运行。安全管理提供系统用户管理功能，并对系统操作功能权限和数据访问权限进行严格控制，保障数据库运行安全。

建库配置提供数据建库基础配置，连接共享存储，挂接数据库资源，包括数据资源管理、存储设置和设置图层范围。时空配置功能建立时空数据模型，实现对多年份监测数据的时空管理，支持对省情监测数据版本进行注册与维护，支持按年份对地理国情信息分类码管理。组织管理提供数据目录、数据区域配置等管理能力，支持自定义组建数据编目树的结构，支持任务区划配置，流域区划配置，支持按照年份进行行政区划配置。运行监控提供对系统运行情况进行实时的监控，以及业务数据的备份与恢复能力，支持显示用户在线状态，支持系统运行业务数据备份与恢复。

3.3 系统部署

地理省情监测需要统计和分析多元化、多维度、多时相数据的变化，需要对统计分析结果进行快速查询和调用，传统的支撑环境难以满足需要。因此，该项目的支撑环境需要云环境，进行网络存储、计算及资源服务。

云平台采用私有云模式，通过云平台管理软件，将计算、存储、网络等资源虚拟化，并进一步池化管理。用户通过云主机构建统计分析计算服务器集群、Web服务器集群、应用服务器集群、文件服务器等，使其具有高性能、高可靠性、高可扩展能力等特点。系统通过云平台API为应用服务、GIS服务软件系统提供自主化集群管理服务。云平台通过对底层虚拟环境的统一调度管理，为上层的应用和GIS服务软件系统提供包括计算、存储和网络资源的自动化动态分配，并提供对从底层物理资源、虚拟资源池、虚拟主机、GIS服务软件、应用服务软件的垂直监控。通过整合监控数据和并发访问量，自动调整应用服务软件、GIS服务软件的集群规模，以保证集群的高效处理能力。

3.4 实例分析

因面状要素兼具点要素与线要素的特性，且对面要素的变化统计最复杂，因此，文章以2015—2017年平度市耕地的变化统计分析进行测试。借助本系统从省情监测数据中提取水田、旱地地类作为耕地地类，进行变化统计，形成2015—2017年平度市耕地变化统计结果：(1)耕地主要流向分析。从地类来看，耕地与园地间流转导致耕地面积减少最多，其次，是耕地与草地间流转。(2)空间分布情况分析。耕地转为园地的情况在平度各地均有分布，总体来看，北部大于南部，东部大于西部。且主要集中在北部大泽山、东北部尹府水库、黄同水库附近。耕地转为园地的区域与2017年平度园地分布基本一致，且在园地集中区域耕地转为园地的数量较多(图4、图5)。

图4 平度市耕地转入-转出变化量构成情况

图5 平度市耕地转出为园地热点区域

通过本系统计算得到的变化统计成果与人工判断的结果一致，验证了变化统计的准确性。对获得的省情监测变化统计数据，进一步进行数据挖掘，可为决策部门提供良好的辅助支撑。

4 结语

该文以云环境为支撑，采用分布式集群架构、版本匹配技术、高性能并行调度框架、负载均衡任务调度策略等关键技术，设计了地理省情监测变化统计分析系统，利用空间统计、任务并行等技术模型，实现对监测区域内多时态、多版本、地理省情数据要素级、地类级变化情况的统计分析，解决了省情监测数据分散、管理困难的问题，极大地提升了地理省情时空数据的管理能力。