国土资源大数据应用的发展离不开国家政策的推动。国土资源部于2015年1月印发了《关于进一步加强信息化工作统筹的若干意见》,明确以“国土资源云”统领国土资源信息化建设,逐步扩展形成覆盖全国的“国土资源云”。同时,云计算、物联网、大数据等高新技术的快速发展为国土资源大数据应用提供了技术支撑。国外的微软、IBM、谷歌、亚马逊等平台以及国内的阿里、百度、华为、网易等信息技术产业巨头都在云计算和大数据领域开疆拓土,取得了巨大的突破,阿里云提出了NASA计划,华为则宣布成立Cloud BU。同时随着可穿戴设备、智能手机、智能家居等智能感知设备的广泛覆盖,物联网技术也迎来了新的爆发点。
尽管国土资源信息化发展迅速,取得了一定效果,但是随着数据的增长和应用的推广,一些问题逐渐暴露出来,具体表现在如下几个方面:
近二十年来,由于业务需求,国土各部门在不同时期建设了大量的应用系统,如远程报卷系统、土地市场动态监测与监管系统等等,这些系统往往由不同厂商在不同时期采用不同标准基于不同的平台进行建设,导致不同系统间信息交换共享困难,信息孤岛现象严重,严重阻碍了国土资源信息化的发展,亟需统一标准规范,建设统一的数据共享交换机制,破除信息孤岛问题。
传统的数据中心往往只关注于单纯的数据堆砌管理,而当前数据种类越来越丰富,数据格式多样,数据中心对数据关联融合不足,且空间数据与业务数据两张皮管理,在此基础上的数据深度分析挖掘就难以实现。因此,亟需解决多源异构数据整合与关联融合的问题,实现空间数据与业务数据一体化管理,进而进行深度挖掘分析,挖掘国土资源大数据价值。
面对大规模数据,传统单机模式的GIS平台面临着无法逾越的性能瓶颈。传统GIS平台为加快大规模数据显示性能而采用切片方式,然而,随着数据量的不断增长及地理信息应用的推广,切片方式暴露的问题已不容忽视,如:切片耗时、耗存储,更新极其困难,且空间分析存在很大问题。亟需改变传统GIS平台模式,提升平台性能。
基于当前背景及问题需求分析,对国土资源大数据管理分析及应用实践提出如下解决方案:
高性能云GIS平台改变传统GIS平台的串行计算方式,基于Hadoop分布式并行计算框架,采用并行计算、内存计算和二级分布式空间索引等高新技术,为整个平台提供高性能的加速引擎,突破了传统GIS平台的性能瓶颈,实现大规模数据无需缓存切片即可秒级浏览、极速查询、动态渲染、快速分析。以3台普通服务器进行测试计算,基于高性能云GIS平台,1G大小的地类图斑1秒内显示,动态渲染改变样式秒级实现,对2个1G矢量数据进行叠加分析10秒内即可完成,整体性能较传统GIS平台提升100倍以上。
同时,高性能云GIS平台提供云盘工具,支持各类主流GIS数据快速入云发布,支持标准OGC服务的发布和聚合,并提供丰富的二次开发接口,支持时空大数据应用的定制。
复杂多样的数据专题和国土决策支持应用场景对分析挖掘的灵活性和快速响应提出较高要求。应支持规则引擎、可视化流程搭建的方式快速构建各类分析挖掘场景。对此,我们提供规则引擎管理系统,将各类基本的数据处理分析算法集成到统一的算法库进行管理,目前算法库已有300多种算法。基于算法库,通过可视化流程搭建方式,搭建规则方案,构成数据采集、数据融合、数据检查等规则方案,进一步搭建数据分析模型。规则引擎管理系统支持规则的构建、验证、发布和管理及执行优化等功能,由此为数据管理系统、数据融合系统、数据决策分析平台提供灵活多样的功能服务。
通过规则引擎与流程搭建模式,将传统的软件工程模式由被动式的变更变为主动式的适应,由原来的穷举式响应变为函数式响应,过程简化,响应周期缩短,且用户可以自交付,能真正解决未知业务和频繁变化业务的快速响应。
面对国土业务中频繁变化的决策支持场景,通过预先构建指标的方式快速响应各类分析需求。结合国土业务,指标体系包括基本指标和综合指标。基本指标是面向国土常见决策分析和应用要求,反映总体经济形势、国土资源开发利用和发展水平等的内容,通常通过专题数据简单计算得出,如耕地保有面积、出让土地占比、年度供地面积等;综合指标是面向国土复杂多变的分析应用场景,由基本指标结合各类复杂算法,进行二次或多次组合分析获取,如土地利用结构分析、房地产用地地价与房价指数分析、耕地增减量分析等。
以建设用地综合监管为例:建设用地综合监管的目标是采用大数据技术建立自动化发现和处置的模型,利用高维属性智能融合技术对空间数据分析结果进行汇总、融合与挖掘,实现 “征地率、供地率、开工率和竣工率”的实时发布,以及 “批而未征、批而未征尽、征而未供等低效利用预警和低效利用处置”等问题项目的预警。利用指标分析方法,建设用地监管可通过建设用地规模变化情况、建设用地结构变化情况、建设用地布局变化趋势三个综合指标体现,而综合指标由建设用地规模基本指标、建设用地结构基本指标、建设用地布局基本指标三类基本指标得出。
指标分析方法在国土资源形势分析中同样发挥作用,基于土地利用数据的多维度耕地演变获取各类指标,如历年批准建设用地,结合展示模板即可支撑土地供应形势分析。
定制化的国土资源大数据展示中心
面向具体的国土资源数据挖掘分析场景,采用规则引擎的自定义搭建式的数据分析挖掘技术,在可视化搭建界面中,根据分析需求接入各类数据、指标,拖拽组织适宜的页面资源并一键式发布完成复杂分析模型、展示页面的定制工作。定制好的展示页面支持多层数据指标的钻取展示,实现宏观微观一体化数据挖掘,充分保证终端展示的灵活性。
在国土资源大数据应用中:数据关联融合是基础,大规模图属一体化是根本,高性能云GIS平台是保障,模型指标体系是关键,挖掘分析决策支持是出路,时空大数据中心高性能云GIS平台是国土资源大数据应用的必然选择。