基于可视化数据挖掘技术的GIS时空大数据融合方法

2024-12-16 00:00:00夏志华刘洪良倪雨函周璇
中国新技术新产品 2024年22期
关键词:信息处理技术数据融合

摘 要:为了提升GIS时空大数据融合处理效果和大数据融合效率,本文提出基于可视化数据挖掘技术的GIS时空大数据融合处理方法。首先,采集GIS时空大数据,分析可视化数据挖掘技术;其次,构建地理时空数据可视化挖掘模型,将地理轨迹数据由CSV格式转换为Shapefile向量数据格式;最后,计算转换后的地理坐标,对GIS时空大数据进行融合处理。试验结果表明,基于可视化数据挖掘技术的GIS时空大数据融合处理方法能够快速处理时空数据,在不同测试时空内,使用本文方法融合处理的数据量比其他方法更多,本文方法效果更好。

关键词:数据融合;GIS时空大数据;信息处理技术;融合处理;可视化数据挖掘技术

中图分类号:D 26 " " " " 文献标志码:A

地理信息系统(Geographic Information System,GIS)集成地理空间数据和属性数据,为各种领域提供了强大的空间分析和决策能力。GIS领域亟需解决的问题是高效地融合和处理GIS时空大数据。在文献[1]中,研究人员将预处理后的数据整合到一个集中的数据管理平台中,保证数据能够在该平台中进行共享和交互。平台的存储和计算能力强,能够高效处理并分析庞大的数据集。采用这种整合与集中管理的方式可以更有效地管理和利用巡护时空大数据。在文献[2]中,研究人员利用关联规则和挖掘技术深入研究无线传感网中的节点数据。对这些节点数据特性进行需求分析,构建1个数据融合模型,该模型能够在时间和空间方面对数据进行融合,提升GIS时空大数据融合处理的准确性。

本文方法将数据挖掘技术与可视化技术相结合,将复杂的数据以图形、图像等直观、清晰的方式展现,使用户能够更快速、准确地理解数据,发现数据中的规律。

1 可视化数据挖掘技术

可视化数据挖掘技术是一种结合可视化技术和数据挖掘技术的先进技术。这种技术利用图形、图像等直观形式展现大量数据中的信息和知识,帮助用户更快速、准确地理解数据,发现数据中的规律和趋势。可视化数据挖掘技术包括数据预处理、数据挖掘和可视化等步骤,数据挖掘是可视化数据挖掘技术的核心步骤,其利用各种算法对数据进行挖掘,获得有价值的信息和知识。

2 采集GIS时空大数据

GIS时空大数据的可视化过程以地图作为核心框架,进一步将时间数据进行空间化处理,将两者有效融合,创造一种新颖的数据展现形态。充分利用地理信息技术的空间可视化优势将时空数据以地图形式进行直观展示,不仅方便从多个视角进行深入观察,还从空间层面对大数据进行高效分析。本文设计的GIS时空大数据采集步骤包括以下3个。

2.1 交点定义

在实际操作中,采集的道路数据通常为连续的多段线形式。为了定位,需要遍历所有涉及的道路折线段,确定这些折线段之间的交点[3],即道路节点。

2.2 道路数据切割

在进行道路数据处理的过程中,使用本文方法确定并计算1条测得的道路的交叉区域,得到道路交叉层。然后利用这个交点图层对原有的道路数据进行切割。当采集地理轨迹数据时,采用CSV格式导出这些数据,呈现为一系列点集,需要将其转换为在GIS中广泛使用的Shapefile向量数据格式[4-5]。在完成转换后,自动构建向量数据的拓扑关系,在弧段与节点之间建立准确的连接。弧段与节点之间的具体关系见表1。

设邻接向量P,弧段q1~q7的邻接关系如公式(1)所示。

(1)

节点N1~N5设定的连通向量N如公式(2)所示。

(2)

2.3 冗余数据处理

在数据收集的过程中,为保证道路数据的完整性与准确性,某些路段的长度会超过实际道路长度。因此,在后续处理中需要识别并移除这些多余的部分。

3 单波段与单极化数据的像元差值提取

Sentinel-1数据:Sentinel-1是一个全天时、全天候的合成孔径雷达成像系统,其是欧盟委员会(European Commission,EC)和欧洲航天局(European Space Agency,ESA)针对哥白尼全球对地观测项目研制的首颗卫星。为了将大气上层表观反射率转换为大气下层地表反射率,本研究采用欧州航天局官方提供的Sen2Cor大气校正模块对Sentinel-2数据进行大气校正。除了对Sentinel-2的单波段数据与Sentinel-1的单极化数据的像元差值进行分析外,还利用红光(Red)和近红外(Near Infrared,NIR)波段获取归一化植被指数(Normalize Difference Vegetation Index,NDVI),并提取NDVI与垂直极化数据(Vertical Polarization,VV)以及垂直水平数据(Vertical-Horizontal Polarization,VH)的像元差值。

本文根据NDVI模型生成对应的NDVI产品,裁剪影像。NDVI的计算过程如公式(3)所示。

(3)

式中:PRed,PNIR分别为Sentinel-2数据对应的红光和近红外波段的地面反射率值。

利用归一化后的单波段数据(蓝光、绿光、红光和近红外光)与归一化后的单极化数据逐一进行波段运算,获取2种传感器数据的像元差值,计算过程如公式(4)所示。

T(x,y,t)=S2(x,y,n,t)-S1(x,y,m,t)

(n=Bule,Green,Red,NIR;m=VV,VH) " " "(4)

式中:T(x,y,t)为Sentinel-2 与 Sentinel-1 数据的像元值之差;S2、S1分别为Sentinel-1和Sentinel-2数据的像元值;n为Sentinel-2的波段数据,包括蓝光(Blue)、绿光(Green)、红光和近红外光;m为Sentinel-1的双极化数据,包括VV和VH;t为获取像元值所需的时间。

利用样本点的位置信息从计算结果中提取样本点位置所有像元的值,取地类内所有样本点的均值作为该地类像元差值,最终获取不同时相的像元差值序列特征。

4 构建地理时空数据可视化挖掘模型

根据上文提取的GIS时空大数据像元差值,本章利用可视化数据挖掘技术的栅格瓦片可视化算法,将该技术应用于时空数据中,对地理时空数据进行可视化挖掘[6]。栅格瓦片可视化算法流程如图1所示。

由图1可知,栅格瓦片可视化算法流程如下。首先,设计地图的中心点,确定时空数据对应的地理范围。其次,设定栅格瓦片的起始行列序号,确定X轴、Y轴的瓦片数量,将栅格瓦片铺满地图,计算单张瓦片的像素分辨率,确定瓦片对应的时空面积,获取对应的地理坐标,最终得到地理时空坐标的位置,使栅格瓦片可视化[7-8]。本文构建数据集成挖掘模型,将其应用于时空数据的可视化挖掘中,本文设计的数据集成挖掘模型的结构如图2所示。

由图2可知,利用可扩展标记语言(Extensible Markup Language,XML)文件配置数据库连接信息,设置用户界面,构建数据集成模型对数据进行集成,并利用元数据仓库进行处理,设计数据集成引擎与数据中心进行交互。时空数据通常是指融合了地理经纬度信息的数据集,浏览器页面基于一个二维的平面坐标系统来展示内容。因此,在GIS中对坐标轴进行设定:X轴代表经度,数值沿此轴向右逐渐增加;Y轴代表纬度,数值沿此轴向上逐渐增加[9]。模型构建的具体步骤如下。

第一步,设定瓦片像素为tS,分辨率为R。

第二步,单张瓦片对应的地理时空面积为GS,计算过程如公式(5)所示。

GS=tS×R " " " " (5)

第三步,得到对应的地理坐标(Gleft,Gtop),计算过程如公式(6)所示。

(6)

式中:GX、GY分别为屏幕的X轴和Y轴;W、H分别为屏幕的宽度和高度。

该地理坐标(Gleft,Gtop)对应的地理位置(Xs,Ys)如公式(7)所示。

(7)

式中:Gs为单张瓦片对应的地理时空面积。

基于上述分析,地理时空数据可视化挖掘模型的计算过程如公式(8)所示。

(8)

经过上述研究,设计面向空间信息的可视化挖掘方法,为空间信息融合处理奠定坚实的基础。

5 GIS时空大数据的融合处理

根据采集的GIS时空大数据获取历史数据,分析地理现象的时空变化规律。为了优化资源配置,提高资源使用效率,减少浪费,将采集得到的GIS时空大数据输入时空数据可视化挖掘模型中,创建共享数据类别,采用语义融合技术整合不同来源和类型的数据,确定其是否对应于同一个类别中的同一个概念,采用时空数据分析方法对融合后的数据进行分析,提取有用信息,具体融合处理过程如下。

以p1=(x1,y1)=(Xs,Ys)为圆心,将半径r设定为20 m进行搜索,p2(x2,y2)为该空间中的任意节点,p1为搜索圆形的圆心,p2为搜索圆形内的任意点。p1与p2之间的距离d的计算过程如公式(9)所示。

(9)

如果d≤r,那么p1与p2 这2个点为同名点;如果dgt;r,那么p1与p2 这2个点不是同名点。

在数据融合处理过程中使用统一的设备,所有数据的定位模式均设定为单点定位,基于这种一致性可以合理推断同一个对象采集的不同数据在权重方面是相等的。这种设置保证了数据采集标准,降低了由于设备差异或定位方法不同导致的误差。在GIS时空大数据融合处理过程中,这种统一性能够保证数据的可比性和融合的准确性,因此十分重要。

将这些数据的空间位置信息进行融合,计算x、y坐标的平均值,如公式(10)所示。

(10)

式中:xi、yi分别为第i次采集的点位坐标x、y的值。

利用公式(8)可以得到每个节点融合后的时空数据地理坐标位置。

6 试验测试与结果

6.1 试验准备

为验证本文方法的有效性,笔者进行试验,以MATLAB软件为基础搭建一个模拟测试平台,检测本文方法的数据融合处理性能。在测试过程中将文献[1]方法、文献[2]方法与本文方法进行对比,以3种方法的数据融合处理效率作为测试结果。

6.2 试验结果

基于上述试验准备,3种方法的对比测试结果见表2。

由测试结果可知,本文提出的基于可视化数据挖掘技术的GIS时空大数据融合处理方法能够快速处理数据,因此,在不同测试时间内,与文献 [1] 方法、文献 [2] 方法相比,本文方法融合处理的数据量更多,证明了本文方法的有效性。

综上所述,利用可视化数据挖掘技术能够自动或半自动地识别数据中的关键信息,减少人工分析和处理的工作量,提高 GIS 时空大数据融合处理的效率和准确性。

7 结语

基于可视化数据挖掘技术的GIS时空大数据融合处理方法不仅推动了GIS技术快速发展,还影响了社会经济发展、城市规划以及环境监测等领域。在这个过程中,数据安全和隐私保护十分重要。在利用大数据进行空间分析的过程中,必须严格遵守相关法律法规,保障用户数据的安全性和隐私性。未来基于可视化数据挖掘技术的GIS时空大数据融合处理方法将继续发挥其独特优势。

参考文献

[1]张新宇,林泽攀,武红敢,等.巡护时空大数据助推林草业务的协同融合[J].林业科技通讯,2022(6):31-33.

[2]秦丽娜.基于关联规则挖掘的无线传感网时空数据融合方法探究[J].北部湾大学学报,2023,38(4):68-71.

[3]杜家宽,李雁飞,孙嗣文,等.多源数据融合的泛时空特征水稻深度学习提取[J].农业大数据学报,2024,6(1):56-67.

[4]丁梦苏,杨慕乔,陈世敏.大规模时空图数据存储和分析的优化方法[J].高技术通讯,2023,33(2):124-134.

[5]黄慧萍,陈芳淼.城市群建设与管理的时空大数据体系框架构建研究[J].遥感技术与应用,2023,38(2):443-453.

[6]周扬,韩崔燕,田楠,等.基于多源时空大数据的市政管线安全管控关键技术研究[J].工业建筑,2023,53(增刊2):62-66.

[7]徐鹏飞,麦均硕,王嘉铭,等.基于时空大数据分析的出租车智慧调度系统[J].信息与电脑(理论版),2024,36(2):103-105.

[8]刘宏志,张灿,李秋爽,等.智慧基建背景下电网工程造价资源库建设研究[J].建筑经济,2022,43(3):59-66.

[9]柯霖.基于多源数据融合与模糊聚类的电力工程数据处理方法研究[J].电子设计工程,2023,31(24):163-167.

猜你喜欢
信息处理技术数据融合
多传感器数据融合技术在机房监控系统中的应用
《可靠性工程》课程教学的几点思考
东方教育(2016年10期)2017-01-16 20:38:46
基于数据融合的家庭远程监护系统研究
办公自动化中的智能信息处理技术
融合K—T和K—L数据的洽川湿地水体提取
价值工程(2016年31期)2016-12-03 00:01:51
“大数据”时代的计算机信息处理技术
浅谈计算机信息处理技术在办公自动化中的运用
中国市场(2016年36期)2016-10-19 04:45:32
信息处理技术在办公自动化中的应用
中国市场(2016年28期)2016-07-15 04:17:28
计算机信息处理技术在财会中的运用研究
船舶动力定位中的数据融合技术文献综述
科技视界(2016年14期)2016-06-08 13:24:00