分布式计算环境遥感图像水体识别技术

摘要：

随着社会的进步和国民经济的发展，国民节能环保意识逐渐增强，逐渐认识到水资源对社会发展的重要性。为实现对水资源的科学管理与合理调度，必须要通过水体识别技术对水资源实际情况形成更为准确的了解。本文主要分析了一种分布式计算环境下的遥感图像水体识别技术。

关键词：

分布式计算;水体识别;MapReduce模型

中图分类号：

TP751

文献标识码：

A

文章编号：

1672-9129（2020）15-0026-01

如今，水资源短缺已经成为世界各国关注的普遍话题，水资源利用状况尤为严峻，这也对我国水资源利用的合理性提出了更高的要求。如何在分布式计算环境之下实现对遥感图像水体识别技术的有效选择与应用，从而提高水资源监测效果，值得我们深思。

1MapReduce简介

MapReduce模型可以实现读写操作的高速化、流式化，适合针对海量数据进行检索、特征分析等处理。其任务处理流程可以具体划分为：①数据分块和分配。在模型接收到输入数据之后，作“分片”操作，对整个任务进行划分，形成多个子任务，也就是将超大数据集当中的数据划分成多个大小相同的“数据块”，之后主节点把各个子任务向模型中的从节点分发，开始并行处理;②Mpa映射。每个Map任务需要接收和处理一个数据“分片”，使其经过映射转变为键值对，产出其中间结果;③分区和排序。结合key值针对中间结果做排序与合并处理，并将其当作Reduce函数输入;④Reduce规约。以组作为基本单位针对数据作规约处理，对key值相等的value值加以合并;⑤数据输出。将Reduce之后所产出的键值对输出。

2遥感数据划分与组织形式

在实践中，并行计算效率会受到诸多因素的影响，以MapReduce为支撑针对遥感图像进行并行处理的过程中，数据划分方式与“块”的大小会对模型形成起到决定作用。出于对湖泊、河流等水体在遥感图像当中占据面积较大的实际情况，本实验将矩形作为基准形状针对图像加以分块处理。

应用Hadoop大数据处理平台针对遥感图像加以存储与索引。在HDFS分布式文件系统当中存放遥感图像，并在HBase数据库当中存储图像相应的元数据。此外，还要结合每块数据“分片”构建起多个副本，以此提升数据块的可用性和可靠性。

在具体开始实验之前，先要搭建起Hadoop分布式集群。在集群中配置4台主机，并选择其中一台作为命名节点，其它三台则当作从节点。在每台主机上都要安装相关软件，以搭建所需实验环境。软件内容包括：①LinuxUbuntu系统;②Java编程软件;③Hadoop分布式系统等。

3实验结果及分析

3.1正确性测试。以MapReduce为支撑对分布式信息提取模型进行构建，通过几种提取效果相对较好的信息提取方法针对实验区域水体加以处理。实验中所应用的验证样本是通过ENVI图像处理软件针对研究区域高分辨率遥感图像加以监督分类，结合最大似然法获得参照分类的结果。

此外，为实现对实验结果更为有效地描述，体现出模型的可靠性与精度，我们将错提率、总体精度以及Kappa系数等当作实验的评价指标，得出结论：①不同提取方法所获结果精度从高到低：MNDWI、NDWI、NDVI、谱间关系法以及单波段阈值法;②实验结果显示，单波段阈值法对于水体信息所呈现的提取结果最差，这主要是由于该方法通过单波段获得水体特征，有一定片面性，很难实现对水体和其它地物的有效区分;③MNDWI所获信息提取精度最高，这是由于该方法可以增强各种地物，特别是建筑及阴影反差，可以由背景地物当中对水体信息进行精准提取;④通过几种方法所获得的提取精度均在90%以上。

所以，以MapReduce为支撑的分布式信息提取模型可以有效实现对水体信息的准确提取，而且能够展现出良好的识别精度。

3.2可扩展性与伸缩性测试。选取2019年5月实验对象流域的6幅影像为实验材料。在实验过程中，利用归一化差异指数法进行信息提取。分析在不同计算节点之下，以MapReduce为支撑的分布式信息提取模型针对一幅、两幅、四幅以及六幅遥感图像开展识别所耗费的时间关系。

经分析可得出结论：①在所输入数据量为一定的情况下，随计算节点数量的提升，提取信息所需时间呈现为线性降低状态，加速比则持续增加。计算节点的数量为2个，其平均加速比是1.92;数量为3个，则平均加速比是2.65;数量为4个，则平均加速比是3.94。所以，本实验所分析的模型具有良好的可扩展性，能够充分满足各种规模数据集在并行计算方面的需求;②在数据数据量呈线性增长的情况下，信息提取所需时间也呈线性增长，所以本实验所分析模型有着良好的可伸缩性，能够充分满足各种规模数据量条件下的信息提取需求。

结语：总而言之，水资源短缺已经成为制约国家经济与社会发展的重要因素，值得我们投入更多人力、物力和财力提高其检测效果，为水资源调度与利用提供更为准确的技术支持，为资源节约型与环境友好型社会建设注入源源不断的活力。

参考文献：

[1]徐旭.基于图像特征的遥感影像水体自动提取方案研究[J].安徽建筑，2019，26（9）：51.

[2]]王玮哲.高分辨遥感图像目标识别技术综述[J].通讯世界，2017，（16）：276.

作者简介：马颖（1977.10），女，汉，河南郑州人，硕士學历，河南工程学院副教授，研究方向：分布式计算与图像智能信息处理。