土地工程大数据平台构建关键技术研究

摘要：随着土地整治工程的深入发展，土地工程数据平台构建成为全面提高国土资源整治、管理、保护和高效利用的有效途径和重要手段。本文就土地工程大数据平台构建关键技术进行分析研究，以期对土地工程信息化相关方面研究提供一定参考。

关键词：土地工程；大数据；平台构建

土地作为人类社会经济活动的空间载体，人类一切生产、生活、生态行为都离不开土地。土地工程是运用工程手段解决土地的问题，把未利用土地变为可利用土地或把已利用土地进行高效利用，能动协调人地关系和谐发展的过程。土地工程作为研究如何高效生态利用土地的学科日益重要。大数据蕴藏着巨大的潜力和能量，正日益成为国家基础性战略资源。利用大数据提供的信息，充分考虑人的不同需求和行为方式，将会显著提升土地管理的效能和水平，为经济持续快速发展和社会和谐稳定做出更重要的贡献。因此，如何将大数据技术和土地工程相结合，结合现有土地海量数据，发展出适用于土地工程的大数据技术，对创新土地管理方式和模式，完善国家治理体系和提高国家治理能力具有重要的意义。同时也是国土资源信息化重大建设立项的新方向。

1 土地工程大数据特点

土地工程的数据具有类型多、来源广的特点。一方面土地工程数据包括的图像、文本、视频等各类半结构化、非结构化数据体量增长迅速。这些多样化的数据增加了土地工程数据平台数据采集和处理的难度。另一方面，土地工程中采集的数据具有很大的不确定性和地域多样性。土地工程中采集的数据存在着采集原始数据不完整、采集时间不均衡等问题，使得采集到的数据存在着不确定性，也导致传统的数据处理方法无法很好地应用于土地工程大数据构建中。

2 土地工程大数据平台构建技术

土地工程涉及到土地利用、农田水利工程、土壤、气象、环境等多方面的学科，其中包含多种类、海量的数据。传统的数据平台技术已经无法满足数据处理需求，数据量的增长需要引进分布式计算和海量数据存储技术。基于土地工程行业的现状和业务需求，梳理整合涉及的数据信息，研究土地工程数据平台构建关键技术，构建土地工程大数据平台是目前亟需解决的问题，为土地工程信息化发展起到一个基础支撑的作用，旨在为土地工程的实践、更多信息的挖掘以及决策提供一个基础的数据平台。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载方面上的天然优势。可以构建高效、可靠、可扩展的土地工程数据处理平台，实现对土地工程中海量数据的采集存储，以期推动土地工程数据平台技术的发展。为土地工程企业、研究机构进一步应用数据提供支持，更好的辅助土地工程信息化的发展进程。

2.1 多源数据的属性信息和不同指标信息的采集

数据采集工作是构建数据平台的基础，只有保证采集到的数据完整性和正确性，数据的存储和应用才有意义。而土地工程数据具备多样性，多属性信息的特点，因此在数据采集流程中容易出现流量数据在传输过程中丢失，数据传输出错等问题。在对数据采集之前，要确定所涉及的数据的哪些属性和指标为土地工程中应用的需求点。在土地工程应用中，数据的获取方式也是多种多样，针对不同数据的收集方式，包括对个别数据的野外实测（GPS数据），搭建持续性数据采集的监测设备，遥感GIS数据的信息提取，针对需求的点对点网络数据爬取技术等。结合土地工程中应用的需求点和不同的采集方式，研发适用于土地工程数据平台的数据采集技术。

2.2 土地工程数据平台部署技术

为了满足当前土地工程的快速发展和海量数据的处理需求，研究合适的技术来进行海量数据的处理工作有很高的必要性。Hadoop具有高性能的优势，其可以对数量级在PB以上的非结构化数据进行处理操作，同时，处理结果可以以通用的形式提供给其他应用。还具有可扩展性高的特点，对于数据持续増长，Hadoop可以扩展至数千个节点。通过对基于Hadoop云平台的具体安装、編码实现土地工程数据的存储计算。土地工程的特点、土地信息化中遇到的问题以及云计算平台的特点以及使用基于Hadoop云计算平台的优势。

2.3 土地工程数据平台存储技术研究

针对不同的数据本身的属性和结构特点，构建合理的数据模型，包括对结构化、非结构化、空间结构数据、普通文本类型数据等多种不同数据结构的数据的存储技术。探索如何使用Hadoop解决土地工程海量数据问题。创建在大数据技术快速发展条件下对土地工程数据资源、存储、利用的新模式，为土地工程信息化建设提供了新的技术手段和平台。

3 大数据知识服务平台的实施思路

针对土地工程行业数据的规模大，种类多的特点，搭建一套基于不同数据采集与数据存储的土地工程数据平台，来对土地工程的数据信息进行整合，统筹处理和应用。根据土地工程学科本身的属性，大量的搜集包括气象数据、土壤数据、水文水利数据、土地利用数据、空气质量数据、水体质量数据、林业数据、矿产资源分布数据、地形地貌数据等多源化的数据，并对数据本身进行清理与整合，以标准化的数据格式来分类存储相关数据，同时采用多种数据挖掘的方式来寻找各类不同数据源之间的关联性信息。达到用科学的数据来服务于支撑土地工程学科的发展。大数据平台的构建必将是一个长期而漫长的过程，需要通力协作、共同努力使其技术水平不断前进。

参考文献：

[1]张露，孔辉. 建立土地工程学科的思考. 西部大开发（土地开发工程研究），2017，（11）：33-37

[2]程杰，石磊，申丹，等. 探析信息在土地工程中的重点应用方向. 信息技术与信息化，2017，（07）：126-129

[3]毛忠安，马卫鹏. 土地工程大数据概念、特征及在土地工程领域的应用. 西部大开发（土地开发工程研究），2016，（05）：1-5

[4]孙志明，党争. 大数据技术发展对土地利用的影响. 环球人文地理，2016，（4）：136

[5]胡雅. 土地工程中的大数据应用构想. 中国农业信息，2017，（07）：88-92

作者简介：

孙增慧（1987—），男，供职于陕西省土地工程建设集团有限责任公司，工程师，博士，主要从事土地工程大数据和土壤修复研究

基金项目：

陕西省土地整治重点实验室开放基金（2018-TD02），陕西省土地工程建设集团有限责任公司内部科研项目（DJNY2018-23；DJNY2018-24）资助。