基于云原生技术的土壤墒情监测系统设计与应用

于景鑫，杜 森，吴 勇，钟永红，张钟莉莉，郑文刚，李文龙,3

基于云原生技术的土壤墒情监测系统设计与应用

于景鑫1,4，杜 森2※，吴 勇2，钟永红2，张钟莉莉1，郑文刚1，李文龙1,3

（1. 国家农业信息化工程技术研究中心，北京 100097；2. 全国农业技术推广服务中心，北京 100125；3. 农业农村部农业信息软硬件产品质量检测重点实验室，北京 100097；4. 中国地质大学（北京）土地科学与技术学院，北京 100083）

该研究针对全中国尺度的土壤墒情监测需求，构建基于自动监测站原位监测与多源专题数据的土壤墒情数据获取感知技术体系，提出数据质量控制清洗策略并建立数据校正插补模型。系统基于云原生技术设计，将模块以微服务形式灵活开发部署，通过容器技术打包运行独立实例，布设了墒情数据上报采集、可视化分析和数据挖掘应用等核心模块。依托空间分析和WebGL技术开发3D WebGIS数据分析功能模块，实现协同土壤墒情、土地利用、海拔高程等多源数据可视化分析与制图，深入挖掘数据价值，实现墒情估算和基于水量平衡的灌溉决策应用服务。系统已在中国21个省份得到应用，建立自动监测站970个，采集监测数据6 000余万条，为用户掌握土壤墒情现状、指导农业节水灌溉、获取可靠科研数据等应用提供数据与技术服务。

土壤墒情；监测；系统设计；数据感知；WebGIS；深度学习

0 引 言

当前，中国对于水资源高效利用的需求愈发迫切，而农业用水总量占据经济社会用水总量高达60%左右[1]，急需发展节水农业。土壤含水率是精准灌溉重要的参数，在精准灌溉中保证作物根区土壤含水率在适宜区间是实现作物水分高效利用的关键环节[2]。2020年农业农村部种植业重点工作提出将“测墒节灌”作为农业节水工作的重点任务，使得对土壤墒情监测系统的研究具有重要意义。传统的土壤水分测量方法一般是进行烘干称重法量测，需要人工在田间利用取土钻获取土样，随后土样在实验室称重并放入烘干箱，土样需在105～110 ℃高温下烘干超过12 h形成干土，通过测量干土与原始土样质量差得出土壤含水率，烘干法测量方式不仅操作繁琐、数据获取滞后、采样难度大，而且还会破坏原状土体[3]。随着传感器技术的发展，利用土壤墒情监测站可以快速准确测定不同深度土壤含水率并通过移动通讯网络实时上传至数据中心，使得土壤水分数据高效采集成为可能[4]。

美国农业部（United States Department of Agriculture，USDA）于1991年启动国家土壤气候分析网络（National Soil Climate Analysis Network，SCAN）项目，该系统可以监控并报告全美200多个站点的土壤湿度、土壤温度和其他气候数据[5]。1994年，美国俄克拉荷马大学开发了环境监测系统（Mesonet），由覆盖俄克拉荷马州的120个自动观测站组成，自动观测站采集5 min间隔频率的气候和土壤水分数据，目前该系统也逐渐扩展到林业、农业生产服务领域[6]。2014年，美国地质调查局（United States Geological Survey，USGS）牵头的国家土壤墒情网络（National Soil Moisture Network，NSMN）项目融合全美15个土壤墒情原位监测网数据，系统提供在线插值制图、遥感数据下载和混合制图等功能[7]。2015年国家气象科学数据中心建立了中国气象数据网平台，提供1991年至今中国653个农业气象站点所采集的逐旬土壤水分和气象数据[8]。但就农业生产全过程而言，土壤墒情作为其中的关键指标直接决定作物水分、农田旱涝情况，同时又受到如土壤、作物等多种因素的影响。目前针对农业应用的土壤墒情系统还存在以下问题：1）数据以土壤墒情为主，种类较为单一，还缺乏相关地理信息、作物、气象、土壤数据等；2）系统以实时提供土壤墒情现状数据为主，需要提供对数据的估算能力来把握未来趋势；3）系统以展示墒情分布为主，需要对土壤墒情数据的深入挖掘来提升指导农业生产应用的效率。

云原生（cloud native）技术是在云计算环境下构建用于部署动态微服务应用的软件堆栈，通过将各组件打包到容器（container）中，动态调度容器以优化云计算资源利用率，该技术具有敏捷开发、性能可靠、高弹性、易扩展、故障隔离和持续更新等特性[9]。相比于传统的Web架构，云原生技术能够保证系统更加稳定可靠运行[10]。面向全国的土壤墒情监测系统具有自动站设备多、用户访问量大、数据运算量大，具有高频率、高并发、持续增长的特点，因此需要适配云计算特性的云原生技术，利用微服务架构和容器技术构建灵活的开发模式并提升计算资源利用效率。

本研究针对此背景，结合中国土壤墒情监测工作的实际需要，面向政府和各级农业管理、技术推广、科研人员等设计开发了基于云原生架构的土壤墒情监测系统，旨在实现以下几个方面功能：1）构建土壤墒情数据感知技术方案，解决数据实时获取和多源异构数据融合问题；2）提出数据质量控制策略，运用深度学习技术实现缺失数据插补；3）协同多源数据挖掘，实现土壤墒情预报和灌溉决策应用。

1 土壤墒情数据感知技术

土壤墒情数据感知的核心任务是农田多层深度土壤水分的自动采集与相关属性及数据的在线化服务，形成连续、准确、可靠的土壤墒情大数据。本研究提出采用物联网自动设备监测、深度学习校验插补建模和跨平台数据协同获取专题数据相结合的方式，构建土壤墒情数据感知技术，实现土壤墒情在线监测与多源数据融合，主要技术流程如图1所示。

注：DEM表示数字高程模型，LUCC表示土地利用与土地覆被变化，DBMS表示数据库管理系统。下同。

1.1 土壤墒情监测站原位监测

土壤含水率传感器主要采用时域反射（Time Domain Reflector，TDR）、频域反射（Frequency Domain Reflectometry，FDR）技术方式测量土壤介电常数，通过传感器标定模型转换后得到土壤体积含水率，其优势是自动化测量、人为干预少和采集频率高[11]。

系统采用固定式远程土壤墒情监测站实现土壤墒情和农田气象数据采集，设备具有自动采集、存储、远程传输等功能。土壤墒情需要获取0～20、>20～40、>40～60和>60～80 cm 4个土层深度的土壤含水率和土壤温度数据，传感器参数需满足表1要求。农田气象数据包含空气温度、空气湿度、降雨量、风速、参考作物蒸散量（reference Evapotranspiration，ET0）等。监测站点每小时自动采集一次数据，整合形成符合接收端口协议规范的报文，通过通用无线分组业务（General Packet Radio Service，GPRS）网络将报文以TCP/IP协议上传至云端系统数据接收后台，以实现土壤墒情原位监测。

表1 土壤墒情传感器技术指标

1.2 多源异构数据获取

系统利用多线程技术和TCP/IP数据传输协议构建独立的C/S（Client/Server）模式数据接收后台，实现地面自动农田气象墒情监测站回传数据可靠传输。数据后台在服务器端实现监听Socket、接受客户端连接请求、维护Socket链表、数据解析、数据处理分析、数据存储和日志记录等功能。

除土壤墒情、农田气象数据外，需要整合非传感器实时快速获取的专题数据，系统提出构建多源异构专题数据获取机制。针对行政区边界、数字高程模型（Digital Elevation Model，DEM）、土地利用类型、坡度等不同格式的地理信息系统（Geographic Information System，GIS）空间数据，通过GIS数据共享网站获取并统一存储于ArcGIS Geodatabase数据库中[12]。针对如农业生产中作物名称、生育期、土壤信息等需要用户上报的文字类非结构化的数据，系统通过规范数据项名称和统一数据选项，让用户在系统界面中以选项的方式上报数据，避免了人为录入错误和规则不同造成的混乱，以此将非结构化语义数据转化为结构化数据并存储于通用的关系型数据库管理系统（Database Management System，DBMS）。系统通过构建统一数据访问层（data access layer）实现多源异构数据融合管理，为后续进行多源异构大数据整合分析提供数据基础。

2 数据质量控制与校正插补

自动墒情监测站一般安置于田间，周围环境复杂，作物生长、设备稳定性、极端气候等因素都有可能造成设备数据异常和缺失，降低数据可用性，为保证数据准确、可靠和连续，本研究提出数据质量控制标准与数据插补方法，云端后台收到符合TCP/IP协议的物联网设备回传的报文数据后进行解析和质量判定，对于异常或者缺失的数据，通过数据校正插补模型进行估算，避免数据中断缺失造成的可用性丧失问题，保证数据的准确性、完整性和可用性。

2.1 土壤墒情数据质量控制策略

自动墒情监测站主要观测指标为土壤含水率以及农田气象信息，设备上传报文采用十进制字符串格式，本研究提出土壤墒情数据质量控制技术流程（图2），具体规则如下：

1）格式检查：校验包括设备参数、报文编码字节、发报时间等，报文正确解析且通过上述校验的数据为合格；

2）界限值检查：通过设置土壤体积含水率观测值的置信区间上、下界限实现，土壤体积含水率（%）在（0,60）区间为合格；

3）内部一致性检查：若土壤体积含水率各层的观测值完全相同则判定为数据错误；

4）时间一致性检查：若前后数据土壤相对含水率突降超20%或者当降水量＞10 mm/h而表层0～20 cm的土壤体积含水率2 h内未增加则判定为数据错误。

图2 土壤墒情数据质量控制技术流程

2.2 土壤墒情数据校正插补

自动墒情监测站数据异常和缺失会造成土壤墒情适宜度判断的错误，尤其在关键农时将会影响后续的农事操作，因此需要对异常和缺失数据进行校正和插补。土壤墒情数据呈现复杂的非线性关系，利用普通线性模型很难进行模型拟合，面向海量、复杂、无明确关系的大数据拟合算法中，深度学习算法是目前最佳的选择[13]。

系统的数据校正插补模块定时扫描数据库，对土壤墒情数据进行质量评价，针对数据质量控制单元所判定的异常和缺失数据利用模型进行校正和插补，其中校正插补模型分别利用循环神经网络（Recurrent Neural Networks, RNN）对时间序列特征提取和卷积神经网络（Convolutional Neural Networks, CNN）对网格图像高维特征提取的特性通过Stacking集成学习方式构建[14]，模型通过Python Flask发布为REST API接口以供外部调用[15]，校正插补后的数据标记相应质量代码存入数据库并记录日志（图3），确保数据的准确和完整。

图3 土壤墒情数据校正与插补技术流程

3 中国土壤墒情监测系统设计

3.1 云原生技术

3.1.1 微服务架构

微服务概念是一种新的架构模式，将单一应用程序划分成一组小的服务重塑了面向服务架构模式，通过服务之间相互协调、互相配合，为用户提供最终价值[16]。微服务不仅围绕着具体的业务进行构建，同时能够独立部署到生产环境、测试环境等，避免了统一、集中开发管理机制带来的资源浪费[17]。

土壤墒情监测系统功能模块多、业务功能复杂，需要不同技术和专业背景的人员共同参与开发，系统采用微服务架构，避免传统的开发模式需要统一开发环境、开发语言、部署环境等各类要素的要求，针对具体业务逻辑，选择合适的语言、工具进行开发，从而提高开发效率。系统在服务器资源层面确保每个微服务实例运行在其独立的进程中，各微服务之间采用基于HTTP的Restful API通信机制进行轻量级的数据交互（图4），构建了灵活的架构设计。

图4 微服务技术架构运行机制

3.1.2 容器化技术

容器技术（container）是一种被广泛认可的服务器虚拟化资源共享方式，其可以按需构建容器技术操作系统实例的特性，为系统管理员提供极大的灵活性，其主要特点为极其轻量、秒级部署、易于移植和弹性伸缩[18]。

系统采用容器技术来配合微服务架构模式使得系统易于开发、维护和按需伸缩，针对独立微服务利用容器把应用和其运行环境以高级多层统一文件系统（Advanced Multi-Layered Unification File System，AUFS）打包来保证应用及其运行环境的统一，并在装有容器环境（Docker）的云计算基础设施上以容器方式运行，通过容器编排工具对容器服务的编排来实现容器启动、容器应用部署、容器应用在线升级等功能，利用容器集群将多台物理机抽象为逻辑上单一调度实体的技术，提供资源调度、服务发现、弹性伸缩、负载均衡等功能，充分利用云计算基础设施资源。

3.2 系统架构

通过以上土壤墒情数据感知技术获取的数据资源和云原生技术架构阐释的系统开发方法理念，本研究选用主流开源软件堆栈作为基础软件环境，在云计算框架下以微服务、容器技术为核心的云原生架构进行面向中国的土壤墒情监测系统的设计与研发，兼顾成熟开发方案配置和最新技术特性，保障系统的可靠性、先进性和动态扩展性（图5）。

注：HTTP是超文本传输协议，Websocket是一种全双工通信的协议，API表示应用程序接口，APP表示手机应用程序，ET0表示参考作物蒸散量，mm/d。

土壤墒情监测系统采用开源的Linux CentOS 7.2环境作为系统运行环境，容器调度采用开源的容器编排调度引擎Kubernetes[19]，容器技术采用Docker开源的应用容器引擎[20]，以业务需求和开发团队技术领域划分微服务功能边界并通过Nginx Web服务器配合Atlas+Keepalived中间件实现Web平台与MySQL数据库集群的反向代理和负载均衡[21]。通过在Kubernetes平台上集成Gitlab代码管理和Jenkins集成工具的敏捷迭代特性实现DevOps容器化敏捷开发运维模式[22]。系统采用Html5前端技术开发Web用户交互页面（图6），业务层布设了墒情数据分析、数据填报、GIS制图分析和墒情数据挖掘应用等核心模块，为各级农业节水管理人员、农技人员、行业专家、企业用户和科研机构等提供可靠、稳定、高性能的土壤墒情数据的获取管理与挖掘分析服务。

图6 土壤墒情监测系统界面

3.3 土壤墒情数据可视化与制图

3.3.1 3D WebGIS可视化

系统基于WebGL技术实现浏览器端3D WebGIS可视化[23]，前端基于ArcGIS API for JavaScript 4.1通过场景视图（scene view）实现浏览器端3D视图浏览和基础控件，GIS数据从空间数据库（Geodatabase）中调取并以特征图层（feature layer）形式加载。GIS后台采用ArcGIS Server发布GIS数据和模型服务并通过地处理（Geoprocessor，GP）服务的形式调取，通过配置打印参数（print parameters）根据用户图层设置动态调取打印服务（print task）实现地图打印，其中地图制图模板（print template）通过服务器端配置的.mxd文件进行管理。

3.3.2 协同空间分析制图

土壤墒情数据空间插值制图功能可以实现由点到面的空间数据拓展[24]，其流程为获取运算后的空间点位数据，空间插值分析，农田区域掩膜裁剪，墒情等级重分类渲染，最终展示在前端实现分析与可视化制图。本研究土壤墒情插值采用协同克里金插值法[25]，选择高程、坡度和土地利用分类为土壤水分“趋势”拟合的协同考虑因子，如式（1）所示

以空间插值制图为例，选取任意时间段范围和制图层次，系统调度相应的微服务进行数据获取、点位运算、插值运算、成图展示和制图打印，分别取2019年6月18日和9月18日的土壤相对含水率数据为例，空间插值交叉验证结果（表2）显示插值算法可以较好地进行空间插值预测。

表2 空间插值模型交叉验证结果

3.4 土壤墒情估算与验证

土壤墒情估算模型采用深度学习集成策略将CNN与RNN相结合的网络模型结构[26]，利用过去第-7次至第次的气象和土壤墒情数据集合估算未来第+1次土壤墒情数据。模型结构分别为基于门循环单元（Gate Recurrent Unit, GRU）的RNN和CNN，二者的输出值拼接后输入元学习器，最终得到估算结果，其中元学习器为全连接神经网络结构，其表达式如式（2）所示

式中′为输入，′为输出，为权重，为偏置，为神经元数量。

选取2012－2018年山东省诸城市贾悦太古庄监测站的46 944条土壤墒情数据对估算模型进行实测验证。模型基于Keras框架搭建模型，后台为TensorFlow 1.6，编程语言为Python3.6。模型的验证结果显示，预报精度评价指标均方误差（Mean Square Error，MSE）、平均绝对误差（Mean Absolute Error，MAE）、均方根误差（Root Mean Square Error，RMSE）和决定系数（coefficient of determination，2）分别0.597 3、0.474 1、0.772 8和0.874 1。模型估算结果表明，所构建模型能够准确的进行土壤墒情估算（图7）。

图7 土壤墒情估算模型实测验证结果

3.5 灌溉决策服务

土壤墒情直接决定作物的水分供需关系，在实际应用中通过物联网监测设备所采集的原始数据进行数据挖掘提供灌溉制度服务具有重要意义。系统灌溉决策基于水量平衡原理[27]，计算如式（3）所示

式中ETc为作物实际需水量，mm；为灌溉量，mm；为降水量，mm；Δ为土体贮水量的变化，mm；为径流量，mm；为土体下边界净通量，mm。

ETc的计算采用单作物系数法，其表达式如（4）所示

式中K为作物系数，采用联合国粮食及农业组织（Food and Agriculture Organization of the United Nations，FAO）推荐值与用户自定义[28]；ET0为参考作物腾发量，选用FAO推荐的彭曼—蒙蒂斯（Penman-Monteith）模型[29]计算如式（5）所示

式中ET0为参考作物蒸散量，mm/d；Δ为温度—饱和水汽压关系曲线在温度处的切线斜率，kPa/℃；R为净辐射，MJ/(m2·d)；为土壤热通量，MJ/(m2·d)；为平均温度，℃；为干湿表常数；2为2 m高处风速，m/s；e为平均饱和水汽压，kPa；e为实际水汽压，kPa。

系统通过相应的微服务模块实现ET0计算与发布，以位于北京市昌平区小汤山的站点为例，该地块于2019年10月5日播种冬小麦，通过系统可查询相应时段的ET0数据（图8a），通过选取FAO推荐的作物系数与对应种植作物的生育期阶段计算作物的需水量，实现水量平衡分析并推荐参考灌溉水量（图8b）。

图8 灌溉决策服务功能界面

3.6 系统应用

本研究设计和开发的基于云原生土壤墒情监测系统已经在中国21个省份得到应用，已构建自动监测站点970个，累计采集土壤墒情与农业气象数据6 000余万条。近5年，年均用户数增长率14%，年均数据量增长率95.2%。系统在促进土壤墒情监测技术、深度学习墒情估算模型构建、多源数据协同空间分析及灌溉决策应用方面具有一定的借鉴意义。

4 结 论

本研究基于上述系统设计，以云原生技术为架构基础，通过运用深度学习、3D WebGIS等技术实现了土壤墒情多源大数据的数据感知、分析制图与挖掘应用，并取得以下结论：

1）提出了多维度土壤墒情数据感知获取技术方案。综合采用了设备上报、模型数据校正插补和多源异构数据协同获取3种方式，满足对数据的采集频率、属性更新、连续完整和种类多样的要求，构建实时更新、智能模型和多源数据融合的数据获取感知服务。

2）设计了以云原生技术为基础的高可用云计算软件平台架构。根据业务需求划分微服务模块以细化平台服务粒度，通过容器技术打包微服务实例以消除环境制约，整合开发运维工具链实现灵活、高效、一体化的敏捷开发与管理体系。

3）实现对土壤墒情数据可视化分析表达和深度挖掘应用。运用WebGL等技术实现前端三维空间可视化分析与制图，提供直观的决策支持依据。协同多源大数据分析与建模，实现土壤墒情估算功能。深入挖掘土壤墒情、气象和作物数据，提供基于水量平衡的灌溉决策服务。

[1] 操信春，任杰，吴梦洋，等. 基于水足迹的中国农业用水效果评价[J]. 农业工程学报，2018，34(5)：1-8.

Cao Xinchun, Ren Jie, Wu Mengyang, et al. Assessing agricultural water use effect of China based on water footprint framework[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 1-8. (in Chinese with English abstract)

[2] 顾哲，袁寿其，齐志明，等. 基于ET和水量平衡的日光温室实时精准灌溉决策及控制系统[J]. 农业工程学报，2018，34(23)：101-108.

Gu Zhe, Yuan Shouqi, Qi Zhiming, et al. Real-time precise irrigation scheduling and control system in solar greenhouse based on ET and water balance[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 101-108. (in Chinese with English abstract)

[3] 郁进元，何岩，赵忠福，等. 农田土壤水分各种测量方法的比较与分析[J]. 浙江水利科技，2007，15(6)：1-2.

Yu Jinyuan, He Yan, Zhao Zhongfu, et al. Comparison and analysis of measuring methods for soil moisture of farmland[J]. Zhejiang Water Conservancy Technology, 2007, 15(6): 1-2. (in Chinese with English abstract)

[4] 孟德伦，孟繁佳，段晓菲，等. 基于频域法的便携式无线土壤水分测量装置设计与试验[J]. 农业工程学报，2017，33(增刊1)：114-119.

Meng Delun, Meng Fanjia, Duan Xiaofei, et al. Design and experiment of portable wireless soil moisture measuring device based on frequency-domain method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 114-119. (in Chinese with English abstract)

[5] Schaefer G L, Cosh M H, Jackson T J. The USDA natural resources conservation service Soil Climate Analysis Network (SCAN)[J]. Journal of Atmospheric and Oceanic Technology, 2007, 24(12): 2073-2077.

[6] Brock F V, Crawford K C, Elliott R L, et al. The Oklahoma Mesonet: A technical overview[J]. Journal of Atmospheric and Oceanic Technology, 1995, 12(1): 5-19.

[7] Dorigo W A, Wagner W, Hohensinn R, et al. International soil moisture network: A data hosting facility for global in situ soil moisture measurements[J]. Hydrology and Earth System Sciences, 2011, 15(5): 1675-1698.

[8] 王国复，李集明，邓莉，等. 中国气象科学数据共享服务网总体设计与建设[J]. 应用气象学报，2004，15(S1)：10-16.

Wang Guofu, Li Jiming, Deng Li, et al. Design and development of china meteorological data sharing service system[J]. Journal of Applied Meteorology, 2004, 15(S1): 10-16. (in Chinese with English abstract)

[9] Balalaie A, Heydarnoori A, Jamshidi P. Microservices architecture enables DevOps: Migration to a cloud-native architecture[J]. IEEE Software, 2016, 33(3): 42-52.

[10] 刘福鑫，李劲巍，王熠弘，等. 基于Kubernetes的云原生海量数据存储系统设计与实现[J]. 计算机应用，2020，40(2)：547-552.

Liu Fuxin, Li Jinwei, Wang Yihong, et al. Design and implementation of cloud native massive data storage system based on Kubernetes[J]. Computer Application, 2020, 40(2): 547-552. (in Chinese with English abstract)

[11] 曹美. 土壤湿度传感器影响因素及补偿方法研究[D].天津：河北工业大学，2015.

Cao Mei. Research on Influence Factors and Compensation Methods of Soil Moisture Sensor[D]. Tianjin: Hebei University of Technology, 2015. (in Chinese with English abstract)

[12] Mathiyalagan V, Grunwald S, Reddy K R, et al. A WebGIS and geodatabase for Florida's wetlands[J]. Computers and Electronics in Agriculture, 2005, 47(1): 69-75.

[13] Cai Yu, Zheng Wengang, Zhang Xin, et al. Research on soil moisture prediction model based on deep learning[J]. PloS One, 2019, 14(4): e0214508.

[14] 黄婕，张丰，杜震洪，等. 基于RNN-CNN集成深度学习模型的PM2.5小时浓度预测[J]. 浙江大学学报：理学版，2019，46(3)：370-379.

Huang Jie, Zhang Feng, Du Zhenhong, et al. Hourly concentration prediction of PM2.5 based on RNN-CNN ensemble deep learning model[J]. Journal of Zhejiang University: Science Edition, 2019, 46(3): 370-379. (in Chinese with English abstract)

[15] Taneja S, Gupta P R. Gupta. Python as a tool for web server application development[J]. JIMS8I-International Journal of Information Communication and Computing Technology, 2014, 2(1): 77-83.

[16] Balalaie A, Heydarnoori A, Jamshidi P. Microservices architecture enables DevOps: Migration to a cloud-native architecture[J]. IEEE Software, 2016, 33(3): 42-52.

[17] Fazio M, Celesti A, Ranjan R, et al. Open issues in scheduling microservices in the cloud[J]. IEEE Cloud Computing, 2016, 3(5): 81-88.

[18] Claus P. Containerization and the PaaS cloud[J]. IEEE Cloud Computing, 2015, 2(3): 24-31.

[19] Bernstein D. Containers and cloud: From LXC to docker to Kubernetes[J]. IEEE Cloud Computing, 2014, 1(3): 81-84.

[20] 翁湦元，单杏花，阎志远，等. 基于Kubernetes的容器云平台设计与实践[J]. 铁路计算机应用，2019，28(12)：49-53.

Weng Juyuan, Shan Xinghua, Yan Zhiyuan, et al. Design and practice of container cloud platform based on Kubernetes[J]. Railway Computer Application, 2019, 28(12): 49-53. (in Chinese with English abstract)

[21] 米向荣. 高可用MySQL同步集群的研究与设计[J]. 忻州师范学院学报，2019，35(5)：26-32.

Mi Xiangrong. Research and design of highly available MySQL synchronous cluster[J]. Journal of Xinzhou Normal University, 2019, 35(5): 26-32. (in Chinese with English abstract)

[22] 丁海斌，崔隽，陆凯. 基于Docker的DevOps系统设计与实现[J]. 指挥信息系统与技术，2017，8(3)：87-92.

Ding Haibin, Cui Jun, Lu Kai. Design and implementation of DevOps system based on docker[J]. Command Information System and Technology, 2017, 8(3): 87-92. (in Chinese with English abstract)

[23] Kim M S, Jang I S. Design and implementation of 3D geospatial open platform based on HTML5/WebGL technology[J]. Spatial Information Research, 2015, 23(6): 57-66.

[24] 徐驰，曾文治，黄介生，等. 基于高光谱与协同克里金的土壤耕作层含水率反演[J]. 农业工程学报，2014，30(13)：94-103.

Xu Chi, Zeng Wenzhi, Huang Jiesheng, et al. Modelling soil water content in plow layer using co-kriging interpolation based on hyperspectral data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(13): 94-103. (in Chinese with English abstract)

[25] 刘姗姗，白美健，许迪，等. 畦田灌溉模拟中田面微地形空间分布插值方法改进[J]. 农业工程学报，2015，31(17)：108-114.

Liu Shanshan, Bai Meijian, Xu Di, et al. Improvement of interpolation methods for surface micro-topography spatial distribution in border irrigation simulation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(17): 108-114. (in Chinese with English abstract)

[26] Li Liang, Zhu Xinge, Hao Yiming, et al. A hierarchical CNN-RNN approach for visual Emotion classification[J]. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2019, 15(3): 1-17.

[27] 文冶强，杨健，尚松浩. 基于双作物系数法的干旱区覆膜农田耗水及水量平衡分析[J]. 农业工程学报，2017，33(1)：138-147.

Wen Yeqiang, Yang Jian, Shang Songhao. Analysis on evapotranspiration and water balance of cropland with plastic mulch in arid region using dual crop coefficient approach[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 138-147. (in Chinese with English abstract)

[28] Allen R G, Pereira L S, Raes D, et al. FAO irrigation and drainage paper No. 56[J]. Rome: Food and Agriculture Organization of the United Nations, 1998, 56(97): e156.

[29] Allen R G, Pereira L S, Raes D, et al. Crop evapotranspiration: Guidelines for computing crop water requirements-FAO irrigation and drainage paper 56[J]. FAO, 1998, 300(9): D05109.

Design and application of soil moisture content monitoring system based on cloud-native technology

Yu Jingxin1,4, Du Sen2※, Wu Yong2, Zhong Yonghong2, Zhangzhong Lili1, Zheng Wengang1, Li Wenlong1,3

(1.100097,; 2.100125,; 3.,100097,; 4.,,100083,)

To meet the demand of soil moisture content monitoring on a national scale, at the level of data acquisition, a soil moisture content data acquisition and perception technology system based on in-situ monitoring of automatic soil moisture content monitoring station and multi-source heterogeneous thematic data was constructed in this study, which realized the online monitoring of soil moisture content and multi-source data fusion. Further in terms of data quality control in the soil moisture data quality control strategy was proposed for data cleaning and established the soil moisture content data correction and interpolation model, in the cloud background received by the TCP/IP protocol of the Internet of things device came back after the packet data parsing and quality judgment. For abnormal or missing data, through the calibration data interpolation model to predict, avoided the interruption problem caused by the missing data, ensured data accuracy, integrity, and availability. Moreover, the soil moisture content data correction and interpolation model adopted the deep learning algorithm and the Stacking strategy to merge the Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) networks. The soil moisture content monitoring system facing the national scale had the characteristics of a large number of automatic station devices, massive user visits, and vast amounts of data computation, and had the characteristics of high frequency, high concurrency, and continuous growth. The ordinary web architecture could not ensure the stable and reliable operation of the system. Therefore, the system adopted the cloud-native technology system suitable for the cloud computing characteristics, used the micro-service architecture and the container technology to construct a flexible development model, and improved the efficiency of computing resource utilization. The system architecture design was based on the cloud-native technology, the module of the system was flexibly developed and deployed in the form of micro-services, the independent instance of packaging and running container technology was used to solve the problem of environmental configuration and resource utilization efficiency, and the container was dynamically scheduled to optimize the utilization of cloud computing resources. The core modules such as soil moisture content data reporting collection, soil moisture content data visualization analysis, and soil moisture content data mining application were arranged in the system. Based on GIS (Geographic Information System) spatial analysis and WebGL technology, the front-end 3D WebGIS data analysis function module was developed, and the collaborative Kriging interpolation method was used to realize the online analysis and visual mapping of collaborative soil moisture content, land use types, altitude, and other multi-source data. The system mined the data value deeply and utilized the deep learning algorithm to realize the soil moisture content prediction service which used the data of the past 8 days to predict the data of the next day. Based on the principle of water balance, the application service of irrigation decision was realized. By selecting the crop coefficient recommended by FAO and the growth stage of the corresponding planting crops, the water demand of crops was calculated, and the water balance analysis was realized and the reference irrigation water quantity was recommended. Since its application, the system had been deeply applied in more than 21 provinces, 970 automatic monitoring stations had been established, and more than 60 million automatic moisture monitoring stations had been collected. The system provided reliable data sources and technical support for decision-making departments, agricultural technicians, researchers, and other users to master the current situation of soil moisture content, guide agricultural water-saving irrigation, and obtain accurate and continuous soil moisture content scientific research data.

soil moisture content; monitoring; system design; data perception; WebGIS; deep learning

于景鑫，杜森，吴勇，等. 基于云原生技术的土壤墒情监测系统设计与应用[J]. 农业工程学报，2020，36(13)：165-172.doi：10.11975/j.issn.1002-6819.2020.13.020 http://www.tcsae.org

Yu Jingxin, Du Sen, Wu Yong, et al. Design and application of soil moisture content monitoring system based on cloud-native technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 165-172. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.020 http://www.tcsae.org

2020-03-26

2020-05-24

国家重点研发计划（2017YFD0301004）；现代农业产业技术体系建设项目-国家玉米产业技术体系（CARS-02-87）；北京市农林科学院院创新能力建设项目（KJCX20180706）

于景鑫，博士生，高级工程师，主要从事土壤墒情平台开发与数据挖掘研究。Email：Jingx.Yu@outlook.com

杜森，研究员，主要从事土肥节水技术研究和推广。Email：dusen@agri.gov.cn

10.11975/j.issn.1002-6819.2020.13.020

TP311.5

A

1002-6819(2020)-13-0165-08